HBase-Writer可以被当作一个强大的web爬行工具，且可以扩展。HBase-Writer从Heritrix2获得每个url的爬行结果，包括http头部信息和rul内容，然后写入给定的HBase表。表的行关键字是url本身，内容和头部信息存储在2个独立的列。
在此感谢Questio.com对此工程发布的支持
HBase-Writer -Heritrix2处理器插件，用来写web爬行结果到HBase表
Heritrix-HDFS-Writer -Heritrix2处理器插件，用来写web爬行结果到hdfs文件系统
Heritrix2——Internet Archiver的独立爬行器
HBase——一个分布式'BigTable'存储引擎
Hadoop——HBase运行于Hadoop分布式文件系统之上
打印文档
推荐好友 
返回顶部
增大字体 
减少字体