`
bjxagu
  • 浏览: 161743 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

Heritrix 爬虫与Nutch 爬虫

Web 
阅读更多

在邮件列表中看到有人问 Heritrix 爬虫与 Nutch 爬虫的不同。搜索了一下，该项目的领导者是 Gordon Mohr ，Heritrix 主要用在 http://www.archive.org 。基本定义描述：

Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.

没想到过了一会儿，在邮件列表中居然看到了 Gordon Mohr 的发言。看来他也比较关心 Nutch 的发展。

我对 Mohr 的发言整理一下。主要有以下几点:

主要目的不同。 Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。

二者的差异：

  • Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
  • Nutch 可以修剪内容，或者对内容格式进行转换。
  • Nutch 保存内容为数据库优化格式便于以后索引；刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
  • Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
  • Nutch 的定制能力不够强，不过现在已经有了一定改进。Heritrix 可控制的参数更多。

暂时还没有看到 Doug Cutting 对二者比较的评价．

Heritrix 的架构示意图：

Heritrix Arch.png

Nutch 的架构示意图：

Nutch Architecture.png
分享到：
| Heritrix
评论
2 楼 caizhongda 2009-09-21  
不能这么说。。。看你怎么用了，，Heritrix可以选项比较多些。
johnnyhg 写道
Heritrix仅仅是一个网页下载工具而已，跟Nutch那是没法比的。

1 楼 johnnyhg 2008-08-10  
Heritrix仅仅是一个网页下载工具而已，跟Nutch那是没法比的。
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Magicbox
Global site tag (gtag.js) - Google Analytics