DBA notes

Doug Cutting 在邮件列表中提及新版本 0.6 的发布情况：

I plan to make a 0.6 release before anything is moved to Apache

移到 Apache 之前会发布 0.6 版本，现在 CVS 中的版本已经比较稳定。

Doug Cutting 开发的另一个项目已经贡献到 Apache 项目中，相信 Nutch 的并入会吸引更多优秀程序员投入到开发队伍中来。也相信，不久的将来，有 Nutch 支持的个人搜索引擎或是主题搜索引擎会大行其道。到了那个时候，或许 Google 这种垄断式搜索巨头的影响力已经不再！

Continue reading "Nutch 也将并入 Apache 项目？" »

Posted by Fenng at 1:10 PM | Permalink | Comments (0)

ITPub 的 Blog　是使用 Plog 搭建的。在发帖的时候如果是 '\'(backslash)则会被程序吃掉。

如果是多加一个反斜线，如引号中的样子: '\\'。可以在预览中显示出来，但是正式更新之后就不行了。在 HTML 模式下用　 来代替，更新文档，OK！应该可以了。(一定注意不要预览)。看来是 Plog 的 Bug 了。

Continue reading "在 Plog 中可以显示 Backslash 么？" »

Posted by Fenng at 12:17 PM | Permalink | Comments (4)

虽然 Nutch 新的版本(0.6)还没有正式发布。但是已经从 CVS 上看到相关的信息了。从Nutch官方站点也可以得到最新的 nightly 构建版本。0.6 相比 0.5 来说，添加了不少新功能，当然代码量也有很大的扩充--压缩包有 35M 之多。

Continue reading "Nutch 0.6 中新的改进" »

Posted by Fenng at 11:56 AM | Permalink | Comments (0)

前几天介绍了 Nutch 的基本信息 以及 如何使用 Nutch 进行 Intranet crawling。下面进行一下全网的爬行(Whole-web Crawling) 的操作测试。

Nutch 的数据包括两种类型:

• Web 数据库。包含所有Nutch可以辨别的页面，以及这些页面间的链接信息。
• 段(segment)集合. 每个 segment 是作为一个单元(unit)被获取并索引的页面集合。Segment 数据包括如下类型：
  • fetchlist：指定待获取的一个页面集合的文件
  • fetcher output：包含获取到的页面的文件集合
  • index：fetcher 输出的 Lucene 格式的索引

注：如果发现有解释不清的地方，请参考这里，不过说实话，Nutch的文档远远不够完善，还存在很多语焉不详的地方。

Continue reading "Nutch 初体验之二" »

Posted by Fenng at 12:24 PM | Permalink | Comments (10) | TrackBacks (1)