Nutch插件Anthelion

[congshan82]

Anthelion 是 Nutch 插件，专注于爬取语义数据。此项目包括完整的 Nutch 1.6 版本，此插件放置在 /src/plugin/parse-anth。

Anthelion 使用在线学习方法来基于页面上下文预测富数据 Web 页面，从之前查看的页面提取的元数据获取反馈。Anthelion 可以根据设定目标爬取特定页面，比如，包括标记描述影片和至少两个不同属性。

主要有三个扩展：AnthelionScoringFilter、WdcParser、TripleExtractor。

Web 爬行工具是 Yahoo 很重要的核心，甚至超过了其他应用： Yahoo Mail, Yahoo Finance, Yahoo Messenger, Flickr 和 Tumblr。

项目地址： https://github.com/YahooArchive/anthelion