本文详细介绍了NutchCrawler的工作流程，包括Injector注入、Generator生成抓取列表、Fetcher网页抓取、ParseSegment网页解析、CrawlDBUpdate更新爬虫数据库及LinkDB倒排链接等关键步骤。
Nutch Crawler工作流程：
- Injector - 注入
- Generator - 产生抓取列表
- Fetcher - 从网上抓取网页
- Parse Segment - 对抓取的网页进行解析
- CrawlDB Update - 把抓取的URL状态和新发现的URL存入Crawl DB
- LinkDB invertlinks
在 2-5 步骤循环 topN 次，最后执行 5步骤。
转载于:https://www.cnblogs.com/xuekyo/archive/2013/04/19/3031215.html
扫一扫
114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
