首先,我在百度上搜素了关于webprosbot的UA信息,结果一无所获,没有一点有用的信息,为了求证,我在其他搜索引擎上搜索了该爬虫,包括bing、谷歌等。终于让我找到了这个爬虫的相关信息。
该蜘蛛来源于亚马逊云科技,并且会对站内资源进行爬取,例如爬取本站以下内容:
通过对该IP地址进行NSlookup反查,我确认了该IP和此爬虫来自亚马逊云,至于为何要爬取,大多数都是为了方便竞争网站的分析。
————————————————
首先,我在百度上搜素了关于webprosbot的UA信息,结果一无所获,没有一点有用的信息,为了求证,我在其他搜索引擎上搜索了该爬虫,包括bing、谷歌等。终于让我找到了这个爬虫的相关信息。
该蜘蛛来源于亚马逊云科技,并且会对站内资源进行爬取,例如爬取本站以下内容:
通过对该IP地址进行NSlookup反查,我确认了该IP和此爬虫来自亚马逊云,至于为何要爬取,大多数都是为了方便竞争网站的分析。
————————————————