宝塔面板下nginx屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

seoshen

于 2020-03-23 23:00:39 发布

阅读量4.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：杂七杂八文章标签： nginx 服务器

最近查看服务器日志，发现一些垃圾蜘蛛，一直爬行很多，比如以下这些垃圾，太烦人了。

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。