网站藏着的「机器人红绿灯」：5 分钟看懂 Robots 协议

你有没有想过：当搜索引擎爬取网站时，是谁在指挥它们 “该去哪、不该去哪”？答案就藏在一个名叫 Robots 协议的简单规则里。这个看似神秘的技术，其实就像网站门口的 “交通信号灯”，用几句明文代码就能规范爬虫的行为。今天，我们用 5 分钟揭开它的面纱，新手也能轻松掌握。

什么是 Robots 协议？

简单说，Robots 协议是网站给搜索引擎爬虫看的 “说明书”。它通过一个名为robots.txt的文本文件，告诉爬虫哪些页面可以抓取、哪些需要避开。比如电商网站的用户隐私页、后台管理系统，都可能通过这个文件禁止爬虫访问。

这个文件必须放在网站的根目录下（比如https://example.com/robots.txt），爬虫访问网站时会先检查这个文件，再决定后续行动。值得注意的是，它更像一种 “君子协定”—— 善意的爬虫会遵守规则，但恶意爬虫可能无视它，这时候就需要配合其他技术手段防护了。

为什么需要 Robots 协议？

对网站来说，它的作用可不小：

• 保护隐私：像用户订单页、登录入口等敏感页面，通过 Robots 协议不让爬虫抓取，避免信息泄露。

• 节省资源：如果网站的图片库、历史存档页不需要被搜索到，禁止爬虫访问能减少服务器负担。

• 优化收录：引导爬虫优先抓取重要内容（比如首页、核心产品页），避免无关页面浪费爬取配额，让真正有价值的内容更快出现在搜索结果中。

看懂 Robots 协议的核心规则

robots.txt的写法很简单，核心是两个指令：

• User-agent：指定针对哪个爬虫（*代表所有爬虫）。

• Disallow：指定禁止抓取的路径（/代表整个网站，留空则表示允许所有）。

举个常见的例子：

User-agent: *

Disallow: /admin/

Disallow: /user/private/

Allow: /

这段代码的意思是：所有爬虫（*）不允许访问/admin/（后台目录）和/user/private/（用户隐私页），但可以抓取网站其他所有内容（Allow: /）。

再比如，有些网站会允许百度爬虫抓取，却限制其他爬虫：

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

新手必知的 2 个实用技巧 

1. 如何查看网站的 Robots 协议？

直接在网站域名后加/robots.txt即可。比如想查看豆瓣的规则，访问https://douban.com/robots.txt就能看到它对爬虫的限制。

1. 自己的网站该怎么写？

如果是个人网站，可能只需要简单禁止后台目录：

User-agent: *

Disallow: /wp-admin/

如果是企业站，建议把支付页、会员中心等路径加入Disallow，同时确保首页、产品列表页等核心内容允许抓取。

最后提醒

Robots 协议不是技术难题，却能帮网站更高效地与搜索引擎 “沟通”。记住它的核心逻辑：用robots.txt告诉爬虫 “能做什么、不能做什么”，既能保护网站安全，又能提升搜索收录质量。下次访问网站时，不妨试试在域名后加/robots.txt，看看它藏着哪些 “小秘密” 吧！