如果你接触过网站建设或 SEO,一定听说过 robot txt(标准写法为 robots.txt)。它是放在网站根目录下的一个纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。正确配置 robots.txt,既能保护后台和隐私目录,也能帮助爬虫更高效地发现重要内容。
robots.txt 遵循“爬虫协议”,通过简单的指令与搜索引擎沟通。常见用途包括:屏蔽后台管理目录、阻止抓取测试页面、限制无关参数页面,以及通过 Sitemap 指令向搜索引擎提交站点地图。
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://example.com/sitemap.xml
该示例禁止所有爬虫抓取后台和临时目录,并声明了站点地图位置。注意 robots.txt 必须放在域名根目录,文件名全小写,且不能通过子目录生效。
首先,robots.txt 只是建议性协议,不能阻止恶意爬虫,敏感内容应使用登录或权限控制。其次,Disallow 并不等于不被收录,被屏蔽的页面仍可能通过外链出现在搜索结果中。最后,修改 robots.txt 后要测试验证,避免误屏蔽整站。
总之,robot txt 是网站与搜索引擎之间的基础沟通文件。合理配置它可以引导爬虫、保护隐私路径,但也要配合权限控制、Sitemap 和 SEO 策略,才能发挥真正价值。