robots.txt怎么写？从零开始掌握robots.txt编写方法

📍 WDQWDWQD987AAAAA:216.73.217.5
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e17ce7164858.html
📄

robots.txt 是网站与搜索引擎爬虫之间的“沟通协议”，正确编写能引导爬虫抓取重要页面，避免浪费抓取配额。那么，robots.txt怎么写？本文从基础语法到实战示例，帮你快速掌握。

一、robots.txt 的基本结构

robots.txt 是一个纯文本文件，必须放在网站根目录，文件名全小写。其核心由若干条记录组成，每条记录包含 User-agent（指定爬虫）和若干规则（Allow 或 Disallow）。

• User-agent：指定规则适用的爬虫，* 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，帮助爬虫发现页面。

二、编写步骤与注意事项

1. 创建 robots.txt 文件，放在网站根目录。
2. 确定要屏蔽的目录，如后台、搜索页、购物车等。
3. 按爬虫分别编写规则，注意规则从上到下匹配，最长匹配优先。
4. 添加 Sitemap 地址，便于爬虫抓取。
5. 使用搜索引擎官方工具验证规则是否生效。

注意：Disallow 只阻止爬虫抓取，不阻止页面被索引；如需彻底移除，应使用 noindex 标签。另外，不要屏蔽 CSS 和 JS 文件，否则可能影响页面渲染和收录。

三、常见示例

禁止所有爬虫抓取整个网站：

User-agent: *
Disallow: /

允许所有爬虫抓取，并声明站点地图：

User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml

禁止抓取后台和搜索页：

User-agent: *
Disallow: /admin/
Disallow: /search/

掌握以上内容，你就能根据网站需求写出规范的 robots.txt，让爬虫更高效地抓取你的站点。