robots.txt

跳过字词转换说明

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。

Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“／”这两种表示是不同的URL，也不能用"Disallow: *.gif"这样的通配符。

其他的影响搜索引擎的行为的方法包括使用robots元数据：

<meta name="robots" content="noindex,nofollow" />

这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面。

例子

允许所有的机器人：

User-agent: *
Disallow:

另一写法

User-agent: *
Allow:/

仅允许特定的机器人：（name_spider用真实名字代替）

User-agent: name_spider
Allow:

拦截所有的机器人：

User-agent: *
Disallow: /

禁止所有机器人访问特定目录：

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

仅禁止坏爬虫访问特定目录（BadBot用真实的名字代替）：

User-agent: BadBot
Disallow: /private/

非标准扩展协议

自动发现 Sitemaps 文件

Sitemap 指令被几大搜索引擎支持（包括 Google, Yahoo, MSN 和 Ask），指定了网站 Sitemaps 文件的位置。 Sitemaps 文件包含了网站页面所在的 URL 的一个列表。Sitemap 指令并不受 User-agent 指令的限制，所以它可以放在 robots.txt 文件中的任意位置。 唯一要注意的就是要使用网站地图指令，<sitemap_location>,并将URL的"location"值换成网站地图的地址，例如，下面就是一个网站地图指令的例子：

Sitemap: <sitemap_http://www.example.com/sitemap.xml>

（摘自《搜索引擎优化宝典》（美）Jerri L.Ledord 著 马煜 译 第257页） 如何编写 Sitemaps 文件，请参考 sitemaps.org（英文） 上的说明。

Crawl-delay 指令

几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求：

User-agent: *
Crawl-delay: 10

Allow 指令

一些大的Crawlers支持一项Allow指令，可以抵消先前Disallow指令。比如Googlebot。

如何拦截 Googlebot（谷歌网站站长工具帮助）（简体中文）。

替代

虽然robots.txt的是老的和更为广泛接受的方法，还有其他的（可以用来连同robots.txt一起使用），允许更大的控制权，如只禁止索引图象和禁用归档页的内容。

Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

<meta name="robots" content="noindex,nofollow" />

外部連結

• The Web Robots Pages