说到robot，很多人可能会联想到采集机器人、自动化工具之类的，当然在这里介绍的不是哪些，而是网络爬虫与web之间的访问授权协议——robots.txt，这是当年搜索引擎与网站斗争平衡的产物，但随着互联网上搜索引擎慢慢处于主导地位，该协议也就慢慢淡化了，对于很多年轻的站长可能还不知道此物为何物，在这里就简单的介绍下。
根据协议，网站管理员可以在网站域名的根目录下放一个文本文件tobots.txt，里面可以指定不同的网络爬虫能访问的页面和禁止访问的页面，指定的页面由正则表达式表示。网络爬虫在采集这个网站之前，首先获取到这个文件，然后解析到其中的规则，然后根据规则来采集网站的数据。这个协议的存在更多的是需要网络爬虫去遵守，而起不到防止爬虫的功能。
robots.txt写作语法与实例：
下面是百度网站的robots.txt示例片断，具体访问： http://www.baidu.com/robots.txt
User-agent: Baiduspider Disallow: /baidu Disallow: /s? Disallow: /ulink? Disallow: /link? User-agent: Googlebot Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link?
...
User-agent: * Disallow: /
该文件协议的内容指定了百度爬虫和Google爬虫禁止访问的内容路径。
具体语法分析：User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。可以用#来添加注释说明
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的a、b、c目录）
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的MangCrawler）
User-agent: MangCrawler
Disallow:
User-agent: *
Disallow: /
robots meta的一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
其中
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="ALL"＞；
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="NONE"＞
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以 限制GOOGLE是否保留网页快照。例如：
＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。