论述robots协议

以网站
robots协议指spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。
robots.txt文件应该放置在网站根目录下。
首先会检查该网站中是否存在如下图
参数描述:
User-agent:定义所有搜索引擎的抓取,如
User-agent:*
Disallow: (是定义不允许被抓取的路径.及文件.如果是路径就这样写)
Disallow: /admin/ (不允许被抓取的路径admin)
Disallow: /admin (不允许被抓取的文件以/admin开头的文件)
allow: (是定义允许被抓取的路径.可以不用写,因为默认就是给允许抓取的)
注这些参数:后必须有空格