讲解robots.txt的规范写法

1.为什么要写robots.txt

因为这是和搜索引擎的协议，写的目的是为了不让搜索引擎抓取你不想让搜索引擎收录的路径。

2.robots.txt文件放到哪里？

这个协议文件是要上传到网站的根目录下面的。搜索引擎第一个抓取的就是这个这个文件，如果你写了不让搜索引擎抓取的路径，搜索引擎就会不抓取了。

3，什么时候用？

（1）当路径不统一的时候，或者程序中自带的会出现2个路径，1个静态路径，1个动态路径，那么我们就要屏蔽这些动态路径。

（2）搜索的路径也要屏蔽

因为如果不屏蔽的话，这些乱七八糟的搜索路径也有可能被收录，如果收录的好多垃圾链接，那么对于整个网站的权重是有影响的，对于排名也是有影响的。

（3）中文路径

有的像wp程序和织梦程序都有可能再带的中文路径，我们当右键查看源文件，查看到一条一条有中文的路径的时候，我们就要在协议文件中添加上，从而屏蔽掉，不让搜索引擎抓取。

（4）动态路径

（5）js路径

（6）css路径

（7）tag标签

4.robots文件的书写：

User-agent: 定义搜索引擎类型

* 定义各种搜索引擎

User-agent: * 意思是各种搜索引擎都可以抓取

Disallow: /*?*定义不允许抓取所有的动态路径

Disallow: /*.css$屏蔽css文件

Disallow: /*.js$ 屏蔽js文件

Disallow: /a/ 斜杠后面的为关键词，屏蔽所有的路径

中出现该关键词的。

注意事项：

1.冒号为英文
2.冒号后面是空格
3.然后是斜杠
4.斜杠后面没有空格，有空格就代表屏蔽真个网站了，不能犯这种低级错误。
5.$ 是结束符号的意思。
6.首字母要大写
7.注意的一点是文件名的写法：文件名也不能写错，这是规定，否则写错了一个字母搜索引擎就会不认识。