刨根问底：网站robots写法详解！！

一、为什么要写robots.txt文件。

写robots.txt文件最大的用途是：网站中有不想被搜索引擎收录的部分或者是指定搜索引擎只收录特定的部分，才在网站上写robots.txt文件。这个文件作用是指定spider在您网站上的抓取范围。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

二、robots.txt文件放到哪里？

robots文件放到网站的根目录下，也就是”wwwroot”或者是”web”文件夹下。例如我的网站是：
作用原理：当spider访问一个网站（比如
三、什么时候用？
当出现一下情况的时候就要使用：
1、网站统一路径。例如网站动态路径改成伪静态的时候，就要使用来屏蔽掉动态链接。
2、网站的搜索链接。因为对于搜索的链接是生成，而且如果搜索的中文字符，那么搜索链接上也会出现中文，例如我网站上的“3、网站的tag标签链接。有些网站的tag标签，是没有进行因为命名的，那么点击之后的页面也是会出现中文，例如我网站“4、网站的js链接。
5、网站的css链接。
6、网站带中文的链接。
7、没有质量的页面。
8、后台登陆界面。网站的后台页面，同样不能让搜索引擎蜘蛛进行抓取。
9、数据库链接。
10、垃圾页面。例如网站有些留言的页面。
11、网站的死链接。网站的死链接当然是不想被搜索引擎抓取了。

四、robots.txt文件的书写：

robots.txt文件的书写，要根据自己的需求进行合理的配置。

注意要点：
1、首字母要大写。
2、冒号是英文状态下的冒号。
3、冒号后要有一个空格，而且有且只能有一个。

书写要点：文件名必须为小写，也就是”robots.txt”，不能是”ROBOTS.TXT””Robots.txt””roBots.txt”或者其他，不能有大写。

例如：我网站的robots.txt

看一个robots.txt案例：
User-agent: *
Disallow: /*?*
Disallow: /*.css$
Disallow: /*.js$
Disallow: /date
Disallow: /tag
Disallow: /*?s=*
Disallow: /wp-admin
Disallow: /e0yu

首先来解释一下：
User-agent: * 表示的让所有的搜索引擎的要遵循一下协议。
Disallow: /*?* 表示不让搜索引擎抓取网站上的动态路径。
Disallow: /*.css$ 表示不想让搜索引擎抓取网站的css样式文件。
Disallow: /*.js$ 表示不想让搜索引擎抓取网站的js脚本文件。
Disallow: /date 表示不想让搜索引擎抓取网站的文章归档页面，因为文章归档页面的链接是“Disallow: /tag 表示不想让搜索引擎抓取网站的tag标签页面，因为网站的tag标签，如果没有进行处理，在网站的地址栏上出现的就是中文界面。
Disallow: /*?s=* 表示的不想搜索引擎抓取网站的搜索界面，因为当在网站上搜索中文关键词的时候，那么地址栏上就会出现中文。
Disallow: /wp-admin 表示不想让搜索引擎抓取网站的后台页面，考虑到网站的安全问题，这个一定要禁止。
Disallow: /e0yu 这个是因为之前网站使用dede做的，改版之后收录过一些死链。

上面就是我昨天晚上学到的如何写网站的robots.txt文件，请高手指点。