学习robots的含义和用法。

今天我将给大家讲解阐述下，什么是robots及robots的用法：

一、什么是robots？首先我们先讲下robots的英文翻译是机器人的意思，而在网站中的robots就是机器人协议，简单来说就可以在robots.txt的文档中写
入网站程序里面那些东西可以让搜索引擎蜘蛛抓取，哪些不能抓取的一种协议。

二、下面我们将去了解robots的含义：

①、User-agent: 指定的用户（切记User-agent： 的冒号后面要加个空格）

②、* 这个符号是指代表所有，任何的A-Z、a-z、0-9

③、$ 这个符号是指以某个文件、文件夹或者域名等为后缀（要加在所有名字的最后面）

④、Disallow 是指不允许的意思。

⑤、Allow 是指允许的意思。

⑥、Disallow: /*?* 是屏蔽所有的动态

⑦、User-agent: *是指定所有

三、了解robots的含义后我们来看看用法（以下用wp演示，织梦也一样写法）：

①、User-agent: *

Disallow: /*?*
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

以上是正确写法：第一个D，是不允许所有动态，第二个D到第四个D都是不允许抓取WP-XXX里面的所有东西。

四、怎么看robots.txt呢？在你访问一个网站的时候，可以在网站域名的后面加上robots.txt。

以上都是本人对robots.txt的理解，望老师给予点评！
英文翻译, 机器人, 网站