谈谈robots对网站的影响以及设置方法

什么是robots呢？robots就是一个搜索引擎访问网站的一个协议。
robots的功用：
1、限制所有搜索引擎访问网站
2、限制某个搜索引擎访问网站
3、限制搜索引擎访问某些页面，限制搜索引擎访问机密的页面。
robots对网站的影响：
网站如果设置不正确，会影响搜索引擎对我们网站的访问，影响网站被收录和在搜索引擎的排名。
如果不小心把机密信息让搜索引擎抓取了，机密的信息就会泄露出去了。

robots最基本的写法：
User-agent: *
Allow: /
Disallow: /bin/