robots基本用法！

今天我给大家讲讲robots，那么什么是robots？如何查看robot？robot用法及写法？
1.什么是robots？
robot协议（也称为爬虫协议、机器人协议等）：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容。
2.如何查看robot？
我们可以输入我们域名 + robots.txt回车，就会看到robots界面，但是如果我们网站没有写robots协议的话那就搜不到的。
3.robot用法及写法？
用法：
我们写robots是为了不让搜索引擎抓取我们网站内一些数据的，那么有哪些不让搜索引擎抓呢？我就简单来介绍一下：
1）.用户登录地址。
2）.注册地址。
3）.核心的目录数据。
4）.空白页。
5）.css样式。
写法：
比如我的网站的robots.txt写法如下：

User-agent: * Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templets

其中：User-agent表示：指定访客。 *：所有的意思。就是指所有的搜索引擎。 那么：User-agent: * 的意思就是：允许所有搜索引擎来抓取我们的网站。 Disallow意思是：不允许抓取。 Allow意思是：允许抓取。总结： 关于robots方面的知识我介绍完了，希望对大家有所帮助，另外需要我们记住一点，就是在我们不知道哪些需要蜘蛛抓取，哪些不需要抓取得情况下我们千万不要乱写，切记。感谢阅读！