网站优化之关于Robots.txt协议你不知道的奥秘

Robots.txt协议，看到这个用于网站与搜索引擎交流的通用协议我想大多数人肯定嗤之以鼻，这不简单嘛，不就是网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。百度百科介绍很清楚，难道你还比它写的还要清楚嘛。而今天我想说的是，百度百科毕竟是概念化，具体的实战还需要每个人去操作去执行。武汉网站优化公司盛世互联小编想问问大家，你认为你的Robots.txt协议，写对了吗？
一：设置成Allow全站点抓取

百度收录的越多，网站的排名越高?这是绝大多数站长的认为，事实上也是如此。但是也并非绝对成立：低质量的页面收录，会降低网站的排名效果，这一点你考虑到了吗?

如果你的网站结构不是非常的清晰，以及不存在多余的“功能”页面，不建议对网站开全站点的抓取，事实上，在SEO诊断中，只遇到极少数的一部分网站，可以真正的做到全站点都允许抓取，而不做屏蔽。随着功能的丰富，要做到允许全站点抓取，也不太可能。

二：什么样的页面不建议抓取

对于网站功能上有用的目录，有用的页面，在用户体验上可以得到更好的提升。但是搜索引擎方面来讲，就会造成：服务器负担，比如：大量的翻页评论，对优化上则没有任何的价值。

除此外还包含如：网站做了伪静态处理后，那么就要将动态链接屏蔽掉，避免搜索引擎抓取。用户登录目录、注册目录、无用的软件下载目录，如果是静态类型的站点，还要屏蔽掉动态类型的链接Disallow: /*?* 为什么呢?我们举个例子来看：

赞(0) 打赏