网站的优化手段里面,肯定少不了robots协议的提交,但是很多人对robots协议的作用经常一知半解,经常犯错。本文针对User-agent: *
Disallow: /admin //屏蔽后台管理文件,因为这些页面只有管理员会用,没有必要被搜索引擎抓取
Disallow: /?words //屏蔽搜索页面的的链接,这些都是临时生成的,没有必要被抓取。
Disallow: /*=* //屏蔽中文路径,中文路径的存在会对网站有副作用。
Disallow: /*?* //屏蔽动态路径的网页,保持网站路径的统一性
Disallow: /tag //屏蔽标签页面,没有被展示的意义
Disallow: /*.css$ //屏蔽css文件,没有必要被抓取
Disallow: /*.js$ //屏蔽js文件,没有必要被抓取
是否需要屏蔽应该要有依据,而不是胡乱屏蔽,理论上我们不希望展示给用户的页面就可以进行屏蔽。还有一点是很重要但是很多人又会犯的低级错误,那就是robots协议的书写需要在英文输入状态下进行书写,":"和"/"之间存在一个小小的空格。
不足之处,请多指教。——跑跑柯
评论前必须登录!
注册