关于

网站的优化手段里面，肯定少不了robots协议的提交，但是很多人对robots协议的作用经常一知半解，经常犯错。本文针对User-agent: *
Disallow: /admin //屏蔽后台管理文件，因为这些页面只有管理员会用，没有必要被搜索引擎抓取
Disallow: /?words //屏蔽搜索页面的的链接，这些都是临时生成的，没有必要被抓取。
Disallow: /*=* //屏蔽中文路径，中文路径的存在会对网站有副作用。
Disallow: /*?* //屏蔽动态路径的网页，保持网站路径的统一性
Disallow: /tag //屏蔽标签页面，没有被展示的意义
Disallow: /*.css$ //屏蔽css文件，没有必要被抓取
Disallow: /*.js$ //屏蔽js文件，没有必要被抓取

是否需要屏蔽应该要有依据，而不是胡乱屏蔽，理论上我们不希望展示给用户的页面就可以进行屏蔽。还有一点是很重要但是很多人又会犯的低级错误，那就是robots协议的书写需要在英文输入状态下进行书写，":"和"/"之间存在一个小小的空格。
不足之处，请多指教。——跑跑柯