扒一扒Robots文件的那些事
本帖最后由 沫雨洪流 于 2016-1-22 10:42 编辑 文章开头,我们先来看看,robots文件的基础内容,以此来解决三个基本问题。 1 了解什么是ROBOTS.TXTrobots文件是一个针对搜索引擎蜘蛛的协议,可以不遵守也可以遵...
本帖最后由 沫雨洪流 于 2016-1-22 10:42 编辑 文章开头,我们先来看看,robots文件的基础内容,以此来解决三个基本问题。 1 了解什么是ROBOTS.TXTrobots文件是一个针对搜索引擎蜘蛛的协议,可以不遵守也可以遵...