标签：机器人

2016-02-18泥鳅SEO阅读(1368)评论(1)赞(0)

搜索引擎工作分为四大流程，分别是抓取、过滤、存储索引库、展示排序。1. 抓取。各大搜索引擎（百度、360、搜狗、搜搜、谷歌）通过自己的机器人、爬虫、蜘蛛等通过链接寻找到网站，并在该网站检索并搜取该网站允许搜索信息。抓取分为深度抓取与广度抓取...

2016-01-24泥鳅SEO阅读(1250)评论(1)赞(0)

今天我将给大家讲解阐述下，什么是robots及robots的用法： 一、什么是robots？首先我们先讲下robots的英文翻译是机器人的意思，而在网站中的robots就是机器人协议，简单来说就可以在robots.txt的文档中写入网站程序...