【深入探讨】谈谈“抓取和索引”与我的故事

本帖最后由 Jason_Chen 于 2015-9-22 15:47 编辑

　　抓取

　　一个新网站怎么才会让百度知道你的网站的存在，让蜘蛛来你的网站抓取呢？通常我们有三种方法。

　　外链

　　发布外链让蜘蛛在抓取别的网站的时候沿着链接爬到我们网站，从而发现网站，抓取网页。

　　提交链接

　　直接像各大搜索引擎提交链接，告诉搜索引擎这里有一个新网站或者新网页，让蜘蛛来抓取。（现在很多相关的插件和功能也能做到这一点。）

　　自然发现

　　不管他，一直正常运营让蜘蛛自然发现网站和网页的存在。

　　相信抓取大家都很熟悉，也没什么特别的讨论点。那么我们接下来继续看看索引。

　　索引

　　当蜘蛛抓取页面后进行一系列的筛选后才对网页进行索引，收入百度数据库中。

　　通常来说只要满足以下几个点的页面都会被索引。

　　原创性

　　文章具有原创性，不能是抄袭。

　　相关性

　　与页面主题相符合，切忌题文不符。

　　稀缺性

　　文章写作手法或呈现手法，是其他竞争网站所不具备的。用不同的方式来满足用户，称之为稀缺。

　　受众性

　　页面内容用户访问量、停留时间、转化率和互动性等这些都能反应页面受众情况。

　　合理性

　　合理的网站优化，利于蜘蛛抓取、打开速度快、url符合抓取规则、没作弊、网页打开稳定等等。

　　正题

　　我上面说的这些大家一定都很清楚，但我今天想说的重点不是这些，请问有没有人试过，感觉自己已经满足的索引的大部分条件或者认为完全满足的。但新网站一样持续几十天甚至一个月都没看到索引呢？并且你在日志等工具上都能看到蜘蛛来网站抓取的踪迹，但却久久不索引。如果你有出现这种情况的话，那么就请看下去。

　　时间的影响

　　出现以上情况，而且很疑惑的同学，不妨想想，自己在上线的时候做了些什么操作？由于自己的网站就出现这样的问题，所以总结了两点提醒那些和我遇到同样情况的同学。

　　这是我的网站：【
　　修改网站

　　对于一些新人站长来说，可能会忽略了一些细节，有时候刚上线的网站，由于各种原因想改进URL和标题描述等。这时候我们通常会观察日志和索引。看看蜘蛛来过没？索引了没？而就是因为这些操作导致了新网站收录延迟。为什么呢？

　　原因很简单，首先一般你看的日志都是昨天的，或者最快也是几个小时前的。那么当你看完日志发现蜘蛛还没来，然后看到还没有索引，那么就去修改标题。

　　但你有没有想过，你修改的那几分钟或者那几个小时蜘蛛刚好来了？那么他抓取到的就是你修改前的URL或者标题。当蜘蛛发现这个网站频繁修改的时候，就会给网站一个审核期，等待网站稳定下来。所以就会出现正常抓取观察但就是不索引，这其实只是进了一个“沙盒”百度在观察你的网站的表现而已，从而让收录变慢了。

　　内容少

　　新上线的网站，百度都会观察一段时间，如果你网站一上线内容就比较充实且满足索引条件，那么就会出现1-2个星期就收录你的网站。

　　但有些站长却是网站上线后再上传内容，这会使得蜘蛛在抓取的几天里，发现内容变化大，且内容数量太少，从而进行观察。这也是拖延你网站索引其中一个原因。

　　需要注意的是，如果蜘蛛来之后你有修改过网站的话，那么在搜索引擎观察期间内容一定要尽快填充，给搜索引擎呈现一个网站已经稳定的逐步运营的信息，让它尽快收录。

　　By：JasonChen