搜索引擎工作原理一共包括三个过程:网页搜索,预处理信息,建立索引。
细化分为:爬行—抓取—处理抓取信息—建立索引—呈现排名
一:爬行
爬行的目的:建立待抓取列表
谷歌爬虫:ddos 百度爬虫:spider
1、发现:
新的网站
被动等待:设置好Robots.txt文件,放在服务器等待爬虫自己过来爬取。(谷歌几周,百度一个月至几个月不等。)
主动引爬虫:写带有链接的软文花钱放在高质量高权重的网站中、利用权重高的博客、在质量高的论坛里发外链。
搜索引擎工作原理一共包括三个过程:网页搜索,预处理信息,建立索引。
细化分为:爬行—抓取—处理抓取信息—建立索引—呈现排名
一:爬行
爬行的目的:建立待抓取列表
谷歌爬虫:ddos 百度爬虫:spider
1、发现:
新的网站
被动等待:设置好Robots.txt文件,放在服务器等待爬虫自己过来爬取。(谷歌几周,百度一个月至几个月不等。)
主动引爬虫:写带有链接的软文花钱放在高质量高权重的网站中、利用权重高的博客、在质量高的论坛里发外链。
评论前必须登录!
注册