分析搜索引擎的抓取规则


搜索引擎的抓取规则
搜索引擎内部是有一个网址索引库的,所以搜索引擎蜘蛛是从搜索引擎的服务器出发,顺着搜索引擎已有的网址爬行一个网页,并将网页内容抓取回来。页面采集回来之后,搜索引擎会对其进行分析,将内容和链接分开,内容暂时先不说。分析出来链接之后,搜索引擎并不会马上去派蜘蛛进行抓取,而是把链接和锚文本记录下来交给网址索引库进行分析、对比和计算,最后放入网址索引库。进入了网址索引库之后,才会有蜘蛛去抓取。
我们感觉搜索引擎蜘蛛(spider)爬行,应该类似于真正的蜘蛛在蜘蛛网上爬行。也就是比如百度蜘蛛找到一个链接,顺着这个链接爬行到一个页面,然后再顺着这个页面里面的链接继续爬……这个类似于蜘蛛网,也类似于一棵大树。这个理论虽然正确,但是不准确。
如果出现了某个网页的外链,并不一定会立刻有蜘蛛去抓取这个页面,而是会有一个分析计算的过程。即便是这个外链在蜘蛛抓取之后被删除了,这个链接也有可能已经被搜索引擎记录,以后还有抓取的可能。而且下次如果蜘蛛再去抓取这个外链所在页面,发现链接不存在了,或者外链所在页面出现了404,那么只是减少了这个外链的权重,应该不会去网址索引库删除这个链接。
这可以看出搜索引擎也不是什么非常神密的吧。
[2011-12-09 13:39:16]