控錄蜘蛛和控尋機(jī)器人

搜索引擎要知道網(wǎng)上的新生事物，就是派人出去搜集。但是靠人工是不可能完成這個(gè)任務(wù)的。所以，搜索引擎的發(fā)明者就設(shè)計(jì)了計(jì)算機(jī)程序，派它們來(lái)執(zhí)行這個(gè)任務(wù)。

探測(cè)器有多種叫法，也叫crawler(爬行器)、spider(蜘蛛)、robot(機(jī)器人).這些形象的叫法是描繪搜索引擎派出的蜘蛛機(jī)器人爬行在互聯(lián)網(wǎng)上探測(cè)新的信息。Google把它的控測(cè)器叫做googlebot,百度就叫Baiduspider,MSN叫MSNbot,而Yahoo則稱為Slurp.這個(gè)控測(cè)器實(shí)際上是人們編制的計(jì)算機(jī)程序，由它不分晝夜地進(jìn)入訪問(wèn)各個(gè)網(wǎng)站，取回網(wǎng)站內(nèi)容、標(biāo)簽、圖片等，然后依照搜索引擎的算法給它們制定成索引。所以，這可不是“爬行”而是以光速來(lái)訪問(wèn)的。

一個(gè)搜索引擎會(huì)同時(shí)派出許多控測(cè)器。這些“機(jī)器人”或者從站主直接呈遞的網(wǎng)站URL去訪問(wèn)，或者由一個(gè)網(wǎng)絡(luò)用戶所裝的搜索引擎工具欄（比如GOOgle工具欄）得知用戶去的網(wǎng)站，或者是從一個(gè)網(wǎng)站中指向另一個(gè)網(wǎng)站的鏈接過(guò)去。控測(cè)器不一定是從網(wǎng)站的首頁(yè)進(jìn)入訪問(wèn)，所以，如果你要探測(cè)器訪問(wèn)你其他的網(wǎng)頁(yè)，那么這個(gè)進(jìn)入頁(yè)就需要和其他網(wǎng)頁(yè)相連。達(dá)到這個(gè)目的最容易的辦法就是在每一頁(yè)都加入指向首頁(yè)的鏈接。

但是，探測(cè)器對(duì)許多網(wǎng)站是不能完整取回信息的，這個(gè)大多是由于網(wǎng)站的設(shè)計(jì)沒(méi)有按照搜索引擎控測(cè)器的思路來(lái)進(jìn)行優(yōu)化。比如，如果一個(gè)網(wǎng)頁(yè)比較大，控測(cè)器也只能截取網(wǎng)頁(yè)的首部，而且只能跟著少量的鏈接走。Google目前能夠吸收100KB的文件，Yahoo會(huì)多一點(diǎn)。這個(gè)可以通過(guò)實(shí)驗(yàn)來(lái)檢驗(yàn)。將一個(gè)搜索關(guān)鍵詞放在一個(gè)很長(zhǎng)的網(wǎng)頁(yè)（約160KB）最后部分，然后看Google的緩存（cache）中顯現(xiàn)網(wǎng)頁(yè)的大小是多少。如果不出意料，Google的cache說(shuō)這個(gè)網(wǎng)頁(yè)只有101KB。很顯然，一部分內(nèi)容沒(méi)被Google抓走。

這個(gè)現(xiàn)象告訴我們不要將網(wǎng)頁(yè)設(shè)計(jì)得很長(zhǎng)、很大。將大的網(wǎng)頁(yè)拆成若干小的網(wǎng)頁(yè)具有很多的好處：

1、  使得網(wǎng)頁(yè)容易被探測(cè)器抓取。

2、  更容易建立合理的網(wǎng)站內(nèi)部鏈接關(guān)系。

3、  每個(gè)網(wǎng)頁(yè)可以更加集中在重要的關(guān)鍵詞語(yǔ)。

4、  節(jié)省服務(wù)器的帶寬。

5、  方便瀏覽者的閱讀。