網(wǎng)頁(yè)收錄第一階段：大小通吃
搜索引擎的網(wǎng)頁(yè)抓取都是采取「大小通吃」的策略，也就是把網(wǎng)頁(yè)中能發(fā)現(xiàn)的鏈接逐一加入到待抓取URL中，機(jī)械性的將新抓取的網(wǎng)頁(yè)中的URL提取出來(lái)，這種方式雖然比較古老，但效果很好，這就是為什么很多站長(zhǎng)反應(yīng)蜘蛛來(lái)訪問(wèn)了，但沒(méi)有收錄的原因，這僅僅是第一階段。
網(wǎng)頁(yè)收錄第二階段：網(wǎng)頁(yè)評(píng)級(jí)
而第二階段則是對(duì)網(wǎng)頁(yè)的重要性進(jìn)行評(píng)級(jí)，PageRank是一種著名的鏈接分析算法，可以用來(lái)衡量網(wǎng)頁(yè)的重要性，很自然的，站長(zhǎng)可以用PageRank的思路來(lái)對(duì)URL進(jìn)行排序，這就是各位熱衷的「發(fā)外鏈」，據(jù)一位朋友了解，在中國(guó)「發(fā)外鏈」這個(gè)市場(chǎng)每年有上億元的規(guī)模。
爬蟲(chóng)的目的就是去下載網(wǎng)頁(yè)，但PageRank是個(gè)全局性算法，也就是當(dāng)所有網(wǎng)頁(yè)有下載完成后，其計(jì)算結(jié)果才是可靠的。對(duì)于中小網(wǎng)站來(lái)講，服務(wù)器如果質(zhì)量不好，如果在抓取過(guò)程中，只看到部分內(nèi)容，在抓取階段是無(wú)法獲得可靠的PageRank得分。
網(wǎng)頁(yè)收錄第三階段：OCIP策略
OCIP策略更像是PageRank算法的改進(jìn)。在算法開(kāi)始之前，每個(gè)網(wǎng)頁(yè)都給予相同的「現(xiàn)金」，每當(dāng)下載某個(gè)頁(yè)面A后，A將自己的「現(xiàn)金」平均分給頁(yè)面中包含的鏈接頁(yè)面，把自己的「現(xiàn)金」清空。這就是為什么導(dǎo)出的鏈接越少，權(quán)重會(huì)越高的原因之一。
而對(duì)于待抓取的網(wǎng)頁(yè)，會(huì)根據(jù)手頭擁有的現(xiàn)金多少排序，優(yōu)先下載現(xiàn)金最充裕的網(wǎng)頁(yè)，OCIP大致與PageRank思路一致，區(qū)別在于：PageRank每次要迭代計(jì)算，而OCIP則不需要，所以計(jì)算速度遠(yuǎn)遠(yuǎn)快于PageRank，適合實(shí)時(shí)計(jì)算使用。這可能就是為什么很多網(wǎng)頁(yè)會(huì)出現(xiàn)「秒收」的情況了。
網(wǎng)頁(yè)收錄第四階段：大站優(yōu)先策略
大站優(yōu)先的思路很直接，以網(wǎng)站為單位來(lái)衡量網(wǎng)頁(yè)的重要性，對(duì)于待抓取的URL隊(duì)列中的網(wǎng)頁(yè)，根據(jù)所述網(wǎng)站歸類(lèi)，如果哪個(gè)網(wǎng)站等待下載的頁(yè)面最多，則優(yōu)先下載這些鏈接。其本質(zhì)思想是「傾向于優(yōu)先下載大型網(wǎng)站URL」。因?yàn)榇笮途W(wǎng)站往往包含更多的頁(yè)面。鑒于大型網(wǎng)站往往是名站，其網(wǎng)頁(yè)質(zhì)量一般較高，所以這個(gè)思路雖然簡(jiǎn)單，但有一定依據(jù)。
實(shí)驗(yàn)表明這個(gè)算法雖然簡(jiǎn)單粗暴，但卻能收錄高質(zhì)量網(wǎng)頁(yè)，很有效果。這也是為什么許多網(wǎng)站的內(nèi)容被轉(zhuǎn)載后，大站卻能排到你前面的最重要原因之一。
