免费亚洲欧美精品电影_国内精品偷拍福利视频_美女黄网站色视免费国产_国产不卡福利片在线观看

今天杭州網(wǎng)站設(shè)計(jì)--帷拓小編說(shuō)說(shuō)跟蹤鏈接

我了抓取網(wǎng)上盡量多的頁(yè)面，搜索引擎蜘蛛會(huì)跟蹤頁(yè)面上的鏈接，從一個(gè)頁(yè)面爬行到下一個(gè)頁(yè)面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個(gè)名稱的由來(lái)。整個(gè)互聯(lián)網(wǎng)是由相互連接的網(wǎng)站及頁(yè)面組成。從理論上說(shuō)，蜘蛛從任何一個(gè)頁(yè)面出發(fā)，順著鏈接都可以爬行到網(wǎng)上的所有頁(yè)面。當(dāng)然，由于網(wǎng)站及頁(yè)面鏈接結(jié)構(gòu)異常復(fù)雜，蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上的所有頁(yè)面。

最簡(jiǎn)單的爬行便利策略分為兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。所謂的深度優(yōu)先，指的蜘蛛沿著發(fā)現(xiàn)的鏈接一直往向前爬行，直到前面在也沒(méi)有其他鏈接，然后返回到第一個(gè)頁(yè)面，沿著另一個(gè)鏈接再一直往前爬行。

如圖一所示，蜘蛛跟蹤鏈接，從A頁(yè)面爬行到A1,A2,A3,A4,到A4頁(yè)面后。已經(jīng)冒雨其它頁(yè)面可以跟蹤就返回A頁(yè)面，順著頁(yè)面上的另一個(gè)鏈接，爬行到B1,B2,B3.B4.在深度優(yōu)先策略中，蜘蛛一直爬到無(wú)法再向前，才返回爬另一條線。

廣度優(yōu)先是指蜘蛛在一個(gè)頁(yè)面上發(fā)現(xiàn)多個(gè)鏈接時(shí)，不是順著一個(gè)鏈接一直向前，而是把頁(yè)面上所有第一層的鏈接都爬個(gè)遍，然后在沿著第二層頁(yè)面上發(fā)現(xiàn)的鏈接爬向第三層頁(yè)面。

杭州網(wǎng)站設(shè)計(jì)--帷拓小編發(fā)張圖給大家看看，如下圖所示，蜘蛛從A頁(yè)面順著鏈接爬行到A1,B1,C1頁(yè)面，直到A頁(yè)面上的所有鏈接都爬行完，然后再?gòu)?/font>A1 頁(yè)面發(fā)現(xiàn)的下一層鏈接，爬行A2 A3..........

從理論上說(shuō)，無(wú)論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的世界，都能爬完整個(gè)互聯(lián)網(wǎng)。在實(shí)際的工作中，蜘蛛的帶寬資源，時(shí)間都不是無(wú)限的，也不可能爬完所有的頁(yè)面。實(shí)際上最大的搜索引擎也只爬行和收錄了互聯(lián)網(wǎng)的一小部分。深度優(yōu)先和廣度優(yōu)先通常是混合使用的，這樣即可以照顧到盡量多的網(wǎng)站（廣度優(yōu)先）也能照顧到一部分網(wǎng)站的內(nèi)頁(yè)（深度優(yōu)先），同時(shí)也會(huì)考慮頁(yè)面權(quán)重，網(wǎng)站規(guī)模。外鏈，更新等因素。網(wǎng)站建設(shè)好后要做的事情很多，要學(xué)的東西也很多，大家好好的看看我寫的文章。