百度蜘蛛日志抓取解讀 提高百度收錄

很多網(wǎng)站目前使用的都是虛擬空間，都能夠提供日志。日志是指在網(wǎng)站根目錄下的logfiles文件夾里面日期.txt文本文件有很多介紹通過(guò)http查看返回命令的那種辦法來(lái)查看蜘蛛?，F(xiàn)在更多的網(wǎng)站是沒有提供可以通過(guò)軟件來(lái)查看的日志格式。
　　更多的是類似下面的日志格式，如下：
　　03:28:34 GET /goods.php 202.108.7.205 200 34696 390
　　第一 03:28:34 訪問(wèn)時(shí)間
　　第二 GET /goods.php 訪問(wèn)的頁(yè)面 get表示獲取
　　第三 202.108.7.205 訪問(wèn)網(wǎng)站的源IP
　　第四 200 成功訪問(wèn)
　　第五 34696 390 表示記錄的內(nèi)容大小
　　接下來(lái)要介紹幾個(gè)HTTP狀態(tài)碼擴(kuò)展基本知識(shí)：
　　成功2×× 成功處理了請(qǐng)求的狀態(tài)碼。
　　200 服務(wù)器已成功處理了請(qǐng)求并提供了請(qǐng)求的網(wǎng)頁(yè)。
　　204 服務(wù)器成功處理了請(qǐng)求，但沒有返回任何內(nèi)容。
　　重定向3××每次請(qǐng)求中使用重定向不要超過(guò) 5 次。
　　301 請(qǐng)求的網(wǎng)頁(yè)已永久移動(dòng)到新位置。當(dāng)URLs發(fā)生變化時(shí)，使用301代碼。搜索引擎索引中保存新的URL。
　　302 請(qǐng)求的網(wǎng)頁(yè)臨時(shí)移動(dòng)到新位置。搜索引擎索引中保存原來(lái)的URL。
　　304 如果網(wǎng)頁(yè)自請(qǐng)求者上次請(qǐng)求后沒有更新，則用304代碼告訴搜索引擎機(jī)器人，可節(jié)省帶寬和開銷。
　　客戶端錯(cuò)誤4×× 表示請(qǐng)求可能出錯(cuò)，妨礙了服務(wù)器的處理。
　　400 服務(wù)器不理解請(qǐng)求的語(yǔ)法。
　　403 服務(wù)器拒絕請(qǐng)求。
　　404 服務(wù)器找不到請(qǐng)求的網(wǎng)頁(yè)。服務(wù)器上不存在的網(wǎng)頁(yè)經(jīng)常會(huì)返回此代碼。
　　服務(wù)器錯(cuò)誤5××表示服務(wù)器在處理請(qǐng)求時(shí)發(fā)生內(nèi)部錯(cuò)誤。這些錯(cuò)誤可能是服務(wù)器本身的錯(cuò)誤，而不是請(qǐng)求出錯(cuò)。
　　500 服務(wù)器遇到錯(cuò)誤，無(wú)法完成請(qǐng)求。
　　503 服務(wù)器目前無(wú)法使用(由于超載或停機(jī)維護(hù))。通常，這只是暫時(shí)狀態(tài)。
　　以上日志提取于：http://www..027zhan.com 如果你不會(huì)提取日志的話
　　查看服務(wù)器日志辦法：日志默認(rèn)存放在System32\LogFiles目錄下，使用W3C擴(kuò)展格式
　　虛擬主機(jī)查看日志辦法：根目錄下logfiles文件(一般需虛擬主機(jī)面板中開啟日志記錄)
　　2010-05-06 17:48:16 W3SVC945321 222.73.167.138 GET /FUKE/CARNATION.html - 80 - 123.125.66.42 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 7341
　　1、2010-05-06 17:48:16 蜘蛛光臨的時(shí)間
　　2、W3SVC945321 日志文件名
　　3、222.73.167.138 網(wǎng)站服務(wù)器IP地址
　　4、GET 是從服務(wù)器上獲取數(shù)據(jù)
　　5、/FUKE/CARNATION.html 抓取的文件
　　6、- 80 - 80端口
　　7、123.125.66.42 蜘蛛的來(lái)路地址
　　8、Baiduspider+ 百度蜘蛛的名字
　　9、+http://www.baidu.com/search/spider.htm 百度蜘蛛機(jī)器人的介紹
　　10、200 0 0 7341 200服務(wù)器成功返回網(wǎng)頁(yè)