Python爬蟲實(shí)戰(zhàn)之爬取攜程評(píng)論

一、分析數(shù)據(jù)源

這里的數(shù)據(jù)源是指html網(wǎng)頁？還是Aajx異步。對(duì)于爬蟲初學(xué)者來說，可能不知道怎么判斷，這里辰哥也手把手過一遍。

提示：以下操作均不需要登錄（當(dāng)然登錄也可以）

咱們先在瀏覽器里面搜索攜程，然后在攜程里面任意搜索一個(gè)景點(diǎn)：長(zhǎng)隆野生動(dòng)物世界，這里就以長(zhǎng)隆野生動(dòng)物世界為例，講解如何去爬取攜程評(píng)論數(shù)據(jù)。

頁面下方則是評(píng)論數(shù)據(jù)

從上面兩張圖可以看出，點(diǎn)擊評(píng)論下一頁，瀏覽器的鏈接沒有變化，說明數(shù)據(jù)是Ajax異步請(qǐng)求。因此我們就找到了數(shù)據(jù)是異步加載過來的，這時(shí)候需要去network里面是查看數(shù)據(jù)包。

二、分析數(shù)據(jù)包

在network中找到下面這個(gè)數(shù)據(jù)包

查看Preview里面的內(nèi)容（請(qǐng)求返回內(nèi)容）

可以看到數(shù)據(jù)已經(jīng)請(qǐng)求到了，下面看一下數(shù)據(jù)是否是正確的（和網(wǎng)頁內(nèi)容一致）。

ok，沒問題之后，下面開始編寫Python程序去請(qǐng)求數(shù)據(jù)。

1.請(qǐng)求地址

可以獲取到請(qǐng)求鏈接和請(qǐng)求方式。

這里請(qǐng)求不用添加請(qǐng)求頭header也是可以的。其中postUrl是請(qǐng)求鏈接，data_1是請(qǐng)求參數(shù)。

2.請(qǐng)求參數(shù)

在network里可以看到請(qǐng)求參數(shù)

在程序中的構(gòu)建如下：

其中需要關(guān)注的是arg中的pageIndex（頁數(shù)），pageSize（每頁條數(shù)）。

最終結(jié)果如下：

該景點(diǎn)的評(píng)論就可以成功爬取下來了。

三、采集全部評(píng)論

上面只是采集了第一頁的評(píng)論數(shù)據(jù)，通過改變arg中的pageIndex（頁數(shù)），就可以遍歷爬取全部的評(píng)論。

比如這個(gè)景點(diǎn)一共是300頁?，F(xiàn)在把循環(huán)給加上

最終的完整代碼如下：

到此這篇關(guān)于Python爬蟲實(shí)戰(zhàn)之爬取攜程評(píng)論的文章就介紹到這了,更多相關(guān)Python爬取攜程評(píng)論內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！