主頁 > 知識庫 > Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作

Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作

熱門標簽:房產(chǎn)電銷外呼系統(tǒng) 地圖標注的意義點 南京銷售外呼系統(tǒng)軟件 上海機器人外呼系統(tǒng)哪家好 315電話機器人廣告 地圖制圖標注位置改變是移位嗎 浙江電銷卡外呼系統(tǒng)好用嗎 地圖標注微信發(fā)送位置不顯示 蓋州市地圖標注

本次爬取網(wǎng)站為opgg,網(wǎng)址為:” http://www.op.gg/champion/statistics”

由網(wǎng)站界面可以看出,右側有英雄的詳細信息,以Garen為例,勝率為53.84%,選取率為16.99%,常用位置為上單

現(xiàn)對網(wǎng)頁源代碼進行分析(右鍵鼠標在菜單中即可找到查看網(wǎng)頁源代碼)。通過查找“53.84%”快速定位Garen所在位置

由代碼可看出,英雄名、勝率及選取率都在td標簽中,而每一個英雄信息在一個tr標簽中,td父標簽為tr標簽,tr父標簽為tbody標簽。

對tbody標簽進行查找

代碼中共有5個tbody標簽(tbody標簽開頭結尾均有”tbody”,故共有10個”tbody”),對字段內(nèi)容分析,分別為上單、打野、中單、ADC、輔助信息

以上單這部分英雄為例,我們需要首先找到tbody標簽,然后從中找到tr標簽(每一條tr標簽就是一個英雄的信息),再從子標簽td標簽中獲取英雄的詳細信息

二、爬取步驟

爬取網(wǎng)站內(nèi)容->提取所需信息->輸出英雄數(shù)據(jù)

getHTMLText(url)->fillHeroInformation(hlist,html)->printHeroInformation(hlist)

getHTMLText(url)函數(shù)是返回url鏈接中的html內(nèi)容

fillHeroInformation(hlist,html)函數(shù)是將html中所需信息提取出存入hlist列表中

printHeroInformation(hlist)函數(shù)是輸出hlist列表中的英雄信息

三、代碼實現(xiàn)

1、getHTMLText(url)函數(shù)

def getHTMLText(url): #返回html文檔信息
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #返回html內(nèi)容
    except:
        return ""

2、fillHeroInformation(hlist,html)函數(shù)

以一個tr標簽為例,tr標簽內(nèi)有7個td標簽,第4個td標簽內(nèi)屬性值為"champion-index-table__name"的div標簽內(nèi)容為英雄名,第5個td標簽內(nèi)容為勝率,第6個td標簽內(nèi)容為選取率,將這些信息存入hlist列表中

def fillHeroInformation(hlist,html): #將英雄信息存入hlist列表
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標簽的兒子標簽
        if isinstance(tr,bs4.element.Tag): #判斷tr是否為標簽類型,去除空行
            tds = tr('td') #查找tr標簽下的td標簽
            heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
            winRate = tds[4].string #勝率
            pickRate = tds[5].string #選取率
            hlist.append([heroName,winRate,pickRate]) #將英雄信息添加到hlist列表中

3、printHeroInformation(hlist)函數(shù)

 def printHeroInformation(hlist): #輸出hlist列表信息
     print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","勝率","選取率","位置"))
     for i in range(len(hlist)):
         i = hlist[i]
         print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上單"))

4、main()函數(shù)

網(wǎng)站地址賦值給url,新建一個hlist列表,調(diào)用getHTMLText(url)函數(shù)獲得html文檔信息,使用fillHeroInformation(hlist,html)函數(shù)將英雄信息存入hlist列表,再使用printHeroInformation(hlist)函數(shù)輸出信息

 def main():
     url = "http://www.op.gg/champion/statistics"
     hlist = []
     html = getHTMLText(url) #獲得html文檔信息
     fillHeroInformation(hlist,html) #將英雄信息寫入hlist列表
     printHeroInformation(hlist) #輸出信息

四、結果演示

1、網(wǎng)站界面信息

2、爬取結果

五、完整代碼

import requests #導入requests庫
import bs4 #導入bs4庫
from bs4 import BeautifulSoup #導入BeautifulSoup庫
def getHTMLText(url): #返回html文檔信息
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #返回html內(nèi)容
    except:
        return ""
def fillHeroInformation(hlist,html): #將英雄信息存入hlist列表
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標簽的兒子標簽
        if isinstance(tr,bs4.element.Tag): #判斷tr是否為標簽類型,去除空行
            tds = tr('td') #查找tr標簽下的td標簽
            heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
            winRate = tds[4].string #勝率
            pickRate = tds[5].string #選取率
            hlist.append([heroName,winRate,pickRate]) #將英雄信息添加到hlist列表中
def printHeroInformation(hlist): #輸出hlist列表信息
    print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","勝率","選取率","位置"))
    for i in range(len(hlist)):
        i = hlist[i]
        print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上單"))
def main():
    url = "http://www.op.gg/champion/statistics"
    hlist = []
    html = getHTMLText(url) #獲得html文檔信息
    fillHeroInformation(hlist,html) #將英雄信息寫入hlist列表
    printHeroInformation(hlist) #輸出信息
main()

如果需要爬取打野、中單、ADC或者輔助信息,只需要修改

fillHeroInformation(hlist,html)

函數(shù)中的

for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children語句

將attrs屬性值修改為

"tabItem champion-trend-tier-JUNGLE"

"tabItem champion-trend-tier-MID"

"tabItem champion-trend-tier-ADC"

"tabItem champion-trend-tier-SUPPORT"

等即可!

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • Python爬蟲獲取op.gg英雄聯(lián)盟英雄對位勝率的源碼
  • Python3爬蟲爬取英雄聯(lián)盟高清桌面壁紙功能示例【基于Scrapy框架】
  • python 爬取英雄聯(lián)盟皮膚并下載的示例
  • Python3爬取英雄聯(lián)盟英雄皮膚大圖實例代碼
  • 用Python爬取LOL所有的英雄信息以及英雄皮膚的示例代碼
  • python 爬取英雄聯(lián)盟皮膚圖片

標簽:雙鴨山 臨汾 陽泉 克拉瑪依 金華 赤峰 日照 貴州

巨人網(wǎng)絡通訊聲明:本文標題《Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作》,本文關鍵詞  Python,爬取,OPGG,上,英雄,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作》相關的同類信息!
  • 本頁收集關于Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作的相關信息資訊供網(wǎng)民參考!
  • 推薦文章