夜栋病勤1一12在线观看,成人国产网站V片免费观看

主頁(yè) > 知識(shí)庫(kù) > Python爬蟲(chóng)之線程池的使用

Python爬蟲(chóng)之線程池的使用

一、前言

學(xué)到現(xiàn)在，我們可以說(shuō)已經(jīng)學(xué)習(xí)了爬蟲(chóng)的基礎(chǔ)知識(shí)，如果沒(méi)有那些奇奇怪怪的反爬蟲(chóng)機(jī)制，基本上只要有時(shí)間分析，一般的數(shù)據(jù)都是可以爬取的，那么到了這個(gè)時(shí)候我們需要考慮的就是爬取的效率了，關(guān)于提高爬蟲(chóng)效率，也就是實(shí)現(xiàn)異步爬蟲(chóng)，我們可以考慮以下兩種方式：一是線程池的使用（也就是實(shí)現(xiàn)單進(jìn)程下的多線程），一是協(xié)程的使用（如果沒(méi)有記錯(cuò)，我所使用的協(xié)程模塊是從python3.4以后引入的，我寫(xiě)博客時(shí)使用的python版本是3.9）。

今天我們先來(lái)講講線程池。

二、同步代碼演示

我們先用普通的同步的形式寫(xiě)一段代碼

import time

def func(url):
    print("正在下載：", url)
    time.sleep(2)
    print("下載完成：", url)

if __name__ == '__main__':
    start = time.time() # 開(kāi)始時(shí)間

    url_list = [
        "a", "b", "c"
    ]

    for url in url_list:
        func(url)

    end = time.time() # 結(jié)束時(shí)間

    print(end - start)

對(duì)于代碼運(yùn)行的結(jié)果我們心里都有數(shù)，但還是讓我們來(lái)看一下吧

不出所料。運(yùn)行時(shí)間果然是六秒

三、異步，線程池代碼

那么如果我們使用線程池運(yùn)行上述代碼又會(huì)怎樣呢？

import time
from multiprocessing import Pool

def func(url):
    print("正在下載：", url)
    time.sleep(2)
    print("下載完成：", url)

if __name__ == '__main__':
    start = time.time() # 開(kāi)始時(shí)間

    url_list = [
        "a", "b", "c"
    ]

    pool = Pool(len(url_list)) # 實(shí)例化一個(gè)線程池對(duì)象，并且設(shè)定線程池的上限數(shù)量為列表長(zhǎng)度。不設(shè)置上限也可以。

    pool.map(func, url_list)

    end = time.time() # 結(jié)束時(shí)間

    print(end - start)

下面就是見(jiàn)證奇跡的時(shí)候了，讓我們運(yùn)行程序

我們發(fā)現(xiàn)這次我們的運(yùn)行時(shí)間只用2～3秒。其實(shí)我們可以將線程池簡(jiǎn)單的理解為將多個(gè)任務(wù)同時(shí)進(jìn)行。

注意：

1.我使用的是 pycharm，如果使用的是 VS 或者說(shuō)是 python 自帶的 idle，在運(yùn)行時(shí)我們只能看到最后時(shí)間的輸出。

2.我們輸出結(jié)果可能并不是按 abc 的順序輸出的。

四、同步爬蟲(chóng)爬取圖片

因?yàn)槲覀兊闹攸c(diǎn)是線程池的爬取效率提高，我們就簡(jiǎn)單的爬取一頁(yè)的圖片。

import requests
import time
import os
from lxml import etree

def save_photo(url, title):
    # UA偽裝
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }

    # 發(fā)送請(qǐng)求
    photo = requests.get(url=url, headers=header).content

    # 創(chuàng)建路徑，避免重復(fù)下載
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg"):
        with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
            print(title, "開(kāi)始下載?。?！")
            fp.write(photo)
            print(title, "下載完成?。?！")

if __name__ == '__main__':
    start = time.time()

    # 創(chuàng)建文件夾
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片"):
        os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片")

    # UA偽裝
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }

    # 指定url
    url = "https://pic.netbian.com/4kmeinv/"

    # 發(fā)送請(qǐng)求，獲取源碼
    page = requests.get(url = url, headers = header).text

    # xpath 解析，獲取圖片的下載地址的列表
    tree = etree.HTML(page)
    url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
    # 通過(guò)下載地址獲取高清圖片的地址和圖片名稱
    for href in url_list:
        new_url = "https://pic.netbian.com" + href
        # 再一次發(fā)送請(qǐng)求
        page = requests.get(url = new_url, headers = header).text
        # 再一次 xpath 解析
        new_tree = etree.HTML(page)
        src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
        title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
        # 編譯文字
        title = title.encode("iso-8859-1").decode("gbk")
        # 下載，保存
        save_photo(src, title)

    end = time.time()
    print(end - start)

讓我們看看同步爬蟲(chóng)需要多長(zhǎng)時(shí)間

然后再讓我們看看使用線程池的異步爬蟲(chóng)爬取這些圖片需要多久

五、使用線程池的異步爬蟲(chóng)爬取4K美女圖片

import requests
import time
import os
from lxml import etree
from multiprocessing import Pool

def save_photo(src_title):
    # UA偽裝
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }

    # 發(fā)送請(qǐng)求
    url = src_title[0]
    title = src_title[1]
    photo = requests.get(url=url, headers=header).content

    # 創(chuàng)建路徑，避免重復(fù)下載
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg"):
        with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
            print(title, "開(kāi)始下載！?。?)
            fp.write(photo)
            print(title, "下載完成?。?！")

if __name__ == '__main__':
    start = time.time()

    # 創(chuàng)建文件夾
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片"):
        os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片")

    # UA偽裝
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }

    # 指定url
    url = "https://pic.netbian.com/4kmeinv/"

    # 發(fā)送請(qǐng)求，獲取源碼
    page = requests.get(url = url, headers = header).text

    # xpath 解析，獲取圖片的下載地址的列表
    tree = etree.HTML(page)
    url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
    # 存儲(chǔ)最后的網(wǎng)址和標(biāo)題的列表
    src_list = []
    title_list = []
    # 通過(guò)下載地址獲取高清圖片的地址和圖片名稱
    for href in url_list:
        new_url = "https://pic.netbian.com" + href
        # 再一次發(fā)送請(qǐng)求
        page = requests.get(url = new_url, headers = header).text
        # 再一次 xpath 解析
        new_tree = etree.HTML(page)
        src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
        src_list.append(src)
        title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
        # 編譯文字
        title = title.encode("iso-8859-1").decode("gbk")
        title_list.append(title)

    # 下載，保存。使用線程池
    pool = Pool()
    src_title = zip(src_list, title_list)
    pool.map(save_photo, list(src_title))

    end = time.time()
    print(end - start)

讓我們來(lái)看看運(yùn)行的結(jié)果

只用了 17 秒，可不要小瞧這幾秒，如果數(shù)據(jù)太大，這些差距后來(lái)就會(huì)更大了。

注意

不過(guò)我們必須要明白線程池是有上限的，這就是說(shuō)數(shù)據(jù)太大，線程池的效率也會(huì)降低，所以這就要用到協(xié)程模塊了。

到此這篇關(guān)于Python爬蟲(chóng)之線程池的使用的文章就介紹到這了,更多相關(guān)Python線程池的使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

Python 線程池模塊之多線程操作代碼
python線程池的四種好處總結(jié)
python爬蟲(chóng)線程池案例詳解(梨視頻短視頻爬取)
python線程池 ThreadPoolExecutor 的用法示例
實(shí)例代碼講解Python 線程池
Python 如何創(chuàng)建一個(gè)線程池
python線程池如何使用
解決python ThreadPoolExecutor 線程池中的異常捕獲問(wèn)題
Python定時(shí)器線程池原理詳解
Python 使用threading+Queue實(shí)現(xiàn)線程池示例
Python線程池的正確使用方法

標(biāo)簽：黔西黑龍江鷹潭上海惠州益陽(yáng) 四川常德

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《Python爬蟲(chóng)之線程池的使用》，本文關(guān)鍵詞 Python,爬蟲(chóng),之,線程,池,的,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。