Numba是一個(gè)即時(shí)(JIT)編譯器,它將Python代碼轉(zhuǎn)換為用于CPU和GPU的本地機(jī)器指令。代碼可以在導(dǎo)入時(shí)、運(yùn)行時(shí)或提前編譯。
通過使用jit裝飾器,使用Numba非常容易:
正如你所知道的,在Python中,所有代碼塊都被編譯成字節(jié)碼:
代碼優(yōu)化
為了優(yōu)化Python代碼,Numba從提供的函數(shù)中提取一個(gè)字節(jié)碼,并在其上運(yùn)行一組分析器。Python字節(jié)碼包含一系列小而簡單的指令,因此不必從Python實(shí)現(xiàn)中使用源代碼就可以從字節(jié)碼中重構(gòu)函數(shù)的邏輯。轉(zhuǎn)換的過程涉及多個(gè)階段,但Numba將Python字節(jié)碼轉(zhuǎn)換為LLVM中間表示 (IR)。
請(qǐng)注意,LLVM IR是一種低級(jí)編程語言,它類似于匯編語法,與Python無關(guān)。
Numba中有兩種模式:nopython 和 object。前者不使用Python運(yùn)行時(shí)并且在沒有Python依賴項(xiàng)的情況下生成本機(jī)代碼。 本機(jī)代碼是靜態(tài)類型的,運(yùn)行非??臁6鴮?duì)象模式使用Python對(duì)象和Python C API,這通常不會(huì)帶來顯著的速度改進(jìn)。在這兩種情況下,Python代碼都是使用LLVM編譯的。
LLVM是一種編譯器,它采用代碼的特殊中間表示(IR),并將其編譯成本機(jī)代碼。編譯過程涉及許多額外的傳遞,其中編譯器優(yōu)化IR。LLVM工具鏈很好地優(yōu)化了IR,不僅為Numba編譯代碼,而且優(yōu)化Numba。整個(gè)系統(tǒng)大致如下:
Python numba 體系結(jié)構(gòu)
多層的抽象使得調(diào)試和優(yōu)化變得非常困難
在nopython模式下無法與Python及其模塊進(jìn)行交互
有限的類支持
取代分析字節(jié)碼和生成IR,Cython使用Python語法的超集,它后來轉(zhuǎn)換成C代碼。在使用Cython時(shí),基本上是用高級(jí)Python語法編寫C代碼。
在Cython中,通常不必?fù)?dān)心Python包裝器和低級(jí)API調(diào)用,因?yàn)樗薪换ザ紩?huì)自動(dòng)擴(kuò)展到合適的C代碼。
與Numba不同,所有的Cython代碼應(yīng)該在專門文件中與常規(guī)Python代碼分開。Cython將這些文件解析并轉(zhuǎn)換成C代碼,然后使用提供的C編譯器 (例如, gcc)編譯它。
Python代碼已經(jīng)是有效的Cython代碼。
但是,類型版本工作得更快。
編寫快速Cython代碼需要理解C和Python內(nèi)部結(jié)構(gòu)。如果你熟悉C,你的Cython代碼可以運(yùn)行得和C代碼一樣快。
就個(gè)人而言,我更喜歡小項(xiàng)目和ETL實(shí)驗(yàn)用Numba。你可以將其插入現(xiàn)有項(xiàng)目中。如果我需要啟動(dòng)一個(gè)大項(xiàng)目或?yàn)镃庫編寫包裝器,我將使用Cython,因?yàn)樗峁└嗟目刂坪透菀渍{(diào)試。
此外,Cython是許多庫的標(biāo)準(zhǔn),如pandas、scikit-learn、scipy、Spacy、gensim和lxml。
以上就是利用Numba與Cython結(jié)合提升python運(yùn)行效率詳解的詳細(xì)內(nèi)容,更多關(guān)于提升python運(yùn)行效率的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
標(biāo)簽:蘭州 蕪湖 吉安 紹興 呂梁 廣西 懷化 安康
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《利用Numba與Cython結(jié)合提升python運(yùn)行效率詳解》,本文關(guān)鍵詞 利用,Numba,與,Cython,結(jié)合,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。