主頁 > 知識庫 > python Polars庫的使用簡介

python Polars庫的使用簡介

熱門標簽:上海機器人外呼系統(tǒng)哪家好 南京銷售外呼系統(tǒng)軟件 房產(chǎn)電銷外呼系統(tǒng) 蓋州市地圖標注 地圖制圖標注位置改變是移位嗎 地圖標注微信發(fā)送位置不顯示 浙江電銷卡外呼系統(tǒng)好用嗎 315電話機器人廣告 地圖標注的意義點

大家好,我是小F~

很多人在學習數(shù)據(jù)分析的時候,肯定都會用到Pandas這個庫,非常的實用!

從創(chuàng)建數(shù)據(jù)到讀取各種格式的文件(text、csv、json),或者對數(shù)據(jù)進行切片和分割組合多個數(shù)據(jù)源,Pandas都能夠很好的滿足。

Pandas最初發(fā)布于2008年,使用Python、Cython和C編寫的。是一個超級強大、快速和易于使用的Python庫,用于數(shù)據(jù)分析和處理。

當然Pandas也是有不足之處的,比如不具備多處理器,處理較大的數(shù)據(jù)集速度很慢。

今天,小F就給大家介紹一個新興的Python庫——Polars。

使用語法和Pandas差不多,處理數(shù)據(jù)的速度卻比Pandas快了不少。

一個是大熊貓,一個是北極熊~

GitHub地址:https://github.com/ritchie46/polars

使用文檔:https://ritchie46.github.io/polars-book/

Polars是通過Rust編寫的一個庫,Polars的內(nèi)存模型是基于Apache Arrow。

Polars存在兩種API,一種是Eager API,另一種則是Lazy API。

其中Eager API和Pandas的使用類似,語法差不太多,立即執(zhí)行就能產(chǎn)生結(jié)果。

而Lazy API就像Spark,首先將查詢轉(zhuǎn)換為邏輯計劃,然后對計劃進行重組優(yōu)化,以減少執(zhí)行時間和內(nèi)存使用。

安裝Polars,使用百度pip源。

# 安裝polars
pip install polars -i https://mirror.baidu.com/pypi/simple/

安裝成功后,開始測試,比較Pandas和Polars處理數(shù)據(jù)的情況。

使用某網(wǎng)站注冊用戶的用戶名數(shù)據(jù)進行分析,包含約2600萬個用戶名的CSV文件。

文件已上傳公眾號,獲取方式見文末。

import pandas as pd

df = pd.read_csv('users.csv')
print(df)

數(shù)據(jù)情況如下。

此外還使用了一個自己創(chuàng)建的CSV文件,用以數(shù)據(jù)整合測試。

import pandas as pd

df = pd.read_csv('fake_user.csv')
print(df)

得到結(jié)果如下。

首先比較一下兩個庫的排序算法耗時。

import timeit
import pandas as pd

start = timeit.default_timer()

df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()

print('Time: ', stop - start)

-------------------------
Time:  27.555776743218303

可以看到使用Pandas對數(shù)據(jù)進行排序,花費了大約28s。

import timeit
import polars as pl

start = timeit.default_timer()

df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------
Time:  9.924110282212496

Polars只花費了約10s,這意味著Polars比Pandas快了2.7倍。

下面,我們來試試數(shù)據(jù)整合的效果,縱向連接。

import timeit
import pandas as pd

start = timeit.default_timer()

df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()

print('Time: ', stop - start)

------------------------
Time:  15.556222308427095

使用Pandas耗時15s。

import timeit
import polars as pl

start = timeit.default_timer()

df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()

print('Time: ', stop - start)

-----------------------
Time:  3.475433263927698

Polars居然最使用了約3.5s,這里Polars比Pandas快了4.5倍。

通過上面的比較,Polars在處理速度上表現(xiàn)得相當不錯。

可以是大家在未來處理數(shù)據(jù)時,另一種選擇~

當然,Pandas目前歷時12年,已經(jīng)形成了很成熟的生態(tài),支持很多其它的數(shù)據(jù)分析庫。

Polars則是一個較新的庫,不足的地方還有很多。

如果你的數(shù)據(jù)集對于Pandas來說太大,對于Spark來說太小,那么Polars便是你可以考慮的一個選擇。

文件地址:

鏈接:https://pan.baidu.com/s/14fFNOPomQe38RLbAUq5W7w  密碼:nfqv

以上就是python Polars庫的使用簡介的詳細內(nèi)容,更多關于python Polars庫的使用的資料請關注腳本之家其它相關文章!

您可能感興趣的文章:
  • python基于Pandas讀寫MySQL數(shù)據(jù)庫
  • python中pandas.read_csv()函數(shù)的深入講解
  • python pandas合并Sheet,處理列亂序和出現(xiàn)Unnamed列的解決
  • python 使用pandas同時對多列進行賦值
  • python之 matplotlib和pandas繪圖教程
  • Python3 pandas.concat的用法說明
  • python pandas模糊匹配 讀取Excel后 獲取指定指標的操作
  • 聊聊Python pandas 中l(wèi)oc函數(shù)的使用,及跟iloc的區(qū)別說明
  • python 利用panda 實現(xiàn)列聯(lián)表(交叉表)

標簽:赤峰 日照 臨汾 金華 雙鴨山 克拉瑪依 貴州 陽泉

巨人網(wǎng)絡通訊聲明:本文標題《python Polars庫的使用簡介》,本文關鍵詞  python,Polars,庫,的,使用,簡介,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權(quán)與本站無關。
  • 相關文章
  • 下面列出與本文章《python Polars庫的使用簡介》相關的同類信息!
  • 本頁收集關于python Polars庫的使用簡介的相關信息資訊供網(wǎng)民參考!
  • 推薦文章