利用python進(jìn)行數(shù)據(jù)加載

前言

最近參加了datawhale的組隊(duì)學(xué)習(xí)活動(dòng)，在組隊(duì)學(xué)習(xí)動(dòng)員下，開始通過強(qiáng)迫自己輸出來實(shí)現(xiàn)更好的輸入與處理，6-15開始自己的第一次文章發(fā)布，我會(huì)把自己這個(gè)真的很小白遇到的問題寫出來，希望能給屏幕前小白的你帶來幫助。

工作中大量繁瑣的自動(dòng)化，把以前在學(xué)校摸過的python重新?lián)炱饋?，不成體系的、拼圖一樣把需要的工作搭建起來，工作暫時(shí)是可用上了，每天節(jié)省了至少3個(gè)小時(shí)的數(shù)據(jù)處理工作，手里拿著python這個(gè)錘子，看什么都像釘子。

首先，你要先學(xué)會(huì)安裝軟件，anaconda軟件,安裝成功后，你點(diǎn)擊jupyter notebook打開代碼框。

現(xiàn)在可以開始嘗試做數(shù)據(jù)分析了。

一、數(shù)據(jù)加載

1.1 載入數(shù)據(jù)

數(shù)據(jù)集下載 https://www.kaggle.com/c/titanic/overview

1.1.1 導(dǎo)入包

導(dǎo)入numpy和pandas

import pandas as pd
import numpy as np

如果出錯(cuò)了，需要注意大小寫、有沒有單詞寫錯(cuò)了

1.1.2 載入數(shù)據(jù)

(1) 使用相對(duì)路徑載入數(shù)據(jù)
(2) 使用絕對(duì)路徑載入數(shù)據(jù)  

df = pd.read_csv('train.csv')
df.head(3)

df = pd.read_csv('/Users/Documents/train.csv')
df.head(3)

注意絕對(duì)路徑的 “  /  ” 方向不要錯(cuò)。

1.1.3 大文件時(shí)要分塊讀取

每1000行為一個(gè)數(shù)據(jù)模塊，逐塊讀取

chunker = pd.read_csv('train.csv', chunksize=1000)

1.1.4

對(duì)著整個(gè)表修改列名：將表頭改成中文，索引改為乘客ID ，要注意的是，要記得把名字跟列一一對(duì)上，數(shù)量對(duì)上、順序?qū)ι?/p>

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等級(jí)(1/2/3等艙位)
Name => 乘客姓名
Sex => 性別
Age => 年齡
SibSp => 堂兄弟/妹個(gè)數(shù)
Parch => 父母與小孩個(gè)數(shù)
Ticket => 船票信息
Fare => 票價(jià)
Cabin => 客艙
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','倉(cāng)位等級(jí)','姓名','性別','年齡','兄弟姐妹個(gè)數(shù)','父母子女個(gè)數(shù)','船票信息','票價(jià)','客艙','登船港口'],index_col='乘客ID',header=0)
df.head()

1.2 初步觀察

導(dǎo)入數(shù)據(jù)后，我們可以對(duì)數(shù)據(jù)的整體結(jié)構(gòu)和樣例進(jìn)行概覽，比如說，數(shù)據(jù)大小、有多少列，各列都是什么格式的，是否包含null等。info 后面加（）跟不加（）會(huì) 有不同的內(nèi)容。

print(df.info())

如想在python的查看數(shù)據(jù)，可以用head

df.head(10)
df.tail(15)

判斷數(shù)據(jù)是否為空，為空的地方返回True，其余地方返回False

df.isnull().head()

1.3 保存數(shù)據(jù)

在工作目錄下保存為一個(gè)新文件train_chinese.csv，如不希望表格自帶index，可以加入index=false

df.to_csv('train_chinese.csv',index=flase)

到此這篇關(guān)于利用python進(jìn)行數(shù)據(jù)加載的文章就介紹到這了,更多相關(guān)python數(shù)據(jù)加載內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！