python實(shí)現(xiàn)大文本文件分割成多個(gè)小文件

#coding:utf-8
#將大文本文件分割成多個(gè)小文本文件
import os

sourceFileName = "test.log" #定義要分割的文件
def cutFile():
    print("正在讀取文件...")
    sourceFileData = open(sourceFileName,'r',encoding='utf-8')
    ListOfLine = sourceFileData.read().splitlines()#將讀取的文件內(nèi)容按行分割，然后存到一個(gè)列表中
    n = len(ListOfLine)
    print("文件共有"+str(n)+"行")
    print("請(qǐng)輸入需要將文件分割的個(gè)數(shù):")
    m = int(input("")) #定義分割的文件個(gè)數(shù)
    p = n//m + 1
    print("需要將文件分成"+str(m)+"個(gè)子文件")
    print("每個(gè)文件最多有"+str(p)+"行")
    print("開始進(jìn)行分割···")
    for i in range(m):
        print("正在生成第"+str(i+1)+"個(gè)子文件")
        destFileName = os.path.splitext(sourceFileName)[0]+"_part"+str(i)+".log" #定義分割后新生成的文件
        destFileData = open(destFileName,"w",encoding='utf-8')
        if(i==m-1):
            for line in ListOfLine[i*p:]:
                destFileData.write(line+'\n')
        else:
            for line in ListOfLine[i*p:(i+1)*p]:
                destFileData.write(line+'\n')
        destFileData.close()
    print("分割完成")

cutFile()

import os

#要分割的文件 
source_file='track.log'

#定義每個(gè)子文件的行數(shù)
file_count=10000 #根據(jù)需要自定義

def mk_SubFile(lines,srcName,sub):
    [des_filename, extname] = os.path.splitext(srcName)
    filename  = des_filename + '_' + str(sub) + extname
    print( '正在生成子文件: %s' %filename)
    with open(filename,'wb') as fout:
        fout.writelines(lines)
        return sub + 1


def split_By_LineCount(filename,count):
    with open(filename,'rb') as fin:
        buf = []
        sub = 1
        for line in fin:
            if len(line.strip())>0: #跳過空行
                buf.append(line)
                #如果行數(shù)超過指定的數(shù)，且數(shù)據(jù)為一個(gè)完整的記錄，則將buf寫入到一個(gè)子文件中，并初始化buf
                line_tag=line.strip()[0] #取每一行第一個(gè)字符，如果該行為空，會(huì)報(bào)錯(cuò),故加上前面判斷
                if len(buf) >= count and line_tag == '*': #每一個(gè)新的記錄數(shù)據(jù)是從*標(biāo)識(shí)開始
                    buf = buf[:-1]
                    sub = mk_SubFile(buf,filename,sub) #將buf寫入子文件中
                    buf = [line] #初始化下一個(gè)子文件的buf，第一行為*開頭的
                
        #最后一個(gè)文件，文件行數(shù)可能不足指定的數(shù)
        if len(buf) != 0:
            sub = mk_SubFile(buf,filename,sub)
    print("ok")


if __name__ == '__main__':
    split_By_LineCount(source_file,file_count)#要分割的文件名和每個(gè)子文件的行數(shù)

# -*- coding: utf-8 -*-

#這種方法是按照大小分割文件，會(huì)存在同一行被分割在兩個(gè)文件中的情況

import os

filename = "track.log"#需要進(jìn)行分割的文件
size = 10000000 #分割大小10M

def mk_SubFile(srcName,sub,buf):
    [des_filename, extname] = os.path.splitext(srcName)
    filename  = des_filename + '_' + str(sub) + extname
    print( '正在生成子文件: %s' %filename)
    with open(filename,'wb') as fout:
        fout.write(buf)
        return sub+1
            
            
def split_By_size(filename,size):
    with open(filename,'rb') as fin:
        buf = fin.read(size)
        sub = 1
        while len(buf)>0:
            sub = mk_SubFile(filename,sub,buf)
            buf = fin.read(size)  
    print("ok")
            

if __name__=="__main__":
    split_By_size(filename, size)