Python：分块读取大文件

Python中读取文件的方式有许多种，往往数据量大的情况令人苦恼。之前一篇博客https://www.cnblogs.com/xiaolan-Lin/p/12014686.html我说会发大文件读取的后续。

那么后续来啦！

import pandas as pd
# 采用块读取功能，读取csv文件
path1 = "./data\\tianchi_mobile_recommend_train_user.csv"

file1 = open(path1)

user_data = pd.read_csv(path1, sep=‘,‘, iterator=True)

loop = True
chunkSize = 1000
chunks1 = []
while loop:
    try:
        chunk1 = user_data.get_chunk(chunkSize)
        chunks1.append(chunk1)
    except StopIteration:
        loop = False
user_data = pd.concat(chunks1, ignore_index=True)