Python读大数据txt

当我们面对大量数据的时候，传统上我们会选择使用关系型数据库（如MySQL、Oracle）去处理数据。然而在小规模、非商业情况下，使用关系型数据库有些“杀鸡焉用牛刀”。这时我们可以将原始数据存储为文本(txt)格式，便于进行数据的清洗、筛选和统计等操作。接下来是Python读取大数据txt的完整攻略：

1. 确认文件编码

大数据文件往往会因为编码问题导致乱码。可以使用notepad++等文本编辑器确认文件编码，然后在读入文件时进行相应的编码设置，如下：

with open('data.txt', 'r', encoding='utf-8') as f:
    data = f.read()

2. 分块读入

由于大数据文件会很大，而Python中的内存是有限的，因此我们需要分块读入文件。代码如下：

with open('data.txt', 'r', encoding='utf-8') as f:
    while True:
        content = f.read(1024*1024) # 每次读1M
        if not content:
            break
        # 在这里对content进行处理

其中1024*1024表示每次读取1M大小的数据。

3. 多进程/多线程读取

在Python中，可以通过多进程/多线程来提高文件读取的效率，加快数据处理速度。以下是简单的示例：

使用多进程读取文件

import multiprocessing

def read_file(start_pos, length):
    with open('data.txt', 'r', encoding='utf-8') as f:
        f.seek(start_pos)
        content = f.read(length)
    # 在这里对content进行处理

if __name__ == '__main__':
    pos_list = [i*1024*1024 for i in range(10)] # 按1M分10份
    length_list = [1024*1024]*10 # 每份1M
    pool = multiprocessing.Pool(processes=5) # 开5个进程读取
    pool.map(read_file, pos_list, length_list)
    pool.close()
    pool.join()

使用多线程读取文件

import threading

class ReadThread(threading.Thread):
    def __init__(self, start_pos, length):
        threading.Thread.__init__(self)
        self.start_pos = start_pos
        self.length = length

    def run(self):
        with open('data.txt', 'r', encoding='utf-8') as f:
            f.seek(self.start_pos)
            content = f.read(self.length)
        # 在这里对content进行处理

if __name__ == '__main__':
    pos_list = [i*1024*1024 for i in range(10)] # 按1M分10份
    length_list = [1024*1024]*10 # 每份1M
    thread_list = []
    for i in range(5): # 开5个线程读取
        thread = ReadThread(pos_list[i*2], length_list[i*2])
        thread_list.append(thread)
        thread.start()

    for thread in thread_list:
        thread.join()

示例说明

示例1：读取文件并输出前10行

以下是一个简单的示例，读取data.txt文件并输出前10行：

with open('data.txt', 'r', encoding='utf-8') as f:
    for i in range(10):
        print(f.readline())

示例2：分块读取文件并对每块数据进行处理

以下是一个简单的示例，按1M分块读取data.txt文件并输出每块数据的长度：

with open('data.txt', 'r', encoding='utf-8') as f:
    while True:
        content = f.read(1024*1024) # 每次读1M
        if not content:
            break
        print(len(content))

以上就是Python读取大数据txt的完整攻略。