用Python读取几十万行文本数据

为了用Python读取大量文本数据，通常需要考虑以下几个方面：

1. 选择适合的数据结构，如何优化内存使用；
2. 操作文本文件的读取与写入；
3. 对文本数据进行处理、分词、统计等操作。

下面是一个完整的攻略：

选择适合的数据结构

当读取大量文本数据时，需要使用适合的数据结构来提高程序的运行效率，比如使用生成器、迭代器等方式。下面为读取大文本数据的三种方式：

内存映射文件

如果读取的数据非常大，完全无法一次读取到内存中，可以使用内存映射文件（Memory Map）来读取文件。内存映射是一种将文件映射到内存中的机制，可以通过修改内存映射区域的值来修改文件内容，替代了正常的读写文件操作，从而提高了文件的读写速度。

import mmap

# 打开文件
with open('file.txt', 'r') as f:
    # 创建内存映射对象
    mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    # 读取映射到内存中的文件数据
    data = mm.read()
    # 关闭内存映射对象
    mm.close()

生成器

生成器是一种延迟操作的Python数据类型，它可以逐行读取文件数据，从而节省内存使用。下面是通过生成器读取大文件的代码：

def read_large_file(file_handler):
    while True:
        line = file_handler.readline()
        if not line:
            break
        yield line

# 打开文件
with open('file.txt', 'r') as f:
    # 逐行读取文件数据
    for line in read_large_file(f):
        # 处理文件数据
        ...

迭代器

迭代器是Python中一种特殊的数据类型，可以使用next()方法逐一获取数据，也可以使用for循环一次取出所有元素。

def read_file(file_path):
    with open(file_path) as f:
        return iter(f.readline, '')

for line in read_file('file.txt'):
    # 处理文件数据
    ...

操作文本文件的读取与写入

在Python中操作文件，可以利用Python内置的open()函数打开文件，可以通过不同的模式实现对文件的不同操作。

# 打开文件，使用'r'表示只读
with open('file.txt', 'r') as f:
    # 读取文件数据
    data = f.read()

当读取一个非常大的文件时，我们可以选择一次读取一行，这样可以节省内存的使用。下面是以每次读取一行为例的代码示例：

with open('file.txt', 'r') as f:
    # 逐行读取文件数据
    for line in f:
        # 处理文件数据操作
        ...

在Python中，写文件也是比较简单的操作，我们只需打开文件，然后用write()方法向文件中写入数据即可，如下所示：

with open('file.txt', 'w') as f:
    f.write('Hello world!')

对文本数据进行处理、分词、统计等操作

对于读取的文本数据，我们可以进行各种操作，如分词、统计等。下面是简单的分词和统计操作示例：

from collections import Counter
import jieba

# 读取数据
with open('file.txt', 'r') as f:
    data = f.read()

# 分词
words = list(jieba.cut(data))

# 统计
counter = Counter(words)
for k, v in counter.most_common(10):
    print(k, v)

以上是读取大量文本数据的完整攻略，我们可以使用多种方法优化读取数据的效率，同时对文本进行各种操作时也有很多工具库可以使用。