python实现统计文本中单词出现的频率详解

下面就来详细讲解一下如何用Python实现统计文本中单词出现频率的攻略吧。

1. 读取文件

首先，我们需要从文本文件中读取文章内容。可以用Python内置的open()函数完成。例如我们有一个文件路径为/path/to/file.txt，可以用如下代码来读取文件中的内容并存储到变量中。

with open('/path/to/file.txt', 'r') as f:
    content = f.read()

其中，'r'表示以只读模式打开文件，with关键字用于自动关闭文件。

2. 处理文本

读取文件之后，我们需要对文本进行处理。常见的可以去除标点符号和多余空白字符。

可以使用Python内置的re模块来处理文本。例如下面的代码，可以去除标点符号、多余的空白字符并将所有文本转换为小写字母。

import re

content = re.sub(r'[^\w\s]', '', content)
content = re.sub(r'\s+', ' ', content)
content = content.lower()

其中：

• [^\w\s]用于匹配所有非字母数字、非空格的字符，即标点符号。
• \s+用于匹配多余的空白字符。
• lower()用于将字符串转换为小写字母。

3. 统计单词频率

处理文本之后，我们需要统计每个单词在文本中出现的频率。可以使用Python内置的collections模块下的Counter类来完成。

例如下面的代码，可以对处理后的文本进行单词频率统计，并返回出现次数前十的单词。

from collections import Counter

words = content.split()
freq = Counter(words).most_common(10)

其中：

• split()用于将字符串按照空格分割成单词列表。
• Counter()用于统计每个单词出现的次数，并返回一个字典对象。
• most_common(10)用于返回出现次数前十的单词和它们的出现次数，其中10可以替换成任何需要展示的前N项。

示例

以下是一个完整的实现示例，用于统计指定文本文件中单词的出现频率：

import re
from collections import Counter

def word_frequency(file_path, top_n=10):
    with open(file_path, 'r') as f:
        content = f.read()
    content = re.sub(r'[^\w\s]', '', content)
    content = re.sub(r'\s+', ' ', content)
    content = content.lower()
    words = content.split()
    freq = Counter(words).most_common(top_n)
    return freq

接下来，我们可以调用word_frequency()函数并传入文本文件路径，来获取对应的单词出现频率。

例如，假设我们有一个文本文件/path/to/example.txt，包含以下文本：

This is an example file. It is used to demonstrate word frequency count.

我们调用word_frequency('/path/to/example.txt')，可以得到以下结果：

[('is', 2), ('to', 2), ('this', 1), ('an', 1), ('example', 1), ('file', 1), ('it', 1), ('used', 1), ('demonstrate', 1), ('word', 1)]

结果中，每个元素表示一个单词及其在文本中出现的次数，按照出现次数从高到低排列，最多展示前10项。

另外，我们也可以传入top_n参数来指定展示前N项，例如word_frequency('/path/to/example.txt', 5)将展示前5项。