Python中文分词工具之结巴分词用法实例总结【经典案例】

Python中文分词工具之结巴分词用法实例总结【经典案例】攻略

简介

中文分词是中文文本处理领域的基础性工作。在Python中，常用的中文分词工具有很多，其中最为流行的就是结巴分词（jieba）。结巴分词是一个基于字典的分词工具，采用了词频统计的算法，支持三种分词模式：精确模式，全模式和搜索引擎模式。

本文将介绍结巴分词的用法，并通过两个实例说明其具体应用。

安装

• 首先安装必要的依赖

pip install numpy
pip install scipy
pip install scikit-learn

• 安装结巴分词

pip install jieba

用法

• 精确模式

精确模式是结巴分词的默认模式，是基于精确的词语切分来实现分词的。具体用法如下：

import jieba

sentence = "我喜欢吃蔬菜水果"
words = jieba.cut(sentence, cut_all=False)

for word in words:
    print(word)

输出结果如下：

我
喜欢
吃
蔬菜
水果

• 全模式

全模式是基于所有可能的词语进行切分来实现分词的。具体用法如下：

import jieba

sentence = "我喜欢吃蔬菜水果"
words = jieba.cut(sentence, cut_all=True)

for word in words:
    print(word)

输出结果如下：

我
喜欢
吃
蔬菜
蔬菜菜
菜水
水果
果

• 搜索引擎模式

搜索引擎模式是基于词语在文本中的位置和联合概率计算来实现分词的。具体用法如下：

import jieba

sentence = "我喜欢吃蔬菜水果"
words = jieba.cut_for_search(sentence)

for word in words:
    print(word)

输出结果如下：

我
喜欢
吃
蔬菜
菜水果
水果

实例1：中文文本分析

下面通过一个实例说明，如何利用结巴分词进行中文文本的分析。

首先，我们需要准备一些中文文本数据。这里以《红楼梦》为例：

import jieba

# 读取文本
with open("hongloumeng.txt", 'r', encoding='utf-8') as f:
    content = f.read()

# 分词
words = jieba.cut(content, cut_all=False)

# 统计词频
word_counts = {}
for word in words:
    if word not in word_counts:
        word_counts[word] = 0
    word_counts[word] += 1

# 输出结果
for word, count in word_counts.items():
    print(word, count)

运行以上代码，会输出《红楼梦》中每个词语的词频。

实例2：中文情感分析

下面通过另一个实例说明，如何利用结巴分词进行中文情感分析。

首先，我们需要准备一些训练数据和测试数据。这里以情感二分类数据集为例：

• 训练集：包含1000个情感标注的中文文本文件；
• 测试集：包含300个未经标注的中文文本文件。

我们需要先对训练数据进行预处理，将每个文本转化为词向量表示。具体实现如下：

import os
import jieba
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

# 读取文件
train_dir = 'train'
train_files = sorted(os.listdir(train_dir))
train_data = []
train_labels = []
for train_file in train_files:
    with open(os.path.join(train_dir, train_file), 'r', encoding='utf-8') as f:
        train_data.append(f.read())
        label = int(train_file.split(".")[0])
        train_labels.append(label)

# 分词
def chinese_word_cut(mytext):
    return " ".join(jieba.cut(mytext))

train_data = list(map(chinese_word_cut, train_data))

# 词向量表示
vectorizer = CountVectorizer()
train_features = vectorizer.fit_transform(train_data)

接下来，我们可以使用训练集的词向量来训练一个分类器，例如朴素贝叶斯分类器。具体实现如下：

from sklearn.naive_bayes import MultinomialNB

# 训练分类器
clf = MultinomialNB()
clf.fit(train_features, train_labels)

接着，我们需要对测试集进行预处理，将每个文本转化为词向量表示。具体实现如下：

# 读取文件
test_dir = 'test'
test_files = sorted(os.listdir(test_dir))
test_data = []
for test_file in test_files:
    with open(os.path.join(test_dir, test_file), 'r', encoding='utf-8') as f:
        test_data.append(f.read())

# 分词
test_data = list(map(chinese_word_cut, test_data))

# 词向量表示
test_features = vectorizer.transform(test_data)

最后，我们可以使用训练好的分类器，对测试集进行情感分类。具体实现如下：

# 预测情感
test_labels = clf.predict(test_features)

# 输出结果
for i in range(len(test_files)):
    print(test_files[i], test_labels[i])

运行以上代码，会输出测试集中每个文本的情感类别。