Python实现对中文文本分段分句

在中文文本处理中，对文本进行分段分句是一个常见的需求。Python提供了多种方法来实现这个功能。本文将总结Python实现对中文文本分段分句的方法，并提供两个示例说明。

方法一：使用正则表达式

正则表达式是一种强大的文本处理工具，可以用来匹配文本中的各种模式。我们可以使用正则表达式来匹配中文句子，并将文本分段分句。以下是示例代码：

import re

def split_text(text):
    pattern = r'[\u4e00-\u9fa5][\u4e00-\u9fa5，。！？；…\n]*[。！？；…]'
    sentences = re.findall(pattern, text)
    return sentences

在这个示例中，我们首先定义了一个名为split_text的函数，该函数接受一个文本字符串作为参数。然后，我们使用正则表达式“[\u4e00-\u9fa5][\u4e00-\u9fa5，。！？；…\n]*[。！？；…]”来匹配中文句子，并将匹配结果存储在sentences变量中。最后，我们将sentences列表作为函数的返回值。

方法二：使用jieba库

jieba是Python中一个常用的中文分词库，它提供了多种中文文本处理功能，包括分词、词性标注、关键词提取等。我们可以使用jieba库来分词，并将分词结果组合成句子。以下是示例代码：

import jieba

def split_text(text):
    sentences = []
    words = jieba.cut(text)
    sentence = ""
    for word in words:
        sentence += word
        if word in ["。", "！", "？", "；", "…"]:
            sentences.append(sentence)
            sentence = ""
    if sentence:
        sentences.append(sentence)
    return sentences

在这个示例中，我们首先定义了一个名为split_text的函数，该函数接受一个文本字符串作为参数。然后，我们使用jieba库的cut方法将文本分词，并将分词结果存储在words变量中。接下来，我们使用for循环遍历words列表，并将分词结果组合成句子。如果遇到句子结束符号（如“。”、“！”、“？”、“；”、“…”），则将当前句子存储在sentences列表中，并清空sentence变量。最后，我们将sentences列表作为函数的返回值。

示例说明

以下是两个示例说明，用于演示“Python实现对中文文本分段分句”的完整攻略：

示例1：分段分句单个文本

假设我们需要对一个名为“test.txt”的文本进行分段分句。以下是示例代码：

file_path = "test.txt"
with open(file_path, "r", encoding="utf-8") as f:
    text = f.read()
    sentences = split_text(text)
    for sentence in sentences:
        print(sentence)

在这个示例中，我们首先定义了一个名为file_path的变量，该变量包含了文件的路径。然后，我们使用Python的with语句打开文件，并使用read方法读取文件内容。接下来，我们调用split_text函数对文本进行分段分句，并将结果存储在sentences变量中。最后，我们使用for循环遍历sentences列表，并使用print函数输出每个句子。

示例2：分段分句多个文本

假设我们需要对多个文本进行分段分句，这些文本存储在一个文件夹中。以下是示例代码：

import os

folder_path = "folder"

for file_name in os.listdir(folder_path):
    file_path = os.path.join(folder_path, file_name)
    with open(file_path, "r", encoding="utf-8") as f:
        text = f.read()
        sentences = split_text(text)
        for sentence in sentences:
            print(sentence)

在这个示例中，我们首先定义了一个名为folder_path的变量，该变量包含了文件夹的路径。然后，我们使用Python的os模块的listdir方法遍历文件夹中的所有文件，并使用os.path.join方法构造文件的完整路径。在循环中，我们使用with语句打开文件，并使用read方法读取文件内容。接下来，我们调用split_text函数对文本进行分段分句，并将结果存储在sentences变量中。最后，我们使用for循环遍历sentences列表，并使用print函数输出每个句子。