21行Python代码实现拼写检查器

下面我来详细讲解“21行Python代码实现拼写检查器”的完整攻略，具体步骤如下：

步骤一：下载数据集

首先，我们需要下载一个包含单词列表的数据集。常用的数据集包括 Google 10000 English 和 dwyl/english-words。这里以 dwyl/english-words 数据集为例，下载路径为 https://github.com/dwyl/english-words/raw/master/words_alpha.txt。

# 下载数据集
import requests

url = 'https://github.com/dwyl/english-words/raw/master/words_alpha.txt'
response = requests.get(url)
open('words.txt', 'wb').write(response.content)

步骤二：构建拼写检查器

使用 Python 内置的 collections 模块和 re 模块对输入的文本进行处理，代码如下：

import re
from collections import Counter

def words(text):
    return re.findall(r'\w+', text.lower())

WORDS = Counter(words(open('words.txt').read()))

def probability(word, N=sum(WORDS.values())):
    return WORDS[word] / N

这里的 words 函数会将输入的文本转换为小写并按照单词进行提取；WORDS 是一个字典，将所有单词出现的次数进行计数；probability 函数则是一个计算某个单词在文本中出现概率的函数，计算公式为 P(w) = count(w) / N，其中 P(w) 表示 w 在文本中出现的概率，count(w) 表示 w 在文本中出现的次数，N 表示文本中单词的总数。

步骤三：实现拼写建议函数

拼写建议函数需要对输入的单词进行处理，计算出与其相似的单词列表，可以使用以下几种算法：

• 插入：在单词中插入一个字母；
• 删除：从单词中删除一个字母；
• 交换：交换单词中相邻的两个字母；
• 替换：用相似的字母替换单词中的一个字母。

这里我们采用插入、删除、替换这三种算法，实现代码如下：

def edits1(word):
    "返回所有与 'word' 编辑距离为 1 的单词，包括插入、删除、替换操作"
    alphabet = 'abcdefghijklmnopqrstuvwxyz'
    splits = [(word[:i], word[i:]) for i in range(len(word) + 1)]
    deletes = [L + R[1:] for L, R in splits if R]
    transposes = [L + R[1] + R[0] + R[2:] for L, R in splits if len(R) > 1]
    replaces = [L + c + R[1:] for L, R in splits if R for c in alphabet]
    inserts = [L + c + R for L, R in splits for c in alphabet]
    return set(deletes + transposes + replaces + inserts)

def known(words):
    "返回一个集合，包含 words 中的所有单词在 WORDS 中的单词"
    return set(w for w in words if w in WORDS)

这里的 edits1 函数实现了编辑距离为1的单词列表生成。算法的具体步骤包括：

1. 将单词拆成左右两个部分，并在左右两部分间添加分隔符；
2. 对于每一个左右两部分，你可以选择删除右部的第一个字母、交换右部的前两个字母、替换右部的第一个字母、在右部的最前面随意插入一个字母；
3. 将这些操作得到的结果合并起来，就是所有编辑距离为1的单词列表。

known 函数则是返回一个集合，包含输入单词集合中在 WORDS 中出现过的单词。

接下来，我们可以实现一个 candidates 函数，利用上面两个函数对输入的单词进行处理，得到可能存在误拼的单词列表。

def candidates(word):
    "返回生成 candidates 单词列表所需的单词集合"
    return known([word]) or known(edits1(word)) or known_edits2(word) or [word]

def known_edits2(word):
    "返回编辑距离为 2 的所有正确单词"
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in WORDS)

这里的 candidates 函数则是对输入的单词进行处理，返回可能存在误拼的单词列表，这里返回三种列表：可能存在1词误拼、两次操作后的误拼和本身就是正确单词，例如输入单词“speling”，则其返回的列表包括 “spelling” 和 “sling” 两个单词，其中 “spelling” 是存在于WORDS中的正确单词，而 “sling” 是一个编辑距离为1的单词，因此也被认为是一个 “合理的” 拼写建议。

步骤四：返回最好的拼写建议

对于给定的输入词，需要从生成的可能正确单词列表中选取一个概率最大的词作为最好的拼写建议，实现代码如下：

def correction(word):
    "返回拼写建议"
    return max(candidates(word), key=probability)

这里用 max 函数计算候选单词中出现概率最高的单词。如果候选单词列表为空，则返回输入单词本身。

示例说明

下面提供两个示例来说明本文中的拼写检查器的应用：

示例一

输入一个错误而明显的单词，例如 acess, 程序给出正确拼写建议如下：

correction('acess') # 输出 'access'

示例二

输入一个有多种可能的常见单词，例如 fina, 程序最终返回特定一个的拼写建议：

correction('fina') # 输出 'find'

这个例子也展示了算法如何从不可知性的输入中找出最可能十分正确的单词。