Python探索之pLSA实现代码

Python探索之pLSA实现代码攻略

1. 简介

pLSA (Probabilistic Latent Semantic Analysis) 是一种概率模型，用于对文档进行主题建模。本攻略将介绍如何实现pLSA算法，同时提供两个示例说明它的用途。

2. 实现

2.1 数据准备

首先，我们需要一些文本数据用于主题建模。这里我们采用经典的20个新闻组数据集。可以使用以下代码获取数据集：

from sklearn.datasets import fetch_20newsgroups
data = fetch_20newsgroups(subset='all', shuffle=True)
docs = data.data

2.2 构建词典

我们需要根据数据集中的所有文本构建一个单词表（词典），将词语映射为数值。可以使用以下代码构建词典：

from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(min_df=5, stop_words='english')
X = vectorizer.fit_transform(docs)
word2idx = vectorizer.vocabulary_
idx2word = {v: k for k, v in word2idx.items()}

这里我们使用CountVectorizer来构建词典，将出现次数低于5次和停用词都去除。可以通过word2idx和idx2word两个字典进行词语和数值之间的映射。

2.3 计算条件概率

pLSA算法的核心是计算词语在主题下的条件概率。我们可以使用以下代码计算：

import numpy as np

# 学习率
learning_rate = 0.1
# 主题数
K = 10
# 迭代次数
max_iter = 200

# 初始化P(w|z)，P(z|d)，可以先采用随机值
p_w_z = np.random.rand(len(word2idx), K)
p_z_d = np.random.rand(K, len(docs))

# EM算法迭代过程
for i in range(max_iter):
    # E-step
    for j in range(len(docs)):
        doc_vector = X[j].toarray().flatten()
        sum_p_z = np.sum(p_z_d[:, j])
        for k in range(K):
            p_z_d[k, j] = np.sum(p_w_z[:, k] * doc_vector) / sum_p_z

    # M-step
    for k in range(K):
        sum_p_w = np.sum(p_w_z[:, k])
        for j in range(len(docs)):
            doc_vector = X[j].toarray().flatten()
            p_w_z[:, k] += learning_rate * doc_vector * p_z_d[k, j] / sum_p_w

            # 归一化
            p_w_z[:, k] /= np.sqrt((p_w_z[:, k] ** 2).sum())

上述代码通过EM算法迭代计算出给定主题下词语的条件概率。

2.4 找到每个主题中的前N个词

我们可以使用以下代码找到每个主题中条件概率最高的前N个词：

N = 10
topic_words = []
for k in range(K):
    top_n_word_indices = np.argsort(p_w_z[:, k])[::-1][:N]
    topic_words.append([idx2word[i] for i in top_n_word_indices])

2.5 应用示例

下面我们使用pLSA算法对新闻文本进行主题建模，并输出每个主题中条件概率最高的前10个词。可以使用以下代码进行计算：

for i in range(len(docs)):
    # 输出每篇文本的主题分布
    doc_vector = X[i].toarray().flatten()
    topic_distribution = np.sum(p_w_z.T * doc_vector, axis=1)
    topic_distribution /= np.sum(topic_distribution)
    print(f'Topic distribution for document {i}:')
    print(topic_distribution)

# 输出每个主题中条件概率最高的前10个词
for k, words in enumerate(topic_words):
    print(f'Topic {k}: {" | ".join(words)}')

2.6 完整代码

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np

# 获取数据集
data = fetch_20newsgroups(subset='all', shuffle=True)
docs = data.data

# 构建词典
vectorizer = CountVectorizer(min_df=5, stop_words='english')
X = vectorizer.fit_transform(docs)
word2idx = vectorizer.vocabulary_
idx2word = {v: k for k, v in word2idx.items()}

# 学习率
learning_rate = 0.1
# 主题数
K = 10
# 迭代次数
max_iter = 200

# 初始化P(w|z)，P(z|d)，可以先采用随机值
p_w_z = np.random.rand(len(word2idx), K)
p_z_d = np.random.rand(K, len(docs))

# EM算法迭代过程
for i in range(max_iter):
    # E-step
    for j in range(len(docs)):
        doc_vector = X[j].toarray().flatten()
        sum_p_z = np.sum(p_z_d[:, j])
        for k in range(K):
            p_z_d[k, j] = np.sum(p_w_z[:, k] * doc_vector) / sum_p_z

    # M-step
    for k in range(K):
        sum_p_w = np.sum(p_w_z[:, k])
        for j in range(len(docs)):
            doc_vector = X[j].toarray().flatten()
            p_w_z[:, k] += learning_rate * doc_vector * p_z_d[k, j] / sum_p_w

            # 归一化
            p_w_z[:, k] /= np.sqrt((p_w_z[:, k] ** 2).sum())

# 找到每个主题中的前10个词
N = 10
topic_words = []
for k in range(K):
    top_n_word_indices = np.argsort(p_w_z[:, k])[::-1][:N]
    topic_words.append([idx2word[i] for i in top_n_word_indices])

# 应用示例
for i in range(len(docs)):
    # 输出每篇文本的主题分布
    doc_vector = X[i].toarray().flatten()
    topic_distribution = np.sum(p_w_z.T * doc_vector, axis=1)
    topic_distribution /= np.sum(topic_distribution)
    print(f'Topic distribution for document {i}:')
    print(topic_distribution)

# 输出每个主题中条件概率最高的前10个词
for k, words in enumerate(topic_words):
    print(f'Topic {k}: {" | ".join(words)}')

3. 结论

pLSA算法是一种有效的文本主题建模方法，能够找到文本中的主题并输出与之相关的词语。本攻略展示了如何使用Python实现该算法，并提供了两个应用示例，可以根据实际需要进行修改。