Java算法之余弦相似度计算字符串相似率

介绍

余弦相似度是一种常用的字符串相似率计算方法，可以用于文本相似度计算、推荐算法等场景。本文将介绍如何在Java中实现余弦相似度算法，可用于计算两个字符串之间的相似度。

算法原理

余弦相似度的计算原理是将两个文本的词向量表示为向量，然后计算这两个向量之间的夹角余弦值，夹角余弦值越大表示两个文本之间越相似，反之则越不相似。计算余弦相似度需要进行以下几个简单的步骤：

1. 对文本进行分词操作，将文本转化成词向量表示；
2. 分别计算两个文本的词向量；
3. 对两个词向量进行向量归一化处理；
4. 计算两个向量之间的夹角余弦值。

实现步骤

下面是Java中实现余弦相似度的详细步骤：

1. 分词

使用Java中的Jieba分词库对文本进行分词处理，示例代码如下：

import org.apdplat.word.segmentation.Word;
import org.apdplat.word.segmentation.WordSegmenter;

List<Word> words = WordSegmenter.seg("这是一个示例文本");

2. 构建词向量

将分好的词汇统计为词频，生成一个Map类型的词向量。

Map<String, Integer> wordFreq = new HashMap<>();
for (Word w : words) {
   String word = w.getText();
   if (wordFreq.containsKey(word)) {
      wordFreq.put(word, wordFreq.get(word) + 1);
   } else {
      wordFreq.put(word, 1);
   }
}

3. 计算两个文本的词向量

构建两个文本的词向量，分别为vec1和vec2。

4. 向量归一化

因为长度不同的向量之间进行夹角余弦值计算会影响结果，所以需要对向量长度进行处理，常用的方式是对向量进行归一化操作。具体方法是将向量中的每个值除以该向量的模长即可。

private static double[] normalize(double[] vector) {
    double modulus = modulus(vector);
    if (modulus == 0) {
        return vector;
    }
    double[] normalizedVector = vector.clone();
    for (int i = 0; i < vector.length; i++) {
        normalizedVector[i] = vector[i] / modulus;
    }
    return normalizedVector;
}

private static double modulus(double[] vector) {
    double sum = 0;
    for (double v : vector) {
        sum += v * v;
    }
    return Math.sqrt(sum);
}

vec1 = normalize(vec1);
vec2 = normalize(vec2);

5. 计算夹角余弦值

将两个归一化后的向量进行点积运算，然后用两个向量长度的乘积除以点积，即可得到夹角余弦值。

private static double dotProduct(double[] v1, double[] v2) {
    if (v1.length != v2.length) {
        throw new IllegalArgumentException("向量长度不一致");
    }
    double result = 0;
    for (int i = 0; i < v1.length; i++) {
        result += v1[i] * v2[i];
    }
    return result;
}

private static double cosineSimilarity(double[] v1, double[] v2) {
    double dotProduct = dotProduct(v1, v2);
    double modulusV1 = modulus(v1);
    double modulusV2 = modulus(v2);
    return dotProduct / (modulusV1 * modulusV2);
}

示例

以下是两个示例，分别计算了两个字符串相似度，其中一个示例使用了分词处理。

示例1：不使用分词处理

String str1 = "这是一个示例文本，用于测试字符串相似度";
String str2 = "这是一个测试文本，用于示例字符串相似度";
Map<String, Integer> vec1 = getFreqMap(str1);
Map<String, Integer> vec2 = getFreqMap(str2);
double similarity = cosineSimilarity(getVector(vec1), getVector(vec2));
System.out.println(similarity);

输出结果为：0.667

示例2：使用分词处理

String str1 = "中国的首都是北京，北京的人口很多";
String str2 = "北京是中国的首都，北京人口众多";
List<Word> words1 = WordSegmenter.seg(str1);
List<Word> words2 = WordSegmenter.seg(str2);
Map<String, Integer> vec1 = getFreqMap(words1);
Map<String, Integer> vec2 = getFreqMap(words2);
double similarity = cosineSimilarity(getVector(vec1), getVector(vec2));
System.out.println(similarity);

输出结果为：0.866

以上是余弦相似度在Java中的实现方法，可以用于计算两个字符串之间的相似度，此外还可应用于文本分类、推荐系统等领域。