Nodejs 中文分词常用模块用法分析

中文分词一直是自然语言处理领域的重要研究方向，而Nodejs提供了诸多中文分词模块便于使用。本文将详细介绍常用的中文分词模块并给出示例说明。

分词模块介绍

本节将介绍目前比较流行的中文分词模块，包括：

• nodejieba
• segment
• node-segment

nodejieba

nodejieba是依据结巴分词算法实现的中文分词模块。它具有高效、准确的特点，并且可以自定义词典进行分词。

segment

segment是一个纯 JavaScript 实现的中文分词模块。它依赖词典文件，可以进行增量式加载，支持多种中文分词算法，包括正向最大匹配、逆向最大匹配、中间最大匹配等。

node-segment

node-segment是基于中科院分词系统ICTCLAS实现的中文分词模块。它是一个比较完整的中文分词解决方案，包括词性标注和命名实体识别等其他功能。

分词模块使用

以nodejieba和segment为例，本节将分别介绍它们的基础用法和高级用法。

nodejieba基础用法

通过以下命令安装 nodejieba：

npm install nodejieba

使用 nodejieba 进行分词的基础用法可以简述为：

const nodejieba = require('nodejieba');

const text = '北国风光，千里冰封，万里雪飘。';

const words = nodejieba.cut(text);

console.log(words);

在上述代码中，我们首先使用 require 引入了 nodejieba 模块，然后通过调用 nodejieba.cut 方法对目标分词文本进行分词，最后将分词结果打印出来。

注意，以上实例并没有加载词典。如果需要对分词器进行更复杂的配置，可以使用以下方法：

const nodejieba = require('nodejieba');

nodejieba.load({
  userDict: './userdict.utf8'
});

const text = '北国风光，千里冰封，万里雪飘。';

const words = nodejieba.cut(text);

console.log(words);

在上述改进版代码中，我们先通过调用 nodejieba.load 方法加载 ./userdict.utf8，再调用 nodejieba.cut 方法进行分词，这样可以保证识别出更多的分词结果。

nodejieba高级用法

nodejieba 还提供了更多高级功能，例如对多文本进行分词、对单个文本使用多种粒度的分词模型等：

const nodejieba = require('nodejieba');

const topN = 5;
const words1 = nodejieba.cut('小明硕士毕业于中国科学院计算所，后在日本京都大学深造。', topN);
const words2 = nodejieba.cut('他来到了网易杭研大厦', topN, true);
const words3 = nodejieba.cut('我来到北京清华大学', topN, false, 'mp');
const words4 = nodejieba.cutHMM('我们中出了一个叛徒');
const words5 = nodejieba.cutAll('南京市长江大桥', true);
const words6 = nodejieba.cutForSearch('小明硕士毕业于中国科学院计算所，后在日本京都大学深造。');

console.log(words1);
console.log(words2);
console.log(words3);
console.log(words4);
console.log(words5);
console.log(words6);

上述代码演示了以下高级用法：

• nodejieba.cut 方法可以设置 topN，只返回前 N 个分词结果；
• nodejieba.cut 方法可以设置 hmm，开启 HMM 新词发现；
• nodejieba.cut 方法可以设置 mode，切换其粒度，包括 mp、default、search、dag、test、all；
• nodejieba.cut 方法还支持多文本分词、搜索引擎分词等方式。

更多高级用法可以查看 nodejieba 文档。

segment基础用法

通过以下命令安装 segment：

npm install segment

使用 segment 进行分词的基础用法可以简述为：

const Segment = require('segment');

const segment = new Segment();

segment.useDefault();

const text = '北国风光，千里冰封，万里雪飘。';

const words = segment.doSegment(text);

console.log(words);

在上述代码中，我们引用了 Segment 模块，创建了一个 segment 实例，并使用 segment.useDefault() 方法加载了默认的分词词典，然后再调用 segment.doSegment 方法分词，并将结果打印出来。

segment高级用法

segment 还提供了更多高级功能，例如更改词典、加载自定义词典等：

const Segment = require('segment');

const segment = new Segment();

segment.use('jieba'); // 切换分词算法
segment.loadDict('userdict.txt'); // 加载自定义词典

const text = '小明硕士毕业于中国科学院计算所，后在日本京都大学深造。';

const words = segment.doSegment(text);

console.log(words);

上述代码演示了以下高级用法：

• segment.use 方法可以切换分词算法；
• segment.loadDict 方法可以加载自定义词典，词典项必须是一个行分割的字符串。

更多高级用法可以查看 segment 源码。

总结

本文详细介绍了 nodejieba 和 segment 两个常用的中文分词模块，并给出了基础用法和高级用法的示例。希望读者可以通过本文更好地了解中文分词的相关技术和应用。