Nodejs 中文分词常用模块用法分析

一、概述

中文分词是 NLP 中的重要任务之一，Nodejs 中文分词模块则是在 Nodejs 环境下具有处理中文分词的能力的模块，常用的中文分词模块包括：nodejieba、node-segment、segment、hanlp、thulac 等。本文将主要介绍 nodejieba 和 node-segment 这两款常用的中文分词模块。

二、nodejieba 的使用

nodejieba 是基于结巴中文分词实现的 Nodejs 模块，具有性能稳定，支持多种分词模式，支持自定义词典等特点。下面介绍一下 nodejieba 的基本使用方法。

安装

使用 npm 安装 nodejieba 模块

npm install nodejieba

分词

nodejieba 调用分词方法进行分词，即调用 lcut 方法。该方法的第一个参数是需要进行分词的文本，第二个参数是用来指定分词模式的参数，常用的分词模式有精确模式（默认）、全模式和搜索模式。

const nodejieba = require('nodejieba');

let text = "中华人民共和国万岁";
let result1 = nodejieba.lcut(text);
console.log(result1); // [ '中华', '人民', '共和国', '万岁' ]

let result2 = nodejieba.lcut(text, 'search');
console.log(result2); // [ '中华', '华人', '人民', '共和', '共和国', '万岁' ]

let result3 = nodejieba.lcut(text, 'full');
console.log(result3); // [ '中华', '华人', '人民', '共和', '共和国', '万岁', '' ]

关键词提取

nodejieba 可以基于 TF-IDF 算法提取一段文本的关键词，调用 extract 方法即可实现，该方法的第一个参数是需要提取的文本，第二个参数是需要提取的关键词数量。

let text = "nodejieba是基于结巴中文分词实现的Nodejs模块，性能稳定，支持自定义词典。";
let result = nodejieba.extract(text, 3);
console.log(result); // [ { word: 'nodejieba', weight: 4.831217275288975 },
                    //   { word: '中文', weight: 2.1101426923388036 },
                    //   { word: '结巴', weight: 1.8714321150939545 } ]

三、node-segment 的使用

node-segment 是基于分词模块 Segment 实现的 Nodejs 模块，其支持多种分词算法和词典，并且拥有良好的性能和可扩展性。下面介绍一下 node-segment 的基本使用方法。

安装

使用 npm 安装 node-segment 模块

npm install node-segment

分词

node-segment 调用分词方法进行分词，即调用 doSegment 方法。该方法的第一个参数是需要进行分词的文本，第二个参数是分词算法的类型，目前支持的算法有：正向最大匹配（默认）、逆向最大匹配和双向最大匹配。

const Segment = require('node-segment');
const segment = new Segment();
segment.useDefault(); // 使用默认的词典和分词规则

let text = "中华人民共和国北京市海淀区";
let result1 = segment.doSegment(text);
console.log(result1); // [ '中华', '人民', '共和国', '北京市', '海淀区' ]

let result2 = segment.doSegment(text, { type: 'reverse' });
console.log(result2); // [ '海淀区', '北京市', '共和国', '人民', '中华' ]

let result3 = segment.doSegment(text, { type: 'bidirectional' });
console.log(result3); // [ '中华', '人民', '共和国', '北京', '北京市', '海淀', '海淀区' ]

自定义词典

node-segment 支持自定义词典，使用 addDict 方法即可添加自定义词典，该方法的第一个参数是需要添加的词条的数组，每个词条是一个对象，包含 word 和 type 属性，分别是词语和词性。

const Segment = require('node-segment');
const segment = new Segment();
segment.useDefault();

let text = "新华社北京时间";
let result1 = segment.doSegment(text);
console.log(result1); // [ '新', '华社', '北京', '时间' ]

segment.addDict([
    { word: '新华', type: 'n' },
    { word: '社', type: 'n' }
]);

let result2 = segment.doSegment(text);
console.log(result2); // [ '新华', '社', '北京', '时间' ]

四、总结

本文主要介绍了 nodejieba 和 node-segment 这两款 Nodejs 中文分词模块的基本用法，包括安装、分词和关键词提取等内容，以及 node-segment 的自定义词典的使用。Nodejs 中文分词模块的选型需要结合具体项目需求和环境进行综合评估。