开源php中文分词系统SCWS安装和使用实例

一、SCWS简介

SCWS是一款针对中文语言的高效处理系统，它可以对中文进行分词、词性标注、关键词提取等多种处理，是中文自然语言处理领域的重要工具。

二、SCWS安装

1. 准备环境

在安装SCWS之前，需要先确认服务器上已经安装了以下软件：

GCC编译器
PHP开发包
Libiconv库
Pcre库

如果没有安装，需要先进行安装，安装命令如下：

yum install gcc
yum install php-devel
yum install libiconv-devel
yum install pcre-devel

2. 下载和解压SCWS

进入SCWS官方网站（https://www.xunsearch.com/scws/），下载最新版的SCWS源码，解压到服务器上。

wget https://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
tar jxf scws-1.2.3.tar.bz2

3. 编译和安装SCWS

进入SCWS源码目录，执行以下命令进行编译和安装：

./configure --prefix=/usr/local/scws
make && make install

4. 安装SCWS扩展

下载SCWS的PHP扩展源码，解压到服务器上：

wget https://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
tar jxf scws-1.2.3.tar.bz2
cd scws-1.2.3/phpext

进行编译和安装：

/usr/bin/phpize
./configure --with-scws=/usr/local/scws
make && make install

在php.ini中添加配置：

extension=scws.so

5. 测试SCWS

在终端输入一段中文文本进行切词测试：

echo "中文分词系统SCWS安装和使用实例" | /usr/local/scws/bin/scws -d

将得到以下输出结果：

中文 分词 系统 SCWS 安装 和 使用 实例

三、SCWS使用示例

1. 分词

使用SCWS对文本进行分词的方法非常简单，只需要调用相应的函数即可。以下为示例代码：

<?php
// 创建一个Scws对象
$scws = scws_new();

// 设定字符集
$scws->set_charset('utf8');

// 设定词典路径
$scws->set_dict('/usr/local/scws/etc/dict.utf8.xdb');

// 设定规则路径
$scws->set_rule('/usr/local/scws/etc/rules.utf8.ini');

// 设定忽略词典路径，可以不设定
$scws->set_ignore(true);

// 设定分词结果是否自动去重，可以不设定
$scws->set_duality(false);

// 设定分词结果是否按权重倒序，可以不设定
$scws->set_multi(true);

// 设定分词结果返回个数上限，可以不设定
$scws->set_limit(10);

// 设定要进行分词的文本
$scws->send_text('中文分词系统SCWS安装和使用实例');

// 获取分词结果
while ($words = $scws->get_result())
{
    foreach ($words as $word)
    {
        echo $word['word'] . " ";
    }
}

// 释放资源
$scws->close();
?>

以上代码使用了SCWS提供的全部配置项和所有API调用，对分词结果进行了遍历输出。

2. 关键词提取

使用SCWS进行中文关键词提取同样非常简单，只需要调用相应的函数即可。以下为示例代码：

<?php
// 创建一个Scws对象
$scws = scws_new();

// 设定字符集
$scws->set_charset('utf8');

// 设定词典路径
$scws->set_dict('/usr/local/scws/etc/dict.utf8.xdb');

// 设定规则路径
$scws->set_rule('/usr/local/scws/etc/rules.utf8.ini');

// 设定忽略词典路径，可以不设定
$scws->set_ignore(true);

// 设定分词结果是否自动去重，可以不设定
$scws->set_duality(false);

// 设定分词结果是否按权重倒序，可以不设定
$scws->set_multi(true);

// 设定要进行关键词提取的文本
$scws->send_text('中文分词系统SCWS安装和使用实例');

// 获取分词结果和相应的权重
$tops = $scws->get_tops(10);

// 输出关键词和相应的权重
foreach ($tops as $word)
{
    echo $word['word'] . " - " . $word['weight'] . "<br />";
}

// 释放资源
$scws->close();
?>

以上代码只使用了SCWS提供的关键词提取功能，对关键词和相应的权重进行了遍历输出。