快捷搜索:

Elasticsearch7.9.2中文分词器-IK分词器使用

elasticsearch默认提供了standard分词器,但对中文的分词效果不尽人意:

可以看出,把词语分成了一个个的汉字,这并不是我们想要的,接下来介绍下中文分词器-IK分词器的安装及使用。

1、IK分词器下载及安装

github:

各版本分词器下载:

选择版本与elasticsearch一致的版本:7.9.2

下载后解压,将解压后的文件夹elasticsearch-analysis-ik-7.9.2 拷贝至 elasticsearch的plugins文件下:

然后重启elasticsearch,控制台有如下输出:

2、使用IK分词器测试分词

IK分词器有两种分词模式:ik_smart 和 ik_max_word 模式。

1、ik_smart

会做最粗粒度的拆分,比如会将“中华人民共和国”拆分为中华人民共和国。

使用Kibana开发工具,输入如下请求:

POST _analyze {   "analyzer": "ik_smart",   "text":"中华人民共和国" }

2、ik_max_word

会将文本做最细粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国等词语。

请求如下:

POST _analyze {   "analyzer": "ik_max_word",   "text":"中华人民共和国" }

3、扩展词典

在 elasticsearch-analysis-ik-7.9.2 文件夹 conf 目录下,找到 IKAnalyzer.cfg.xml 配置文件,

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties>     <comment>IK Analyzer 扩展配置</comment>     <!--用户可以在这里配置自己的扩展字典 -->     <entry key="ext_dict">custom.dic</entry>      <!--用户可以在这里配置自己的扩展停止词字典-->     <entry key="ext_stopwords"></entry>     <!--用户可以在这里配置远程扩展字典 -->     <!-- <entry key="remote_ext_dict">words_location</entry> -->     <!--用户可以在这里配置远程扩展停止词字典-->     <!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>

其中custom.dic为自定义的扩展字典,7.9.2版本的分词器插件中没有该文件,需要自己新建,

内容可以根据自己需要,自定义分词的文字。

保存后重启elasticsearch即可看到自己想要的分词效果。

热更新 IK 分词使用方法

目前该插件支持热更新 IK 分词,通过上文在 IK 配置文件中提到的如下配置

<!--用户可以在这里配置远程扩展字典 --> <entry key="remote_ext_dict">location</entry> <!--用户可以在这里配置远程扩展停止词字典--> <entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url,比如 http://yoursite.com/getCustomDict,该请求只需满足以下两点即可完成分词热更新。

该 http 请求需要返回两个头部(header),一个是 Last-Modified,一个是 ETag,这两者都是字符串类型,只要有一个发生变化,该插件就会去抓取新的分词进而更新词库。 该 http 请求返回的内容格式是一行一个分词,换行符用 即可。

满足上面两点要求就可以实现热更新分词了,不需要重启 ES 实例。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里,放在 nginx 或其他简易 http server 下,当 .txt 文件修改时,http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇,并更新这个 .txt 文件

经验分享 程序员 微信小程序 职场和发展