Elasticsearch 如何自定义扩展词库？
问题导读:1.你了解Elasticsearch吗?
2.新词库从哪里来?
3.如何静态扩展字典?
Elasticsearch 实战项目中势必会用到中文分词，而中文分词器的选型包含但不限于如下开源分词器：
IK 分词器
https://github.com/medcl/elasticsearch-analysis-ik
Ansj 分词器
https://github.com/NLPchina/elasticsearch-analysis-ansj
jieba 分词器
https://github.com/sing1ee/elasticsearch-jieba-plugin
清华大学 thulac 分词器
https://github.com/microbun/elasticsearch-thulac-plugin
icu 分词器
https://github.com/elastic/elasticsearch-analysis-icu
还有华为的未开源的：泊松分词器；阿里未开源的：达摩院定制的分词器。
但，不论选择何种分词器，尤其选型开源分词器，到头来都会遇到：已有词库词典数据无法满足定制化项目需求的情况。
那么，实战中如何解决词典扩展问题呢？本文给出实战思路。
1 认知前提
1.1 分词器选型
本文验证使用的 IK 分词器，其他分词器原理相同。
1.2 新扩充词典对历史索引数据无效
由于：分段的不可修改性，新扩展的词典只对扩展后的那一刻之后的写入数据生效。
如果想让历史索引数据生效，需要重新导入数据或者 reindex 将历史索引迁移到新索引。迁移过程中，可以以别名统一对外服务，以确保用户无感知。
2、新词库从哪里来？
2.1 平时积累或算法团队提供的新词库
这个得靠平时项目的积累、互联网搜集、或者公司算法团队自研新词发现算法。
比如：微信文章分词发现的新词库如下：
自然语言处理 NLP 领域新词发现是个领域和方向，感兴趣的可以搜索查看“新词发现”相关资料。
推荐阅读：https://spaces.ac.cn/archives/4256
2.2 互联网开源词库
仅以搜狗输入法为例，有个“细胞词库”的概念。
搜狗官方释义如下：
系统词库——输入法自带的词库，为您的输入提供基本的字词。
细胞词库——全部由网友来贡献。搜狗鼓励用户积极上传或编辑细胞词库，为中文输入的演变做出自己的贡献。
https://pinyin.sogou.com/help.php?list=6&q=3
细胞词库样例截图如下，各分类词库均支持下载。
2.3 爬取特定领域词库
比如：“亚硝酸盐”领域，非专业不知道有哪些关键词，客户也不一定提供。
通过学术搜索，找相关文章的关键词，下载后去重导入词典就是很好的扩展方案。
仅以万方数据库为例：
3 静态扩展词典
静态指：在 Elasticsearch 集群部署完毕后，安装 ik 分词器的时候，不仅使用 ik 开源自带的分词器，而且加上满足自身项目要求的词典。
这种词典的添加或更新，必须重新启动 Elasticsearch 才能生效。
针对搜狗词库为例的互联网词库的使用步骤如下：
3.1 步骤 1：下载词库
若需全量，爬虫实现即可。
全量词库的地址：
https://pinyin.sogou.com/dict/cate/index/403
3.2 步骤 2：将.scel 转为 txt 文本格式
可以借助 python 脚本实现，或者借助第三方工具，如：深蓝词库转换工具。
参考如下：
3.3 步骤 3：将生成的文本文件去重
借助：shell 脚本 sort、uniq 即可实现，比如生成sogou_ext.dic文件。
3.4 步骤 4：将生成待添加词库添加到 IK 配置文件中
如上修改对应的IK 插件配置文件地址：
./config/analysis-ik/IKAnalyzer.cfg.xml
3.5 步骤 5：重新启动 Elasticsearch 节点
对比一下，更新词库前和更新词库后的分词结果如下：
显然，更新词库后，“云南省红河哈尼族彝族自治州”作为一个完整的词分词了，说明更新词库已生效。
4 动态扩展词典
以 IK 分词器为例，采用修改 IK 插件源码，动态词库结合更新 Mysql 库表实现。
由于类似方案已经非常成熟，这里只给出实现思路。
4.1 步骤 1：下载 IK 插件源码
4.2 步骤 2：修改 IK 插件源码
加上 Mysql 驱动以及相关更新实现操作。
在elasticsearch安装目录config目录下，需要在jdbc-reload.properties 配置文件中配置更新热词的mysql的地址。
数据库连接要加上时间格式和ssl的声明，否则会报时间格式的错误和数据库连接缺少ssl证书的错误。
jdbc:mysql://192.168.1.15:3306/sogou_ext?useSSL=false&serverTimezone=GMT
4.3 步骤 3：将修改后源码重新打包
4.4 步骤 4：原有插件包替换为新插件包
将打包后插件更新到 Elasticsearch 插件部署位置
插件位置为：
./plugins/analysis-ik/elasticsearch-analysis-ik-7.13.0.jar
如下配置是最容易忽略和出错的地方，强调一下：
将mysql驱动的jar包复制到系统java目录的jre/lib/ext文件夹中。
修改/jre/lib/security/java.policy文件在grant下添加如下两行代码：
permission java.lang.RuntimePermission createClassLoader;
permission java.lang.RuntimePermission getClassLoader;
4.5 步骤 5：重启 Elasticsearch 节点，以使新插件生效
重启后，动态添加方式可以通过脚本更新 Mysql 数据库表的方式实现。Elasticsearch 会动态捕获 Mysql 的更新，以实现动态添加词库。
再次强调一下：词库只对新索引数据生效，若想对历史索引生效，需要重新导入数据或者借助 reindex 实现。
5 小结
本文以实战环节经常遇到的词库、词典更新问题出发，从新词库的三种来源方式、静态添加词库、动态添加词库三个问题展开探讨，目的是给大家一些实战参考思路。
本文仅是抛砖引玉，相信词库的获取和更新肯定还有更多、更优秀的实现方式。
欢迎大家留言交流下自己的词库更新实现方式。
最新经典文章，欢迎关注公众号http://www.aboutyun.com/data/attachment/forum/201903/18/215536lzpn7n3u7m7u90vm.jpg
原文链接:https://blog.csdn.net/laoyang360/article/details/120124340?spm=1001.2014.3001.5501
页:
[1]