Elasticsearch 线上问题排查——搞一天了，明天还要给客户解决这个问题

问题导读：
1.文章中遇到了什么问题？
2.如何解决的？
3.遇到同样问题你应该如何解决？

1、线上问题
线上问题描述：

原来是聊天形式，比较冗长，精简后的问题描述如下：
症状：新增节点后，shard 没有分配到新节点上。如下图所示：

2、问题排查
我的大致排解思路：
如下第一、第二、第三......代表排查问题的推进步骤。

2.1 第一：确定节点角色划分，核实未被分配的节点类型。
仅主节点是不参与分片数据落地存储的，这是认知大前提。
经对方核实，未分配的节点的确是数据节点。
集群有3个候选主节点，3个数据节点，其中1个数据节点为新添加的节点。

2.2 第二：关闭索引再打开试试。
close 再 open 之前验证过会走重新分配机制，部分场景适用。
经对方核查，没有生效。

2.3 第三：独立创立一个新索引，设置3个副本。
分片分配策略是：主、副本会分配到不同的节点上。
多个副本，如果数据节点够多，肯定会相对均匀的分片到多个节点。
经核查：仍然无法分配到新增的数据节点。
不过，此时看截图，已有了未分配的灰色分片。

2.4 第四：查看分片未分配的原因。
排查方法：
GET _cluster/allocation/explain
这时候，客户反馈：“我设置了节点踢出集群的设置”。
我的第一反应：“和这个有关系，为什么要设置？！”
且 explain 执行结果验证了刚才的推断：
“cannot allocate because allocation is not permitted to any of the nodes”。

2.5 第五：为什么设置？在哪里设置的？如何设置的？
为什么设置？
客户反馈：“我看书上写的只要有节点离开集群就会触发 rebalance。所以就设置了这个参数。”
在哪里设置？
经反复确认，是集群层面的设置，非索引层面。
起初认为是索引层面的设置，我单独验证后不对，才想起来是集群层面的配置。
如何设置的？
这个之前的博文：Elasticsearch集群管理之1——如何高效的添加、删除节点？中讲过，我自己也在实战环境中用过。

命令行如下：

PUT _cluster/settings
{
  "transient" : {
    "cluster.routing.allocation.exclude._ip" : "10.0.0.1"
  }
}
复制代码

2.6 取消这个设置就会恢复新节点的分片分配。
我推荐的命令行如下：

PUT _cluster/settings
{
  "transient" : {
    "cluster.routing.allocation.exclude._ip" : ""
  }
}
复制代码

经客户验证也是 ok 的。

3、我的几点观察和思考
3.1 关于 head 插件 和 Kibana dev tools 的选型
head 插件在集群节点、分片可视化方面做得的确不错。
如果在 1.X版本、2.X版本，由于当时 Kibana 功能还不尽完善，甚至还没有被 Elastic 官方收购，选型 head 插件做问题排查无可厚非。
但是，5.X、6.X、7.X 后，Kibana 已经有了突飞猛进的发展，无论是 dev tools 的命令行提示功能，还是多维度的可视化监控。
head 插件做命令行的调试的确稍显笨拙，就类似早期的C、C++编译器 VC6.0一样。
而 Kibana dev tools 类似 VS2020+版本或者开源的 Codeblocks，用过你会发现“如丝般顺滑”般的效率提升。

3.2 关于优化参数配置
我自己在管理集群、维护集群的阶段，也是看到网上有好的优化参数、新版本新特性参数都会在集群中试验，对比看看有没有功能提升或者性能改善。
但，一定得了解参数的确切含义、函数的用途、加与不加对集群或分片等层面的影响；明确相关参数的应用背景，贴合自己应用场景的经验证 ok 才可以使用。
且，一定得先小范围测试环境没有问题，甚至连续3天+没有问题后，才能有的放矢的应用到生成环境。
比如：线程池队列的参数优化，和 CPU 核数相关，不见得是放之四海而皆准的“万能参数”。

3.3 关于设置，在哪个层面设置？
从全局角度考虑，Elasticsearch 设置分为：集群层面设置、索引层面设置等。
而集群层面设置又细分为：
临时设置
永久设置
配置文件设置
索引层面设置又细分为：
静态设置
在索引创建阶段或者关闭索引阶段设置。
动态设置
通过 update-index-settings 方式随时更新设置。

如上图所示，不同的设置含义不同。
需要设置前仔细核对各个参数的含义以及各个参数的设置方式。

3.4 设置生效容易，使得设置失效一样得会
参数生效、参数失效是一对“好兄弟”，两个都得灵活掌握。
设置完参数、参数生效的同时要考虑：如何回退？如何恢复到没有加参数的原始状态。
比如：前面设置的   "cluster.routing.allocation.exclude._ip" : ""，不加具体的 IP 就是回退、不设置的含义。
官方对于设置回退有没有说明呢？
有的，官方明确说明如下：
You can reset persistent or transient settings by assigning a null value.
也就是我们上面的命令行操作更严谨的写法应该是：

PUT _cluster/settings
{
  "transient" : {
    "cluster.routing.allocation.exclude._ip" : null
  }
}
复制代码

如果有标准写法，上面的这个才是最正宗、最标准的写法。

4、小结
事后观察，只通过后面的第四、五、六步，就能定位问题的根本原因。
但，毕竟不在现场，多去了解问题的来龙去脉，更有助于辅助解决问题。
复盘总结一下，希望对大家也有所帮助。

参考
集群层面设置
https://www.elastic.co/guide/en/elasticsearch/reference/7.14//cluster-update-settings.html
索引层面设置
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/index-modules.html

推荐
1、Elasticsearch 7.X 进阶实战私训课
2、如何系统的学习 Elasticsearch ？
3、全网首发！《 Elasticsearch 最少必要知识教程 V1.0 》低调发布
4、两个 Elasticsearch 线上实战问题及解读
5、且慢！听说你线上环境准备选型 Elasticsearch SQL 了？

最新经典文章，欢迎关注公众号

原文链接:https://blog.csdn.net/laoyang360/article/details/120278667?spm=1001.2014.3001.5501