CDH平台DATANODE数据块阀值参数设置

我们的一个生产环境的hadoop集群上25个datanode，几乎每个节点都报数据块阀值告警。例如其中一个节点：DataNode 有 565,596 个块。 警告阈值：500,000 块。

集群上给出的建议如下：

这是 DataNode 运行状况检查，用于检查 DataNode 是否含有过多的块。如果 DataNode 含有过多的块，可能影响 DataNode 的性能。具有大量块数的 DataNode 将需要较大的 java 堆并且可能遇到较长时间的垃圾回收暂停。另外，大量块数可能表明存在许多小文件。不会为处理许多小文件而优化 HDFS，跨许多小文件进行操作时处理时间可能受影响。
如果只有部分 DataNode 有大量块，运行 HDFS 重新平衡命令可以通过移动 DataNode 之间的数据解决该问题。如果 HDFS 重新平衡命令将群集报告为平衡，没有修复块不平衡，则问题与存在的许多小文件有关。参阅 HDFS 文档了解解决该问题的最佳做法。如果许多小文件不是您的使用案例的关注点，则考虑禁用该运行状况测试。如果所有 DataNode 都有大量块数且该问题与小文件无关，则应添加更多 DataNode。

请问下谁知道这个阀值是根据什么设置的？ 如果要修改应该改成多少合适？

相信楼主已经看过官网了，并没有给出配置信息，只给出了api或则说是模块名称。
这个应该是不可以修改的。当然他也给出了建议，就是增加datanode.前提是不是因为小文件的原因。
也就是说你的数据块太多了，如果不是因为小文件的原因，那么最好是增加datanode

einhep 发表于 2016-11-2 12:21
相信楼主已经看过官网了，并没有给出配置信息，只给出了api或则说是模块名称。
这个应该是不可以修改的。 ...

因为各种原因DATANODE增加不了。 阀值修改是可以的。但是目前不明确要依据什么来改，datanode数量？or 其他？

a506488046 发表于 2016-11-2 17:49
因为各种原因DATANODE增加不了。 阀值修改是可以的。但是目前不明确要依据什么来改，datanode数量？or 其 ...

个人观点：感觉修改这个没有必要，因为这个报警本身是对系统的反映，它只起到监控的作用，但是还是可以继续运行存储数据。如果这个报警觉得对系统没有危害，那么可以忽略。
关键还是集群的承受能力。修改阈值只是延迟报警，但是对系统的性能或则提升承受力个人认为没有帮助

easthome001 发表于 2016-11-2 18:14
个人观点：感觉修改这个没有必要，因为这个报警本身是对系统的反映，它只起到监控的作用，但是还是可以继 ...

明白，谢谢。