日志
cloudera HA内存不够用导致的错误Get corrupt file blocks returned error: Operation ...
|
NameNode部署的HA架构，由于客户端重复提交了一些复杂查询，而且当时Hdfs当时正在做Rebalancer. 导致standy节点来回重起
1. 首起查看NameNode日志，发现出现了很多以下的error:
Get corrupt file blocks returned error: Operation category READ is not supported in state standby
尝试了几个方案，包括强制切换active和standy，不管用
2. 后来发现连带clouder manager agent的都来回异出退出，
想了一下，最近有两个节点的blocks数过多，而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了，把内存加到后4G后，重起，果断管用了。。。
不过小文件的问题还是要解决的，每个block太小，bock数量过多。map数量过多，这个问题也必须要解决
1. 首起查看NameNode日志，发现出现了很多以下的error:
Get corrupt file blocks returned error: Operation category READ is not supported in state standby
尝试了几个方案，包括强制切换active和standy，不管用
2. 后来发现连带clouder manager agent的都来回异出退出，
想了一下，最近有两个节点的blocks数过多，而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了，把内存加到后4G后，重起，果断管用了。。。
不过小文件的问题还是要解决的，每个block太小，bock数量过多。map数量过多，这个问题也必须要解决
/2 
