jttsai 发表于 2014-12-19 14:42 |
bioger_hit 发表于 2014-12-19 11:41 为什么ReplicationMonitor 压力过大,namenode就退出了 |
muyannian 发表于 2014-12-19 11:29 ReplicationMonitor进程运行异常的可能性是什么啊?为什么ReplicationMonitor进程异常,就使得namenode退出了啊 |
Joker 发表于 2014-12-19 11:23 嗯啊,都是英文,好像是有跟我一样的问题。 |
也有可能是无效的块过多,导致ReplicationMonitor 压力过大,,namenode退出。 |
从上面信息只能得出,ReplicationMonitor进程运行异常了,为什么会运行异常?可能是由于它的配置或则进程,导致的。 首先我们来看看这个进程的作用: ReplicationMonitor在HDFS中的工作,首先不仅会负责为副本不足的数据块选择source 数据节点,选择冗余的target节点,等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作,同时也会将各个数据节点上无效的数据块副本加入无效集合,等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。 总之: ReplicationMonitor主要用来检测所有文件的Blocks的副本情况,对于Blocks的副本多了或者不够,同时也包括无效的Blocks,他都会进行相应的处理措施。 希望明白了它的作用,对你环境的判断会有所帮助 |
英文不是很好,这里貌似有人解决,https://issues.apache.org/jira/browse/HDFS-1257 应该是不同步? |