java.util.ConcurrentModificationException

查看数: 18827 | 评论数: 7 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-12-19 09:55

正文摘要:

本帖最后由 pig2 于 2014-12-19 11:32 编辑 请问,我的备节点namenode自动退出了,查看日志如下,有句话是 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: ReplicationMonitor thread received Runt ...

回复

bioger_hit 发表于 2014-12-19 14:57:59
jttsai 发表于 2014-12-19 14:42
为什么ReplicationMonitor 压力过大,namenode就退出了
它是namenode线程,如同一个人如果某个器官坏掉了, 整个人就挂掉了
jttsai 发表于 2014-12-19 14:42:06
bioger_hit 发表于 2014-12-19 11:41
也有可能是无效的块过多,导致ReplicationMonitor 压力过大,,namenode退出。

为什么ReplicationMonitor 压力过大,namenode就退出了
jttsai 发表于 2014-12-19 14:30:30
muyannian 发表于 2014-12-19 11:29
从上面信息只能得出,ReplicationMonitor进程运行异常了,为什么会运行异常?可能是由于它的配置或则进程, ...

ReplicationMonitor进程运行异常的可能性是什么啊?为什么ReplicationMonitor进程异常,就使得namenode退出了啊
jttsai 发表于 2014-12-19 14:29:22
Joker 发表于 2014-12-19 11:23
英文不是很好,这里貌似有人解决,https://issues.apache.org/jira/browse/HDFS-1257
应该是不同步?

嗯啊,都是英文,好像是有跟我一样的问题。
bioger_hit 发表于 2014-12-19 11:41:14
也有可能是无效的块过多,导致ReplicationMonitor 压力过大,,namenode退出。
muyannian 发表于 2014-12-19 11:29:38
从上面信息只能得出,ReplicationMonitor进程运行异常了,为什么会运行异常?可能是由于它的配置或则进程,导致的。
首先我们来看看这个进程的作用:

ReplicationMonitor在HDFS中的工作,首先不仅会负责为副本不足的数据块选择source 数据节点,选择冗余的target节点,等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作,同时也会将各个数据节点上无效的数据块副本加入无效集合,等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。

总之:
ReplicationMonitor主要用来检测所有文件的Blocks的副本情况,对于Blocks的副本多了或者不够,同时也包括无效的Blocks,他都会进行相应的处理措施。


希望明白了它的作用,对你环境的判断会有所帮助
Joker 发表于 2014-12-19 11:23:18
英文不是很好,这里貌似有人解决,https://issues.apache.org/jira/browse/HDFS-1257
应该是不同步?
关闭

推荐上一条 /2 下一条