分享

hadoop集群安装重启后,找不到namenode进程

yuwenge 2015-7-6 00:45:42 发表于 总结型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 34625


集群安装正常,各个进程能看到,系统重启后,找不到namenode进程。
查看日志

/tmp/hadoop-aboutyun123/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

说是没有name这个目录
于是创建name文件夹。
创建文件夹,还是不能成功,查看日志
[mw_shl_code=bash,true]java.io.IOException: NameNode is not formatted.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:225)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:975)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:681)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:584)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:643)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:810)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:794)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1487)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1553)
2015-07-05 09:32:21,465 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2015-07-05 09:32:21,475 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
[/mw_shl_code]

说是没有格式化,再次格式化下

[mw_shl_code=bash,true]hadoop namenode -format[/mw_shl_code]

ok终于成功

原因:
系统重启后,会删除name文件夹




已有(4)人评论

跳转到指定楼层
NEOGX 发表于 2015-7-6 22:01:03
彻底解决办法:

在hdfs-site.xml文件里加入下面属性
[mw_shl_code=xml,true]<property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/aboutyun123/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/home/aboutyun123/dfs/data</value>
       </property>
[/mw_shl_code]
然后在Linux中创建对应的目录,并且授权当前用户
回复

使用道具 举报

zhangshuai 发表于 2015-7-6 08:56:45
那么。在线上由于其他故障重启找不到namenode 那是不是要格式化呢?
回复

使用道具 举报

Joker 发表于 2015-7-6 09:09:32
zhangshuai 发表于 2015-7-6 08:56
那么。在线上由于其他故障重启找不到namenode 那是不是要格式化呢?

在线上的系统,你的集群已经有数据在格式化数据就没了,只有找问题!
回复

使用道具 举报

arBen 发表于 2015-7-7 08:20:23
我记得好像是如果不指定name和data文件夹 ,那么hadoop会在linux下的临时目录下自动创建....而每次重启linux系统后 ,临时目录会被清除 ,所以造成这问题.
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条