hadoop如何恢复namenode

我问一下，我将namenode进程kill掉之后，通过hadoop namenode –importCheckpoint 启动namenode时报：ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: Cannot import image from a checkpoint.  NameNode already contains an image in /opt/hadoop/name
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:320)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
14/03/10 16:55:00 ERROR namenode.NameNode: java.io.IOException: Cannot import image from a checkpoint.  NameNode already contains an image in /opt/hadoop/name
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:320)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
你遇到过这种情况吗？

fanbells 发表于 2014-3-10 17:00
我问一下，我将namenode进程kill掉之后，通过hadoop namenode –importCheckpoint 启动namenode时报：ERROR ...

你可以参考
NameNode的format操作做了什么

上面的img文件已经存在了，看一下在这个路径下的/opt/hadoop/name的img文件给清空一下（不过清空前，确保没有风险）。

问题已解决。
解决方法：
      将SecondaryNameNode机器下的dfs文件全部复制到namenode机器下，清空了namenode原来name目录下的文件，通过./hadoop namenode -importCheckpoint来运行正常了。注意：不是将dfs文件内容复制到name目录下，而是name的上一层，也就是说name目录和dfs目录是平级的关系。

fanbells 发表于 2014-3-11 15:20
问题已解决。
解决方法：
      将SecondaryNameNode机器下的dfs文件全部复制到namenode机器下，清空了na ...

解决了就好了

pig2 发表于 2014-3-11 15:23
解决了就好了

追问一下，在namenode挂机后，直接启动namenode，和通过secondarynamenode有什么区别吗？最后的结果都是启动了namenode，我想直接启动namenode是在原来的数据文件下启动，通过secondarynamenode启动是根据备份的文件启动，难道说namenode下的文件和secondarynamenode下的文件不一致，secondarynamenode下的数据多？？？

fanbells 发表于 2014-3-11 15:48
追问一下，在namenode挂机后，直接启动namenode，和通过secondarynamenode有什么区别吗？最后的结果都是 ...

具体可以看hadoop详细了解5个进程的作用，从里面摘取一部分内容：

3.1NameNode的目录结构如下：

${dfs.name.dir}/current/VERSION

                                         /edits

                                         /fsimage

                                         /fstime

3.2Secondary NameNode的目录结构如下：

${fs.checkpoint.dir}/current/VERSION

                                                /edits

                                                /fsimage

                                                /fstime

                                /previous.checkpoint/VERSION

                                                                      /edits

                                                                      /fsimage

                                                                      /fstime

上面我们看到他们的目录结构是一样的，而且Secondary NameNode，还有checkpoint目录。

对于namenode宕机，因为你遇到的情况可能特殊一些，没有丢失数据，如果一旦服务器损坏，这些时候namenode就不能在启动了。所以只能通过Secondary NameNode来恢复了。

其实Secondary NameNode恢复也有可能出现数据丢失的现象，也就是所谓的单点问题Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode。hadoop 1.x没有很好的解决这个问题，也就是说即使使用Secondary NameNode恢复，也可能存在丢失数据的现象。后面的版本有所改变，比如多个master。