分享

Hadoop集群配置HA执行hdfs namenode -format出错

Joker 发表于 2014-11-16 21:07:50 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 112960
想把hadoop集群做成HA的说,可以在格式化的时候就报错了
  1. 14/11/16 20:56:21 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000
  2. 14/11/16 20:56:21 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
  3. 14/11/16 20:56:21 INFO util.GSet: Computing capacity for map BlocksMap
  4. 14/11/16 20:56:21 INFO util.GSet: VM type       = 32-bit
  5. 14/11/16 20:56:21 INFO util.GSet: 2.0% max memory 966.7 MB = 19.3 MB
  6. 14/11/16 20:56:21 INFO util.GSet: capacity      = 2^22 = 4194304 entries
  7. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
  8. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: defaultReplication         = 1
  9. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: maxReplication             = 512
  10. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: minReplication             = 1
  11. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
  12. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: shouldCheckForEnoughRacks  = false
  13. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
  14. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
  15. 14/11/16 20:56:24 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
  16. 14/11/16 20:56:24 INFO namenode.FSNamesystem: fsOwner             = yun (auth:SIMPLE)
  17. 14/11/16 20:56:24 INFO namenode.FSNamesystem: supergroup          = supergroup
  18. 14/11/16 20:56:24 INFO namenode.FSNamesystem: isPermissionEnabled = true
  19. 14/11/16 20:56:24 INFO namenode.FSNamesystem: Determined nameservice ID: ns1
  20. 14/11/16 20:56:24 INFO namenode.FSNamesystem: HA Enabled: false
  21. 14/11/16 20:56:24 WARN namenode.FSNamesystem: Configured NNs:
  22. Nameservice <ns1>:
  23.   NN ID nn1 => yun-master/192.168.139.140:9000
  24. 14/11/16 20:56:24 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
  25. java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.
  26.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:710)
  27.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:654)
  28.         at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:892)
  29.         at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1310)
  30.         at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)
  31. 14/11/16 20:56:24 INFO namenode.FSNamesystem: Stopping services started for active state
  32. 14/11/16 20:56:24 FATAL namenode.NameNode: Exception in namenode join
  33. java.lang.NullPointerException
  34.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.stopActiveServices(FSNamesystem.java:1118)
  35.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.close(FSNamesystem.java:1446)
  36.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:781)
  37.         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:654)
  38.         at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:892)
  39.         at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1310)
  40.         at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)
  41. 14/11/16 20:56:24 INFO util.ExitUtil: Exiting with status 1
  42. 14/11/16 20:56:24 INFO namenode.NameNode: SHUTDOWN_MSG:
复制代码

貌似是我 HA没为true ? 怎么变true
namenode.FSNamesystem: HA Enabled: false

已有(4)人评论

跳转到指定楼层
bioger_hit 发表于 2014-11-16 21:25:42

配置dfs.ha.namenodes.<mycluster>这个属性
回复

使用道具 举报

Joker 发表于 2014-11-16 21:32:01
bioger_hit 发表于 2014-11-16 21:25
配置dfs.ha.namenodes.这个属性

  1. <property>
  2.                                                 <name>dfs.ha.namenodes.ns1</name>
  3.                                                 <value>nn1,nn2</value>
  4.                                         </property>
  5.                                         <!-- nn1的RPC通信地址 -->
  6.                                         <property>
  7.                                                 <name>dfs.namenode.rpc-address.ns1.nn1</name>
  8.                                                 <value>yun-master:9000</value>
  9.                                         </property>
  10.                                         <!-- nn1的http通信地址 -->
  11.                                         <property>
  12.                                                 <name>dfs.namenode.http-address.ns1.nn1</name>
  13.                                                <!-- 我的机器名 -->
  14.                                                 <value>yun-master:50070</value>
  15.                                         </property>
复制代码
这是我的hdfs.site.xml

我的core-site.xml
  1. <property>
  2.     <name>fs.defaultFS</name>
  3.     <value>hdfs://ns1</value>
  4.   </property>
复制代码




回复

使用道具 举报

nettman 发表于 2014-11-16 21:58:12
Joker 发表于 2014-11-16 21:32
这是我的hdfs.site.xml

我的core-site.xml
不知道是否没有贴全,可以参考这个帖子,配置比较详细hadoop2.2.0集群的HA及MapReduce简单配置

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条