图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › HDFS › Hadoop QJM方式配置高可用之后，DataNode无法操作
分享

Hadoop QJM方式配置高可用之后，DataNode无法操作

gaobangsheng 发表于 2014-6-24 18:06:18 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 40197
About云VIP帮助找工作和提升
问题如下：
最近配置了一个hadoop集群，两个Namenode，三个DataNode，采用QJM方式配置集群。zookeeper实现failover切换。
发现以下问题 ：
启动服务后，在DataNode的日志中看到以后错误：
2014-06-24 17:14:56,112 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: For namenode hdp-m1/10.242.157.115:8020 using DELETEREPORT_INTERVAL of 300000 msec  BLOCKREPORT_INTERVAL of 21600000msec Initial delay: 0msec; heartBeatInterval=3000
2014-06-24 17:14:56,112 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in BPOfferService for Block pool BP-672891972-10.242.157.115-1403601074292 (storage id DS-1537737852-10.242.157.122-50010-1403520116966) service to hdp-m1/10.242.157.115:8020
java.lang.NullPointerException
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.sendHeartBeat(BPServiceActor.java:439)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:525)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:676)
at java.lang.Thread.run(Thread.java:722)

在试着上传文件时报以下错误，但mkdir建目录时，不报错。
[hadoop@hdp-m2 temp]$ hadoop fs -put abc.txt /test
14/06/24 17:54:07 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/abc.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:387)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59582)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)
at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy10.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)
put: File /test/abc.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and no node(s) are excluded in this operation.
14/06/24 17:54:07 ERROR hdfs.DFSClient: Failed to close file /test/abc.txt._COPYING_
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/abc.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:387)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59582)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)
at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy10.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)

网上找了一些资料，说是要指定core-site.xml中的fs.defaultFS为具体的namenode节点。
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
<description>NameNode的URI，hdfs://主机名:端口/</description>
</property>
但是，双NameNode，网官上就是让这么配置的啊？
这个问题搞了半天了，没找到原因，重启服务、清空tmp、格式化等等，都做了，就是不知道原因啊
请大神帮助，谢谢！

还有一个问题，双NameNode时，如果通过java该问hdfs，该如果指定地址呢？
回复

使用道具 举报

自定义广告语

已有(10)人评论

跳转到指定楼层
正序浏览
howtodown 发表于 2014-6-24 19:02:56
gaobangsheng 发表于 2014-6-24 18:08
再补充一下问题 ，有时发现DataNode归属在standby的NameNode节点上，Active的节点上，都没有挂载DataNode。 ...

恩，这个可能你的配置有点问题。
不能上传文件，原因就是你的datanode不存在，存储靠的是datanode，如果datanode不存在我们的上传的文件，根本找不到存储位置。

高可用，对于datanode进行了归类的。我们访问hdfs的时候，访问的是当前被激活的master。
这个有点类似双机热备。比如我们的两台电脑ip地址是不一样的，但是一旦一台电脑宕机了，还能继续工作，为什么，因为这两台虽然内部的ip地址不一样，但是对于外部的ip来讲，他们的ip地址是一样的。可能还是不太懂。
比如：
pc1 内部：192.168.1.105
pc2 内部：192.168.1.106

但是他们的外网可能都是： 172.18.1.251

同样hadoop ha也是借用的这种模式：
这里只是举例，详细你还需要自己琢磨，比如我们访问的cluster1，这是一个别名，hadoop0.和hadop1，都是这个名字。所以当前谁是namenode，我访问的就是谁
<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cluster1</value>
</property>

<property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>hadoop0,hadoop1</value>
    </property>



回复

使用道具 举报

gaobangsheng 发表于 2014-6-24 18:08:40
再补充一下问题 ，有时发现DataNode归属在standby的NameNode节点上，Active的节点上，都没有挂载DataNode。有时是两个NameNode节点上都挂着DataNode，都搞不懂，唉。
回复

使用道具 举报

gaobangsheng 发表于 2014-6-24 19:20:39
howtodown 发表于 2014-6-24 19:02
恩，这个可能你的配置有点问题。
不能上传文件，原因就是你的datanode不存在，存储靠的是datanode，如果 ...

能否举个例子，具体的格式该如何写？
比如jdbc连RAC可以配TNS，也可以同时将两个节点的IP都配置上。
那hdfs中，如果要进行操作，hdfs://IP：port  的写法肯定不合适。问一下应该怎么写？
谢谢
回复

使用道具 举报

howtodown 发表于 2014-6-24 19:29:12
gaobangsheng 发表于 2014-6-24 19:20
能否举个例子，具体的格式该如何写？
比如jdbc连RAC可以配TNS，也可以同时将两个节点的IP都配置上。
那 ...
你把ip换成别名就ok了。
hdfs://IP：port  
比如下面
hdfs://cluster1：9000
回复

使用道具 举报

sstutu 发表于 2014-6-24 23:00:44
这里有篇相关文章，你可以参考下：
hadoop2.2.0集群的HA及MapReduce简单配置

回复

使用道具 举报

gaobangsheng 发表于 2014-6-25 09:23:26
本帖最后由 gaobangsheng 于 2014-6-25 09:41 编辑
howtodown 发表于 2014-6-24 19:29
你把ip换成别名就ok了。
hdfs://IP：port  
比如下面


首先谢谢你的热心解答：
我还是不明白这个问题 ：
假设集群里有两个NameNode，M1，M2； 在配置时，fs.defaultFS 指向一个集群的名称：hdfs://mycluster；  那我访问时，如何指定机器名？
如果我指定M1，正好某天该机器坏了； 我又要改成M2，是不是说我要修改对应的程序的指向的机器？还是说重新更新NameNode的机器名？
有没有让程序在NameNode发生failover后不需要修改配置的办法？就像Oracle RAC的的该问一下，我根本不用关心我连接的到底是哪个节点。

另外，能不能帮我看看上面的错误，还没有找到。
我是严格按官网上的QJM方式配置的，所有的进程都启动了，HA热切换也测试过，是可以的。
但是查日志就发现DataNode启动后报错了，而且会发现三台DataNode有两台挂在M1，有一台挂在M2，重启一下服务，可能挂载的又变了。
但始终无法操作hdfs中的数据，比如上传文件。

我的配置如下：
两个NameNode hdp-m1,hdp-m2
三台DataNode hdp-s1,hdp-s2,hdp-s3
其中，zookeeper装在三台DataNode机器上，JournalNode也装在三台DataNode上，NameNode两台做HA。


  1. 

  2. core-site.xml配置如下：

  3. 

  4. <configuration>

  5. 

  6. <property>

  7. <name>hadoop.tmp.dir</name>

  8. <value>/hdp/tmp</value>

  9. <description>系统临时目录夹</description>

  10. </property>

  11. 

  12. <property>

  13. <name>fs.defaultFS</name>

  14. <value>hdfs://mycluster</value>

  15. <description>NameNode的URI，hdfs://主机名:端口/</description>

  16. </property>

  17. 

  18. <property>

  19.   <name>dfs.journalnode.edits.dir</name>

  20.   <value>/hdp/journal</value>

  21.   <description>用于记录JournalNode的数据存放路径</description>

  22. </property>

  23. 

  24. </configuration>
复制代码

  1. 

  2. hdfs-site.xml配置如下：

  3. <configuration>

  4. 

  5. <property>

  6. <name>dfs.namenode.name.dir</name>

  7. <value>file:///hdp/name</value>

  8. <description>NameNode的元数据存储目录</description>

  9. </property>

  10. 

  11. <property>

  12. <name>dfs.datanode.data.dir</name>

  13. <value>file:///hdp/data</value>

  14. <description>DataNode的数据存储目录</description>

  15. </property>

  16. 

  17. <property>

  18. <name>dfs.replication</name>

  19. <value>2</value>

  20. <description>数据block块备份数量</description>

  21. </property>

  22. 

  23. <property>

  24. <name>dfs.permissions</name>

  25. <value>false</value>

  26. <description>hdfs操作是的权限检查关闭</description>

  27. </property>

  28. 

  29. <property>

  30.   <name>dfs.nameservices</name>

  31.   <value>mycluster</value>

  32. </property> 

  33. 

  34. <property>

  35.   <name>dfs.ha.namenodes.mycluster</name>

  36.   <value>nn1,nn2</value>

  37. </property>

  38. 

  39. <property>

  40.   <name>dfs.namenode.rpc-address.mycluster.nn1</name>

  41.   <value>hdp-m1:8020</value>

  42. </property>

  43. 

  44. <property>

  45.   <name>dfs.namenode.rpc-address.mycluster.nn2</name>

  46.   <value>hdp-m2:8020</value>

  47. </property>

  48. 

  49. <property>

  50.   <name>dfs.namenode.http-address.mycluster.nn1</name>

  51.   <value>hdp-m1:50070</value>

  52. </property>

  53. 

  54. <property>

  55.   <name>dfs.namenode.http-address.mycluster.nn2</name>

  56.   <value>hdp-m2:50070</value>

  57. </property>

  58. 

  59. <property>

  60.   <name>dfs.namenode.shared.edits.dir</name>

  61.   <value>qjournal://hdp-s1:8485;hdp-s2:8485;hdp-s3:8485/mycluster</value>

  62. </property>

  63. 

  64. <property>

  65.   <name>dfs.client.failover.proxy.provider.mycluster</name>

  66.   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  67. </property>

  68. 

  69. <property>

  70.   <name>dfs.ha.fencing.methods</name>

  71.   <value>sshfence</value>

  72. </property>

  73. 

  74. <property>

  75.   <name>dfs.ha.fencing.ssh.private-key-files</name>

  76.   <value>/home/hadoop/.ssh/id_dsa</value>

  77. </property>

  78. 

  79. <property>

  80.   <name>dfs.ha.automatic-failover.enabled</name>

  81.   <value>true</value>

  82. </property>

  83. 

  84. <property>

  85.   <name>ha.zookeeper.quorum</name>

  86.   <value>hdp-s1:2181,hdp-s2:2181,hdp-s3:2181</value>

  87. </property>

  88. 

  89. </configuration>
复制代码


DataNode报错问题如下：
  1. 

  2. 

  3. 2014-06-24 17:14:56,112 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in BPOfferService for Block pool BP-672891972-10.242.157.115-1403601074292 (storage id DS-1537737852-10.242.157.122-50010-1403520116966) service to hdp-m1/10.242.157.115:8020

  4. java.lang.NullPointerException

  5.         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.sendHeartBeat(BPServiceActor.java:439)

  6.         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:525)

  7.         at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:676)

  8.         at java.lang.Thread.run(Thread.java:722)

复制代码



还请帮忙看看问题出在哪里，谢谢了！
回复

使用道具 举报

hyj 发表于 2014-6-25 10:34:39
本帖最后由 hyj 于 2014-6-25 10:37 编辑
gaobangsheng 发表于 2014-6-25 09:23
首先谢谢你的热心解答：
我还是不明白这个问题 ：
假设集群里有两个NameNode，M1，M2； 在配置时，fs ...

你把你的上传命等信息贴出来看一下。
回复

使用道具 举报

gaobangsheng 发表于 2014-6-25 11:56:00
hyj 发表于 2014-6-25 10:34
本帖最后由 hyj 于 2014-6-25 10:37 编辑

你把你的上传命等信息贴出来看一下。

感谢，问题已解决：

1、上面报的错，我将整个集群的tmp，name,data目录都清空，重新格式化namenode和zkfc就好了

2、集群访问时，输入: hdfs://mycluster就OK了
回复

使用道具 举报

ran_newstar 发表于 2014-8-23 14:17:58
本帖最后由 ran_newstar 于 2014-8-23 18:20 编辑
gaobangsheng 发表于 2014-6-25 11:56
感谢，问题已解决：

1、上面报的错，我将整个集群的tmp，name,data目录都清空，重新格式化namenode和z ...

请问这几台机器上core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml的配置文件内容都是一样的吗？还是每台都要区别配置的？
2台namenode上这几个配置文件和3台datanode上的这几个配置文件里面的内容都一样吗？
只要配置成功一台然后复制到其他机器上？
回复

使用道具 举报

12下一页
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
gaobangsheng

中级会员

关注

  • 3

    主题

  • 33

    帖子

  • 5

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000