分享

新人再次求教,hdfs无法格式化

wkq_hadoop 发表于 2014-8-29 12:26:08 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 35764
          etc/hosts文件配置好了,防火墙关了,ssh免密码登陆页配置好了,而且虚拟机内各台机器都能ping通,主机也可以和虚拟机ping通,但是在格式化hdfs的时候,报错,各种百度谷歌,始终没找到有效的方法,求教!!!!万分感激!!!

14/08/28 21:15:09 INFO util.GSet: capacity      = 2^15 = 32768 entries
14/08/28 21:15:13 INFO ipc.Client: Retrying connect to server: hadoopk/192.168.202.112:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/08/28 21:15:13 INFO ipc.Client: Retrying connect to server: hadoopq/192.168.202.113:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/08/28 21:15:13 INFO ipc.Client: Retrying connect to server: hadoopw/192.168.202.111:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/08/28 21:15:14 INFO ipc.Client: Retrying connect to server: hadoopk/192.168.202.112:8485. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)


on: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
        at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
        at org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:223)
        at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:218)
        at org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:836)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat(FSImage.java:170)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:833)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1213)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)
14/08/28 21:15:22 INFO ipc.Client: Retrying connect to server: hadoopk/192.168.202.112:8485. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/08/28 21:15:22 INFO util.ExitUtil: Exiting with status 1
14/08/28 21:15:22 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoopw/192.168.202.111


已有(5)人评论

跳转到指定楼层
sstutu 发表于 2014-8-29 15:09:23
hadoopw/192.168.202.111:8485
你的端口是怎么来的。

配置文件你参考

hadoop2.2完全分布式最新高可靠安装文档


配置文件4:core-site.xml
  1. <configuration>
  2.        <property>
  3.                 <name>fs.defaultFS</name>
  4.                 <value>hdfs://master:8020</value>
  5.        </property>
  6.        <property>
  7.                 <name>io.file.buffer.size</name>
  8.                 <value>131072</value>
  9.         </property>
  10.        <property>
  11.                <name>hadoop.tmp.dir</name>
  12.                <value>file:/home/aboutyun/tmp</value>
  13.                <description>Abase for other temporary   directories.</description>
  14.        </property>
  15.         <property>
  16.                <name>hadoop.proxyuser.aboutyun.hosts</name>
  17.                <value>*</value>
  18.        </property>
  19.        <property>
  20.                <name>hadoop.proxyuser.aboutyun.groups</name>
  21.                <value>*</value>
  22.        </property>
  23. </configuration>
复制代码


配置文件5:hdfs-site.xml
  1. <configuration>
  2.        <property>
  3.                 <name>dfs.namenode.secondary.http-address</name>
  4.                <value>master:9001</value>
  5.        </property>
  6.      <property>
  7.              <name>dfs.namenode.name.dir</name>
  8.              <value>file:/home/aboutyun/dfs/name</value>
  9.        </property>
  10.       <property>
  11.               <name>dfs.datanode.data.dir</name>
  12.               <value>file:/home/aboutyun/dfs/data</value>
  13.        </property>
  14.        <property>
  15.                <name>dfs.replication</name>
  16.                <value>3</value>
  17.         </property>
  18.         <property>
  19.                  <name>dfs.webhdfs.enabled</name>
  20.                   <value>true</value>
  21.          </property>
  22. </configuration>
复制代码


配置文件6:mapred-site.xml
  1. <configuration>
  2.           <property>                                                                  <name>mapreduce.framework.name</name>
  3.                 <value>yarn</value>
  4.            </property>
  5.           <property>
  6.                   <name>mapreduce.jobhistory.address</name>
  7.                   <value>master:10020</value>
  8.           </property>
  9.           <property>
  10.                 <name>mapreduce.jobhistory.webapp.address</name>
  11.                 <value>master:19888</value>
  12.        </property>
  13. </configuration>
复制代码



配置文件7:yarn-site.xml
  1. <configuration>
  2.         <property>
  3.                <name>yarn.nodemanager.aux-services</name>
  4.                <value>mapreduce_shuffle</value>
  5.         </property>
  6.         <property>                                                               
  7. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  8.                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  9.         </property>
  10.         <property>
  11.                <name>yarn.resourcemanager.address</name>
  12.                <value>master:8032</value>
  13.        </property>
  14.        <property>
  15.                <name>yarn.resourcemanager.scheduler.address</name>
  16.                <value>master:8030</value>
  17.        </property>
  18.        <property>
  19.             <name>yarn.resourcemanager.resource-tracker.address</name>
  20.              <value>master:8031</value>
  21.       </property>
  22.       <property>
  23.               <name>yarn.resourcemanager.admin.address</name>
  24.                <value>master:8033</value>
  25.        </property>
  26.        <property>
  27.                <name>yarn.resourcemanager.webapp.address</name>
  28.                <value>master:8088</value>
  29.        </property>
  30. </configuration>
复制代码


回复

使用道具 举报

hery 发表于 2014-8-29 14:08:31
如果多次格式化的话,删除一下hadoop的安装目录下/tmp里面的东西
回复

使用道具 举报

howtodown 发表于 2014-8-29 14:48:41

是hadoop2.x吗?先把集群起来

  1. start-dfs.sh
复制代码

然后格式化。


回复

使用道具 举报

wkq_hadoop 发表于 2014-8-29 14:50:03
howtodown 发表于 2014-8-29 14:48
是hadoop2.x吗?先把集群起来

集群刚搭,还没格式化,第一次格式化的时候出现了上面的错误,hadoop2.2.0,请问怎么办?谢谢了!!
回复

使用道具 举报

howtodown 发表于 2014-8-29 14:54:27
wkq_hadoop 发表于 2014-8-29 14:50
集群刚搭,还没格式化,第一次格式化的时候出现了上面的错误,hadoop2.2.0,请问怎么办?谢谢了!!
看日志,报什么错误信息
Hadoop日志位置在哪里?确切日志位置指定

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条