Hadoop QJM方式配置高可用之后，DataNode无法操作

howtodown 发表于 2014-6-24 19:02
恩，这个可能你的配置有点问题。
不能上传文件，原因就是你的datanode不存在，存储靠的是datanode，如果 ...

你好，我配置完HA之后，core-site.xml文件中

fs.defaultFS 值 只定为hdfs://nameservice ID 时，客户端无法访问hdfs，错误信息如下：
[mw_shl_code=actionscript3,true][hadoop@Master sbin]$ hadoop dfs -ls hdfs://mycluster
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

15/07/13 17:44:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Couldn't create proxy provider null
[hadoop@Master sbin]$[/mw_shl_code]


fs.defaultFS 值 只定为hdfs://master:9000 时，客户端访问hdfs正常。

Hadoop 版本2.6.0
全部配置文件如下，麻烦帮忙看看配置是否存在问题，多谢！
core-site.xml
[mw_shl_code=bash,true]<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/bigdata/hadoop-2.6.0/tmp</value>
        </property>
        <property>
                <name>io.seqfile.sorter.recordlimit</name>
                <value>10000000</value>
        </property>
        <property>
        <name>fs.defaultFS</name>
        <!-- <value>hdfs://Master:9000</value> -->
         <value>hdfs://mycluster</value>
        </property>
        <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
        </property>
        <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
        </property>


</configuration>[/mw_shl_code]

hdfs-site.xml
[mw_shl_code=bash,true]<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/bigdata/hadoop-2.6.0/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/bigdata/hadoop-2.6.0/data</value>
        </property>
        <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>

        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
        </property>

        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                <value>master:9000</value>
        </property>
        <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave3:9000</value>
        </property>

        <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
        </property>
        <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave3:50070</value>
        </property>
<property>
        <name>dfs.namenode.servicerpc-address.mycluster.nn1</name>
        <value>master:53310</value>
        </property>
        <property>
        <name>dfs.namenode.servicerpc-address.mycluster.nn2</name>
        <value>slave3:53310</value>
        </property>

        <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://slave1:8485;slave5:8485;slave8:8485/mycluster</value>
        </property>

        <property>
          <name>dfs.journalnode.edits.dir</name>
            <value>/home/hadoop/bigdata/hadoop-2.6.0/journalData</value>
        </property>

        <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

        <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        </property>
        <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
        </property>
        <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>1000</value>
        </property>
        <property>
        <name>dfs.namenode.handler.count</name>
        <value>8</value>
        </property>
        </configuration>
[/mw_shl_code]