【已解决】关于文件远程上传hdfs的问题

seraph50 发表于 2015-3-10 19:47
已经解决了

楼主，能否写出经历，借鉴下，相互帮助下

楼主，怎么解决的可否分享一下呢？？

seraph50 发表于 2015-3-11 11:19
Hadoop在HA模式下远程上传文件的实现

如下文红字部分，直接这样就可以了吧
public class CopyToHDFS {
    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
       conf.set("fs.defaultFS", "hdfs://mycluster");

        FileSystem fs = FileSystem.get(conf);

        fs.copyFromLocalFile(new Path("/home/lance/log.txt"), new Path("/log"));
    }
}

seraph50 发表于 2015-3-11 12:51
请把文章看全了

第一步：
public class CopyToHDFS {
    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
       conf.set("fs.defaultFS", "hdfs://mycluster");

        FileSystem fs = FileSystem.get(conf);

        fs.copyFromLocalFile(new Path("/home/lance/log.txt"), new Path("/log"));
    }
}

第二步：
把下面文件复制到一种是直接把hadoop的配置文件放到工程目录下或则在代码里，设置下面属性
core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1, nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>192.168.11.2:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>192.168.11.7:9000</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
</configuration>
复制代码

seraph50 发表于 2015-3-11 13:28
加载了配置文件，可以把红字的删了。配置文件里的属性值请按你自己集群的实际情况改

楼主通过命令行上传过文件吗？这个跟一个namenode是否也有区别。

eclipse在win7系统上怎么远程hadoop伪分布式集群开发呀