分享

【已解决】关于文件远程上传hdfs的问题

seraph50 发表于 2015-3-8 20:49:10 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 21 116081
提示: 作者被禁止或删除 内容自动屏蔽

已有(21)人评论

跳转到指定楼层
arsenduan 发表于 2015-3-8 21:59:42
HA 跟非HA,编程都是一样的。
非HA怎么上传,HA就怎么上传。
只不过地址。有些不一样。这个需要查看集群的配置文件
回复

使用道具 举报

seraph50 发表于 2015-3-8 22:17:03
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

rsgg03 发表于 2015-3-9 00:06:29
配置HA,你是如何通过命令上传到hadoop的
回复

使用道具 举报

seraph50 发表于 2015-3-9 00:27:47
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

rsgg03 发表于 2015-3-9 01:40:33
本帖最后由 pig2 于 2015-3-9 03:14 编辑
seraph50 发表于 2015-3-9 00:27
直接用命令上传的话和HA没多大关系了啊。因为文件就在集群的机器上面,不算远程啊

hadoop如果不写的话会有默认路径,但是如果写全的话,其实跟远程是一个道理。
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
所以如果你找到这个全部路径,也就找到了uri,楼主可以一试

回复

使用道具 举报

xuanxufeng 发表于 2015-3-9 03:57:02
fs.defaultFS(core-site.xml):
在non-ha下,这个参数值为namenode的地址:“hdfs://namenode:8020”;不过在HA架构下,将使用namenservice名称替代

  1. <property>  
  2.   <name>fs.defaultFS</name>  
  3.   <value>hdfs://hadoop-ha</value>  
  4. </property>  
复制代码
也就是:
conf.set("fs.defaultFS", "hdfs://master:9000");

你代码中的master换成namenservice即可


回复

使用道具 举报

hahaxixi 发表于 2015-3-9 09:40:15
xuanxufeng 发表于 2015-3-9 03:57
fs.defaultFS(core-site.xml):
在non-ha下,这个参数值为namenode的地址:“hdfs://namenode:8020”;不 ...

学习了~~~~~~
回复

使用道具 举报

seraph50 发表于 2015-3-10 17:15:58
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

xuanxufeng 发表于 2015-3-10 19:23:03
seraph50 发表于 2015-3-10 17:15
直接报Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException ...

把你的配置贴出来,可能写错了
回复

使用道具 举报

123下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条