分享

求助:如何实现在没有配置hadoop的机器上上传下载

starrycheng 发表于 2013-10-25 10:44:42 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 13 13650
请教下 如果客户端不装有Hadoop的话 怎么实现向集群中的HDFS系统上传下载呢吗?
这个客户端该怎么实现呢吗?
很急啊~~~麻烦大家能帮我解答下~~~

已有(13)人评论

跳转到指定楼层
langke93 发表于 2013-10-25 10:44:42
在你的HDFS集群那里架个服务器,写个web程序,接下来就像你平时做普通的文件上传程序一样,只不过调的HDFS的api接口。
回复

使用道具 举报

JavaShoote 发表于 2013-10-25 10:44:42
web程序可以调的HDFS的api接口,没有配置hadoop的客户端和web程序之间怎么传文件吗?
通过ftp或tcp吗吗?
回复

使用道具 举报

goldtimes 发表于 2013-10-25 10:44:42
普通的客户端(比如手机)不会安装hadoop的,那么在手机上就没有办法运行含有hdfs api的程序了吧(即使程序链接了hadoop的jar包)吗?
回复

使用道具 举报

JavaShoote 发表于 2013-10-25 10:44:42
顶!我发帖也问了这个,但没有人回复!希望高手指点!就是如何在任意一台机(没有部署Hadoop)将本地磁盘的数据上传到HDFS中!
回复

使用道具 举报

JavaShoote 发表于 2013-10-25 10:44:42
搭建一个tomcat server,部署hdfs-webdav上去即可使用http协议读写文件了
回复

使用道具 举报

oChengZi1234 发表于 2013-10-25 10:44:42
回复

使用道具 举报

poptang4 发表于 2013-10-25 10:44:42
这种需求是比较麻烦的,不安装客户端要做到HDFS操作的代价很大。
我能想到的方式有2种:
一种是使用基于web的工具,在第三方机器上搭建中转系统。比如使用Cloudera的HUE:http://www.cloudera.com/blog/2010/07/whats-new-in-cdh3b2-hue/
另外也可以考虑使用fuse-fs库将HDFS mount到一个第三方机器,再开放其他文件读写的接口,比如ftp来上传下载,这个方法我没有试过,感觉应该也是可行的。
这两种方法都依赖第三方中转。中转意味着吞吐量的下降。也可以将中转搭在集群slave机器上,这种情况下需要考虑slave的均衡。
回复

使用道具 举报

xiaolongwu1987 发表于 2013-10-25 10:44:42
还可以把hdfs的目录mount到本地文件系统上,普通的文件操作命令就可以对hdfs上的文件进行操作。
(linux上没有试过,在windows下试过映射到网上邻居,读写文件很方便^_^)
回复

使用道具 举报

a2325145 发表于 2013-10-25 10:44:42
hrfrank,hadoop的客户端是什么啊吗?
要安装的话不是将hadoop-0.20.2.tar.gz解压在客户端(任意一台机没有部署Hadoop)吗吗?这样在客户端单独安装(没有和hadoop集群统一,总不能将客户的硬盘也作为hdfs文件系统的一部分吧吗?)会有用吗吗?
任意一台机没有部署Hadoop的客户端不能通过调用hdfs的api来传输文件到hadoop集群吗吗?
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条