求助:如何实现在没有配置hadoop的机器上上传下载
请教下 如果客户端不装有Hadoop的话 怎么实现向集群中的HDFS系统上传下载呢吗?这个客户端该怎么实现呢吗?
很急啊~~~麻烦大家能帮我解答下~~~ 在你的HDFS集群那里架个服务器,写个web程序,接下来就像你平时做普通的文件上传程序一样,只不过调的HDFS的api接口。 web程序可以调的HDFS的api接口,没有配置hadoop的客户端和web程序之间怎么传文件吗?
通过ftp或tcp吗吗? 普通的客户端(比如手机)不会安装hadoop的,那么在手机上就没有办法运行含有hdfs api的程序了吧(即使程序链接了hadoop的jar包)吗? 顶!我发帖也问了这个,但没有人回复!希望高手指点!就是如何在任意一台机(没有部署Hadoop)将本地磁盘的数据上传到HDFS中! 搭建一个tomcat server,部署hdfs-webdav上去即可使用http协议读写文件了 看看这里
http://code.google.com/p/hdfs-webdav/ 这种需求是比较麻烦的,不安装客户端要做到HDFS操作的代价很大。
我能想到的方式有2种:
一种是使用基于web的工具,在第三方机器上搭建中转系统。比如使用Cloudera的HUE:http://www.cloudera.com/blog/2010/07/whats-new-in-cdh3b2-hue/
另外也可以考虑使用fuse-fs库将HDFS mount到一个第三方机器,再开放其他文件读写的接口,比如ftp来上传下载,这个方法我没有试过,感觉应该也是可行的。
这两种方法都依赖第三方中转。中转意味着吞吐量的下降。也可以将中转搭在集群slave机器上,这种情况下需要考虑slave的均衡。 还可以把hdfs的目录mount到本地文件系统上,普通的文件操作命令就可以对hdfs上的文件进行操作。
(linux上没有试过,在windows下试过映射到网上邻居,读写文件很方便^_^) hrfrank,hadoop的客户端是什么啊吗?
要安装的话不是将hadoop-0.20.2.tar.gz解压在客户端(任意一台机没有部署Hadoop)吗吗?这样在客户端单独安装(没有和hadoop集群统一,总不能将客户的硬盘也作为hdfs文件系统的一部分吧吗?)会有用吗吗?
任意一台机没有部署Hadoop的客户端不能通过调用hdfs的api来传输文件到hadoop集群吗吗?
页:
[1]
2