goldtimes 发表于 2013-10-25 10:42:15

如何往HDFS文件系统中拷入数据

本人初学hadoop，按照网上的资料，已经成功搭建好hadoop环境，但是现在有一个搞不懂，hdfs是一个海量数据存储环境，但是需要用put命令把本地文件上传到hdfs中，那就是说，本地磁盘如果有100G的话，那最多也就是能上传到HDFS中100G的数据，开始的理解是应该不光在namenode上可以上传数据，在各个datanode上也可以通过put命令把本地的文件上传到HDFS环境中，这样的话就没了，但是经过我的测试，我现在有一个namenode和一个datanode，我在namenode上面用hadoop dfs -put命令放到hdfs中的文件只有在namenode上用hadoop dfs -ls命令可以看到，在datanode上看不到，同样，在datanode上面放的文件在namenode端也看不到，从现象上看他们并不共用这个hdfs系统，不知道是什么情况，希望能够有有经验的朋友告诉我一下实际应用中是如何运用hdfs的海量存储的功能的

easthome001 发表于 2013-10-25 10:42:15

不太可能呀。
HDFS是分布式文件系统，这点你的搞明白。

nextuser 发表于 2013-10-25 10:42:15

嗯，这个明白，那如果我要处理很多数据，但是这些数据还都不在一台机器上，我就只能分别把每一台的数据远程考到namenode上，然后put到HDFS中吗吗？还有没有其他的方法
页: [1]
查看完整版本: 如何往HDFS文件系统中拷入数据