如何将两个小的hadoop集群部为一个大的hadoop集群
现在有两个hadoop集群一个hadoop集群的存储系统是hdfs，另一个hadoop集群的存储系统是其它分布式文件系统，可以将两个集群搭建为一个大的hadoop集群么？目前集群还没有这方面的功能，二者设计不同、存储方式不同，迁移如同将两个构造不同的事物，拼接在一起，所以迁移不会成功。唯一的解决方案就是能否将这两个文件系统转换，但是这也是一个非常大的工程，目前还没有人来做。
大部分都是hdfs的
Hadoop集群之间导数据可以使用hadoopdistcp hftp://source/sourcehdfs://dest:9000/source
相信看了下面的，区别，会帮助你来理解
参考下面的区别：
虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处，但是这两种系统的总体设计却大不一样。
1. HDFS使用了中央系统来维护文件元数据(Namenode，名称节点)，而在Swift中，元数据呈分布式，跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点，因而扩展到规模非常大的环境显得更困难。
2. Swift在设计时考虑到了多租户架构，而HDFS没有多租户架构这个概念。
3. HDFS针对更庞大的文件作了优化(这是处理数据时通常会出现的情况)，Swift被设计成了可以存储任何大小的文件。
4. 在HDFS中，文件写入一次，而且每次只能有一个文件写入;而在Swift中，文件可以写入多次;在并发操作环境下，以最近一次操作为准。
5. HDFS用Java来编写，而Swift用Python来编写。
另外，HDFS被设计成了可以存储数量中等的大文件，以支持数据处理，而Swift被设计成了一种比较通用的存储解决方案，能够可靠地存储数量非常多的大小不一的文件。
nettman 发表于 2014-8-18 09:39
目前集群还没有这方面的功能，二者设计不同、存储方式不同，迁移如同将两个构造不同的事物，拼接在一起，所 ...
非常感谢！
{:soso_e179:} 哈哈~留着待用~
页:
[1]