分享

hadoop hdfs中并行复制

maizhu 发表于 2014-10-9 15:20:30 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 7896
hadoop中有一个非常有用的并行复制程序---distcp,这个程序可以从hadoop的文件系统中复制大量的数据,也可以经大量的数据复制到hadoop中。
distcp典型的应用场景就是在两个HDFS集群之间进行传输数据,可以采用如下命令:
%hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
这条命令就是把第一个集群的foo目录(包括文件)复制到第二个集群的bar目录下,如果bar不存在则新建。

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条