分享

hadoop集群间数据迁移问题

jsh0401 发表于 2014-12-11 23:11:39 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 15444
我知道用distcp,能复制单个文件 ,例如这样写
hadoop fs -distcp hfds://nn1:8020/1.txt  hfds://nn2:8020/1.txt


现在有个需求,比如有如下目录下的文件,*表示所有文件夹
/aaa/*/*/20141211/*
请教大神,这样的怎么复制? 连同目录一起复制过去,怎么写命令?

已有(1)人评论

跳转到指定楼层
desehawk 发表于 2014-12-11 23:31:26
复制文件前面加上-f
bash$ hadoop distcp -f hdfs://nn1:8020/srclist \
                       hdfs://nn2:8020/bar/foo

更多内容参考
http://hadoop.apache.org/docs/r1.2.1/distcp.html

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条