＊求大师指点＊ 如何将HDFS中的数据安全迁移到swift上。

客户手里有几十个TB的数据在HDFS中，正常跑着各种业务apps，
现在想计划它们都上云，迁移到openstack上，计算什么的都好说，就是存储层这个事儿……

上openstack以后存储层计划用swift，就好像sahara那样……

但是事儿开工以后挺紧，需要很快的将HDFS上的数据迁移到swift上，求问大师们有没有什么好建议：

1 HDFS数据和swift对接对拷的工具？
2 目前mapreduce对HDFS的数据连接，当迁移到openstack以后，转而变成对swift的数据连接，这其中会不会有什么影响？
3 2里如果有影响的话，需要怎么修改，比如改改路径识别方式，或者需要改很多配置？

求大师们指点，不胜感激……

这里面存在一些问题：
1.将这些数据前一上去，是否还运行hadoop，也就是说，你把这些数据迁移到云上干嘛？用来做什么。
2.假如还是用hadoop来处理和运行。还是使用hadoop格式，这样其实只是一个上传的过程，比如ftp等。
3.假如完全脱离hadoop，转换为swift格式，这个很难办了，难度有点大。楼主也想了办法
4.如果既运行hadoop，又想使用swift，hadoop是支持swift格式的。
为 Hadoop 的存储层增加对 OpenStack Swift 的支持
http://www.aboutyun.com/thread-7109-1-1.html

easthome001 发表于 2016-1-29 20:36
这里面存在一些问题：
1.将这些数据前一上去，是否还运行hadoop，也就是说，你把这些数据迁移到云上干嘛？ ...

感谢大师的回复和指点，赞一个。

我的情况是这样：

1.将这些数据前一上去，是否还运行hadoop，也就是说，你把这些数据迁移到云上干嘛？用来做什么。
⭐ 数据上云以后计算层还会使用hadoop的mapreduce，客户有一些分析应用会需要分析数据，用了几年的mapreduce，客户很希望还继续使用。
但是有些GV机构您懂得，所以就有了机房物理机和现有业务上云的事情。
准备做的是把mapreduce计算着部分上云，hadoop的存储层用swift提供。中应用以上的都抓成vm，今后数据分析量更多了可以在openstack平台vm单位快速调整和扩张。

2.假如还是用hadoop来处理和运行。还是使用hadoop格式，这样其实只是一个上传的过程，比如ftp等。
⭐ 本来打算hdfs现有的数据不动，只是把原来的计算部分抓到云上，但是openstack和hdfs对接一直没有找到合适的解决方案和技术，
调查的时候发现了sahara项目，知道了swift对于hadoop的存储层也是可以连接的，所以想干脆把hdfs的数据拉到swift上。（当然这个几十个TB的数据无缝，安全迁移头疼的不行……）

3.假如完全脱离hadoop，转换为swift格式，这个很难办了，难度有点大。楼主也想了办法
⭐ 嗯啊 如2里回复您的，计算部分还想留用，只是存储层转到swift……
不知道大师有没有什么安全转移数据的推荐，和转过去以后怎么让新mapreduce部分识别到新的存储部分，不胜感激。

4.如果既运行hadoop，又想使用swift，hadoop是支持swift格式的。

⭐ 嗯啊 您给的链接我点开了，在一行行的读。

＊希望就需要改个路径访问方式……别的千万别改……
＊数据迁移我也找了几个脚本，对接file读写管道什么的，但是说实话对于hdfs对转到swift的对象存储心里还是没底……