分享

hive分区表如何通过sqoop导出数据到mysql

zeus_lhl 发表于 2016-8-13 00:17:37 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 25349
有一个hive的三级分区表,现在想把它导出到mysql,怎么做呢?
比如:
hive有colm1,colm2两个字段,有A,B,C三个分区
mysql有colm1_msq,colm2_msq,a_msq,b_msq,c_msq五个字段分别和hive表的数据列和分区一一对应。

因为分区的值是有很多个,所以不能在sqoop的opt文件里配置多个

请大神们指点,谢谢!!

已有(4)人评论

跳转到指定楼层
langke93 发表于 2016-8-13 06:39:01
下面是一个例子,供楼主参考:

命令:
./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table tablename --export-dir /user/hive/warehouse/database/tablename1/part_date=2015-06-16 --input-fields-terminated-by ','
导出分区表数据,与非分区表相似,只需相应的文件目录即可。(sqoop完成HDFS到RDBS的连接,而hive只是架设在HDFS之上而已。)

非分区表:/user/hive/warehouse/database1/tablename
分区表:/user/hive/warehouse/database1/tablename/part_date=2015-06-16
回复

使用道具 举报

wwwyibin518 发表于 2019-4-18 16:38:24
hive有colm1,colm2 是可以导出到 mysql

hive的分区键 A,B,C 怎么导出..
回复

使用道具 举报

s060403072 发表于 2019-4-18 20:05:59
wwwyibin518 发表于 2019-4-18 16:38
hive有colm1,colm2 是可以导出到 mysql

hive的分区键 A,B,C 怎么导出..

一个个按照多次使用sqoop命令即可
比如第一次到A分区
第二次到B分区
如果嫌麻烦,就写个shell,连续执行。
回复

使用道具 举报

风中滴蚂蚁 发表于 2019-5-7 12:31:19
请问这个问题,有找到解决方案了吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条