分享

数据抽取方案 求助!

fly2015 发表于 2015-11-5 10:40:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 9017
现在要实现从关系型数据库抽数据到hive,包括全量和增量,
现在要开发这样的一套平台,实现通用性和灵活性,
现在我有个大概的想法 就是通过mr的DBIputformat来弄,
不知道大家有没有更好的想法。

已有(4)人评论

跳转到指定楼层
NEOGX 发表于 2015-11-5 11:06:33
sqoop的原理就是这样的,可以参考下sqoop的源码
回复

使用道具 举报

zxmit 发表于 2015-11-5 22:55:39
开源工具sqoop,阿里的Datax,为什么要重复造轮子呢
回复

使用道具 举报

墨水心 发表于 2015-11-6 10:05:09
l直接load本地文件
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条