用sqoop从mysql导入hbase问题

查看数: 10806 | 评论数: 5 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2018-7-30 15:02

本帖最后由 evababy 于 2018-7-30 16:57 编辑导入数据过程没问题，当增量导入数据时，存在更新数据的情况，如mysql某列变成null，此时无法导入hbase中，hbase中此列没有被更新，数据依然是历史数据，请问如何能 ...

pig2 发表于 2018-8-2 10:03:45

evababy 发表于 2018-8-2 09:43
由于测试机器时虚拟机，耗时存在一定误差，但基本能体现出来性能的差异

结论：

赞，老铁。

w517424787 发表于 2018-7-31 13:39:36

可以用Spark自己写个工具读取mysql数据，在插入到HBase中，应该不难！

evababy 发表于 2018-7-30 15:47:43

bioger_hit 发表于 2018-7-30 15:36
试试加上下面内容
--null-string '\\N'

试验过了，null列数据还是没有更新，还是老的时间戳数据

bioger_hit 发表于 2018-7-30 15:36:26

试试加上下面内容
--null-string '\\N'

--null-non-string '\\N'

图文精华