MYSQL交易数据如何同步到Hive？

比如用户借款表：字段{状态、逾期天数、利息等字段}，
这些字段每天都会更新，因为一些特别的原因，可能还会删除一些记录。
如何将这些变化的数据同步到Hive中？使用什么工具或解决方案？

关系型数据中的增删改后的数据怎么同步到Hive 或 Hdfs中？有增量同步解决方案吗？有实时同步文案吗？

hyj · 发表于 2019-4-6 16:15:09

如何只是更新和导入数据，sqoop是符合要求的。如果是有删除的，而且要求同步，可以通过开发实现，并且最好通过事务实现。

hookover · 发表于 2019-4-7 17:21:43

hyj 发表于 2019-4-6 16:15
如何只是更新和导入数据，sqoop是符合要求的。如果是有删除的，而且要求同步，可以通过开发实现，并且最好 ...

事务级别的实时更新，应该会导致变得慢吧？
有线上解决方案吗？

hyj · 发表于 2019-4-7 20:50:55

hookover 发表于 2019-4-7 17:21
事务级别的实时更新，应该会导致变得慢吧？
有线上解决方案吗？

事务不是必须的，只是为了更好地解决数据的一致性。如果要求不是那么高，可以不适用事务。直接api实现连级删除即可。

阿飞 · 发表于 2019-5-29 13:55:57

如果操作频繁，可以使用spark或则flink，对于增加的或则删除的，等信息。spark或则Flink通过窗口操作，将信息在几秒内或则几分钟中将同等的操作，同步到hive中

图文精华