kafka 生产者如何持续读取数据

查看数: 26969 | 评论数: 8 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-4-5 16:35

我想实现下面功能：我有一个文本型的第三方数据库，有一个时间戳字段，我想通过kafka增量的从这个库中读取新数据。一次性的读取数据已经实现，问题是kafka怎么样才能做到间隔5分钟或者10分钟或者其他时间去连上这 ...

szcountryboy 发表于 2016-6-12 21:50:08

lihy114 发表于 2016-5-19 10:37
不需要使用配置文件的设置，在代码中直接使用休眠就可以

如果这样就和kafka没有关系了,就是你程序怎么实现定时去DB拿数据,然后写入kafka(product)了.
是这个意思吧

lihy114 发表于 2016-5-19 10:37:50

atsky123 发表于 2016-4-16 12:59
哪个配置文件中，楼主是怎么设置的

不需要使用配置文件的设置，在代码中直接使用休眠就可以

atsky123 发表于 2016-4-16 12:59:23

lihy114 发表于 2016-4-16 12:43
给一个休眠时间，可以自己设定，休眠完成后连接库查询是否有新数据产生。有，处理；没有，再休眠。

哪个配置文件中，楼主是怎么设置的

lihy114 发表于 2016-4-16 12:43:27

atsky123 发表于 2016-4-15 22:22
楼主的意思是
kafka 能做到间隔5分钟或者10分钟或者其他时间去连上库

给一个休眠时间，可以自己设定，休眠完成后连接库查询是否有新数据产生。有，处理；没有，再休眠。

atsky123 发表于 2016-4-15 22:22:22

lihy114 发表于 2016-4-7 18:18
这个问题是因为maven生成的包有问题，不使用生成的jar包，把github上面的源代码直接下载了，导入自己的包中 ...

楼主的意思是
kafka 能做到间隔5分钟或者10分钟或者其他时间去连上库

lihy114 发表于 2016-4-7 18:18:25

这个问题是因为maven生成的包有问题，不使用生成的jar包，把github上面的源代码直接下载了，导入自己的包中，就可以解决这个问题了，生成的包有缺失

bob007 发表于 2016-4-5 18:13:36

楼主理解对的，把想写入的内容放入product，就写入kafka了

图文精华