kafka jdbc connector

kafka的jdbc connector可以增量的从一个关系型数据库导出数据到kafka中吗？当数据库中数据全部导完后，如果又新增加数据到数据库中，这时候jdbc connector是否能够将新增的数据导到kafka中？

可以在配置文件*.properties中配置下,模式为incrementing即可。如下
# tasks to create:
name=test-mysql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://172.24.8.114:3306/connector?user=$USER&password=$PASSWORD
mode=incrementing
incrementing.column.name=fdsid
topic.prefix=test-mysql-jdbc-

sstutu 发表于 2018-1-11 16:08
可以在配置文件*.properties中配置下,模式为incrementing即可。如下
# tasks to create:
name=test-mysql ...

好的，那connector是怎么知道上一次读到哪了呢，是从config.storage.topic这个topic还是从哪里知道的

zstu 发表于 2018-1-11 16:16
好的，那connector是怎么知道上一次读到哪了呢，是从config.storage.topic这个topic还是从哪里知道的[/ba ...

这个就需要看源码了。猜测其实保存某个点即可。然后读取的时候，读取这个点。

sstutu 发表于 2018-1-11 16:30
这个就需要看源码了。猜测其实保存某个点即可。然后读取的时候，读取这个点。

你安装的是confluent吧，如果不安装confluent，单纯的使用自定义一个JdbcSourceConnector，然后打包放到到lib中，然后使用> bin/connect-distributed.sh config/connect-distributed.properties来启动connector。这种的可以吗？