sqoop2系统入门之5:用户指南Kafka 连接器
问题导读1.如何使用Kafka 连接器?
2.写入kafka的数据是否保证顺序性?
static/image/hrline/4.gif
上一篇:sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564
目录
[*]用法
[*]配置连接
[*]TO 作业配置
[*]加载器(Loader)
目前,只支持TO作业。
1. 用法
通过创建连接器连接(link)和使用该连接的作业(job)来使用该Kafka连接器。
1.1. 配置连接
配置连接(link)涉及的输入包括:
Input Type Description Example
Broker list String 必须的。逗号隔开的kafka 服务器。 example.com:10000,example.com:11000
Zookeeper connection String 必须的。逗号隔开的zookeeper服务器quorum。 /etc/conf/hadoop
1.2. TO 作业配置
与作业配置相关联的FROM作业的输入包括:
Input Type Description Example
topic String 必须的。要转移到的kafka主题。 my topic
2. 加载器(loader)
在数据加载阶段,每个加载器都直接写数据到Kafka。写入kafka的数据是不保证顺序性的。
相关篇章
sqoop2系统入门之1:用户指南5分钟入门Demo
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22549
sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22602
sqoop2系统入门之3:用户指南通用JDBC连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22563
sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564
sqoop2系统入门之5:用户指南Kafka 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22565
sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619
sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22647
sqoop2系统入门之8之开发指南篇:Sqoop 2开发环境配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22659
sqoop2系统入门之9之管理员指南篇:Spoop Tool使用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22698
sqoop2系统入门之10之管理员指南篇:Spoop2升级
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22705
sqoop2系统入门之11之管理员指南篇:Sqoop安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22709
页:
[1]