sehriff 发表于 2017-8-28 00:30:43

sqoop2系统入门之5:用户指南Kafka 连接器

问题导读

1.如何使用Kafka 连接器?
2.写入kafka的数据是否保证顺序性?


static/image/hrline/4.gif


上一篇:sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564

目录

[*]用法

[*]配置连接
[*]TO 作业配置

[*]加载器(Loader)

目前,只支持TO作业。

1. 用法
通过创建连接器连接(link)和使用该连接的作业(job)来使用该Kafka连接器。

1.1. 配置连接
配置连接(link)涉及的输入包括:

Input       Type       Description       Example
Broker list String       必须的。逗号隔开的kafka 服务器。 example.com:10000,example.com:11000
Zookeeper connection       String       必须的。逗号隔开的zookeeper服务器quorum。 /etc/conf/hadoop

1.2. TO 作业配置
与作业配置相关联的FROM作业的输入包括:

Input               Type                  Description                  Example
topic String 必须的。要转移到的kafka主题。 my topic

2. 加载器(loader)
在数据加载阶段,每个加载器都直接写数据到Kafka。写入kafka的数据是不保证顺序性的。




相关篇章

sqoop2系统入门之1:用户指南5分钟入门Demo
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22549


sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22602



sqoop2系统入门之3:用户指南通用JDBC连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22563


sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564


sqoop2系统入门之5:用户指南Kafka 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22565


sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619


sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22647


sqoop2系统入门之8之开发指南篇:Sqoop 2开发环境配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22659


sqoop2系统入门之9之管理员指南篇:Spoop Tool使用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22698


sqoop2系统入门之10之管理员指南篇:Spoop2升级
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22705


sqoop2系统入门之11之管理员指南篇:Sqoop安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22709



页: [1]
查看完整版本: sqoop2系统入门之5:用户指南Kafka 连接器