怎么使用flume和kafak结合socket编程
当前项目有个需求：socekt接受上游数据（客户端主动连接上游），接受的数据写入hdfs，并利用socket向下游传输数据（下游主动连接，以命令方式启动监听接口。控制是否向下游传输数据）
目前准备使用：
11.socket向flume传输数据，写入kafa 以保证读取数据和消费数据不同步问题，但是不知道socek直接向flume写数据，flume的source配置avro？
2.socket 和kafa是否api
或者大家能提供一些方案，谢谢！
本帖最后由 nextuser 于 2017-3-23 19:36 编辑
flume有提供的配置
Syslog TCP sources
用于监控TCP端口信息，可以用来接收socket通信通过TCP发过来的信息。格式如下：
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = localhost
a1.sources.r1.channels = c1
Syslog UDP sources
用于监控UDP端口信息，可以用来接收socket通信通过TCP发过来的信息。格式如下：
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = syslogudp
a1.sources.r1.port = 5140
a1.sources.r1.host = localhost
a1.sources.r1.channels = c1
更多下面仅供楼主参考
flume通过tcp/udp采集数据并存到kafka配置
页:
[1]