分享

怎么使用flume和kafak结合socket编程

shfshihuafeng 发表于 2017-3-23 16:07:17 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 9493
当前项目有个需求:
socekt接受上游数据(客户端主动连接上游),接受的数据写入hdfs,并利用socket向下游传输数据(下游主动连接,以命令方式启动监听接口。控制是否向下游传输数据)
目前准备使用:
11.socket向flume传输数据,写入kafa 以保证读取数据和消费数据不同步问题,但是不知道socek直接向flume写数据,flume的source配置avro?
2.socket 和kafa是否api

或者大家能提供一些方案,谢谢!


已有(1)人评论

跳转到指定楼层
nextuser 发表于 2017-3-23 19:35:41
本帖最后由 nextuser 于 2017-3-23 19:36 编辑

flume有提供的配置
Syslog TCP sources
     用于监控TCP端口信息,可以用来接收socket通信通过TCP发过来的信息。格式如下:

        a1.sources = r1
        a1.channels = c1
        a1.sources.r1.type = syslogtcp
        a1.sources.r1.port = 5140
        a1.sources.r1.host = localhost
        a1.sources.r1.channels = c1
Syslog UDP sources
用于监控UDP端口信息,可以用来接收socket通信通过TCP发过来的信息。格式如下:

        a1.sources = r1
        a1.channels = c1
        a1.sources.r1.type = syslogudp
        a1.sources.r1.port = 5140
        a1.sources.r1.host = localhost
        a1.sources.r1.channels = c1



更多下面仅供楼主参考

flume通过tcp/udp采集数据并存到kafka配置




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条