大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

嗯，有深度有价值，收藏！

绝对的精华中的精华 赞

谢谢哦，不错的东东

楼主分享的文章很好，在生产环境中，一定要注意保证消息队列服务器的稳定，如果消息队列服务器不稳定，可能也会影响到整个系统的稳定。http://www.sodbase.com/news/html/?422.html

很厉害的一篇文章，这里HDFS的作用就是做数据备份用的吧

第二张图是不是有问题，flume-ng  不是已经取消对zookeeper的依赖了吗？

给出一个flume采集数据到kafka并同时存储到hdfs的实例配置文件

############################################
#  producer config
###########################################

#agent section
producer.sources = s r1
producer.channels = c c1
producer.sinks = r k1

#source section
producer.sources.s.type = exec
producer.sources.s.command = tail -f -n+1 /mylog/log.log
producer.sources.s.channels = c

# Each sink's type must be defined
producer.sinks.r.type = org.apache.flume.plugins.KafkaSink
producer.sinks.r.metadata.broker.list=hadoop-004:9092,hadoop-006:9092
producer.sinks.r.partition.key=0
producer.sinks.r.partitioner.class=org.apache.flume.plugins.SinglePartition
producer.sinks.r.serializer.class=kafka.serializer.StringEncoder
producer.sinks.r.request.required.acks=0
producer.sinks.r.max.message.size=1000000
producer.sinks.r.producer.type=sync
producer.sinks.r.custom.encoding=UTF-8
producer.sinks.r.custom.topic.name=testtopic

#Specify the channel the sink should use
producer.sinks.r.channel = c

# Each channel's type is defined.
producer.channels.c.type = memory
producer.channels.c.capacity = 1000
#################################################
#producer.sinks.r1.channel = c1
#producer.channels.c1.type = memory
#producer.channels.c1.capacity = 1000
#
#agent1.sinks.r1.type = hdfs
#agent1.sinks.r1.hdfs.path = hdfs://hadoop-002:9000/flumedata/
#################################################

############################################
#   consumer config
###########################################

consumer.sources = s
consumer.channels = c
consumer.sinks = r

consumer.sources.s.type = seq
consumer.sources.s.channels = c
consumer.sinks.r.type = logger

consumer.sinks.r.channel = c
consumer.channels.c.type = memory
consumer.channels.c.capacity = 100

consumer.sources.s.type = org.apache.flume.plugins.KafkaSource
consumer.sources.s.zookeeper.connect=hadoop-004:2181
consumer.sources.s.group.id=testGroup
consumer.sources.s.zookeeper.session.timeout.ms=400
consumer.sources.s.zookeeper.sync.time.ms=200
consumer.sources.s.auto.commit.interval.ms=1000
consumer.sources.s.custom.topic.name=testtopic
consumer.sources.s.custom.thread.per.consumer=4

##333333333333333333333333333333333333333333333333333333333333333333333333333333333
##333333333333333333333333333333333333333333333333333333333333333333333333333333333
##333333333333333333333333333333333333333333333333333333333333333333333333333333333
##333333333333333333333333333333333333333333333333333333333333333333333333333333333

#########################################################################a1.sources = r1
#########################################################################a1.sinks = k1
#########################################################################a1.channels = c1

# Describe/configure the source
producer.sources.r1.type = exec
producer.sources.r1.command = tail -f -n+1 /mylog/log.log
producer.sources.r1.channels = c1


# Describe the sink
producer.sinks.k1.type = hdfs
producer.sinks.k1.channel = c1
producer.sinks.k1.hdfs.path = hdfs://hadoop-001:9000/flumedata/
producer.sinks.k1.hdfs.filePrefix = Syslog
producer.sinks.k1.hdfs.round = true
producer.sinks.k1.hdfs.roundValue = 10
producer.sinks.k1.hdfs.roundUnit = minute

# Use a channel which buffers events in memory
producer.channels.c1.type = memory
producer.channels.c1.capacity = 1000
producer.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
producer.sources.r1.channels = c1
producer.sinks.k1.channel = c1

不错的指导性文档，学习了

感谢， 收藏了