Flume 中Sink批量参数设置调优【分享】

在Flume 配置中，Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink，它的参数称hdfs.batchSize，这样称呼是由于历史的原因，建议使用hdfs.txnEvenMax。 在sink端调优批量值设置，它依赖于相应的隧道（channel）的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量，而事务容量应该设置为实际需要的最大值（channel端）。下列列举了一下优化的sink批量参数值设置。

槽类型（Sink Type）	配置参数（Config parameter）	类型值（Typical value）
Avro	batch-size	100
HDFS	hdfs.batchSize, hdfs.txnEventMax	1000
HBaseSink	batchSize	100
AsyncHBaseSink	batchSize	100

新人初次学习

恩，这个翻译官方blog一篇的吧？看着眼熟