shfshihuafeng 发表于 2017-3-26 16:44:58

flume的hdfs.minBlockReplicas参数的作用

个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数，但是当我设置为1时，在hdfs查看备份数仍然为3.这为什么呢?

zhongqi2513 发表于 2017-3-26 17:25:46

我猜这个应该是写入数据的时候，如果设置成1表，写入一个副本就算写入成功

arsenduan 发表于 2017-3-26 18:19:43

hdfs.minBlockReplicas是为了让flume感知不到hdfs的块复制，这样滚动方式配置才不会受影响。
假如hdfs的副本为3.那么配置的滚动时间为10秒，那么在第二秒的时候，flume检测到hdfs在复制块，那么这时候flume就会滚动，这样导致flume的滚动方式受到影响。所以配置flume hdfs.minBlockReplicas配置为1，就检测不到副本的复制了。但是hdfs的副本还是3

xuanxufeng 发表于 2017-3-26 18:26:40

推荐参考
flume 频繁产生小文件原因分析及解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21365


jlon 发表于 2017-3-27 10:45:23

学习了
页: [1]
查看完整版本: flume的hdfs.minBlockReplicas参数的作用