分享

sink往hdfs能汇集一定量的数据再向hdfs写吗

Alkaloid0515 发表于 2015-7-3 17:52:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 10523
问题来自about云群:
sink往hdfs能汇集一定量的数据再向hdfs写吗?
滚动方式有多种:
包括:
时间、文件大小、写入事件数目


//当前写入的文件滚动间隔,默认30秒生成一个新的文件,0表示不基于时间间隔来滚动
    rollInterval = context.getLong("hdfs.rollInterval", defaultRollInterval);
    //以文件大小触发文件滚动,单位字节,0表示不基于文件大小间隔来滚动
    rollSize = context.getLong("hdfs.rollSize", defaultRollSize);
    //以写入的事件数触发文件滚动, 0表示不基于事件数大小间隔来滚动
    rollCount = context.getLong("hdfs.rollCount", defaultRollCount);


整理自分享给网络:
参考:
Flume-NG HDFSEventSink源码阅读
http://www.aboutyun.com/thread-7751-1-2.html


可以的,你按照时间或则其它方式滚动即可
http://www.aboutyun.com/thread-8469-1-1.html



没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条