使用Flume对搜集数据的实时处理

这个问题很有研究价值

楼主，请问一下
17.agent1.channels.channel1.checkpointDir=/home/yujianxin/hmbbs/hmbbs_tmp123

18.agent1.channels.channel1.dataDirs=/home/yujianxin/hmbbs/hmbbs_tmp

这俩配置到底有什么用呢

为了明天time 发表于 2015-9-18 10:55
楼主，请问一下
17.agent1.channels.channel1.checkpointDir=/home/yujianxin/hmbbs/hmbbs_tmp123

checkpointDir和dataDirs属性，这是存放检查点和数据的目录，默认使用$user.home/.flume/file-channel/checkpoint和$user.home/.flume/file-channel/data来；checkpointDir是一个目录，而dataDirs可以是多个以“,”分割；且这两个目录最好不要来回修改，因为里面存储着数据；
checkpointDir有备份的作用

bob007 发表于 2015-9-18 11:00
checkpointDir和dataDirs属性，这是存放检查点和数据的目录，默认使用$user.home/.flume/file-channel/ch ...

我配置了监控目录上传文件至hdfs，上传成功，这两个文件夹里什么也没有啊，你说的数据是指？

为了明天time 发表于 2015-9-18 11:03
我配置了监控目录上传文件至hdfs，上传成功，这两个文件夹里什么也没有啊，你说的数据是指？

只有一个或则几个文件吧，准备上百个在查看

bob007 发表于 2015-9-18 11:05
只有一个或则几个文件吧，准备上百个在查看

你好，你的意思是上传文件多了，设置的检查点文件夹才会存储东西么？里面存的什么数据呢

为了明天time 发表于 2015-9-18 11:44
你好，你的意思是上传文件多了，设置的检查点文件夹才会存储东西么？里面存的什么数据呢

一个临时数据，上传的过程中，楼主可以验证下

bob007 发表于 2015-9-18 11:45
一个临时数据，上传的过程中，楼主可以验证下

我就上传了2个txt文件，监控目录文件后缀改成了xxxx.txt.completed，配置的检查点文件夹里面空的 什么也没有，所以不明白有什么用

长经验了

为了明天time 发表于 2015-9-18 11:50
我就上传了2个txt文件，监控目录文件后缀改成了xxxx.txt.completed，配置的检查点文件夹里面空的 什么也 ...

2个看不出效果的。要么自己实践下，要么看网上怎么说的。
checkpointDir大数据比较常见，搜一下就知道了