【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：https://github.com/cwtree/flume-filemonitor-source
该组件特点如下：
1、一个source对应一个文件监控
2、实时监控文件变化
3、增量传输文件内容
4、支持断点续传功能，即使flume进程挂掉，下一次重启仍然可以继续接着上次断开的地方传输
5、能自动判断是否log文件滚动了（前提，必须做好flume进程的监控，监控到进程不在了，要立即进行重启）
只需如下配置即可：
a1.sources.r1.type=org.apache.flume.chiwei.filemonitor.FileMonitorSource
a1.sources.r1.channels=c1
a1.sources.r1.file=/home/flume/example/file/bizlogic.log
a1.sources.r1.positionDir=/home/flume
望各位不吝指教！
谢谢分享。。。。 学习一下
页:
[1]