flume taildir source 问题

问题背景：

使用flume搜集日志目录下动态，实时生产的文件
其中log 目录下有子目录，按日期命名，然后子目录下的日志是每小时生成一个日志文件
现在打算使用flume采集log目录下的日志文件，实时读取，并传到kafka消息队列中去

问题描述：
source配置时，采用taildir 方式，但是不起作用，具体指定到子目录如/log/20170324/.*才起作用
但是生产上的日志目录是动态生成的，不可能写死目录

请问flume 使用什么方式能解决我现在的问题？
1.目录和文件动态变化
2.数据实时写入

或者是不是我配置错了？谢谢！

flume source配置如下：

agent.sources.s1.type = org.apache.flume.source.taildir.TaildirSource
agent.sources.s1.channels = c1
agent.sources.s1.positionFile = ./log/taildir_position.json
agent.sources.s1.filegroups = f1
agent.sources.s1.filegroups.f1 = /log/.*
agent.sources.s1.skipToEnd = true
agent.sources.s1.recursiveDirectorySearch = true
agent.sources.s1.yarnApplicationHeader = true
agent.sources.s1.yarnContainerHeader = true
agent.sources.s1.batchSize = 200