求助如何判断使用source type 的最佳方式

目前我的需求是想要得到我自己的网站页面跳转的信息，然后看看各个模块的访问情况。刚刚接触flume，对于大部分东西都还能理解，网上能找到的例子也都能跑起来，但是对source type的选择上还是有些不太懂，他们都适用于哪些情况呢。网上及书上对这部分也只是说明了这些类型的参数有哪些，我想知道针对我这种需求我应该使用哪种方式呢。还有一个问题就是flume必须要用到日志文件才能取到数据么

Flume Sources:
很多种，其实本质还是对sources的理解，他是什么，其实并不是指数据源的数据类型。而是一种读取数据的方式。比如：
ExecSource:以运行Linux命令的方式，持续的输出最新的数据，如tail -F 文件名指令，在这种方式下，取的文件名必须是指定的。  
SpoolSource:是监测配置的目录下新增的文件，并将文件中的数据读取出来。
当然随着版本的更新又新增了很多读取方式，记得这里并不是指数据类型。
如下面的读取方式：
1.Avro Source
Avro是一个基于二进制数据传输高性能的中间件，这个跟kafka类似
2.Thrift Source
3.Kafka Source
更多可查看官网

http://flume.apache.org/FlumeUserGuide.html

flume必须要用到日志文件才能取到数据么？并非日志文件才能读取，只要是数据文件，都是可以传递的

估计楼主使用SpoolSource方式即可

因为你可能没有用到复杂的一些组件。

tntzbzc 发表于 2016-12-22 19:23
flume必须要用到日志文件才能取到数据么？并非日志文件才能读取，只要是数据文件，都是可以传递的

那我可以直接用代码组织数据发送到flume让其接收么，如果可以使用那种方式好呢

tntzbzc 发表于 2016-12-22 19:22
Flume Sources:
很多种，其实本质还是对sources的理解，他是什么，其实并不是指数据源的数据类型。而是一 ...

谢谢你的回答，之前理解有些偏差现在清晰了很多

longliantian 发表于 2016-12-23 11:09
那我可以直接用代码组织数据发送到flume让其接收么，如果可以使用那种方式好呢

flume是传递数据，如果想通过代码发送数据可以使用kafka。