让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

admln · 发表于 2014-12-18 13:13:26

为什么要源码中的东西覆盖一下bin包中的东西呢？

304974525@qq.co · 发表于 2014-12-22 17:29:12

你好，我想请教一下，我如果是自己修改了源码然后编译，怎样才可以在我的本地进行debug调试呢？
本地调试是说在我单机环境里把flume跑起来，像诸如hbase，hdfs，kafka那些我可以连接远程服务器。。

pioneer · 发表于 2015-2-2 15:59:50

小小布衣 · 发表于 2015-2-5 14:06:11

请问我要不数据传输到另外的一个服务器的本地，而不是hdfs上面，但是另外的服务器是要秘钥才能相互传输的，这个我改怎么解决

s060403072 · 发表于 2015-2-5 14:56:03

小小布衣发表于 2015-2-5 14:06
请问我要不数据传输到另外的一个服务器的本地，而不是hdfs上面，但是另外的服务器是要秘钥才能相互传输的， ...

直接使用shell复制就ok了。或则写个小程序

小小布衣 · 发表于 2015-2-6 17:41:51

s060403072 发表于 2015-2-5 14:56
直接使用shell复制就ok了。或则写个小程序

复制好low啊，而且还不能实时

tustyao · 发表于 2015-2-12 14:22:25

babyLiyuan · 发表于 2015-3-12 22:50:59

显示Spooling Directory Source runner has shutdown. 文件也没有上传成功。请问是什么原因呀？

屏幕快照 2015-03-12 下午10.48.20.png

babyLiyuan · 发表于 2015-3-13 00:45:16

在hdfs中没看到文件，但是在监控文件里出现了**.COMPLETED

s060403072 · 发表于 2015-3-13 01:00:18

babyLiyuan 发表于 2015-3-13 00:45
在hdfs中没看到文件，但是在监控文件里出现了**.COMPLETED

已经配置成功了，目前监控目录文件已全部上传，处于空状态。
所以上面是正常的，一旦监控目录中有文件，flume会自动上传，看到的信息也会发生变化

图文精华