小崔说事 发表于 2015-9-15 09:11
楼主 按照你的步骤 最好 我启动flume的时候报如下错误，不知道是什么原因
log4j:WARN No appenders could  ...

先把log4j配置正确了

写的很棒，谢谢分享

666666

您好，案例12    flume写到hbase遇到问题

提示Failed to commit transaction.Transaction rolled back

ERROR hbase.HBaseSink: Failed to commit transaction.Transaction rolled back.
java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL(Z)V
        at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:379)
        at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:374)
        at org.apache.flume.sink.hbase.HBaseSink.runPrivileged(HBaseSink.java:427)
        at org.apache.flume.sink.hbase.HBaseSink.putEventsAndCommit(HBaseSink.java:374)
        at org.apache.flume.sink.hbase.HBaseSink.process(HBaseSink.java:344)
        at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
        at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:147)
        at java.lang.Thread.run(Thread.java:745)

希望得到您的回复。

新人求教，没权限发帖，请见谅啊~~
  
我使用flume1.7，想实现将kafka中的数据传输到hdfs中，分别采用kafka source,file channal和hdfs sink。现在kafka中要求采用avro的文件格式，hdfs中要求为parquet文件格式。
我查阅了官方文档，有几点不明白：
1.我使用flume直接将avro格式的数据获取进来，应该不用再做特殊处理吧？
2.flume1.7中的hdfs文件格式支持 SequenceFile, DataStream 或 CompressedStream，我应该选择哪一种？需要二次开发转化成parquet格式吗？
谢谢啊！！

正好要配flume，收藏起来

killsmagier 发表于 2017-6-2 11:54
我如果想重新启动flume或者停止flume我应该怎么办啊

好像没有这方面的命令
可以通过Linux命令kill，然后启动

我如果想重新启动flume或者停止flume我应该怎么办啊

我用的spoolSources、fileChannels、hdfsinks的agent来传输文件，但是在hdfs里面得到的文件所有文件名都带有.138948494593这样的时间戳的后缀。请问怎么去掉后缀的时间戳啊？？？

成功了，多谢群主，今天 flume安装完成了