天上有et 发表于 2017-9-5 22:23:47

新人求教,没权限发帖,请见谅啊~~

我使用flume1.7,想实现将kafka中的数据传输到hdfs中,分别采用kafka source,file channal和hdfs sink。现在kafka中要求采用avro的文件格式,hdfs中要求为parquet文件格式。
我查阅了官方文档,有几点不明白:
1.我使用flume直接将avro格式的数据获取进来,应该不用再做特殊处理吧?
2.flume1.7中的hdfs文件格式支持 SequenceFile, DataStream 或 CompressedStream,我应该选择哪一种?需要二次开发转化成parquet格式吗?
谢谢啊!!

jz1144185184 发表于 2017-9-19 11:49:36

您好,案例12    flume写到hbase遇到问题

提示Failed to commit transaction.Transaction rolled back

ERROR hbase.HBaseSink: Failed to commit transaction.Transaction rolled back.
java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL(Z)V
      at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:379)
      at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:374)
      at org.apache.flume.sink.hbase.HBaseSink.runPrivileged(HBaseSink.java:427)
      at org.apache.flume.sink.hbase.HBaseSink.putEventsAndCommit(HBaseSink.java:374)
      at org.apache.flume.sink.hbase.HBaseSink.process(HBaseSink.java:344)
      at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
      at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:147)
      at java.lang.Thread.run(Thread.java:745)

希望得到您的回复。

老街的腔调 发表于 2017-12-8 09:48:12

666666

Nick_fZ1qq 发表于 2018-11-26 14:00:43

写的很棒,谢谢分享
页: 1 2 3 4 5 6 7 8 [9]
查看完整版本: Flume1.5.0入门:安装、部署、及flume的案例