天上有et
发表于 2017-9-5 22:23:47
新人求教,没权限发帖,请见谅啊~~
我使用flume1.7,想实现将kafka中的数据传输到hdfs中,分别采用kafka source,file channal和hdfs sink。现在kafka中要求采用avro的文件格式,hdfs中要求为parquet文件格式。
我查阅了官方文档,有几点不明白:
1.我使用flume直接将avro格式的数据获取进来,应该不用再做特殊处理吧?
2.flume1.7中的hdfs文件格式支持 SequenceFile, DataStream 或 CompressedStream,我应该选择哪一种?需要二次开发转化成parquet格式吗?
谢谢啊!!
jz1144185184
发表于 2017-9-19 11:49:36
您好,案例12 flume写到hbase遇到问题
提示Failed to commit transaction.Transaction rolled back
ERROR hbase.HBaseSink: Failed to commit transaction.Transaction rolled back.
java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL(Z)V
at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:379)
at org.apache.flume.sink.hbase.HBaseSink$3.run(HBaseSink.java:374)
at org.apache.flume.sink.hbase.HBaseSink.runPrivileged(HBaseSink.java:427)
at org.apache.flume.sink.hbase.HBaseSink.putEventsAndCommit(HBaseSink.java:374)
at org.apache.flume.sink.hbase.HBaseSink.process(HBaseSink.java:344)
at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:147)
at java.lang.Thread.run(Thread.java:745)
希望得到您的回复。
老街的腔调
发表于 2017-12-8 09:48:12
666666
Nick_fZ1qq
发表于 2018-11-26 14:00:43
写的很棒,谢谢分享