分享

关于Flume的HbaseSink可否在非hbase节点上正常工作?

hongqianli 发表于 2015-7-30 10:43:32 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 11 26242
   
     Hi 各位战友,小弟今天测试了一下flume在非hbase节点的工作情况,结果启动出现了异常,之前在hbase节点之下是可以运行的。
想请问一下各位大牛,如何在非hbase节点去运行 hbasesink。先谢了

angen01.sources = r1
angen01.sinks = k1
angen01.channels = c1

# Describe/configure the source
angen01.sources.r1.type= spooldir
angen01.sources.r1.spoolDir=/opt/yyb/input

angen01.sinks.k1.type=hbase
angen01.sinks.k1.table=flume_test
angen01.sinks.k1.zookeeperQuorum=192.168.200.241
angen01.sinks.k1.columnFamily=test-cf
angen01.sinks.k1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
angen01.sinks.k1.channel=c1

# Use a channel which buffers events in memory
angen01.channels.c1.type = memory
angen01.channels.c1.capacity = 1000
angen01.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
angen01.sources.r1.channels = c1
angen01.sinks.k1.channel = c1



gPropertiesFileConfigurationProvider.java:145)] Failed to start agent because dependencies were not found in classpath. Error follows.
java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2585)
    at java.lang.Class.getConstructor0(Class.java:2885)
    at java.lang.Class.newInstance(Class.java:350)
    at org.apache.flume.sink.DefaultSinkFactory.create(DefaultSinkFactory.java:43)
    at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:415)
    at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:103)
    at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 15 more


已有(11)人评论

跳转到指定楼层
NEOGX 发表于 2015-7-30 11:11:40
可以的,但是需要具有hbase相关包或则有这个环境
回复

使用道具 举报

hongqianli 发表于 2015-7-30 11:20:07
NEOGX 发表于 2015-7-30 11:11
可以的,但是需要具有hbase相关包或则有这个环境

我用的flume官网下载的1.5.2版本,需要再添加什么包吗?

回复

使用道具 举报

hongqianli 发表于 2015-7-30 11:22:15
NEOGX 发表于 2015-7-30 11:11
可以的,但是需要具有hbase相关包或则有这个环境

我的目的是在一台非hadoop节点的机器上运行flume的hbasesink,不知道还需要添加哪一些包。麻烦指点一下
回复

使用道具 举报

NEOGX 发表于 2015-7-30 11:38:22
hongqianli 发表于 2015-7-30 11:22
我的目的是在一台非hadoop节点的机器上运行flume的hbasesink,不知道还需要添加哪一些包。麻烦指点一下

只是知道你是需要这个环境的, 不清楚可以先全部加入,然后一个个T除
回复

使用道具 举报

hongqianli 发表于 2015-7-30 11:41:46
回复

使用道具 举报

NEOGX 发表于 2015-7-30 11:48:47
hongqianli 发表于 2015-7-30 11:41
这位兄台有实践过吗

hbase sink是你们自定义的吧,你们谁写的谁知道用哪些包
回复

使用道具 举报

hongqianli 发表于 2015-7-30 11:52:04
NEOGX 发表于 2015-7-30 11:48
hbase sink是你们自定义的吧,你们谁写的谁知道用哪些包

你看我发的配置啊,没用自定义,那是原生的。。。
angen01.sinks.k1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer

回复

使用道具 举报

NEOGX 发表于 2015-7-30 12:07:36
hongqianli 发表于 2015-7-30 11:52
你看我发的配置啊,没用自定义,那是原生的。。。
angen01.sinks.k1.serializer=org.apache.flume.sink. ...

没有发现那,楼主在官网能找到这个类型的?
回复

使用道具 举报

hongqianli 发表于 2015-7-30 13:31:28
NEOGX 发表于 2015-7-30 12:07
没有发现那,楼主在官网能找到这个类型的?


你应该没有用过hbasesink吧

下载.png

回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条