关于Flume的HbaseSink可否在非hbase节点上正常工作？

   
     Hi 各位战友，小弟今天测试了一下flume在非hbase节点的工作情况，结果启动出现了异常，之前在hbase节点之下是可以运行的。
想请问一下各位大牛，如何在非hbase节点去运行 hbasesink。先谢了

angen01.sources = r1
angen01.sinks = k1
angen01.channels = c1

# Describe/configure the source
angen01.sources.r1.type= spooldir
angen01.sources.r1.spoolDir=/opt/yyb/input

angen01.sinks.k1.type=hbase
angen01.sinks.k1.table=flume_test
angen01.sinks.k1.zookeeperQuorum=192.168.200.241
angen01.sinks.k1.columnFamily=test-cf
angen01.sinks.k1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
angen01.sinks.k1.channel=c1

# Use a channel which buffers events in memory
angen01.channels.c1.type = memory
angen01.channels.c1.capacity = 1000
angen01.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
angen01.sources.r1.channels = c1
angen01.sinks.k1.channel = c1



gPropertiesFileConfigurationProvider.java:145)] Failed to start agent because dependencies were not found in classpath. Error follows.
java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2585)
    at java.lang.Class.getConstructor0(Class.java:2885)
    at java.lang.Class.newInstance(Class.java:350)
    at org.apache.flume.sink.DefaultSinkFactory.create(DefaultSinkFactory.java:43)
    at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:415)
    at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:103)
    at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 15 more

可以的，但是需要具有hbase相关包或则有这个环境

NEOGX 发表于 2015-7-30 11:11
可以的，但是需要具有hbase相关包或则有这个环境

我用的flume官网下载的1.5.2版本，需要再添加什么包吗？

NEOGX 发表于 2015-7-30 11:11
可以的，但是需要具有hbase相关包或则有这个环境

我的目的是在一台非hadoop节点的机器上运行flume的hbasesink，不知道还需要添加哪一些包。麻烦指点一下

hongqianli 发表于 2015-7-30 11:22
我的目的是在一台非hadoop节点的机器上运行flume的hbasesink，不知道还需要添加哪一些包。麻烦指点一下

只是知道你是需要这个环境的， 不清楚可以先全部加入，然后一个个T除

hongqianli 发表于 2015-7-30 11:41
这位兄台有实践过吗

hbase sink是你们自定义的吧，你们谁写的谁知道用哪些包

NEOGX 发表于 2015-7-30 11:48
hbase sink是你们自定义的吧，你们谁写的谁知道用哪些包

你看我发的配置啊，没用自定义，那是原生的。。。
angen01.sinks.k1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer

hongqianli 发表于 2015-7-30 11:52
你看我发的配置啊，没用自定义，那是原生的。。。
angen01.sinks.k1.serializer=org.apache.flume.sink. ...

没有发现那，楼主在官网能找到这个类型的？

NEOGX 发表于 2015-7-30 12:07
没有发现那，楼主在官网能找到这个类型的？

你应该没有用过hbasesink吧