nutch2.x在hadoop2.x下运行异常

fanbells 发表于 2013-12-18 14:04
mapreduce.framework.name
                yarn

你的nutch2.X文件配置了吗？

<configuration>
<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>
</configuration>

复制代码

这个仅供参考

pig2 发表于 2013-12-18 14:46
你的nutch2.X文件配置了吗？这个仅供参考

对是这样的

fanbells 发表于 2013-12-18 14:49
对是这样的

现在那个错误已经解决了，现在报的是这个错误InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.InjectorJob: java.lang.RuntimeException: job failed: name=[test]inject urls, jobid=job_1387165198788_0026
        at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54)
        at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:233)
        at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)
        at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)

因为gora不支持hbase0.96.0，所以gora-hbase.jar这个包是我自己编译的。

fanbells 发表于 2013-12-18 14:49
对是这样的

nutch-site.xml
<configuration>
     <property>
         <name>http.agent.name</name>
         <value>My Nutch Spider</value>
     </property>
</configuration>
还有这些等配置文件，你都看看。一些是变量。需要换成相应的值。你是按照什么文档配置的nutch

pig2 发表于 2013-12-18 14:53
nutch-site.xml

     

我是根据官网配置的，以前使用的是hbase版本较低，可以正常运行，现在用了一个高的hbase版本就很多问题。

fanbells 发表于 2013-12-18 14:51
现在那个错误已经解决了，现在报的是这个错误InjectorJob: Using class org.apache.gora.hbase.store.HBa ...

你的这个是版本问题需要匹配正确的版本。
你可以试一下 gora-hbase-0.3.jar  

pig2 发表于 2013-12-18 15:04
你的这个是版本问题需要匹配正确的版本。
你可以试一下 gora-hbase-0.3.jar

nutch自带的就是这个包gora-core-0.3.jar

fanbells 发表于 2013-12-18 15:10
nutch自带的就是这个包gora-core-0.3.jar

habse升级的话，你在找找其他的包。这个应该是版本的问题。

pig2 发表于 2013-12-18 15:13
habse升级的话，你在找找其他的包。这个应该是版本的问题。

恩 我把gora-hbase-0.3.jar这个包中的setMaxVersions方法给注释了