分享

hadoop2.2+hive0.12,运行hive出现问题

linguobao 发表于 2014-6-17 18:36:23 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 11 12426
本帖最后由 nettman 于 2014-6-17 18:45 编辑
我的环境是hadoop2.2(HA)+hive0.12+hbase0.98进入hive,运行select count(1) from t_syslog出现如下问题:
hive> select count(1) from t_syslog;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1402995663286_0012, Tracking URL = http://master.hadoop:8088/proxy/application_1402995663286_0012/
Kill Command = /home/hduser/hadoop2.2/hadoop/bin/hadoop job  -kill job_1402995663286_0012
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2014-06-17 18:27:29,684 Stage-1 map = 0%,  reduce = 0%
Ended Job = job_1402995663286_0012 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Job 0:  HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec



在web界面上查看错误显示如下:
Application application_1402995663286_0012 failed 2 times due to AM Container for appattempt_1402995663286_0012_000002 exited with exitCode: 126 due to: Exception from container-launch:
org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
at org.apache.hadoop.util.Shell.run(Shell.java:379)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)


.Failing this attempt.. Failing the application.

跪求解决方法。急,谢谢。

已有(12)人评论

跳转到指定楼层
hyj 发表于 2014-6-17 19:03:05
从以下几个方面来解决:
(1)mysql-connector-java-×-bin.jar版本是否匹配。比如mysql-connector-java-5.1.10-bin.jar
(2)mysql的用户名是否授权,
(3)hive.aux.jars.path切忌配置正确:不能有空格、换行之类的
  1. <property>
  2.   <name>hive.aux.jars.path</name>
  3.   <value>file:///usr/hive/lib/protobuf-java-2.5.0.jar,file:///usr/hive/lib/hbase-common-0.96.0-hadoop2.jar,file:///usr/hive/lib/guava-11.0.2.jar</value>
  4. </property>
复制代码





参考hbase0.96与hive0.12整合高可靠文档及问题总结
虽然是hbase的,但是他们之间的原理是一样的。只要去掉关于hbase的就可以了。



回复

使用道具 举报

sstutu 发表于 2014-6-17 19:07:40
看看jar都替换了吗,hadoop、hive的jar包是怎么操作的
回复

使用道具 举报

linguobao 发表于 2014-6-18 08:05:26
情况是这样的,前期刚安装的时候是可以运行的,中途我又安装了很多其他的组件,包括oozie,spark等,后来发现就不能运行了。
前期没有配置<name>hive.aux.jars.path</name>就能使用,目前还没有和hbase结合。
回复

使用道具 举报

linguobao 发表于 2014-6-18 08:08:34
目前做简单的select * 查询是可以的,就是hive要用到mr的话就会出现上述问题
回复

使用道具 举报

hyj 发表于 2014-6-18 08:25:32
linguobao 发表于 2014-6-18 08:08
目前做简单的select * 查询是可以的,就是hive要用到mr的话就会出现上述问题
不能运行mr的原因,可能就是这个参数造成的,是因没有找到相关的类,所以造成错误
<name>hive.aux.jars.path</name>
回复

使用道具 举报

linguobao 发表于 2014-6-18 08:53:44
hyj 发表于 2014-6-18 08:25
不能运行mr的原因,可能就是这个参数造成的,是因没有找到相关的类,所以造成错误
hive.aux.jars.path

测试了下,还是不行,还报其他错误了。
我估计是启mr的时候job加载不进去,所以报的exitCode: 126 due to: Exception from container-launch,不晓得是不是跟yarn的设置有没有关系。
回复

使用道具 举报

sstutu 发表于 2014-6-18 08:57:51
多看些文档,对比。编程重要的是细心,很可能一个细节,就造成整个程序不能运行
回复

使用道具 举报

linguobao 发表于 2014-6-18 10:29:41
问题还是没解决,大家帮帮忙哈。
回复

使用道具 举报

linguobao 发表于 2014-6-18 11:08:33
解决了,yarn/lib目录下我添加了一个自己写的yarn程序,加载给加载进去了,谢谢大家了
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条