qcbb001 发表于 2017-7-25 21:37
spark sql用的是yarn吗？
hive使用的yarn。应该是jvm的配置问题。建议增大些。
例如：

谢谢大神，做了如下更改map-site.xml的配置添加如下
[mw_shl_code=applescript,true]<property>  
   <name>mapred.child.java.opts</name>  
   <value>-Xmx1024m</value>  
</property>  
[/mw_shl_code]

重启hadoop,然后再hive中修改如下
set io.sort.mb =400;
io.sort.mb 的默认值为100

然后hive sql成功无error。

SuperDove 发表于 2017-7-25 18:20
2017-07-25 18:11:50,860 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : ja ...

spark sql用的是yarn吗？
hive使用的yarn。应该是jvm的配置问题。建议增大些。
例如：
mapred.java.child.opts

mapred.child.ulimit 为1.5 或则 2
mapred.tasktracker.map.tasks.maximum 和mapred.tasktracker.reduce.tasks.maximum
比例参考
0.25*mapred.child.java.opts < io.sort.mb < 0.5*mapred.child.java.opts .

猜测可能内存的问题。
估计跑不出下面的问题
1.内存、配置
2.版本兼容
上面的错误其实看不出太多的内容。建议看下下面的日志内容，应该有详细的错误
http://master:8088/proxy/application_1500973394395_0001/