分析的特别深入，学习了

多谢楼主了

daizj  与本站网友私信公布出来

请教一下，我跑一下hive查询，报如下内存溢出
hive> select * from t_ba_cf_olap_base_info where ds=20150322 limit 1;
OK
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
只需要配置mapred.child.java.opts参数就行吗？
复制代码

me:每个错误都有自己的环境，可以尝试文章的方法


daizj  

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>
<property>
    <name>mapred.map.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>
<property>
    <name>mapred.reduce.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>

谢谢。我加上了这三个配置都没有效果。
复制代码

me：是否生效，多进行尝试，如还不能解决。可发帖，把问题描述清楚






daizj  


谢谢，问题已解决，是hive客户端配置的堆内存默认只有256Ｍ太小，调大后就正常了

好 帖子 mark 一下

赞一个，支持一下

上面没有说明如何重用JVM，这里补充一下：
可以通过任务Java虚拟机（JVM）重用来解决这个问题，默认每JVM只运行一个任务，使用JVM重用后一个JVM可以顺序执行多个任务，减少了启动时间。控制JVM的属性是mapred.job.reuse.jvm.num.tasks，它指定作业每个JVM运行的任务的最大数量，默认为1。可以通过JonConf的setNumTasksToExecutePerJvm()方法设置，若设置为-1则说明统一作业中共享一个JVM任务的数量不受限制。