分享

求问 hive 本地mapjoin的内存设置方法

albert7288 发表于 2016-1-13 15:52:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 22176
hive 本地mapjoin时,两个表关联,不group by,没有reduce,速度快很多,请问,map join 内存怎么设置,也就是下面红色子体 maximum memory怎么调大点


Total jobs = 2
Stage-7 is selected by condition resolver.
Stage-1 is filtered out by condition resolver.
省略多行……
2016-01-13 02:12:07     Starting to launch local task to process map join;      maximum memory = 507314176
2016-01-13 02:12:08     Dump the side-table into file: file:/tmp/hadoop/hive_2016-01-13_14-12-03_250_7479951554923701866-1/-local-10003/HashTable-Stage-5/MapJoin-mapfile30--.hashtable
2016-01-13 02:12:09     Uploaded 1 File to: file:/tmp/hadoop/hive_2016-01-13_14-12-03_250_7479951554923701866-1/-local-10003/HashTable-Stage-5/MapJoin-mapfile30--.hashtable (16919925 bytes)
2016-01-13 02:12:09     End of local task; Time Taken: 2.297 sec.
Execution completed successfully
MapredLocal task succeeded
Launching Job 2 out of 2

已有(4)人评论

跳转到指定楼层
wscl1213 发表于 2016-1-13 16:45:29
hive-site.xml,增大内存,mapred.child.java.opts -Xmx 1024m
回复

使用道具 举报

albert7288 发表于 2016-1-13 21:37:56
wscl1213 发表于 2016-1-13 16:45
hive-site.xml,增大内存,mapred.child.java.opts -Xmx 1024m


hive-site.xml设置了,可用来本地化mapjoin的内存还是这么多,现在才是26M的文件,如果大点,可能撑不下去
hive> set  mapred.child.java.opts;
mapred.child.java.opts=-Xmx2048m



2016-01-13 09:36:01     Starting to launch local task to process map join;      maximum memory = 507314176
2016-01-13 09:36:02     Processing rows:        200000  Hashtable size: 199999  Memory usage:   118232624       percentage:     0.233
2016-01-13 09:36:02     Processing rows:        300000  Hashtable size: 299999  Memory usage:   162623016       percentage:     0.321
2016-01-13 09:36:02     Processing rows:        400000  Hashtable size: 399999  Memory usage:   203839536       percentage:     0.402

回复

使用道具 举报

wscl1213 发表于 2016-1-14 12:08:22
albert7288 发表于 2016-1-13 21:37
在hive-site.xml设置了,可用来本地化mapjoin的内存还是这么多,现在才是26M的文件,如果大点,可能撑 ...

都设置了吗,确定生效了吗
回复

使用道具 举报

albert7288 发表于 2016-1-15 09:15:02
wscl1213 发表于 2016-1-14 12:08
都设置了吗,确定生效了吗

没有生效!还在摸索中,或者hive参数的配置,有使用的案例吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条