分享

求各位专家指点

wmymtx 发表于 2016-1-30 10:42:25 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 7599
鄙人初涉HIve、由于现在hive跑数据、数据量还是不小,但是根据各个口径调试脚本太麻烦了、有时候一个脚本一跑就是一两个小时,不知道各位专家有没有什么技巧,希望不吝赐教,还有,我在LEFT JOIN 的时候、如果语句过于复杂、SELECT 的列的数据、不是原来表本身的数据、甚是费解

已有(5)人评论

跳转到指定楼层
bob007 发表于 2016-1-30 12:53:44
....
跑多长时间,这个没有标准的,跟自己的硬件配置有关系,当然自己也可以调优。
下面仅供楼主参考
hive:如何查看hive执行计划,调优hive执行
http://www.aboutyun.com/thread-10807-1-1.html


Hive调优:让任务并行执行
http://www.aboutyun.com/thread-13140-1-1.html


Hive Tuning 标准调优清单
http://www.aboutyun.com/thread-5525-1-1.html



回复

使用道具 举报

wmymtx 发表于 2016-1-31 13:31:01
bob007 发表于 2016-1-30 12:53
....
跑多长时间,这个没有标准的,跟自己的硬件配置有关系,当然自己也可以调优。
下面仅供楼主参考

不知道你有没有用遇到过LEFT JOIN 多表的时候、如4张表,   我SELECT A.PROD_PROID 的值应该是ACAZ70021,但是关联出来却是  10000223这样不是原字段的数据。遇到很多次了、甚是费解
回复

使用道具 举报

easthome001 发表于 2016-1-31 16:04:54
wmymtx 发表于 2016-1-31 13:31
不知道你有没有用遇到过LEFT JOIN 多表的时候、如4张表,   我SELECT A.PROD_PROID 的值应该是ACAZ70021, ...

是不是进制出了问题
回复

使用道具 举报

wmymtx 发表于 2016-1-31 16:11:53
easthome001 发表于 2016-1-31 16:04
是不是进制出了问题

具体的我也不清楚、因为我不能操作Hive,是厂家提供的一个页面、我在页面调试的、我多建个临时表关联就可以,我现在遇到好几次了、
回复

使用道具 举报

Alkaloid0515 发表于 2016-1-31 20:34:24
wmymtx 发表于 2016-1-31 16:11
具体的我也不清楚、因为我不能操作Hive,是厂家提供的一个页面、我在页面调试的、我多建个临时表关联就可 ...

不能见到表,这个有点麻烦。楼主可以看看源数据表
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条