hive插入数据报错

hive插入数据，两个表join就出现了这个。。。跑半年的数据就会出错，但是半年分成三个月三个月就可以。。。。。。。求解
)V[@GAR5W~D4NL1T5W8JI7S.png

arsenduan · 发表于 2015-12-15 16:33:21

是不是数据量过大了，调大下jvm或则内存

shengxinxin · 发表于 2015-12-15 16:46:03

arsenduan 发表于 2015-12-15 16:33
是不是数据量过大了，调大下jvm或则内存

不过半年的数据我count一下，4000多，也不是很多，但是就是要报错

arsenduan · 发表于 2015-12-15 16:53:43

shengxinxin 发表于 2015-12-15 16:46
不过半年的数据我count一下，4000多，也不是很多，但是就是要报错

半年的数据4000多，这是什么情况？
有多少G

shengxinxin · 发表于 2015-12-15 17:07:29

arsenduan 发表于 2015-12-15 16:53
半年的数据4000多，这是什么情况？
有多少G

不会这么多的。。。。感觉是哪里有问题

cranberries8 · 发表于 2015-12-15 17:04:24

shengxinxin 发表于 2015-12-15 17:07
不会这么多的。。。。感觉是哪里有问题

你是说你的数据半年才4000条？？你直接把hive QL 贴出来看看

shengxinxin · 发表于 2015-12-15 17:17:51

cranberries8 发表于 2015-12-15 17:04
你是说你的数据半年才4000条？？你直接把hive QL 贴出来看看

insert overwrite table stk_inventory_status_di
partition(dt)
select
   a.inventory_status_id as inventory_status_id,
   a.inventory_id as inventory_id ,
   '' as site_tp,
   '' as sku_id,
   b.goods_id as goods_id,
   b.goods_sn as goods_sn,
   b.goods_attr as goods_attr,
   b.attr_value_id as attr_value_id,
   b.inventory_type as inventory_tp,
   case when b.inventory_type='0'or b.inventory_type='1' or b.inventory_type='5' or b.inventory_type='6' then '1'
         when b.inventory_type='2' or b.inventory_type='7' or b.inventory_type='8' then '2'
         when b.inventory_type='9' then '3'
         end as sku_cat_tp,
   '' as order_id,
   '' as order_item_id,
   a.status as status,
   a.user_name as oprtr_nm,
   from_unixtime(a.add_time) as crtd_time,
   from_unixtime(a.add_time,'yyyyMMdd') as dt
from rs_inventory_status a
join rs_inventory b on a.inventory_id=b.inventory_id
where a.dt='20151214' and from_unixtime(a.add_time,'yyyy-MM-dd')>='2015-06-01' and from_unixtime(a.add_time,'yyyy-MM-dd')<'2015-07-01'
  ;