分享

求教hive空值处理

师太跟我吧 发表于 2016-8-1 04:27:30 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 41739
有这样一个查询语句:select A, sum(B) from cdn_stream_xingyu_hourly group by A;
产生的结果为:
null 10,
A_1 20,
A_2 30
因为数据原因 A的值有可能是空的,现在想在这条查询语句中,把这个null值转换成一个非空值,然后把查询结果插入到另一张表C当中
请问大家,该怎么做?新人求教,谢谢

已有(7)人评论

跳转到指定楼层
easthome001 发表于 2016-8-1 07:22:44
尝试下面修改
ALTER TABLE cdn_stream_xingyu_hourly set serdeproperties('serialization.null.format' = '0');
然后在查询下
回复

使用道具 举报

xiaobaiyang 发表于 2016-8-1 08:42:22
应该是
ALTER TABLE cdn_stream_xingyu_hourly set serdeproperties('serialization.null.format' = '');
的吧,
hive中空值判断基本分两种
(1)NULL 与 \N
hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的
比如:
1.设置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N');
则:底层数据保存的是'\N',通过查询显示的是'NULL'
这时如果查询为空值的字段可通过 语句:a is null 或者 a='\\N'

          2.设置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = 'NULL');
则:底层数据保存的是'NULL',通过查询显示的是'NULL'
这时如果查询为空值的字段可通过 语句:a is null 或者 a='NULL'
(2)'' 与 length(xx)=0
'' 表示的是字段不为null且为空字符串,此时用 a is null 是无法查询这种值的,必须通过 a=''  或者 length(a)=0 查询
回复

使用道具 举报

J20_果农 发表于 2016-8-1 15:03:31
你可以开发个UDF, 类似oracle中nvl 或者 实现处理更灵活通用的功能。
回复

使用道具 举报

chyeers 发表于 2016-8-1 16:13:44
[mw_shl_code=sql,true]select COALESCE(A,0), sum(B) from cdn_stream_xingyu_hourly group by COALESCE(A,0);[/mw_shl_code]
回复

使用道具 举报

benhui 发表于 2016-8-5 14:47:55
nvl()函数就能解决这个问题
回复

使用道具 举报

ledasion 发表于 2017-2-7 22:12:20
select nvl(A,0), sum(B) from cdn_stream_xingyu_hourly group by nvl(A,0);
回复

使用道具 举报

erbin 发表于 2017-3-20 17:56:49
if(A is null, "非空字符串", A)
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条