分享

hive能代替mapreduce处理数据吗,比如做统计,百分比,分布,排名求平均值这些问题呢

yunge2016 发表于 2017-7-3 17:47:02 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 17994
hive能代替mapreduce处理数据吗,比如做统计,百分比,分布,排名求平均值这些问题呢。对着两个不是很清楚。对mapreduce学习不太懂。

已有(6)人评论

跳转到指定楼层
easthome001 发表于 2017-7-3 18:01:29
可以的,mapreduce是通过代码实现,hive是通过sql实现。二者大部分事情都可以实现。hive是帮助不会代码,但是会数据库,实现更加的简单。
回复

使用道具 举报

yunge2016 发表于 2017-7-3 18:10:15
感谢。我不会代码。可以完全用hive代替写mapreduce实现功能。hive的UDF和UDAF 具体是干嘛的,不太懂这个。
回复

使用道具 举报

langke93 发表于 2017-7-3 19:19:21
yunge2016 发表于 2017-7-3 18:10
感谢。我不会代码。可以完全用hive代替写mapreduce实现功能。hive的UDF和UDAF 具体是干嘛的,不太懂这个。

UDF类似关系数据库的存储过程。定义后,可以在hive sql中调用。相关文章推荐,更多可搜索

开发Hive自定义UDF,生成32位字母数字随机串
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11245



回复

使用道具 举报

yunge2016 发表于 2017-7-3 20:18:36
谢谢啦  我自己先研究一下 看看
回复

使用道具 举报

恋枫缩影 发表于 2017-7-4 00:04:41
一般真实应用中都是写Hive脚本去定时调度,现在很少去写mr程序,比较麻烦。hive就是将逻辑转换成mr去实现!
回复

使用道具 举报

yunge2016 发表于 2017-7-4 14:26:46
那最好了,看到代码就烦。mapreduce搞不定。hive感觉容易一些。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条