搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
请教大神,hadoop增加节点后,map和reduce都感觉慢了, ...
0
2
0
分享
请教大神,hadoop增加节点后,map和reduce都感觉慢了,是什么原因
albert7288
发表于 2015-12-31 22:56:34
[显示全部楼层]
阅读模式
关闭右栏
2
11854
hadoop增加节点,从原来的13个点,增加到40个,数据还没做平衡处理,执行任务(hive),发觉map和reduce都比原来的慢了,特别是reduce经常会卡住,剩下2个reduce,有个疑问,新的节点,没有数据,跑map时,是节点要把数据拷贝过去才能执行吗,请问,如何查下原因
reduce
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
相关帖子
.
mapreduce 的reduce中values的问题
.
同学面试的hadoop一些题,求大牛一起解答
.
reduce阶段跑不通
.
hadoop中出现Java heap space
.
map reduce卡住
.
关于hmaster和jobtracker的节点选择
.
关于spark中map、reduce的一点疑问
.
spark reduce支持再次拆分计算么?
.
为什么map没结束事reduce已经开始了?
.
千锋教你大数据入门教程
已有(2)人评论
电梯直达
正序浏览
goldtimes
发表于 2016-1-1 10:16:32
增加节点后,reblance下,让数据均匀分布
楼主情况,可能是数据倾斜造成的。
回复
使用道具
举报
显身卡
albert7288
发表于 2016-1-2 12:20:11
好的,正在做平衡,数据需要移动50多T,再看看效果
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
albert7288
注册会员
关注
3
主题
11
帖子
3
粉丝
TA的主题
hadoop集群的节点之间需要ssh的免密码登录吗
2016-3-17
求问 hive 本地mapjoin的内存设置方法
2016-1-13
请教大神,hadoop增加节点后,map和reduce都感觉慢了,是什么原因
2015-12-31
24小时热文
幕后产品:打造突破式产品思维
像高手一样发言:七种常见工作场景的说话之
副业警钟,新型法律碰瓷发财方式:批量诉讼
Spark机器学习
Spark机器学习算法、源码及实战详解
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈