分享

HDFS写入性能问题

yunjisuanxue 发表于 2013-10-25 10:43:17 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 12303
1namenode 7 datanode   namenode所在的机器是32核 48g内存 其他七台是普通的pc机 双核2g内存 7200转的硬盘 100M网络
经过多次的测试,三个副本的时候 在3m左右,一个副本的时候5m左右 (客服端方式)
我开始就认为是网络瓶颈。但我又用hadoop的基准测试,发现如果同时处理多个文件,速度可以达到几十m 所以又否定了 网络瓶颈。
求大神 帮。。

已有(4)人评论

跳转到指定楼层
when30 发表于 2013-10-25 10:43:17
自己先来顶一下
回复

使用道具 举报

einhep 发表于 2013-10-25 10:43:17
求救啊。。。。
回复

使用道具 举报

mexiang 发表于 2013-10-25 10:43:17
使用Lustre 或者 GlusterFS 替代掉 HDFS ,
性能那个提高有木有,有木有吗?
回复

使用道具 举报

nextuser 发表于 2013-10-25 10:43:17
回复 4# moore
这个。。我还真没办法替换。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条