yunjisuanxue 发表于 2013-10-25 10:43:17

HDFS写入性能问题

1namenode 7 datanode   namenode所在的机器是32核 48g内存 其他七台是普通的pc机 双核2g内存 7200转的硬盘 100M网络
经过多次的测试，三个副本的时候 在3m左右，一个副本的时候5m左右 (客服端方式)
我开始就认为是网络瓶颈。但我又用hadoop的基准测试，发现如果同时处理多个文件，速度可以达到几十m 所以又否定了 网络瓶颈。
求大神 帮。。

when30 发表于 2013-10-25 10:43:17

自己先来顶一下

einhep 发表于 2013-10-25 10:43:17

求救啊。。。。

mexiang 发表于 2013-10-25 10:43:17

使用Lustre 或者 GlusterFS 替代掉 HDFS ,
性能那个提高有木有，有木有吗？

nextuser 发表于 2013-10-25 10:43:17

回复 4# moore
这个。。我还真没办法替换。。。
页: [1]
查看完整版本: HDFS写入性能问题