hadoop群集设置block副本数量，对于数据传输很有影响的

最近测试了下hadoop读写数据的情况，将结果分享给大家

datanode
mem：128G
cup：2cpu 26** 4核 共8核

namenode
mem：192G
cup：2cpu 26** 4核 共8核

datanode15台
namenode2台
block size 256M

单个文件2G 使用-put方式
data block repliction =3
3副本put（默认）7分钟
2副本put（指定）2分钟
1副本put（指定）25秒

hdfs dfs -D dfs.replication=1 -put hello125.txt /tmp

ambari查看network usge 一直处于(各IN/OUT)500M/秒

之后调整
data block repliction =2
2副本put（默认）30秒
1副本put（指定）10秒

看来hadoop群集设置block副本，对于数据传输还是很有影响的，安全与速度的选择问题。

http://blog.chinaunix.net/uid-25691489-id-5212761.html

要是再有个关于block size大小对于数据传输的测试就更好了！还是多谢楼主提供这种测试！