分享

hdfs性能测试疑问

nextuser 发表于 2013-10-25 10:45:57 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5624
我用了3台机器,其中一台存在namenode,也存在datanode,其他两天都是datanode。
用hadoop fs -put file.iso input/ 它都是采用就近原则,也就是存放在本datanode上,
这样就不能测试整个集群一起工作的性能了。
后来我试着在集群外用hadoop fs -copyFromLocal file.iso hdfs://hadoop-01/user/root/input/ (file.iso有3.7G大小)
集群外向集群传送数据,除了用java API,C API还有什么好的,用命令就可以直接操作的用法吗?

已有(2)人评论

跳转到指定楼层
langke93 发表于 2013-10-25 10:45:57
hadoop fs -copyFromLocal file.iso hdfs://hadoop-01/user/root/input/ 的性能和单机传送速度差不多。
是否使用这个命令的话,读datanode上的block是一个接一个的读呢吗?
回复

使用道具 举报

leo_1989 发表于 2013-10-25 10:45:57
我用hadoop fs -put file.iso input/  其他datanode都不变大,就执行命令这台机器数据大小有变化。很奇怪。
dfs.replication是设置为1的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条