专题 › HDFS › hdfs上传文件效率问题

when30 发表于 2013-10-25 10:44:19

hdfs上传文件效率问题

test.txt 是一个300M的文本 里面全是一些记录
我使用了
/home/hadoop/hadoop-0.20.2/bin/hadoop fs -put /home/hadoop/test.txt /user/hadoop/test
和
/home/hadoop/hadoop-0.20.2/bin/hadoop fs -copyFromLocal /home/hadoop/test.txt/user/hadoop/test
我发现这两个命令上传文件的效率都太慢了，要等2分钟左右吧。
想请教一下如果提升hdfs上传文件的效率吗？谢谢

goldtimes 发表于 2013-10-25 10:44:19

自己在顶一下~~~等待ing

yuanqingyu0123 发表于 2013-10-25 10:44:19

再顶一下~~~

lxs_huntingjob 发表于 2013-10-25 10:44:19

我想知道您用的是几台datanode吗？如果是3，2台，可能真看不出效果来的哦～～只是猜想，帮你顶顶～

fylanyu 发表于 2013-10-25 10:44:19

数据录入的效率和网络环境、硬盘I/O以及当前集群I/O情况有直接的关系。
一般来说，千兆环境下的入库速度可以达到96M/s -- 106M/s的速度。但是需要满足一下条件：
1、千兆环境（千兆交换机、千兆网线、千兆网卡等）
2、每个节点有超过2块以上的7200转的硬（我配置的是每个节点是2块500G的7200转的硬盘）
3、集群无其他的I/O操作。（不进行MR计算，就是单纯的入数据）
如果说集群是I/O并发的情况下，也就是说集群在做计算的时候，同时也做数据录入操作。那么入库的速率会有一定的下降。

when30 发表于 2013-10-25 10:44:19

回复 5# dajuezhao
   按LZ说的，他只用-put 转存数据，是没有在进行MR计算的。我感觉主要是网络的吧～吗？LZ自己出来说说话嘛～发了帖子自己都消失了～
images/smilies/default/sweat.gif

查看完整版本: hdfs上传文件效率问题