搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
HDFS
›
hdfs上传文件效率问题
0
5
0
分享
hdfs上传文件效率问题
when30
发表于 2013-10-25 10:44:19
[显示全部楼层]
阅读模式
关闭右栏
5
10893
About云VIP帮助找工作和提升
test.txt 是一个300M的文本 里面全是一些记录
我使用了
/home/hadoop/hadoop-0.20.2/bin/hadoop fs -put /home/hadoop/test.txt /user/hadoop/test
和
/home/hadoop/hadoop-0.20.2/bin/hadoop fs -copyFromLocal /home/hadoop/test.txt /user/hadoop/test
我发现这两个命令上传文件的效率都太慢了,要等2分钟左右吧。
想请教一下如果提升hdfs上传文件的效率吗?谢谢
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(5)人评论
电梯直达
正序浏览
goldtimes
发表于 2013-10-25 10:44:19
自己在顶一下~~~等待ing
回复
使用道具
举报
显身卡
yuanqingyu0123
发表于 2013-10-25 10:44:19
再顶一下~~~
回复
使用道具
举报
显身卡
lxs_huntingjob
发表于 2013-10-25 10:44:19
我想知道您用的是几台datanode吗?如果是3,2台,可能真看不出效果来的哦~~只是猜想,帮你顶顶~
回复
使用道具
举报
显身卡
fylanyu
发表于 2013-10-25 10:44:19
数据录入的效率和网络环境、硬盘I/O以及当前集群I/O情况有直接的关系。
一般来说,千兆环境下的入库速度可以达到96M/s -- 106M/s的速度。但是需要满足一下条件:
1、千兆环境(千兆交换机、千兆网线、千兆网卡等)
2、每个节点有超过2块以上的7200转的硬(我配置的是每个节点是2块500G的7200转的硬盘)
3、集群无其他的I/O操作。(不进行MR计算,就是单纯的入数据)
如果说集群是I/O并发的情况下,也就是说集群在做计算的时候,同时也做数据录入操作。那么入库的速率会有一定的下降。
回复
使用道具
举报
显身卡
when30
发表于 2013-10-25 10:44:19
回复
5#
dajuezhao
按LZ说的,他只用-put 转存数据,是没有在进行MR计算的。我感觉主要是网络的吧~吗?LZ自己出来说说话嘛~发了帖子自己都消失了~
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
when30
中级会员
关注
46
主题
246
帖子
5
粉丝
TA的主题
CentOS系统更换软件安装源
2016-3-19
文本挖掘手册【英文版】
2016-1-26
神经网络学习理论基础【英文版400页】
2016-1-26
Log4j日志入门
2016-1-26
智能助手能否开启移动互联网新时代问题
2013-12-17
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈