分享

请教大神,存储与数据是否要分开?

admin 发表于 2013-11-16 03:26:15 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 5566
我现在有1pb的数据要存储,是不是可以存储计算都放在hadoop中,真正数据有250T冗余备份,计算空间都留出来了,1pb,我本来想130datanode 一台8*1T的就可以了结果开会被专家批了,说 存储于计算要分开,datanode用于计算,还要额外有个存储池 ,所以大概要2pb的空间呢 ,但我还是不太理解

已有(3)人评论

跳转到指定楼层
pig2 发表于 2013-11-16 03:28:34
你要求响应时间肯定要很高吧,hadoop不适合。hbase可以。
我印象中存储和计算就是在一起的,好像是分不开的,分开了,网络带宽是个大问题,速度肯定受限制的,不能直接利用本地数据进行计算,存储与计算如何分开?分开了文件又集中存储?
回复

使用道具 举报

nettman 发表于 2013-11-16 03:29:27
分开当然可以,只不过不是local,而且跨节点,或者跨机架
回复

使用道具 举报

yuwenge 发表于 2013-11-16 03:30:23
我看网上的部署都在存储计算一起的

我看参数上只是分了hdfs和jobtracker的,没有说具体到datanode和tasktraker的,就分了namenode和jobtracker的,那样搞,网络估计得崩,3Pb的数据在网络里传来传去.这个样是个问题。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条