分享

hbase分布式相关疑问

evababy 发表于 2015-1-16 17:54:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 12266
1、hbase只是分布式存储?
2、mapreduce中map读取hbase数据是单实例?(只有1个map再工作)
3、能做到mapreduce分布式读取hbase后进行计算么?

已有(6)人评论

跳转到指定楼层
w123aw 发表于 2015-1-16 19:13:12
1、hbase只是分布式存储?
hbase是分布式的,当然还有其它特性

2、mapreduce中map读取hbase数据是单实例?(只有1个map再工作)
hbase有自己的mapreduce。

hbase MapReduce程序样例介绍及入门

mapreduce 只使用Mapper往多个hbase表中写数据


3、能做到mapreduce分布式读取hbase后进行计算么?
读取后,可以做计算

更多hbase
零基础学习hadoop生态系统到上手工作线路指导(HBASE篇)


回复

使用道具 举报

evababy 发表于 2015-1-19 10:07:11
w123aw 发表于 2015-1-16 19:13
1、hbase只是分布式存储?
hbase是分布式的,当然还有其它特性

我的现象是mapreduce中map读取hbase时只有一个map在工作,想问的是:
如果实现分布式计算需要制定多个reduce?,还是有什么机制可以制定多个map?


如果没有多个map或reduce就无法完成分布式计算!
回复

使用道具 举报

langke93 发表于 2015-1-19 10:27:09
evababy 发表于 2015-1-19 10:07
我的现象是mapreduce中map读取hbase时只有一个map在工作,想问的是:
如果实现分布式计算需要制定多个re ...
map和reduce个数都是可以设定的

例如:
详细参考
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么?
回复

使用道具 举报

evababy 发表于 2015-1-19 14:34:32
langke93 发表于 2015-1-19 10:27
map和reduce个数都是可以设定的

例如:

map和reduce的数量我基本了解,那么如何应用与hbase上呢?或者如何与hbase结合实现分布式读取与计算?
回复

使用道具 举报

w123aw 发表于 2015-1-19 14:49:39
evababy 发表于 2015-1-19 14:34
map和reduce的数量我基本了解,那么如何应用与hbase上呢?或者如何与hbase结合实现分布式读取与计算?
只要会读取hbase或则写hbase就可以了。然后把代码放到map或则reduce中就可以了。也可以只用map来读
回复

使用道具 举报

evababy 发表于 2015-1-20 08:59:46
w123aw 发表于 2015-1-19 14:49
只要会读取hbase或则写hbase就可以了。然后把代码放到map或则reduce中就可以了。也可以只用map来读

我现在测试就是这样的,经过各种方式测试发现只有1个MAP再工作,说明这不是分布式计算
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条