分享

MapReduce有什么优势和劣势

sq331335144 发表于 2013-10-26 15:16:35 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 13 19270
优势:
采用RPC,简化了跨节点编程
通过心跳,采用Pull的方式调度任务,减少了大量的状态
通过JVM,运用独立的子进程运行业务代码,增加了系统的可靠性,隔离了业务代码对系统稳定性的影响
插件化的总线结构,大大增强了系统的可扩展性和二次研发能力
劣势:
主线不够清晰
模块划分不是十分清晰
线程多,未统一管理

已有(13)人评论

跳转到指定楼层
wscl1213 发表于 2013-10-26 15:16:35
这些都是特定于hadoop的吧.
回复

使用道具 举报

starrycheng 发表于 2013-10-26 15:16:35
MapReduce实现有很多种方法,Hadoop MapReduce这样做,简化了其结构,将核心聚焦于大数据量的计算,在设计上是值得研究和借鉴的。
回复

使用道具 举报

bob007 发表于 2013-10-26 15:16:35
我们在研发的map-reduce,没有用RPC,感觉模块化要强一些。
同时,hadoop的程序只局限java,流模式限制又过多,这是不方便的地方。
回复

使用道具 举报

sq331335144 发表于 2013-10-26 15:16:35
Avro成熟后,将替代现有的RPC框架,研发hadoop程序的语言将更丰富。
回复

使用道具 举报

datong838 发表于 2013-10-26 15:16:35
Avro是个重点,不过性能不晓得有没有保证
回复

使用道具 举报

einhep 发表于 2013-10-26 15:16:35
回复 5# spork
看目前的源代码,Avro并不是替换现有RPC的框架,而应当只是替换实现。现有的实现,充分利用了Java的反映机制,整体上是比较简单的,容易看懂。
回复

使用道具 举报

cryst2l 发表于 2013-10-26 15:16:35
回复 4# sammychen
有否介绍一下你们研发的MapReduce吗?低层的DFS采用的是啥,也是自己研发的吗吗?现在有个想法,基于KFS研发一套MapReduce,运用C++去实现。
回复

使用道具 举报

arsenduan 发表于 2013-10-26 15:16:35
回复 8# hadoopor
恩,底层的dfs也是自己研发的。
回复

使用道具 举报

atsky123 发表于 2013-10-26 15:16:35
回复 9# sammychen
相比Hadoop,有些啥改进了吗?
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条