分享

请教:MapReduce真的是一个巨大的倒退吗?

lijian123841314 发表于 2013-10-26 15:15:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6834
很多数据库大牛都声称MapReduce是一个巨大的倒退。如果站在DBMS角度来看,确实如此,事务和一致性等都很难为保证。MapReduce完全替代数据库,以目前技术而言,确实不可能。但是shared-nothing架构又是目前解决高扩展性唯一的办法,面对爆发式增长的数据量,还没有比它更有效的架构。MapReduce不适合于OLTP场合,但是它和OLAP是十分吻合的,所以MapReduce是做不了DB,但是可以很好的成为DW,即数据仓库。与其说是运用MapReduce建设数据仓库,还不如说是在运用shared-nothing架构,因为一旦如此,我们也可以采用非MapReduce技术来满足需求高手。总之,MapReduce是实现数据仓库的非常好的工具。NoSQL不是指不运用SQL,更确切的是NoRDBMS,基于MapReduce的数据仓库,仍应当提供SQL编程接口,这样才能保证效率和移植的成本。

已有(1)人评论

跳转到指定楼层
bob007 发表于 2013-10-26 15:15:59
MapReduce的优势在于scalability,分布式数据库(一般是pipeline架构的,比如teradata)到100个节点就差不多不行了;MapReduce吸取了functional programming的精髓,immutability使得各个节和相对独立,所以scalability远在pipeline架构的分布式数据库之上。
如果要处理超级海量的数据,比如几十,几百TB的话,只有用MapReduce或者Dryad了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条