分享

关于hadoop具体编程

hwq_00006 发表于 2013-10-16 13:41:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 4380
大家好,小弟想问一下如何进行hadoop编程,现在的书大部分是讲解mapreduce或hdfs原理的
              
               
               

已有(3)人评论

跳转到指定楼层
feiyunzaipiao 发表于 2013-10-16 13:42:38

            同样是菜鸟,表示hadoop是个分布式编程框架,主要编程内容就是设计map,reduce函数,而map,reduce函数的数据存取大都是在hdfs上~,可以看下Nutch项目的源码
        
回复

使用道具 举报

louisthy 发表于 2013-10-16 13:43:12

            我们现在就在做这个。
        
回复

使用道具 举报

syh101 发表于 2013-10-16 13:44:03

            分布式的编程就没法儿像单机模式那样儿自由了,要想获得通用的分布式计算能力需要满足许多严格的规范、限制。
mapreduce就是一种通用的并行计算编程模型,熟悉了就会学着用这个模型来思考问题了。
相似的还有MPI规范。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条