通过实例让你真正明白mapreduce---填空式、分布(分割)编程

查看数: 61005 | 评论数: 16 | 收藏 11
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-7-2 16:25

正文摘要:

问题导读: 1.如何在讲mapreduce函数中的字符串等信息,输出到eclipse控制台? 2.除了使用下文方法,还有其它方法输出到控制台? 3.map中,系统默认接受的value值是什么? 4.reduce输出不是自己想要的结果,可 ...

回复

czwanglei 发表于 2017-3-18 21:46:18
这篇文章写的很细,而且特别专业
xunying 发表于 2017-2-15 22:41:49
TaskInputOutputContext
Steven_HHQS3 发表于 2016-11-23 16:18:06
通过实例让你真正明白mapreduce---填空式、分布(分割)编程
b2623 发表于 2015-3-20 07:24:47
Hi,大家好,关于这个过程我想请教下大家:
在map部分版主说:上面我们看到输出数据输出了3次,也就是说,我们的map执行了3次。
因为input的文件很小,所以肯定是1个split文件,那么在整个过程中只分配了1个map,在job.setInputFormat()中使用了默认的TextInputFormat.class,把输入的文本划分成3个<key,value>pairs。所以
1.是不是在job.setInputFormat()结束的时候就规定好了我们这个map需要重复执行3次?
2.如果是这样,为什么在consolo中,“map中的值value”这句话只出现了1次,而不是跟它的值
   一样出现3次,类似的显示在reduce端“reduce中的值”这句话每次都会出现。
3.reducer的个数小于mapper的个数,所以reducer只能是1个,那么这个reducer会和mapper共用一个mapper开启的JVM吗?
4.reduce端接受的是1个序列化成字节数组,那么reduce端执行reduce()方法的次数是不是根据字节数组中key的个数来执行呢?
谢谢
tang 发表于 2015-3-8 15:35:50
说得很详细,非常好
quenlang 发表于 2014-10-14 18:01:06
好好好好好好好好好好好好好好好好好好好好好好好好好好好好好
梦回三国 发表于 2014-9-22 11:18:55
pig2 发表于 2014-9-21 23:21
把这个程序放到你的eclipse里,如果还不输出,说明就是环境的问题了。新手指导,该如何在开发环境中,创建 ...

谢谢,我知道为什么了,应该是没配置log4j,或者之前配置的不对。
pig2 发表于 2014-9-21 23:21:29
梦回三国 发表于 2014-9-21 22:21
啊,默认就有吗?我没改变什么啊,我是自己搭的单机集群,然后在集群主机系统上的eclipse中直接开发的。
...
把这个程序放到你的eclipse里,如果还不输出,说明就是环境的问题了。新手指导,该如何在开发环境中,创建mapreduce程序
梦回三国 发表于 2014-9-21 22:21:05
howtodown 发表于 2014-9-21 18:30
默认都是有的,你是不是做了什么特殊的改变。

啊,默认就有吗?我没改变什么啊,我是自己搭的单机集群,然后在集群主机系统上的eclipse中直接开发的。
关闭

推荐上一条 /2 下一条