mapreduce 分区输出多个文件

查看数: 11337 | 评论数: 8 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-6-9 21:22

输入是key（STEP0，1） value(4,angle) 输入底下还有STEP100和STEP200 想分区多文件输出 STEP0一个文件 STEP100一个文件 STEP200一个文件但是输出结果是 STEP0一个 STEP0和STEP100一个 ST ...

lanxueren121 发表于 2016-6-10 17:05:16

easthome001 发表于 2016-6-10 12:28
这是分区函数重载，是map的输出，楼主查看的是reduce的输出，这是两码事的。

我解决啦～～谢谢～～～

easthome001 发表于 2016-6-10 12:28:42

lanxueren121 发表于 2016-6-10 09:28
http://www.aboutyun.com/thread-7558-1-1.html
大神我参照的这个网址···一样的，她分的男女···

这是分区函数重载，是map的输出，楼主查看的是reduce的输出，这是两码事的。

lanxueren121 发表于 2016-6-10 09:28:57

nextuser 发表于 2016-6-9 23:19
楼主可以自定义文件，至于为什么，楼主可以调试下。既然输出了，说明生成就是这么生成的。

自定义可以参 ...

http://www.aboutyun.com/thread-7558-1-1.html
大神我参照的这个网址···一样的，她分的男女···

lanxueren121 发表于 2016-6-10 09:28:01

easthome001 发表于 2016-6-10 07:05
楼主的描述很容易让人造成误解。
numPartitons这个参数的含义是什么？
楼主的分区多文件输出，分区是指什 ...

http://www.aboutyun.com/thread-7558-1-1.html
大神，我参照的这个网址我做的一样可是就是不对

lanxueren121 发表于 2016-6-10 09:27:25

qcbb001 发表于 2016-6-10 07:53
else 改成else if(如果是200)
楼主的备份数是几啊，取余可以去掉，然后直接返回1,2,3.看看是什么结果

我试过了都不好使···
http://www.aboutyun.com/thread-7558-1-1.html
我参照的这个网址

qcbb001 发表于 2016-6-10 07:53:32

本帖最后由 qcbb001 于 2016-6-10 08:05 编辑

else 改成else if(如果是200)
楼主的备份数是几啊，取余可以去掉，然后直接返回1,2,3.看看是什么结果

easthome001 发表于 2016-6-10 07:05:59

本帖最后由 easthome001 于 2016-6-10 07:10 编辑

楼主的描述很容易让人造成误解。
numPartitons这个参数的含义是什么？
楼主的分区多文件输出，分区是指什么？是否指对输出文件分类？比如分目录等

nextuser 发表于 2016-6-9 23:19:40

楼主可以自定义文件，至于为什么，楼主可以调试下。既然输出了，说明生成就是这么生成的。

自定义可以参考这个
如何修改（mapreduce）reduce执行后文件的文件名、目录等
http://www.aboutyun.com/thread-9711-1-1.html

图文精华