分享

Mapreduce多文件写入到同一个文件的问题

小小布衣 发表于 2014-10-29 11:39:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 9024
这两天要做一个业务。把一天里面的很多数据,写入到一个大文件中,并且自定义一个新的名字,而不是要这种默认的文件名:part-r-00000
我想使用mapreduce实现,速度会快点我想使用mapreduce实现,速度会快点。但是这个输入不如意
求大神给个方法!

已有(5)人评论

跳转到指定楼层
bioger_hit 发表于 2014-10-29 12:41:03
这个简单,文件名指定可以参考这个
如何修改(mapreduce)reduce执行后文件的文件名、目录等
输出到一个文件,指定一个reduce就好了。
回复

使用道具 举报

小小布衣 发表于 2014-10-29 20:29:01
bioger_hit 发表于 2014-10-29 12:41
这个简单,文件名指定可以参考这个
如何修改(mapreduce)reduce执行后文件的文件名、目录等
输出到一个 ...

这个我尝试了。实在是无法实现,
有没有具体的例子,
现在用的是cdh5.
或者是官方文档什么的,
多谢了
回复

使用道具 举报

bioger_hit 发表于 2014-10-30 13:23:33


参考这个例子试试
mapreduce如何修改文件名(MultipleOutputs使用)

回复

使用道具 举报

小小布衣 发表于 2015-1-8 17:39:50
bioger_hit 发表于 2014-10-30 13:23
参考这个例子试试
mapreduce如何修改文件名(MultipleOutputs使用)

最后在shell脚本里面完成重新命名,

点评

shell脚本??  发表于 2015-1-11 22:40
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条