同时输出多个orc文件

目的:一次读取很多不同的目录,每个目录生成不同的orc格式文件,输出到不同的目录下

请教如何实现生成不同的orc格式文件输出到各自目录下????

s060403072 · 发表于 2018-9-12 08:24:59

妈来，为啥还有这样的需求。
那就开不同的任务，每个任务处理一个目录。输出到指定目录。
一个任务输入多个目录，本身就把他们混合到一起了，怎么在输出到不同目录。

jinwensc · 发表于 2018-9-12 21:59:14

s060403072 发表于 2018-9-12 08:24
妈来，为啥还有这样的需求。
那就开不同的任务，每个任务处理一个目录。输出到指定目录。
一个任务输入多 ...

成千上万的表啊

jinwensc · 发表于 2018-9-14 16:40:47

想写一个multipleOutputformat 没写成功

s060403072 · 发表于 2018-9-14 21:31:01

jinwensc 发表于 2018-9-14 16:40
想写一个multipleOutputformat 没写成功

是spark吗？参考这个试试：

Spark如何实现多文件输出

http://www.aboutyun.com/home.php ... do=blog&id=1792

jinwensc · 发表于 2018-9-19 09:22:14

s060403072 发表于 2018-9-14 21:31
是spark吗？参考这个试试：

Spark如何实现多文件输出

不行,输出文本文件是可以 orc格式文件不可以
我也没改成功

图文精华