spark saveastextfile 完后会自动生成文件名part-00000--part-0n ,怎么自定义名称呢？

spark saveastextfile 执行结束后会自动生成文件名part-00000--part-0n ,怎么自定义名称呢？谢谢

muyannian · 发表于 2016-5-5 19:55:37

在该语句之前加上repartition(1)

x.repartition(1).saveAsTextFile("a.txt")

SSHSad · 发表于 2016-5-5 20:47:39

muyannian 发表于 2016-5-5 19:55
在该语句之前加上repartition(1)

x.repartition(1).saveAsTextFile("a.txt")

嗯，这个我知道，把对个分区的数据合到了一起，生成一个文件。
但是我现在textFile（文件目录），是输入的多个文件，所以得到的输出文件也要多个，一个输入文件对应一个输出文件，然后这些输出文件需要自己命名，这个怎么做？
比如文件夹doc下有5个文件text1,text2，text3,text4,text5,单词统计（Wordcount）处理完后输出的结果分别放到对应的文件里面，textout1,textout2,textout3,textout4,textout5.
谢谢，请求解