spark 怎么控制数输出文件个个数

大家好，      spark rdd reducer 后，要保存为文件，如saveAsTextFiles，如何控制输出文件的大小或者个数呢？ 大家有什么好的效率比较高的方法吗？repartition  效率太慢了？


谢谢！

因为Spark内部写文件方式其实调用的都是Hadoop的函数，所以我们也可以通过Spark实现多文件输出。Spark内部没有多文件输出的函数供大家直接调用，我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可


更多参考
Spark如何实现多文件输出

谢谢，我用用看！