xuanxufeng 发表于 2015-7-8 23:47:21

spark RDD Transformations和Actions区别是什么?

spark RDD Transformations和Actions区别是什么?

xuanxufeng 发表于 2015-7-8 23:48:14

总结:
对于RDD,有两种类型的动作,一种是Transformation,一种是Action。它们本质区别是:

Transformation返回值还是一个RDD。它使用了链式调用的设计模式,对一个RDD进行计算后,变换成另外一个RDD,然后这个RDD又可以进行另外一次转换。这个过程是分布式的
Action返回值不是一个RDD。它要么是一个Scala的普通集合,要么是一个值,要么是空,最终或返回到Driver程序,或把RDD写入到文件系统中
Transformations转换操作,返回值还是一个 RDD,如 map、 filter、 union;
Actions行动操作,返回结果或把RDD持久化起来,如 count、 collect、 save。






wingsless 发表于 2015-7-9 16:26:27

讲得透彻
页: [1]
查看完整版本: spark RDD Transformations和Actions区别是什么?