学习SparkStreaming 函数UDF

mk,感谢楼主分享

学习了，等待楼主更新

谢谢博主无私分享！

刚研究scala
reduceByWindow 方法
参数无效呢？
words.reduceByWindow(_ + "-" + _, Seconds( 3) , Seconds( 1 ))
看提示方法应该传递如下参数

def reduceByWindow(reduceFunc: (Array[String], Array[String]) => Array[String], windowDuration: Duration, slideDuration: Duration): DStream[Array[String]]

请问Array[String], Array[String]) => Array[String]  应该如何写参数呢？

感谢分享

今天看了一个sample和takeSample补充两个方法
------------------------sample（）
// true 表示有放回去的抽样
// false 表示没有放回去的抽样
// 第二个参数为采样率 在 0->1 之间
rdd1.sample(false,0.4);
随机取rdd1中数据的大约40%的数据不放回，取出的数据是大概，不一定是40%
-------------------takeSample（）
// 第一个参数和sample函数是相同的，第二个参数表示采样的个数
rdd1.takeSample(false,3);

感谢分享