spark streaming 编程问题

大家好，我是spark初学者，想用spark streaming求出在9999端口输入的若干数据的方差，弄了两天了也没弄出来，可能是spark的某些原理没弄明白，目前只求出了平均值

以下是我目前的程序


这个是输入数据


下面的是输出数据


我希望能求求出方差，请大神们帮忙啊！

除了wordcount，还有没有其他的spark streaming 编程例子啊？

小屁孩儿 发表于 2016-3-26 22:47
除了wordcount，还有没有其他的spark streaming 编程例子啊？

跟原理没有关系的。是语言不熟悉。这些网上挺多的

leo_1989 发表于 2016-3-27 12:19
跟原理没有关系的。是语言不熟悉。这些网上挺多的

你好，我找了很久都没找到，可不可以发一个相关的链接呀？

方差

数学定义：

均方差：

Matlab 函数：var

要注意的是var函数所采用公式中，分母不是 ，而是 。这是因为var函数实际上求的并不是方差，而是误差理论中“有限次测量数据的标准偏差的估计值”。

>>X=[1,2,3,4]

>>var(X)=1.6667

>> sum((X(1,:)-mean(X)).^2)/length(X)=1.2500

>> sum((X(1,:)-mean(X)).^2)/(length(X)-1)=1.6667

var没有求矩阵的方差功能，可使用std先求均方差，再平方得到方差。

std，均方差，std(X,0,1)求列向量方差，std(X,0,2)求行向量方差。

>>X=[1 2

>>std(X,0,1)=1.4142  1.4142

>>std(X,0,2)=0.7071

            0.7071

若要求整个矩阵所有元素的均方差，则要使用std2函数：

>>std2(X)=1.2910

http://blog.sina.com.cn/s/blog_4936c31d01011v8j.html

leo_1989 发表于 2016-3-27 18:03
方差数学定义：
均方差：Matlab 函数：var要注意的是var函数所采用公式中，分母不是 ，而是 。这是因为var ...

谢谢啦，回头我好好学学scala语言@_@

leo_1989 发表于 2016-3-27 18:03
方差数学定义：
均方差：Matlab 函数：var要注意的是var函数所采用公式中，分母不是 ，而是 。这是因为var ...

你好，有一个地方还是不懂......就是spark streaming的输入是一个Dstream，怎么在Dstream里面对数据进行这些操作呢？要是普通的数组我是明白的，可是这个Dstream我就不明白了......可不可以麻烦你编出一个简单的程序？求平均值的就可以，就是怎么在Dstream里面实现？