大家好，我是spark初学者，想用spark streaming求出在9999端口输入的若干数据的方差，弄了两天了也没弄出来，可能是spark的某些 ...

小屁孩儿 2016-3-26 6 8624

请教一个问题，spark集群（Hadoop集群应该也是一样）启动的时候，只需在一个主节点start-all，就会自动将从节点启动，那从节点的 ...

UFO 2016-3-24 3 6831

hadoop中二次排序，重写三个类，key，partitioner，groupcomparator，就可以进行二次排序，求分组topn的问题请问spark怎么二次排 ...

blackproof 2016-3-18 2 10487

如何用spark读取mysql数据，并将其存到RDD中，从而可以进行文本分析。用python实现~~~~~~求助啊

lbydd 2016-3-9 2 12129

Scala光速入门杭州-Frank 天下武功，唯快不破！精通Spark，从Scala开始！ Scala的重大价值 曾经有人问Java之父，“ ...

DT_Spark 2016-3-13 0 10955

写了一个从Hbase中读数据处理后再保存回Hbase的程序，但是运行会出现Task not serializable报错 代码如下： [mw_shl_code=scal ...

chimes298 2016-2-29 10 34979

将程序提交到spark集群 总是出现这样的错误，请问是怎么回事 Exception in thread "main" java.lang.NoSuchMethodError: scala. ...

UFO 2016-3-11 1 7373

我想通过spark的mapToPair和reduceByKey对一年中每月数据的某个指标求最大值，最小值。然而计算的结果并正确。 具体如下： ...

duliming 2016-3-7 9 36790

当数据量比较大的时候，通常会增加分区来提高并行度。在市面上一些spark书中（大部分基于spark1.2左右版本），数据读取后重新分 ...

chimes298 2016-3-8 1 9338

新手，刚刚在IDEA中新建maven项目，按照网上的介绍，发现建好之后，跟网上的不是一样的，我建的竟然没有src文件目录，不知道怎么 ...

lwq 2016-3-1 3 166091

我现在运行的spark streaming app处理时间片数据是FIFO的调度策略，有没有“公平”策略？让后来的时间片也能及时得到处理，因为 ...

邓立辉 2016-3-1 5 13260

如图，idea.sh时，提示错误，本人刚接触，不是很了解，希望大神们不吝赐教，万分感谢！

lwq 2016-2-26 11 29735

安装检测出现下面的情况 这个是什么情况？我下载的版本如下： CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel CDH-5.5.2-1.cdh5.5.2 ...

grinsky 2016-2-25 2 9442

hi 各位 之前hadoop job的history 能知道 input 的文件路径。通过histroy文件获取到，运行中也可以获取到。 ...

ab0412 2016-2-19 3 8535

spark的master和worker通过SSH进行通讯连接，但是为了保证系统安全性，SSH端口不采用默认端口22，改用其他端口。 这个时候spark ...

chyeers 2016-2-18 7 13152

如下图 通过自己的google浏览器是可以正常访问的 但是使用火狐浏览器可以出现界面，但里面的图形、菜单都出不来 在同一个 ...

grinsky 2016-2-18 1 8459

今天在自己的机器上重新装了hadoop2.7.2 ,zookeeper hadoop 都启动OK。scala2.11也OK了 但在启动spark时爆出如下错误，spark版 ...

grinsky 2016-2-17 4 31874

我使用spark sql做了一些简单的ETL，最后将数据输出到HDFS中，但是我发现输出的结果不完整，有的output是0B 我使用spark s ...

cp87597 2016-2-16 3 11131

跑任务一直失败，提示错误都是这个 java.io.IOException: java.lang.reflect.InvocationTargetException ，下面的是部分日志，不 ...

grinsky 2016-2-15 2 25311

从GitHub上clone了spark的工程到本地，想要导入idea读读源码，但是在导入工程的时候报错： 查看日志： [mw_shl_code=java,tr ...

chimes298 2016-1-24 5 11643

问题1：执行过程中出现的错误如何解决？ 问题2：如何输出我在lines.flatMap(new FlatMapFunction() 方法中的相关日志？（我想拿 ...

为啥呢？ 2016-1-25 16 16146

我要开始学习Spark，求大神们多指导

艾力克斯 2016-1-24 2 8647

我再这行DataFrame之前做个多次unionAll操作。这个count的DataFrame是经过多次unionAll出来的一个DataFrame。 请问为什么会 ...

duliming 2016-1-20 4 10456

如题，单个Partition里的数据是不是直接从原文件里面范围顺序抽取的（比如原文件里是（1，2，3，4），形成的Partition是（1，2） ...

seraph50 2016-1-17 7 29389

spark可以通过增加计算机数量来提高速度。我做了测试，单节点处理(1亿行*20字节/行)的文件用时27s，双节点用时19s，这是想要 ...

395455030 2016-1-19 10 62188

我的需求是: 取出DataFrame中的某行某列的位置上的数据。 [mw_shl_code=java,true]JavaSparkContext sc = new JavaSparkContex ...

duliming 2016-1-15 4 13406

最近接了一个日志分析任务，作为Spark新手目前处于调研阶段，对Spark知之甚少。因为我有一部分信息还有历史记录是存放在MySQL数 ...

Lillard 2016-1-14 2 31971

本人无意中发现了sparkta的安装文件。仅会简单安装部署，有需要的联系我。我给你下载链接地址。。。 仅供参考学习，出现任何法 ...

记忆在空中飘荡 2015-12-23 5 11343

1、 新装完spark后，运行bin/spark-shell时出现错误“Call From master151/192.168.203.151 to master151:8021 failed on connec ...

395455030 2016-1-12 15 26355