启动集群小记录： 以前执行start-master.sh和 都是没有问题的。 后来执行[mw_shl_code=bash,true]start-slaves.sh [/mw_shl_ ...

pig2 2017-3-31 0 9894

我的cdh是5.3.10，其spark是1.2.0的 。但我不想升级cdh版本 ，所用就用是spark1.6的源码重新编译了，生成spark-1.6.0-bin-cdh5.3 ...

zstu 2017-3-28 3 5995

如题，请问怎么才能知道读取文件花了多长时间呢

lsy1996 2017-3-24 4 12164

示例代码如下： [mw_shl_code=scala,true] val conf = new SparkConf().setAppName("CollectFemaleInfo") // Initi ...

Wyy_Ck 2017-3-22 5 6514

./spark-shell --master spark://Master:7077 --executor-memory 1024m --driver-memory 1024m 执行结果出错： 17/03/02 12: ...

海滩发红 2017-3-11 21 20453

关于dag 有一点一致不理解，如下： 针对环形图，那当我们的需要执行 D.collect 操作的时候，就会引发一个死循环了。 请问 ...

Wyy_Ck 2017-3-19 6 7283

请教一个问题 我从flume采集数据,传入kafka,spark straming从kafka中去消费 当数据量上来之后出现该错误 自己的几个猜想,kafk ...

feloxx 2017-3-20 2 6041

数据倾斜只会发生在shuffle过程中。 这里给大家罗列一些常用的并且可能会触发shuffle操作的算子：distinct、groupByKey、reduce ...

SuperDove 2017-3-10 3 13104

Error:scalac: bad symbolic reference. A signature in SparkContext.class refers to term hadoop in package org.apache whi ...

海滩发红 2017-3-15 15 37246

　　Spark SQL和MPP SQL都是大数据的一种表现形式的一种，但是含金量却差了很多，Spark SQL会替代MPP SQL嘛？这是不少人的疑问， ...

芡粉大浪 2017-3-16 0 7240

[mw_shl_code=bash,true]nohup spark-submit --class 'WordCount' --master local[2] --name 'localTest' sparkdemo-1.0-SNAPS ...

feigee 2017-3-13 2 7569

问题：比如我有八个数据0 1 2 3 4 5 6 7迭代多次，比如： 第一次： 0和4：位置的两个元素运算生成两个新的元素放到0和4位置上 ...

ltne 2017-3-4 7 8357

主要是I/O，磁盘之类的

lsy1996 2017-3-9 5 11443

作为Hadoop MapReduce后继者Apache Spark可以支撑数千节点规模的集群部署，尤其在内存数据处理上，Spark比MapReduce更加高效，且 ...

langke93 2017-3-9 0 9011

执行的命令如下； [root@master ~]# spark2-submit --master yarn-client --class org.apache.spark.examples.SparkPi /opt ...

grinsky 2017-3-7 3 41832

执行spark-sql创建好表后 执行insert语句报错 Unsupported language features in query: INSERT INTO Persons VALUES ('Gate ...

Wyy_Ck 2017-3-7 4 24345

[hadoop@hadoop001 bin]$ ./spark-shell Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ ...

丹青穆怀 2017-3-7 16 13142

Task每个都会被分配到集群上的某个节点的某个Executor去执行。 每个节点可以起一个或多个Executor。 每个Executor由若干core组 ...

starrycheng 2017-3-5 2 6500

Information:Using javac 1.8.0_101 to compile java sources Information:2017/3/5 11:21 - Compilation completed with 1 err ...

zhuqitian 2017-3-5 2 6374

问题总结来自： spark dataframe怪异问题 http://www.aboutyun.com/forum.php?mod=viewthread&tid=21105 ################### ...

starrycheng 2017-3-5 0 6758

用Spark Streaming对数据进行处理时，使用了sortByKey进行排序，但报了一个NullPointerException异常 [mw_shl_code=java,true]u ...

zstu 2017-2-27 10 15758

同样的语句在spark-shell正常无报错。 用spark-submit提交就报缺少）。能考虑的情况都考虑过的，spark-shell和submit有什么不同 ...

nlallen 2017-2-28 8 9530

[mw_shl_code=applescript,true]17/02/27 19:15:29 INFO ui.SparkUI: Stopped Spark web UI at http://192.168.52.130:4040 17/ ...

SuperDove 2017-2-27 2 8650

原贴为Spark SQL 统计分析案例介绍 现截出部分代码 [mw_shl_code=applescript,true]val spark = SparkSession.builder().appNa ...

SuperDove 2017-2-22 6 9564

在映射上的所有操作可被表示在下面的三种方法： keys 这个方法返回一个包含映射中的每个键的迭代。values 这个方法返回一个包 ...

easthome001 2017-2-27 2 30349

有两个集群，一个部署在阿里云，一个部署在三台虚拟机上： 在虚拟机上的：spark-sbumit提交和idea直接提交到集群都可以正常运行 ...

ltne 2016-11-10 24 27052

我代码执行如下： [mw_shl_code=scala,true] val sparkConf = new SparkConf().setAppName("FemaleInfo") val sc = new ...

Wyy_Ck 2017-2-25 4 5863

近期在研究实时监控这个问题，ganglia肯定首选，但在spark结合时候遇到不少问题，而且网上也没有什么靠谱的方案。都是你抄我的， ...

lanyangkj 2017-2-24 3 11290

1个用户同时访问200个API（webservice,wcf,servlet等）后得到一结果返回给用户，这用什么大数据技术呀？ 这样的场景：1个用户请 ...

tiantian1980 2017-2-24 1 5956