CDH5.4.5 [root@cdh122 conf.cloudera.spark_on_yarn]# spark-shell --master yarn-client SLF4J: Class path contains ...

lielies 2015-9-6 2 26980

请问,spark 怎么同步提交应用?我知道可以sparksubmit，但怎么知道应用执行成功和失败?

ab0412 2015-9-6 5 11694

测试环境：hadoop-2.2，phoenix-4.4.0，hbase-0.98.12.1，spark-1.4.1 测试内容：运用phoenix的spark组件向hbase中写入RDDs 异 ...

chyeers 2015-9-2 5 35431

测试环境：hadoop-2.2，phoenix-4.4.0，hbase-0.98.12.1，spark-1.4.1 测试内容：运用phoenix的spark组件向hbase中写入RDDs 异 ...

chyeers 2015-9-2 0 12517

在网上看到有以下两种方式来运行打包的程序： 注意需要将依赖的HBase jar包添加到Spark的CLASSPATH下，打开conf/spark-env.sh， ...

高帝斯法则 2014-10-10 14 45301

最近在研究Streaming 在例子NetworkWordCount中，我设置了一个window（30秒）间隔（10秒） 获取了很多单词后 我想把这 ...

SingleDee 2015-8-26 1 12072

鄙人环境如下： 1台64位win7操作系统； vmware安装1台ubuntu64位 我在这台机子上安装了伪分布式的Hadoop2.6环境和spark1. ...

杰仕人生 2015-8-22 2 22802

看spark官网给出的Logistic Regression例子代码 [mw_shl_code=python,true]points = spark.textFile(...).map(parsePoint).cach ...

Alexlei 2015-8-21 4 14479

大家好， spark rdd reducer 后，要保存为文件，如saveAsTextFiles，如何控制输出文件的大小或者个数呢？ 大家有什么好的效 ...

scala 2015-8-7 2 52631

请问如何使用Spark SQL程序创建DataFrame后，一个应用不断的从外部获取数据插入到这个DataFrame，另一个程序负责查询数据。 实 ...

良辰815 2015-8-6 3 11537

最近刚开始接触spark，在centos7环境下，对spark1.4.1-src编译的时候遇到了下面的问题：在spark目录下执行build/sbt package，会 ...

Mac_Jsy 2015-7-30 1 15182

intellij Idea老出现Error:scalac: IO error while decoding D:\idea\IdeaProjects\app3\src\test\scala\Myapp.scala with UTF-8 ...

arsenduan 2015-7-13 4 67190

各位兄弟姐妹，小弟想系统学习一下Spark。有推荐的相关视频教程不？谢谢谢！

dongnanyouwo 2015-4-3 2 34307

我使用Eclipse建立一个Maven项目，编写了一个Spark应用程序，调用MLlib中的算法进行计算。 在Maven的pom.xml中增加了spark-asse ...

liuyong05 2015-6-25 2 17309

求教： 在集群主节点启动spark-shell --master spark://hadoop-master:7077之后 只是简单的运行 val a = sc.parallelize( 1 to ...

tntzbzc 2015-6-16 1 27018

求解 如果不加过滤条件是可以拿到数据的，应该代表取数据这块儿没有问题吧？但是这个where有问题吗？ 注： 数据库里 ...

想ai抽 2015-6-9 7 41200

本人按照官网的例子，写了个HdfsWordCount的例子，用eclipse编程时，导入了如下两个jar包： spark-assembly-1.3.0-hadoop2.4.0. ...

zhangblh 2015-6-9 3 30452

Spark的安装分为几种模式，其中一种是本地运行模式，只需要在单节点上解压即可运行，这种模式不需要依赖Hadoop 环境。在本地运 ...

lovebyz 2015-6-9 0 22106

大家好，有个问题想咨询下，使用spark streaming无法接收kafka中自定义的对象，具体情况见下： 环境：spark 1.3.1， kafka 0.8. ...

Cherise 2015-5-29 10 69172

我知道论坛里肯定已经有人做过流数据的结果落地问题，比如Storm或者SparkStreaming实时处理完结果是怎么返回的呢？我之前做流数 ...

梦回三国 2015-5-27 4 16240

spark最新的版本已经支持对ORACLE数据进行JDBC连接，我试过可以进行查询，但进行INSERT操作的时候，总是报错！！请问Spark是否不 ...

caiyifeng 2015-5-19 4 15916

我通过网上开源的类库来读取mongodb的数据，这样子的话，就会把mongodb中的某个Collection读取成一个RDD，那么问题来了，我的集 ...

青瓜不吃黄瓜 2015-5-14 7 66854

下面文章不错，给大家分享下： [mw_shl_code=java,true]val sc = new SparkContext(...) val links = sc.parallelize(Arr ...

jixianqiuxue 2015-5-9 2 11972

输入：文档ID+“\t”+文档内容 ID1 Hello world ID2 Hello spark 输出：关键词+"\t"+文档ID Hello ID1 ID2 worl ...

ayou 2015-5-4 0 37069

问题导读： 1.运行sparl-shell需要哪些操作？ 2.如何读取文件统计spark这个词出现次数？ 3.执行spark cache效率会提升吗？ ...

InSight 2015-5-2 0 15586

出现下面错误，该如何解决

s060403072 2015-4-11 1 25867

我部署了cdh5.1.3，对应的spark组件版本是1.0.0，进bin目录没有发现sparksql，看了一下官网的文档，感觉cloudera在spark1.0.0中 ...

awenkidz 2015-4-10 3 22130

我在eclipse里面添加spark编译的library后，提示：

s060403072 2015-4-6 5 50986

spark开发环境搭建，如何找到spark-assembly-1.3.0-hadoop2.5.0-cdh5.3.0.jar

arsenduan 2015-3-31 4 212660