http://pan.baidu.com/s/1kToXSl5 **** 本内容被作者隐藏 ****

x5136160 2015-5-2 132 147467

**** 本内容被作者隐藏 ****

x5136160 2015-5-2 42 65072

弱弱请教一下各位大神。。。这是什么情况。 运行spark官网上的一个streaming 程序 用spark-submit提交上去就卡死在那， ...

remarkzhao 2017-7-20 24 15178

有两个集群，一个部署在阿里云，一个部署在三台虚拟机上： 在虚拟机上的：spark-sbumit提交和idea直接提交到集群都可以正常运行 ...

ltne 2016-11-10 24 27052

./spark-shell --master spark://Master:7077 --executor-memory 1024m --driver-memory 1024m 执行结果出错： 17/03/02 12: ...

海滩发红 2017-3-11 21 20453

我用spark1.5.2配置ha，用的是zookeeper3.4.8的版本，安装官网的文档配置如下： export SPARK_DAEMON_JAVA_OPTS="-Dspark.deplo ...

linbowei 2016-5-17 20 20727

从网上找了几篇说法一一试了都没有用，不知道是不是帖子比较久远的原因 我的hive是2.1.1，spark是2.1.0，hadoop是2.7.3 求详细 ...

yangyixin 2017-7-7 19 36288

/** * Created by Administrator on 2016/9/24 0024. */ package com.keduo import java.util.Properties import o ...

txknick 2016-10-22 18 44121

val conf = HBaseConfiguration.create();val tableName = "data1" val table = new HTable(conf,tableName) conf.set(TableOu ...

remarkzhao 2018-2-27 18 16868

各位大神，新问题来了。。 Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immuta ...

remarkzhao 2018-3-14 17 15415

如题，在网上看到了一个scala版本的例子，但是scala没接触过，看起来很吃力，希望各位大大能给个Java版的例子，不 ...

高帝斯法则 2014-10-15 17 89416

场景： 每天跑一部分分析数据，计算一项业务的人数。 但是最终查询的时候，是多天一起查的，这个时候就涉及对人数的去重。 ...

xingoo 2017-2-9 17 21981

[mw_shl_code=java,true]val spark = SparkSession.builder().appName(this.getClass.getSimpleName) .master(master). ...

zstu 2018-5-21 16 22503

SSH 可以互相无密码登陆，ping也能ping通。但是worker就是连不上master vanxd@master:~/i/Spark/spark-1.3.1-bin-hadoop2.6/s ...

l206xd 2015-6-2 16 65550

[hadoop@hadoop001 bin]$ ./spark-shell Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ ...

丹青穆怀 2017-3-7 16 13142

一直没有发过帖子，写的不好大家将就着看，希望有人能用上； 问题描述： 公司最近一个数据清洗项目，用spark sql从一个 ...

YLV 2016-5-4 16 61147

问题1：执行过程中出现的错误如何解决？ 问题2：如何输出我在lines.flatMap(new FlatMapFunction() 方法中的相关日志？（我想拿 ...

为啥呢？ 2016-1-25 16 16146

val jdbcDF = spark.read.format("jdbc").option("url","jdbc:sqlserver://192.168.1.21;username=sa;password=yishidb;database ...

remarkzhao 2017-7-26 15 20550

1、 新装完spark后，运行bin/spark-shell时出现错误“Call From master151/192.168.203.151 to master151:8021 failed on connec ...

395455030 2016-1-12 15 26355

Error:scalac: bad symbolic reference. A signature in SparkContext.class refers to term hadoop in package org.apache whi ...

海滩发红 2017-3-15 15 37246

在网上看到有以下两种方式来运行打包的程序： 注意需要将依赖的HBase jar包添加到Spark的CLASSPATH下，打开conf/spark-env.sh， ...

高帝斯法则 2014-10-10 14 45301

我在网上看到一个spark读取hbase的例子（地址http://blog.csdn.net/fighting_one_piece/article/details/38437647），然后想自己 ...

高帝斯法则 2014-10-9 14 28383

进到/spark/bin目录后，运行：./run-example org.apache.spark.examples.SparkPi 打开网页：http://192.168.56.11:8080/ ...

xw2016 2016-5-26 13 18037

源数据：（“人名”，年龄） val rdd = sc.parallelize(Array[(String,Int)](("Michael",29),("Andy",30),("Justin",19), ("Tom" ...

一颗银杏树 2017-5-15 12 27317

通过Spark Streaming获取不到HDFS上面的数据， val conf = new SparkConf().setMaster("local").setAppName("RDDTest"); v ...

guxingyu 2016-3-3 12 62390

我在使用spark-sql 的 时候,有个问题一直困扰我.spark-sql 为什么不能像hive一样,自定义永久函数.而是需要每次都加载本地的udf j ...

JME 2015-4-7 12 105666

spark-shell yarn-client模式启动总是出现异常。 运行环境如下： spark1.3 hadoop2.6 HA jdk1.8.0_31 spark-env.sh ...

cookeem 2015-3-31 12 260477

偶是一个spark的新人，现在一个需求需要启动spark streaming for flume-ng，用yarn管理，启动脚本是 spark-submit \ --class ...

孔雀王 2014-12-19 12 69868

Spark1.3，运行SparkStreaming的时候提示错误，运行Spark-SQL正常 运行环境：Spark1.3+Hadoop2.6.0+JDK1.8 运行官方的Stre ...

cookeem 2015-3-31 12 153664

2017-07-31 16:28:08,364 INFO org.apache.spark.executor.CoarseGrainedExecutorBackend: Got assigned task 5 2017-07-31 16: ...

taoxw 2017-7-31 11 9543