将写好的代码打包后放到spark集群中运行，一直报错 Exception in thread "main" java.lang.UnsatisfiedLinkError: ICTCLAS.I3S. ...

lihy114 2016-6-7 2 7466

scala> val rescaledData = idfModel.transform(featurizedData) rescaledData: org.apache.spark.sql.DataFrame = [category: ...

aurae 2016-6-6 2 6862

spark-submit提交程序，一直处于waiting状态 日志打印： 16/05/19 09:10:29 INFO scheduler.TaskSchedulerImpl: Adding task s ...

jason_Q 2016-5-19 8 13931

val rdd= sc.textFile("hdfs://yun01-nn-01:9000/data/test.gz") 报错：java.io.IOException: not a gzip file

xw2016 2016-6-5 1 9840

运行spark-shell没问题，运行spark-submit出错，操作如下： 进到spark目录：bin/spark-submit --class org.apache.spark.exampl ...

xw2016 2016-6-2 3 9625

如图所示，根据CDH官方的介绍，运行spark-shell报错16/06/02 21:01:27 ERROR spark.SparkContext: Error initializing SparkCont ...

pandatyut 2016-6-2 1 23629

在local模式下，eclipse中进行调试，是可以正常运行的；打包后放在集群环境中，使用spark-submit运行程序，报错如下 16/06/02 ...

lihy114 2016-6-1 8 10317

有哥们儿做过这样的事情吗？ 自己做实验的时候虽然说可以实现不断的更新模型（每次有新数据进来就加入原数据中作为整体，重新训 ...

jchubby 2016-6-2 2 15960

CDH5.7采用的离线全安装，运行spark-shell的时候报错，命令如下： val rdd1=sc.textFile("hdfs://master:8020/test/sparkData/S ...

pandatyut 2016-6-1 2 6392

我用spark1.5.2配置ha，用的是zookeeper3.4.8的版本，安装官网的文档配置如下： export SPARK_DAEMON_JAVA_OPTS="-Dspark.deplo ...

linbowei 2016-5-17 20 20727

在spark目录下，运行：bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://yun01-nn-01:7077 lib/s ...

xw2016 2016-6-1 2 8879

spark-shell进入后，一直出现下列日志，不知道怎么回事，请大牛给讲解下。 scala> 14/12/18 14:48:39 INFO SparkDeploySchedu ...

唐运 2014-12-18 5 57662

spark-shell 执行代码val rdd2=rdd1.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_) 报错： org.apache.hadoop.ipc. ...

xw2016 2016-5-30 4 7560

将如下的文本内容 1,2,3 4,5,6 7,8,9 转换成如下格式： 1,1,1 1,2,2 1,3,3 2,1,4 2,2,5 2,3,6 3,1,7 3,2,8 3,3,9

linbowei 2016-5-30 1 6276

如题 新建了一个maven工程 写了一个scala的小程序 想本地运行却找不到 run as scala application 刚开始做scala 也不太会定位 ...

zcfightings 2016-5-27 2 11381

想加入一个志同道合研究spark的群，本人自学spark

zhuzhuxia 2016-5-30 1 5877

运行spark自带示例没报错，但在web界面看不到效果？还有其它方法验证吗？或者谁发个程序来测试下？

xw2016 2016-5-28 4 8469

如上图启动后没有work进程，什么原因呢？ spark-env.sh配置如下： export JAVA_HOME=/application/hadoop/jdk export SC ...

xw2016 2016-5-27 4 13002

接上一贴 id, ip, version ： 有效数据 有效数据 36271934 ...

liuzhixin137 2016-5-26 5 6902

bin/spark-submit --class com.ghost.scala.AnalysisData --master spark://master:7077 --executor-memory 1G --total-executor ...

liuzhixin137 2016-5-26 2 13005

linux下安装 Intellij idea 14 ，解压后启动报错。 报错内容，Startup Error: Unable to detect graphics environment ...

轩辕依梦Q 2015-7-18 11 114220

大家好： 我搭建了一个实验的spark+hadoop环境， 1)系统 centos 6.5 2)服务器 192.168.1.101 hadoo ...

北京的北 2016-5-26 2 12975

本帖最后由 pig2 于 2016-5-26 11:31 编辑 问题导读： 1. 为什么需要scp命令？如何使用scp命令？ 2. 从分析日志和分析网页计 ...

Oner 2016-5-26 2 12552

我用spark streaming去读hbase，经常超时，导致driver挂掉，但是work却一直在跑，不退出。而且一直占用很高的cpu。在spark的ui里 ...

dlh 2016-5-26 3 7545

求一spark详细实例

xw2016 2016-5-25 6 5577

启动spark报错如下： [hadoop@yun01-nn-01 sbin]$ ./start-all.sh starting org.apache.spark.deploy.master.Master, logging ...

xw2016 2016-5-24 0 5314

我按照网上的方法在文件log4j.properties中配置 # Set everything to be logged to the console log4j.rootCategory=WARN, con ...

SSHSad 2016-5-21 2 24434

在程序中使用了第三方的jar包，打包一提交就出现以下异常： 执行的命令为： spark-submit --master yarn-client --class tax ...

jchubby 2016-5-13 6 24078

首先需要解开的一个误区是，对于Spark这类内存计算系统，并不是说要处理多大规模的数据就需要多大规模的内存。Spark相对Hadoop M ...

xuanxufeng 2016-5-10 2 6476