【已解决】Spark1.0.2集群配置好之后，运行自带的SparkPi例子报错

楼主您好，能不能说一下您是如何解决这个问题的？我的scala程序目录为/opt/cloudera/parcels/CDH-5.0.2-1.cdh5.0.2.p0.13/lib/spark/examples/lib/spark-examples_2.10-0.9.0-cdh5.0.2-sources/org/apache/spark/examples，我先cd到/opt/cloudera/parcels/CDH-5.0.2-1.cdh5.0.2.p0.13/lib/spark/examples下。。
然后如果键入命令 ./run-example org.apache.spark.examples.SparkPi，报错-bash: ./run-example: 没有那个文件或目录。这里的命令./run-example中的“.”是什么意思，run-example是一个命令吧

guichun2103 发表于 2015-4-23 15:36
楼主您好，能不能说一下您是如何解决这个问题的？我的scala程序目录为/opt/cloudera/parcels/CDH-5.0.2-1.c ...

目录进入错了，run-examples是个shell脚本文件。应该在bin目录下执行./run-example org.apache.spark.examples.SparkPi命令，“.”的意思就是当前目录下

shineshore 发表于 2014-11-5 16:52
bin/run-example org.apache.spark.examples.SparkPi 2 spark://16.186.74.37:7077

bin/run-example org.apache.spark.examples.SparkPi 2 spark://16.186.74.37:7077
这里org.apache.spark.examples.SparkPi后面带的参数2是什么意思啊

shineshore 发表于 2014-11-5 16:52
bin/run-example org.apache.spark.examples.SparkPi 2 spark://16.186.74.37:7077

这个是正解~~~

借楼主宝地（没有发帖权限：（），请教个问题：使用kafka和spark streaming，环境是三台虚拟机（4核，6G内存），安装了cdh5.3.3，我有三个streaming作业，配合使用

①如果在三台机器每台机器上各跑一个作业，且master指定为local[3]（即本地模式），是没有问题的
②master为spark://ip:7077，跑三个作业，有时这三个作业正常运行，有时就不动了
③master为yarn-cluster，只有第一个作业分配了applicationmaster，两外两个作业一直是未分配的状态

（其中①和②是我自己装的spark1.3，③是在cloudear自带的spark1.2中运行的）

我想问下，是机器原因导致吗？
（程序开发完了，部署成了大问题了，各种不成功，郁闷，又不敢直接在生产机上部署）

wjhdtx 发表于 2015-6-5 15:10
借楼主宝地（没有发帖权限：（），请教个问题：使用kafka和spark streaming，环境是三台虚拟机（4核，6G内 ...

把跑作业的机器内存调大。只跑一个即可。应该内存的问题

sstutu 发表于 2015-6-8 20:28
把跑作业的机器内存调大。只跑一个即可。应该内存的问题

我是根据业务拆分为3个spark streaming作业，你的意思是，合并为一个作业，没必要三个作业？
（ps：yarn-cluster的部署模式，还是只能启动一个作业）

看了楼主的贴，我也跑成功了。

高帝斯法则 发表于 2015-3-25 10:20
只需要./run-example org.apache.spark.examples.SparkPi就行了

./run-example --master spark://big-data1:7077 SparkPi 10

难道不是应该这样跑吗？