【已解决】Spark1.0.2集群配置好之后，运行自带的SparkPi例子报错

本帖最后由高帝斯法则于 2014-11-5 16:54 编辑

报错内容如下，
Exception in thread "main" java.lang.NumberFormatException: For input string: "spark://TMaster1.Hadoop:7077"
      at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
      at java.lang.Integer.parseInt(Integer.java:449)
      at java.lang.Integer.parseInt(Integer.java:499)
      at scala.collection.immutable.StringLike$class.toInt(StringLike.scala:229)
      at scala.collection.immutable.StringOps.toInt(StringOps.scala:31)
      at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:29)
      at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
      at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
      at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
      at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
      at java.lang.reflect.Method.invoke(Method.java:597)
      at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:303)
      at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
      at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我在spark-env.sh里面配置的SPARK_MASTER_IP=TMaster1.Hadoop。求大神帮忙

高帝斯法则 · 发表于 2015-4-24 08:42:04

guichun2103 发表于 2015-4-23 15:36
楼主您好，能不能说一下您是如何解决这个问题的？我的scala程序目录为/opt/cloudera/parcels/CDH-5.0.2-1.c ...

目录进入错了，run-examples是个shell脚本文件。应该在bin目录下执行./run-example org.apache.spark.examples.SparkPi命令，“.”的意思就是当前目录下

sstutu · 发表于 2014-9-28 15:37:22

数据类型转换出错了，检测下数据类型，特别是输入数据

高帝斯法则 · 发表于 2014-9-28 15:53:53

sstutu 发表于 2014-9-28 15:37
数据类型转换出错了，检测下数据类型，特别是输入数据

我使用命令：./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:7077来运行自带的例子，是我命令里面输入的参数有错误么？

sstutu · 发表于 2014-9-28 16:12:38

高帝斯法则发表于 2014-9-28 15:53
我使用命令：./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:70 ...

换成ip试一下。

高帝斯法则 · 发表于 2014-9-28 16:18:13

sstutu · 发表于 2014-9-28 16:33:53

SPARK_MASTER_IP=TMaster1.Hadoop
./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:7077
都换成ip，如果还不行，那就是你的环境问题了

高帝斯法则 · 发表于 2014-9-28 16:57:32

sstutu 发表于 2014-9-28 16:33
SPARK_MASTER_IP=TMaster1.Hadoop
./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Ha ...

恩，问题解决了，3q

shineshore · 发表于 2014-11-5 16:52:15

bin/run-example org.apache.spark.examples.SparkPi 2 spark://16.186.74.37:7077

zhsunsea · 发表于 2015-3-25 10:12:21

高帝斯法则发表于 2014-9-28 16:57
恩，问题解决了，3q

如何解决的？

高帝斯法则 · 发表于 2015-3-25 10:20:03

zhsunsea 发表于 2015-3-25 10:12
如何解决的？

只需要./run-example org.apache.spark.examples.SparkPi就行了

图文精华

【已解决】Spark1.0.2集群配置好之后，运行自带的SparkPi例子报错

已有(19)人评论

回帖奖励 +4 云币

推荐 /2