请教一个spark 计数的小问题

我在window本地搭建spark环境，想请教下 如何提交到集群中呢  代码如下：
[mw_shl_code=scala,true]import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Jan on 2016/12/19.
  */
object Helloworld {

  def main(args: Array[String]) {
    val logFile= "D:\\Improve\\24.Scala\\file"  // Should be some file on your server.
    System.setProperty("hadoop.home.dir", "D:\\Improve\\24.Scala\\Hadooplib\\hadoop-2.7.0\\hadoop-2.7.0");
    val conf = new SparkConf().setAppName("Simple Application").setMaster("spark://10.145.218.176")
    val sc= new SparkContext(conf)
    val logData= sc.textFile(logFile, 2).cache()
    val numAs= logData.filter(line => line.contains("h")).count()
    val numBs= logData.filter(line => line.contains("j")).count()

    println("Lines with h: %s, Lines with j: %s".format(numAs, numBs))
  }

}[/mw_shl_code]


谢谢啦

参照下这个：
http://spark.apache.org/docs/latest/submitting-applications.html

fanzw001 发表于 2017-2-14 11:48
参照下这个：
http://spark.apache.org/docs/latest/submitting-applications.html

方式有两种，一种在开发环境中直接提交。
另外 一种在开发环境中打包，然后在客户端提交。
楼主想要那种

推荐参考
Spark-submit命令行方式提交任务到集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20979

nextuser 发表于 2017-2-14 13:44
方式有两种，一种在开发环境中直接提交。
另外 一种在开发环境中打包，然后在客户端提交。
楼主想要那 ...

方式有两种，一种在开发环境中直接提交。
另外 一种在开发环境中打包，然后在客户端提交。
楼主想要那种


请问在window中直接用开发环境提交到standalone集群上的方式怎么实现？
我有见过有人用sparkcontext.addJar("")
但是这个地址依旧是windows的地址，没有提交到虚拟机上的standalon集群，如何运行spark程序？
有详细的介绍链接没？

SuperDove 发表于 2017-2-14 17:18
方式有两种，一种在开发环境中直接提交。
另外 一种在开发环境中打包，然后在客户端提交。
楼主想要那 ...

下面看spark部署方式：
spark部署方式：有五种：

1.spark on local【本地模式】
常用于本地开发测试，本地还分为local单线程和local-cluster多线程;

2.spark独立模式（standalone）【集群模式】
3.spark on yarn【集群模式】

4.spark on mesos【集群模式】

5.spark On cloud【集群模式】

可以采用第一种部署方式

Spark设置setMaster=local，不提交集群，在本地启用多线程模拟运行

einhep 发表于 2017-2-14 17:31
下面看spark部署方式：
spark部署方式：有五种：

你可能没明白我的意思，我问的是IDEA是否可以直接在window中运行spark程序


补充内容 (2017-2-21 09:03):
谢谢了，明白了

setMaster("spark://10.145.218.176")
改成
setMaster("local")