spark开发环境中，如何将源码打包提交到集群

问题导读：
1、如何使用IDEA打包jar文件？
2、如何使用spark-submit提交任务？
3、spark-submit提交参数有哪些？



1、IDEA 打包
示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar


选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。


点击ok，然后选择build --》build artifacts，SparkSQLTest --》build，然后在工程目录的子目录下会生成j对应的jar文件：



2、提交任务
首先启动集群，然后客户端来到spark-submit目录：/app/hadoop/spark131/bin


park-submit通过命令行的方式提交任务，具体参数信息如下参考：

提交示例如下：

在命令行输入如下命令：
[mw_shl_code=shell,true]./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar[/mw_shl_code]


在web监控界面可以看到：


3、运行结果
结果如下：


来源：CSDN
作者：kaiseu

不错，多谢

感谢分享