spark源码、下载、部署及编译生成

问题导读

1.如何通过SVN下载spark源码？
2. 创建spark项目需要哪些步骤？
3.如何编译spark？

本文适合于有一定JAVA开发基础的同学看，如果你尚不会配置JDK、尚不会myeclipse的基本操作，你应该先学会了这两项之后再来。其实也不是太难，baidu几篇文章看看，网上介绍一大堆。好的，下面开始给大家讲解spark源代码部署及编译生成。

默认大家已经在自己的机子上装好了myeclipse，因为后边的才是重头戏，着重要讲的是后边一部分。

一、 SVN下载spark源代码

目前为止，官网上只提供SVN方式的下载。所以我们只好下载了SVN工具（如Tortoise SVN）之后再下载源码。对svn不了，可以参考

源码管理、获取网络源码工具：TortoiseSVN使用手册

1) 在自己电脑上新建一个用来存放源码的文件夹，如E:\spark。

2) 在E:\apark右键，然后选择【SVN checkout…】，弹出如下图所示的对话框。填入spark的SVN地址，即在【URL of repository】栏填入http://svn.igniterealtime.org/svn/repos/spark/trunk，然后点击【OK】按钮。

3) 等待半小时左右，下载完毕。可以看到我们本机上的文件夹下：

二、创建spark项目

1) 在Myeclipse 6.6中new一个Java Project，命名为spark，如下图：

2) 然后点”NEXT>”，需要改一下默认的项目设置。将下图中的Default output folder修改一下：

这是因为Myeclipse和ant用不同的方式编译源代码造成的，myeclipse一般将编译生成的.class放在bin文件夹中，而ant一般将.class文件放在target文件夹中。我们后边会用ant将工程build，但是我们run的时候用的是myeclipse，myeclipse会在上图设置的Defaultoutput folder中去寻找.class文件。

下面我们吧spark/bin改为spark/target/classes。

如下图所示：

3) 把spark源码包下的所有文件（build/documentation/src三个文件夹）拷贝到新建的spark项目中。源码包的src要覆盖掉myeclipse为我们自动创建的空src文件夹。

4) 然后我们就看到了项目出现了大红叉，表示出现错误。如下图：

没关系，我们下一步就会把这些红叉叉去掉。

5) 在PackageExplorer中选中src文件夹，右键选择【Build Path】-【Remove from Build Path】，如下图。操作之后，可以看到红叉叉消失。

6) 跟上一步类似，在PackageExplorer中选中src\java和src\resources文件夹，分别右键选择【BuildPath】-【Use as Build Path】，将它们设为源代码目录。操作之后下效果图如下：

7) 在项目的properties首选项中的Libraries选项卡中，将刚拷入来的build文件夹下的lib文件夹及子文件夹的.jar包全部加入到项目中。实现如下图：

8) 完成之后，看见项目中还有红叉叉。如下图：

其实是代码中有@override的原因，这个annoatation表示需要重载。解决方法是去【Preferences】-【java compiler】把jdk，从1.5（或5.0）换成1.6（或6.0）。

三、编译生成

1) 点击Window-->ShowView-->Ant。

2) 右击Ant面板,选择Add Buildfiles，展开spark-->build文件夹,选择build.xml,点击"OK"。

3) 双击Ant面板中的spark，等一段时间,会提示"Build Successful"，如下：

4) 点击菜单栏【Run】-【Open Debug Dialog】，出现Run窗口。选择“Java Application”，点击“new”按钮。在【Main】标签页，将New_configuration换成spark或你喜欢的名字。点击Project-->Browse按钮,选择Spark,再点OK。点击Main class-->Search按钮,选择main所在的类Startup-org.jivesoftware.launcher，再点击OK。

5) 点击Apply，然后点击“Run”。程序就可以跑起来了！看到如下的界面：

Over.最后，欢迎大家与我交流。