About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Spark › Spark集成开发环境搭建-eclipse

Spark集成开发环境搭建-eclipse

查看数: 74597 | 评论数: 9 | 收藏 3

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

pig2

发布时间: 2014-2-1 22:28

正文摘要:

本帖最后由 pig2 于 2014-4-4 14:40 编辑（1）准备工作在正式介绍之前，先要以下软硬件准备：软件准备： Eclipse Juno版本（4.2版本），可以直接点击这里下载：Eclipse 4.2 Scala 2.9.3版本，Window安装程 ...

lz958942 发表于 2019-4-18 18:11:45

谢谢分享

a530491093 发表于 2017-8-22 17:35:38

不错感谢分享！

bush 发表于 2017-8-4 17:52:49

赞楼主

yunge2016 发表于 2017-7-13 17:11:56

楼主请问这个spark-assembly-0.8.1-incubating-hadoop2.2.0.jar 在哪里呢找不到啊，wordcount不能运行哎。代码中sparkcontext 报错。

cqranbihong 发表于 2015-5-7 16:01:21

刚果发表于 2015-4-21 22:34
我也是，我都无语了，这篇文章到底怎么写出来的？
不引入spark-assmbly包的话，wordcount程序import那里 ...

你可以将spark-assmbly包里面的scala目录删了，这就不会报有重复文件了，在打包的时候选不了main就不选，直接打包，然后手动去给jar包里面的MANIFEST.MF文件增加一个Main-Class: WordCount，这样就可以运行了：java -Xbootclasspath/a:spark-assembly-hadoop2.2.0.jar -jar WordCount.jar

刚果 发表于 2015-4-21 22:34:39

guxingyu 发表于 2015-3-27 16:00
楼主，我打成jar包是，选那个Main运行类的时候，由于scala选不到那个，导致不能打成jar包，不知道这个错误 ...

我也是，我都无语了，这篇文章到底怎么写出来的？
不引入spark-assmbly包的话，wordcount程序import那里报错；
引入spark-assmbly包的话，工程出现红叉，并提示有两个scala编译路径，根本没法运行（提示找不到main方法），此时要是强行打包jar，运行还是会出错（提示找不到main）

guxingyu 发表于 2015-3-27 16:00:55

楼主，我打成jar包是，选那个Main运行类的时候，由于scala选不到那个，导致不能打成jar包，不知道这个错误怎么解决啊

YLV 发表于 2015-3-27 13:38:34

zhujun182104906 发表于 2015-3-22 23:46:03

图文精华

Spark集成开发环境搭建-eclipse

正文摘要:

回复

推荐 /2