分享

storm的开发环境部署配置教程

hyj 发表于 2014-6-10 13:08:22 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 6 19256
问题导读:
1.如何使用git获取源码?
2.如何添加storm-0.9.0-wip7.jar到eclipse?







一、Linux (Ubuntu)环境
笔者是在ubuntu 12.04系统下完成的,
前提条件是
(1)一台装有storm的集群;
(2)storm-starter源码,
(3)安装git

对于git的使用和安装可以参考:

开源项目必备管理工具git:git入门


Eclipse上GIT插件EGIT使用手册


  1. git clone git@github.com:nathanmarz/storm-starter.git
复制代码


然后需要maven或者lein 来编译,笔者尝试用lein编译多次,总是不成功,各种报错。
用maven倒是一次成功,但是感觉maven的体积有点大,安装包有150M 然后依赖包还有几百兆。
  1. sudo apt-get install maven
复制代码


然后从终端进入到 storm-starter的文件,里面有个m2-pom.xml 文件,修改storm版本号,和你安装的storm版本必须一致。否则可能报错,编译不成功。(笔者就是因为没有修改这个版本号,结果在开发的时候各种报错,浪费很多时间,泪。。。

  1. <dependency>
  2. <groupId>storm</groupId>
  3. <artifactId>storm</artifactId>
  4. <version>0.9.0</version>
  5. <!-- keep storm out of the jar-with-dependencies -->
  6. <scope>provided</scope>
复制代码

然后


  1.   mvn  -f m2-pom.xml package
复制代码

在第一次编译的过程中,可能会提示:  Failure to transfer org.twitter4j:twitter4j-core:2.2.6-SNAPSHOT................ 等错误,没关系,解决办法在这里:缺少twitter4j依赖包的解决办法

编译完成后,就会在storm-start里产生一个文件夹 target,里面有一个storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar

就是可以提交到storm集群上的jar包啦。

通过这个例子你可以了解到storm的开发过程,然后用vi 编辑器
编辑你自己的程序java源码,用maven编译打包就可以执行了。当然你还可以用Linux 版的eclipse
来开发会方便很多。


二、Windows环境

这时候当然需要eclipsele 了,在eclipse 里新建一个java project然后,config building path 将storm安装包里的 storm-0.9.0-wip7.jar添加到编译环境,然后就可以开始编写 java代码了。




我看到网上很多说还需要给eclipse安装maven插件,下载maven依赖,其实不需要。


等你把代码写好,直接在项目上右键 -> export   jar包,然后通过 SecureFX.exe 将刚才导出的jar包上传到storm 的nimbus节点。

然后他通过以下命令就可以 向storm 集群提交 topology:
  1. storm jar realODMatrix-0.0.1-SNAPSHOT.jar  main.java.realODMatrix.realODMatrixTopology realOD
复制代码

整个开发流程差不多就是这样。


1.jpg

已有(6)人评论

跳转到指定楼层
quenlang 发表于 2014-10-28 11:19:36
感谢分享 学习一下
回复

使用道具 举报

caiyifeng 发表于 2014-12-17 23:24:10
多谢楼主分享
回复

使用道具 举报

shawl84 发表于 2014-12-31 20:33:08
os x系统表示学习
回复

使用道具 举报

remzhang 发表于 2015-1-23 07:57:36
相当的不错!
回复

使用道具 举报

diandidemeng 发表于 2015-1-31 15:26:48
好资料,谢谢分享。
回复

使用道具 举报

ainubis 发表于 2015-3-29 18:07:05
好资料,谢谢分享。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条