Spring Yarn 例子及代码下载
本帖最后由 pig2 于 2015-3-23 23:12 编辑问题导读
1.Spring Yarn 有哪些例子？
2.如何找到Spring Yarn例子说明？
3.如何导入项目到IDE？
static/image/hrline/4.gif
注意：
这个例子当前的配置适用 Spring Hadoop 2.0.0.M4 release。可以通过maven配置获取spring hadoop.当前支持Hadoop 2.2.0-alpha
gradlew -Pdistro=hadoop20 clean build -x test下面子项目适用 Spring Hadoop 2.0或则更高版本
Yarn 例子
[*]batch-amjob - 运行 Spring Batch job only 在 Application Master的例子
[*]batch-files - 运行 Spring Batch partitioned带有 HDFS文件进程的例子
[*]batch-partition -运行 Spring Batch partitioned job例子
[*]custom-amservice - 使用 Spring Integration 作为客户端运行 Application Master 服务
[*]kill-application - killing an applicatoin的例子
[*]list-applications -列出已知 resource manager的应用程序列表
[*]multi-context - 运行a spring application context在多个容器中的例子
[*]simple-command - 运行 a command with containers的例子
[*]restart-context -custom failed container handling的例子
如何导入项目到IDE
每一个例子都可以导入Java IDE，可以使用eclipse或则SpringSource Tool Suite。在目录中可以下载这些项目
gradlew eclipse
如果你使用IDEA
gradlew idea
运行例子
对于每一个例子，都有自己的README 文件。README 文件都有简短的说明，可以复制和粘帖commands
环境要求
例子依赖的库，并不是默认的hadoop classpath 。这些依赖在构建的过程中被搜集在一起。
例如：
构建 yarn-examples-simple-command项目
gradlew :yarn-examples-common:yarn-examples-simple-command:build -x test
项目文件被搜集，在simple-command/build/libs 下和在simple-command/build/dependency-libs的依赖
每个例子都有自己的hdfs路径下的jar文件
# hadoop/bin/hdfs dfs -ls /lib
/lib/aopalliance-1.0.jar
/lib/jackson-annotations-2.1.4.jar
/lib/jackson-core-2.1.4.jar
/lib/jackson-databind-2.1.4.jar
/lib/spring-aop-3.1.3.RELEASE.jar
/lib/spring-asm-3.1.3.RELEASE.jar
/lib/spring-batch-core-2.1.9.RELEASE.jar
/lib/spring-batch-infrastructure-2.1.9.RELEASE.jar
/lib/spring-beans-3.1.3.RELEASE.jar
/lib/spring-context-3.1.3.RELEASE.jar
/lib/spring-context-support-3.1.3.RELEASE.jar
/lib/spring-core-3.1.3.RELEASE.jar
/lib/spring-data-hadoop-2.0.0.M4-hadoop22.jar
/lib/spring-data-hadoop-core-2.0.0.M4-hadoop22.jar
/lib/spring-expression-3.1.3.RELEASE.jar
/lib/spring-integration-core-2.2.3.RELEASE.jar
/lib/spring-integration-ip-2.2.3.RELEASE.jar
/lib/spring-integration-stream-2.2.3.RELEASE.jar
/lib/spring-jdbc-3.1.3.RELEASE.jar
/lib/spring-retry-1.0.2.RELEASE.jar
/lib/spring-tx-3.1.3.RELEASE.jar
/lib/spring-yarn-batch-2.0.0.M4-hadoop22.jar
/lib/spring-yarn-core-2.0.0.M4-hadoop22.jar
/lib/spring-yarn-integration-2.0.0.M4-hadoop22.jar
/lib/yarn-examples-common-2.0.0.BUILD-SNAPSHOT.jar
# hadoop/bin/hdfs dfs -ls /app/simple-command
/app/simple-command/yarn-examples-simple-command-2.0.0.BUILD-SNAPSHOT-tests.jar
/app/simple-command/yarn-examples-simple-command-2.0.0.BUILD-SNAPSHOT.jar
JUnit 测试不依赖集群，但是需要配置hadoop环境。环境变量下面是必须存在的
export PATH=$PATH:/usr/local/javas/java/bin
export JAVA_HOME=/usr/local/javas/java
export JRE_HOME=/usr/local/javas/java/jre
export HADOOP_HOME=/usr/local/hadoops/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/conf
export YARN_CONF_DIR=$HADOOP_HOME/conf
源码下载https://github.com/spring-projects/spring-hadoop-samples/blob/master/yarn/README.md
很好很强大 {:soso_e176:}
页:
[1]