对于Apache Hadoop的spring源码下载、支持hadoop版本、及相关示例应用程序

问题导读
此内容是对spring hadoop的初略的说明，如果想尝试使用，可以使用git下载。

软件版本控制-在Windows中使用Git视频介绍

1.如何下载spring hadoop？
2.spring hadoop目前支持哪些版本hadoop？
3.Hadoop spring是否支持hive、hbase?



1.spring hadoop 源码下载地址：
源码git地址

目前支持的版本：

• Apache Hadoop 2.6.x (hadoop26) default
• Apache Hadoop 2.5.x (hadoop25)
• Apache Hadoop 2.4.x (hadoop24)
• Pivotal HD 2.1 (phd21)
• Cloudera CDH5 (cdh5)
• Hortonworks HDP 2.0 (hdp20)
• Hortonworks HDP 2.1 (hdp21)
• Hortonworks HDP 2.2 (hdp22)
  

更多信息：
查看

2.对于Apache Hadoop的spring的示例应用程序

这个库包含了几个示例应用程序，演示如何使用Apache Hadoop的spring。


Spring for Apache Hadoop概述

hadoop不擅长盒子编程模型。编写应用程序的Hadoop，一般变成一个脚本集调用Hadoop命令行应用程序。Apache Hadoop Spring提供了一个一致的编程模型。开发Hadoop应用声明配置模型。
集成Spring和Spring Batch，下面是Spring Hadoop用例

• HDFS的数据访问
• 数据分析
  
  
  • MapReduce
  • Pig
  • Hive
    
    
• 工作流
• 数据收集和摄取
• 事件流处理
  
  

功能

1.声明的配置创建，配置，参数化Hadoop连接和所有的工作类型（MR/Streaming MR/Pig/Hive/Cascading）

2.简化HDFS API支持JVM的脚本语言支持

3.运行 MR/Pig/Hive/Cascading小工作流，由HDFS 操作 → 数据分析 → HDFS 操作组成

4.Helper “Template” 类 for Pig/Hive/HBase

• 执行脚本和查询不用担心异常处理和资源管理的转换
• 线程安全
  

5.HBase的轻量级 Object-Mapping

6.hadoop组件集成Spring和Spring Batch

• Spring Batch用于 HDFS 和 数据分析
  

• Spring Batch HDFS ItemWriters
  

• Spring Integration HDFS channel adapters
  

示例源码下载地址：
https://github.com/spring-projects/spring-hadoop-samples



3.spring maven配置

<dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>0.9.0.RELEASE</version>
</dependency>
复制代码

更详细：
mvnrepository

支持下，支持楼主