hadoop2.4、Hadoop2.5插件下载、完全分布式、伪分布、eclipse插件开发大全
hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全
hadoop2.5汇总：新特性、安装包、Eclipse插件及集群安装
http://www.aboutyun.com/static/image/hrline/2.gif
具体包含如下内容：
本文链接：http://www.aboutyun.com/thread-7795-1-1.html hadoop2.4版本的发布，很多童鞋都想了解其新特性:
它们做了哪些改变？
该如何伪分布、完全分布安装？
它们和前面版本有什么不同？
这里做一个汇总
一、hadoop2.4的改进
Hadoop 2.4.0版本的改进
阐述了下面问题：
1.HDFS权限加强表现在哪方面？
2.HDFS的状态如何通过web端口访问？
3.ResourceManager是否支持HA（高可用）？
4.Capacity scheduler是否支持资源抢占，原理是什么？
二、如何去官网下载最新版本hadoop有些同学不知道官网怎么，该怎么查看最新版本下面内容交给大家：
新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍
本贴阐述了下面问题：
1.如何访问hadoop官网？
2.如何下载hadoop各个版本？
3.如何查看hadoopAPI?
三、各种插件下载
很多同学不喜欢去官网，这里给大家下载下来，并且有编译了64位安装包分享：
原文：hadoop2.4最新版本各种包下载
插件包包括下面插件：（1）代码包：hadoop-2.4.0-src.tar.gz（2）hadoop-2.4.0-64bit.tar.gz
（3）hadoop-eclipse-plugin-2.4.0插件包：
（4）32位安装下载
四、伪分布是安装
hadoop2.4.0 伪分布安装配置
阐述如下问题：
1.如何判断格式化成功？
2.hadoop2.4启动方式是否发生变化？
3.hadoop2.4在配置方面是否有变化？
4.伪分布的安装步骤？
五、完全分式布安装
hadoop2.4的完全伪分布安装包不同的系统及文档下载
Hadoop 2.4 完全分布式环境安装与配置及配置信息介绍
上面帖子交全，包括配置信息的解释
CentOS6 hadoop2.4完全分布式安装文档
上面适合在centOS上面安装
Hadoop-2.4.0 分布式安装手册（下载）
安装手册为下载文档
如果想了解的跟详细，可以比较他们的区别。
六、编译与开发
Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结
阐述了：
1.log4j文件的作用是什么？
2.hadoop.dll，winutils.exe的作用是什么？
编译64位Hadoop2.4总结
阐述了：
1.32位安装在64位会出现什么问题？
2.an ant buildxception hasoccured exec returned 1这个错误的可能原因是什么？
Hadoop2.4.0 Eclipse插件制作及问题记录
阐述了：
1.build.xml文件的作用是什么？
2.hadoop2.4用的commons-lang-2.6.jar，在build.xml中该如何修改？
3.插件包的制作需要经过几个步骤？
static/image/hrline/2.gif
问题导读：
1.如何获取Hadoop安装包?
2.编译Hadoop过程中，需要注意哪些问题?
3.如何寻找API？
4.如何获取Hadoop源码？
http://www.aboutyun.com/static/image/hrline/4.gif
上述问题有的在本文，有的则在本文链接，感兴趣，可以找找答案
2014年08月06日 Hadoop2.5发布
官网下载地址
对Hadoop2.5进行了编译，编译的时候根据从零教你在Linux环境下（ubuntu）如何编译hadoop2.4帖子编译，遇到了问题。如下
Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (create-testdirs) on project hadoop-project: Error executing ant tasks: /home/aboutyun/hadoop-2.5.0-src/hadoop-project/target/antrun/build-main.xml (No such file or directory) ->
原来又忘记了，权限问题。
（aboutyun为当前用户组和用户名，需要根据自己的情况来）
通过下面命令修改：
[*]sudo chown -R aboutyun:aboutyun hadoop-2.5.0-src
复制代码
ok,进行下一步
经过半个小时，编译成功
http://www.aboutyun.com/data/attachment/forum/201408/13/161654js8bc0c8b7zmcoez.png
下面附上各种包：
hadoop-2.5.0-linux64-aboutyun.tar.gz
链接：http://pan.baidu.com/s/1i3BpmIx 密码：**** Hidden Message *****
http://www.aboutyun.com/static/image/hrline/2.gif
hadoop-eclipse-plugin-2.5.0
下面附上在win7下，Eclipse版本为3.9.1的插件
链接：http://pan.baidu.com/s/1dDkZbWH 密码:**** Hidden Message *****
http://www.aboutyun.com/static/image/hrline/2.gif
hadoop-2.5.0-Linux32-aboutyun.tar.gz
链接：http://pan.baidu.com/s/1kTJYFdX 密码：wv33
http://www.aboutyun.com/static/image/hrline/2.gif
hadoop-2.5.0-src.tar.gz
链接：http://pan.baidu.com/s/1jGp861K 密码：cq2k
hadoop-2.5.0-src.tar.gz是个maven包，如果想获取源码，可以参考
从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码
http://www.aboutyun.com/static/image/hrline/2.gif
Hadoop2.5 API
链接：http://pan.baidu.com/s/1jGGCSAE 密码：**** Hidden Message *****
下载之后是html版，单击Index.html即可看到更详细参考：
新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍
http://www.aboutyun.com/data/attachment/forum/201405/08/205810ma0aa7cfbwlbeb0b.png
http://www.aboutyun.com/static/image/hrline/2.gif
新特性参考：
Hadoop 2.5.0新特性和改进
更多包参考：
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)
static/image/hrline/2.gif问题导读
1.hadoop-eclipse-plugin源码如何下载？
2.插件编译需要哪些准备？
3.使用什么命令可以编译Eclipse插件？
http://www.aboutyun.com/static/image/hrline/4.gif
制作过程：
1.首先从git下载源码
下载地址：
https://github.com/winghc/hadoop2x-eclipse-plugin百度网盘下载：
链接：http://pan.baidu.com/s/1o6DMY4U 密码：y95i
下载之后，我们会看到下面文件夹
http://www.aboutyun.com/data/attachment/forum/201408/16/140402tlzlwmi6r9jsk6k6.png
对于像安装git的用户，可以查看下面帖子
软件版本控制-在Windows中使用Git视频介绍
win7安装 git软件下载以及遇到的问题解决解决方法
2.win7编译
2.1编译准备
win7的编译首先需要安装jdk、ant、Eclipse
同样window也可以进行编译，环境如下图所示这里的
Eclipse的版本：
Version: 3.9.1.201308190730
Build id: 3.9.0.201308190730
Eclipse的安装
Eclipse安装很重要，而且版本很重要，最好能版本一致，因为如果你在Linux制作的插件，只能用于Linux，windows插件只能用于windows，具体的Eclipse版本也尽可能一致，否则会遇到各种问题
2.2编译
aboutyun@master:~/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin$ ant jar -Dversion=2.5.0 -Declipse.home=/usr/eclipse -Dhadoop.home=/usr/hadoop
参数说明：
1.Dversion是你编译的版本，此版本为2.5.0
2.Declipse.home是Eclipse安装目录
3.Dhadoop.home是Hadoop安装目录
执行如下命令：
[*]E:\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin>ant jar -Dversion=2.5.0 -D
[*]eclipse.home=E:\eclipseIDE -Dhadoop.home=E:\bianyi\hadoop-2.2.0
复制代码
上面Hadoop home需要说明的是，这里并不是使用的Hadoop2.5.0，经过各种验证，Dhadoop.home如果使用的是Hadoop2.5是非常痛苦的，需要各种修改，而且不一定能改正确。那么为什么Hadoop home是Hadoop2.2版本的也可以连接Hadoop2.5，这个需要了解内部原理了，感兴趣的同学，可以研究下。
下面附上在win7下，Eclipse版本为3.9.1的插件
链接：http://pan.baidu.com/s/1dDkZbWH 密码：**** Hidden Message *****
http://www.aboutyun.com/static/image/hrline/2.gif
然后尝试连接集群：
首先确认集群版本：
http://www.aboutyun.com/data/attachment/forum/201408/17/131135dsjjrhysrryy4sqn.png
1.把插件放入plugins文件夹
然后打开win7下Eclipse，将hadoop-eclipse-plugin-2.5.0.jar插件放到Eclipse安装目录的plugins文件夹下，我这里的路径是E:\eclipseIDE\plugins
其实放到这里面已经完成大部分了。
2.重启Eclipse
通过window-》preference 找到下图所示，选择Hadoop安装目录
http://www.aboutyun.com/data/attachment/forum/201408/17/161750kpivz6i36lnbep4l.png
3.创建New hadoop location
通过下面操作，单击other
http://www.aboutyun.com/data/attachment/forum/201408/17/131709nq91961w9pmqyq93.png
弹出show view对话框，然后单击map/reduce location
http://www.aboutyun.com/data/attachment/forum/201408/17/131758xmpwtt0hezym310j.png
看到小象，如下图
http://www.aboutyun.com/data/attachment/forum/201408/17/132012n2eocdhyhry767pp.png
右键New hadoop location
4.配置New hadoop location
http://www.aboutyun.com/data/attachment/forum/201408/17/132315iwodjtkmw8kczw8x.png
5.查看效果
配置完毕，查看效果
http://www.aboutyun.com/data/attachment/forum/201408/17/132415t1jmqljez1dvd6k1.png
http://www.aboutyun.com/static/image/hrline/2.gif
问题总结：
插件的制作过程还是比较复杂的，原先使用的是Hadoop2.5版本，编译成功了，不能创建New Hadoop location查看log下面问题
java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
at org.apache.hadoop.eclipse.server.HadoopServer.<init>(HadoopServer.java:224)
at org.apache.hadoop.eclipse.servers.HadoopLocationWizard.<init>(HadoopLocationWizard.java:88)
at org.apache.hadoop.eclipse.actions.NewLocationAction$1.<init>(NewLocationAction.java:41)
at org.apache.hadoop.eclipse.actions.NewLocationAction.run(NewLocationAction.java:40)
at org.eclipse.jface.action.Action.runWithEvent(Action.java:499)
at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:584)
at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:501)
at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:411)
at org.eclipse.swt.widgets.EventTable.sendEvent(EventTable.java:84)
at org.eclipse.swt.widgets.Widget.sendEvent(Widget.java:1057)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Display.java:4170)
at org.eclipse.swt.widgets.Display.readAndDispatch(Display.java:3759)
at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine$9.run(PartRenderingEngine.java:1113)
at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine.run(PartRenderingEngine.java:997)
at org.eclipse.e4.ui.internal.workbench.E4Workbench.createAndRunUI(E4Workbench.java:138)
at org.eclipse.ui.internal.Workbench$5.run(Workbench.java:610)
at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
at org.eclipse.ui.internal.Workbench.createAndRunWorkbench(Workbench.java:567)
at org.eclipse.ui.PlatformUI.createAndRunWorkbench(PlatformUI.java:150)
at org.eclipse.ui.internal.ide.application.IDEApplication.start(IDEApplication.java:124)
at org.eclipse.equinox.internal.app.EclipseAppHandle.run(EclipseAppHandle.java:196)
at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.runApplication(EclipseAppLauncher.java:110)
at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.start(EclipseAppLauncher.java:79)
at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:354)
at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:181)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.eclipse.equinox.launcher.Main.invokeFramework(Main.java:636)
at org.eclipse.equinox.launcher.Main.basicRun(Main.java:591)
at org.eclipse.equinox.launcher.Main.run(Main.java:1450)
网上有很多这方面的资料，尝试，但是还是未能解决。
使用Hadoop2.5作为编译目录，遇到下面问题：
ivy-resolve-common:
:: problems summary ::
:::: WARNINGS
module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-jobclient;2.5.0
==== maven2: tried
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-jobclient/2.5.0/hadoop-mapreduce-client-jobclient-2.5.0.pom
-- artifact org.apache.hadoop#hadoop-mapreduce-client-jobclien
t;2.5.0!hadoop-mapreduce-client-jobclient.jar:
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-jobclient/2.5.0/hadoop-mapreduce-client-jobclient-2.5.0.jar
module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-core;2.5.0
==== maven2: tried
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-core/2.5.0/hadoop-mapreduce-client-core-2.5.0.pom
-- artifact org.apache.hadoop#hadoop-mapreduce-client-core;2.5
.0!hadoop-mapreduce-client-core.jar:
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-core/2.5.0/hadoop-mapreduce-client-core-2.5.0.jar
module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-common;2.5.0
==== maven2: tried
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-common/2.5.0/hadoop-mapreduce-client-common-2.5.0.pom
-- artifact org.apache.hadoop#hadoop-mapreduce-client-common;2
.5.0!hadoop-mapreduce-client-common.jar:
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-common/2.5.0/hadoop-mapreduce-client-common-2.5.0.jar
module not found: org.apache.hadoop#hadoop-hdfs;2.5.0
==== maven2: tried
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-hdfs/2.
5.0/hadoop-hdfs-2.5.0.pom
-- artifact org.apache.hadoop#hadoop-hdfs;2.5.0!hadoop-hdfs.ja
r:
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-hdfs/2.
5.0/hadoop-hdfs-2.5.0.jar
module not found: org.apache.hadoop#hadoop-common;2.5.0
==== maven2: tried
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/
2.5.0/hadoop-common-2.5.0.pom
-- artifact org.apache.hadoop#hadoop-common;2.5.0!hadoop-commo
n.jar:
http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/
2.5.0/hadoop-common-2.5.0.jar
::::::::::::::::::::::::::::::::::::::::::::::
:: UNRESOLVED DEPENDENCIES ::
::::::::::::::::::::::::::::::::::::::::::::::
:: org.apache.hadoop#hadoop-mapreduce-client-jobclient;2
.5.0: not found
:: org.apache.hadoop#hadoop-mapreduce-client-core;2.5.0:
not found
:: org.apache.hadoop#hadoop-mapreduce-client-common;2.5.
0: not found
:: org.apache.hadoop#hadoop-hdfs;2.5.0: not found
:: org.apache.hadoop#hadoop-common;2.5.0: not found
::::::::::::::::::::::::::::::::::::::::::::::
:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
BUILD FAILED
经过多次修改未果，由于Hadoop Eclipse插件源码使用的是Hadoop2.2所以，就尝试用是Hadoop2.2作为Hadoop home，竟然编译成功了。
static/image/hrline/2.gif
Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结 问题导读
1.你认为Hadoop集群的搭建有什么共同点？
2.低版本升级高版本，你是如何操作的？
static/image/hrline/2.gif
Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结
问题导读
1.你认为Hadoop集群的搭建有什么共同点？
2.低版本升级高版本，你是如何操作的？
http://www.aboutyun.com/static/image/hrline/1.gif
Hadoop集群的搭建除了Hadoop1与Hadoop2的集群搭建有所区别之外，Hadoop2集群的搭建大部分都是相似的。
1.需要安装ssh，达到无密码互通
无密码互通，很多这里都遇到了问题，这里提供两篇帖子。
linux（ubuntu）无密码互通、相互登录高可靠文档
CentOS6.4之图解SSH无验证双向登陆配置
2.修改hostname
hostname有临时修改于永久修改，详细见
ubuntu修改hostname
3.安装JDK
参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试
4.配置环境变量、例如path、classpath、Java_home等
环境变量中有的是必须的、有的是为了操作方便、Hadoop path可以配置，这样使用命令更加的方便
5.配置网络：
包括联通外网、防火墙关闭
联通外网可以参考下面贴子
虚拟机三种网络模式该如何上网指导
6.Hadoop配置文件
1.配置文件一般配置如下三个文件：
core-site.xml、hdfs-site.xml、mapred-site.xml、
Hadoop2，还需要配置yarn-site.xml
2.对于分布式、伪分布区别的一个重要切简单的配置文件slaves
如果是完全分布则需要修改slaves
除了上面，我们还需要配置hadoop-env.sh、yarn-env.sh
还有根据配置文件、建立文件夹
static/image/hrline/2.gif
集群完全分布于伪分布的区别
伪分布与完全分布环境都是差不多的，伪分布搭建完毕，我们需要将同样的Hadoop文件复制到其他节点即可。
除了最基本的环偶境例如，都需要配置jdk，其他大部分环境不需要配置。
然后我们修改slaves 伪分布就能变成完全分布。
当然根据自己的情况，还有些细节，需要自己去搭建集群慢慢体会
static/image/hrline/2.gif
通过上面我们可以看出，如果我们在原有的环境的基础上搭建更高更高版本的Hadoop，
我们有两种选择
1.直接采用升级的方式
升级的方式，可以参考
hadoop_线上升级步骤
hadoop 1.0.3 升级到 2.4.0 or 2.4.1
2.替换配置文件、重新初始化目录（这个只适用于同版本）
例如你的环境是Hadoop2.2、2.4等，升级为Hadoop2.5，你该如何操作，这里以伪分布为基础。
（1）我们下载解压Hadoop2.5.0
（2）将原先的Hadoop重命名Hadoop-back
（3）将Hadoop2.5重名为Hadoop（也就是你之前Hadoop文件夹的名字）
（4）替换配置文件
（5）将Hadoop的临时目录及Hadoop datanode目录清除里面的内容即可。
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
（6）格式化namenode，这时候我们的最新的集群就可以使用了。
对于从未搭建过集群的朋友、可以参考hadoop2.2完全分布式最新高可靠安装文档，来搭建Hadoop2.5，配置文件，可以完全挪用。
非常感谢，谢谢分享 谢谢楼主分享。 哈哈，很全，很实用，谢楼主啦~ 最新版本的Hadoop插件不知是否好用 hadoop2.4、Hadoop2.5插件下载、完全分布式、伪分布、eclipse插件开发大全
Hadoop2.5插件下载，集成到eclipse
看看啊！1234567
感谢楼主，谢谢！
感谢楼主，谢谢！