图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › 实操演练› 从零教你在Linux环境下（ubuntu 12.04）如何编译hadoop2 ...
分享

从零教你在Linux环境下（ubuntu 12.04）如何编译hadoop2.4

pig2 2014-6-15 12:43:06 发表于 实操演练 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 37 158288
问题导读：

1.如果获取hadoop src  maven包？
2.编译hadoop需要装哪些软件？
3.如何编译hadoop2.4?
扩展：
编译hadoop为何安装这些软件？





一、首先下载hadoop源码包
下载的方式还是比较多的
1.svn的方式
svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理、获取网络源码工具：TortoiseSVN使用手册，hadoop的svn下载地址点此
2.压缩包的方式
这里我们介绍一种压缩包的方式。
首先我们登录官网：
http://hadoop.apache.org/，我们找到下面链接，点进去下载即可。如果刚接触，不知道怎么下载，可以查看帖子新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍，里面介绍的很详细。



二、解压
 
  1. aboutyun@master:~$ tar zxvf hadoop-2.4.0-src.tar.gz 

复制代码
解压完毕，我们会看到相应的文件夹：
file.jpg


三、解压完毕，我们开始准备编译所需要的软件
这里软件的准备，很多文章写的都不全，这里整理一下。哪些软件是需要安装的。
这里需要说明的是有的Linux有自带的这些工具，这个需要仔细看一下版本是否匹配，不匹配则升级一下，有些不能升级，那么就重装一下吧

1、jdk的安装
步骤下载压缩包、解压、配置环境变量

（1）jdk下载
链接: http://pan.baidu.com/s/1jGr41SU 密码: rawv
（2）jdk解压
  1. tar zxvf jdk-7u51-linux-x64.tar.gz

复制代码
然后重命令为：
jdk.jpg

（3）配置环境变量：
如下图所示红字部分为：(记得这里的路径改成自己的实际安装路径)
  1. /usr/jdk1.7/bin
复制代码


path.jpg



（4）检验是否安装成功
javaversion.jpg


2、maven的安装

  1. sudo apt-get install maven
复制代码
我这里已经安装
patgetmaven.jpg

上面可能还需要配置环境变量之类的，但是我这里没有好像是系统自带的，网上的资料也比较多，注意maven的版本，我这里是3.0.4，hadoop2.4需要maven的这个版本或则更高的版本3.2.1版本也是可以的。
验证安装是否成功
  1. mvn -version
复制代码


yanzhengmvn.jpg


3.protobuf的安装
为防止出错，这里补充一些内容，
3.1先安装g++
  1. sudo apt-get install g++
复制代码



（1）下载

  1. sudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
复制代码
由于google不能访问，可以从网盘下载链接：http://pan.baidu.com/s/1dDgWe6P 密码：xgiu

（2）解压
  1. tar zxvf protobuf-2.5.0.tar.gz 

复制代码
如下效果：
pro.jpg



然后进入protobuf-2.5.0文件夹，进行如下操作：
pro1.jpg 

  1. $ sudo ./configure 

  2. $ sudo make 

  3. $ sudo make check 

  4. $ sudo make install 

  5. $ sudo ldconfig 

复制代码
修改环境变量：
  1. sudo nano /etc/profile
复制代码


  1. export LD_LIBRARY_PATH=~/protobuf-2.5.0
复制代码
（LD_LIBRARY_PATH的这里，填写的是protobuf文件的位置）

  1. source /etc/profile
复制代码
注意：配置/etc/profile，在虚拟机重启后，可能配置会失效，所以重启后，需要再次执行source操作。


（3）验证

  1. protoc --version
复制代码


proversion.jpg


4.安装openssl库
  1. sudo apt-get install libssl-dev  
复制代码

5.CMake安装
  1. sudo yum install cmake
复制代码
或则
  1. sudo apt-get install cmake
复制代码

6.ant安装

（1）首先下载ant
百度网盘： apache-ant-1.9.4-bin.tar.gz
http://pan.baidu.com/s/1c0vjhBy

或则下面链接：
apache-ant-1.9.4-bin.tar.gz

（2）解压
  1. tar zxvf  apache-ant-1.9.4-bin.tar.gz
复制代码

(3)配置环境变量


如下图所示：
1.打开profile

  1.  sudo vi /etc/profile
复制代码
2.添加下图红字部分，记得修改成自己的路径



3.生效
  1. source  /etc/profile
复制代码

4.检验
  1. ant -version

复制代码



四、编译hadoop2.4
上面准备工作已经做的差不多了，我们终于可以开始，记得进入src文件夹下，输入下面命令
  1. mvn package -Pdist,native -DskipTests -Dtar  
复制代码
bianyihadoop.jpg


等了40多分钟，ok
aboutyunbuild.png

在目录~/hadoop-2.4.0-src/hadoop-dist/target下有文件：
hadoop-2.4.0.tar.gz

target.jpg


更多内容：hadoop2.4汇总：hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全


问题总结：
这里还需要在补充：
1.遇到错误1：CMake没有安装
  1. [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-

  2. 

  3. plugin:1.6:run (make) on project hadoop-common: An Ant BuildException has 

  4. 

  5. occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in 

  6. 

  7. directory "/home/wyf/hadoop-2.0.2-alpha-src/hadoop-common-project/hadoop-

  8. 

  9. common/target/native"): java.io.IOException: error=2, No such file or directory 

  10. 

  11. -> [Help 1]

  12. [ERROR] 

  13. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e 

  14. 

  15. switch.

  16. [ERROR] Re-run Maven using the -X switch to enable full debug logging.

  17. [ERROR] 

  18. [ERROR] For more information about the errors and possible solutions, please 

  19. 

  20. read the following articles:

  21. [ERROR] [Help 1] 

  22. 

  23. http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
复制代码

解决方法：
CMake没有安装
  1. sudo yum install cmake
复制代码
或则使用
  1. sudo apt-get install cmake
复制代码






2.遇到错误2：ant没有安装
  1. ERROR] Failed to execute goal org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-

  2. 

  3. alpha-3:compile (hdfs) on project hadoop-hdfs: Execution hdfs of goal 

  4. 

  5. org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-alpha-3:compile failed: Plugin 

  6. 

  7. org.codehaus.mojo.jspc:jspc-maven-plugin:2.0-alpha-3 or one of its dependencies 

  8. 

  9. could not be resolved: Could not transfer artifact ant:ant:jar:1.6.5 from/to 

  10. 

  11. central (http://repo.maven.apache.org/maven2): GET request of: 

  12. 

  13. ant/ant/1.6.5/ant-1.6.5.jar from central failed: Read timed out -> [Help 1]

  14. [ERROR] 

  15. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e 

  16. 

  17. switch.

  18. [ERROR] Re-run Maven using the -X switch to enable full debug logging.

  19. [ERROR] 

  20. [ERROR] For more information about the errors and possible solutions, please 

  21. 

  22. read the following articles:

  23. [ERROR] [Help 1] 

  24. 

  25. http://cwiki.apache.org/confluence/display/MAVEN/PluginResolutionException

  26. [ERROR] 

  27. [ERROR] After correcting the problems, you can resume the build with the command

  28. [ERROR]   mvn <goals> -rf :hadoop-hdfs

复制代码

1.首先下载ant
百度网盘： apache-ant-1.9.4-bin.tar.gz
http://pan.baidu.com/s/1c0vjhBy

或则下面链接：
apache-ant-1.9.4-bin.tar.gz

2.解压
  1. tar zxvf  apache-ant-1.9.4-bin.tar.gz
复制代码
3.配置环境变量
记得配置环境变量
如下图所示：
1.打开profile
  1. sudo vi /etc/profile
复制代码
2.添加下图红字部分，记得修改成自己的路径



3.生效
  1. source  /etc/profile
复制代码

4.检验
  1. ant -version
复制代码













3.protobuf版本过低，错误现象
  1. [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.4.0:prot

  2. oc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecut

  3. ionException: 'protoc --version' did not return a version -> [Help 1]

  4. [ERROR]

  5. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit

  6. ch.

  7. [ERROR] Re-run Maven using the -X switch to enable full debug logging.

  8. [ERROR]

  9. [ERROR] For more information about the errors and possible solutions, please rea

  10. d the following articles:

  11. [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE

  12. xception

  13. [ERROR]

  14. [ERROR] After correcting the problems, you can resume the build with the command

  15. 

  16. [ERROR]   mvn <goals> -rf :hadoop-common
复制代码


common出错，是因为buffer的原因.png


hadoop2.4对应的版本是protobuf-2.5.0


解决办法：按照安装步骤中protobuf的安装即可


4.权限问题

20140622231803.jpg

解决办法：
（1）加上sudo
（2）通过
  1. ll
复制代码
安装包解压之后，所属用户可能发生变化：

改变用户

sudo chown -R aboutyun:aboutyun hadoop-2.4.0-src

上面aboutyun改成自己的所属组和用户


命令查看是否属于当前用户






关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(37)人评论

跳转到指定楼层
正序浏览
desehawk 发表于 2014-12-4 23:18:16
几多愁 发表于 2014-12-4 22:52
系统就是按照这个帖子装的啊 ，会不会是maven源的问题，怎么修改？
应该不会，参考这个，可能对你有所帮助
编译hadoop2.5.2经验总结、问题分析及下载32位、64位安装包下载
回复

使用道具 举报

茅草屋-单眼皮 发表于 2014-9-11 13:33:08
我装HADOOP2.5，以上步骤还存在一个问题:用
sudo apt-get install maven
获得的版本跟版主的差不多。好象是得到的3.0.5

用这个版本编译hadoop src会出错:在这步
Apache Hadoop HDFS ............................
解决：
下载最新版本MAVEN就没问题了。maven官网下
Apache Maven 3.2.3

终于可以看到：
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:22 h
[INFO] Finished at: 2014-09-10T20:32:03-07:00
[INFO] Final Memory: 79M/350M
[INFO] ------------------------------------------------------------------------


不明白我为什么会来到这里。想想都觉得晕呼
只因为一个名词：NOSQL，把我搞的。
原以为NOSQL只是个开源的数据库，不用写SQL的数据库，没想到我捅了个大缕子。
这几天的感觉就是进入了混沌的世界，一片迷芒中，还好这里高手不少，文章挺好。我可以一点点理情头绪。
回复

使用道具 举报

pig2 发表于 2014-8-16 15:02:56
本帖最后由 pig2 于 2014-8-16 15:04 编辑
小鱼 发表于 2014-8-16 14:56
版大，你好，我按照你的教程成功编译了64位的hadoop2.4.1。现在有两个问题想请问你下。1.因为我现在的系统 ...

Hadoop之所以要编译，是因为官网没有提供64位安装包，只提供了32位的。hbase你直接下载即可，可以不用编译。
详细参考：
hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档

对于防火墙，可以不用关闭，但是需要开放一些端口，这里需要对防火墙有比较好的理解，才能这么做。所以为了避免麻烦，大多数，直接关闭了防火墙。

回复

使用道具 举报

ucloud 发表于 2014-6-16 09:36:28
刚学，正好用得上。够详细的。
回复

使用道具 举报

gaoyanzeng 发表于 2014-6-16 18:46:13
够详细，谢谢啊。
回复

使用道具 举报

lycan 发表于 2014-6-17 00:18:27
挺有用的,谢谢分享
回复

使用道具 举报

微笑的老颜 发表于 2014-6-19 21:21:04
非常好的帖子 强烈支持 多谢
回复

使用道具 举报

howtodown 发表于 2014-7-8 14:00:19
纯环境，需要安装下面内容：

sudo apt-get install maven
sudo apt-get install protobuf-compiler
sudo apt-get install cmake
sudo apt-get install zlib1g.dev
sudo apt-get install g++
sudo apt-get install libglib2.0-dev
sudo apt-get install libssl-dev

回复

使用道具 举报

小鱼 发表于 2014-8-16 14:56:56
版大，你好，我按照你的教程成功编译了64位的hadoop2.4.1。现在有两个问题想请问你下。1.因为我现在的系统是64位的。如果我要安装hbase或者hive等其他组件，是不是也是要编译才能使用。2.为什么集群之前要关闭防火墙。如果在正式线上环境下也是要关闭的吗？貌似关闭防火墙还是有点不妥的吧，在线上的话。这两个菜鸟级问题，望你指教。。谢谢！
回复

使用道具 举报

茅草屋-单眼皮 发表于 2014-9-10 21:41:54
装这个 protobuf 时
SUDO MAKE 出错。
configure error: C++ preprocessor "/lib/cpp" fails sanity check  
没注意看howtodown回的内容，自已网上找了执行：
sudo apt-get install build-essential
这样一下,make没问题了
也不知道有没有多装了其它东西了，或者对应版本有没问题了.
不管了，先可以进行下去再说。
回复

使用道具 举报

1234下一页
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
pig2

超级版主

关注

  • 2332

    主题

  • 3342

    帖子

  • 1972

    粉丝

欢迎大家如about云官方2群322273151，更新咨询，更新资源，随时关注
TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000