日志
Hadoop源码编译
热度 1 |
系统中已经安装好了JDK，并正确进行了设置，这里不说明JDK的安装与设置，请自行查阅
第一步：安装maven
1.1 下载文件 apache-maven-3.1.0-alpha-1-bin.tar.gz
1.2 执行命令 tar zvxf apache-maven-3.1.0-alpha-1-bin.tar.gz
1.3 配置环境变量，编辑etc/profile文件，添加如下代码
MAVEN_HOME=/home/youUser/apache-maven-3.1.0-alpha-1
PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME
export PATH
1.4 保存文件，并运行如下命令使环境变量生效
source /etc/profile
1.5 通过如下命令可以查看是否安装正常
mvn -version
第二步：安装protobuf
2.1 下载文件 protobuf-2.5.0.tar.gz
2.2 执行命令 tar zvxf protobuf-2.5.0.tar.gz
2.3 进入 protobuf-2.5.0 目录，执行下面的命令
./configure --prefix=/usr/local/protoc
make
make check
make install
2.4 通过如下命令可以查看是否安装正常
protoc --version
第三步：安装cmake
3.1 下载安装文件 cmake-2.8.12.1.tar.gz
3.2 执行如下命令 tar zvxf cmake-2.8.12.1.tar.gz /// wget http://www.cmake.org/files/v2.8/cmake-2.8.12.1.tar.gz
3.3 进人 cmake-2.8.12.1 目录，执行如下命令
sudo apt-get install cmake-curses-gui
./bootstrap
make
make install
3.4 通过如下命令检查安装是否正常
cmake -version
第四步：安装必要的包
4.1 执行如下命令，安装 autotool
yum install autoconf automake libtool //ubuntu: apt-get install autoconf automake libtool
4.2 执行如下命令，安装 openssl-devel
# sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev
# sudo apt-get install openssh-client
# sudo apt-get install openssh-server
yum install openssl-devel //ubuntu: apt-get install openssl-devel
第五步：正式编译hadoop
5.1 下载源码包 hadoop-2.2.0-src.tar.gz
5.2 执行解包命令 tar zvxf hadoop-2.2.0-src.tar.gz
5.3 由于源码有问题，需要进行修改，修改 hadoop-common-project/hadoop-auth/pom.xml 文件，添加如下内容
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<scope>test</scope>
</dependency>
5.4 进入 hadoop-2.2.0-src 目录，执行如下命令
mvn clean package -Pdist,native -DskipTests -Dtar
5.5 如果能看到类型下面的输出就证明编程成功，这个过程中要保证网络通畅，需要下载很多包。
5.6 进入 hadoop-dist/target 目录，看一下编译成果吧
注明：
有人说可能还需要安装 ncurses-devel ， 可以通过 yum install ncurses-devel 进行安装
编译时报错：
Could NOT find ZLIB (missing: ZLIB_LIBRARY) (found version 1.2.8 )
解决：(sudo apt-get install zlib1g-dev 此方法不能解决)
手动下载wget http://www.zlib.net/zlib-1.2.8.tar.gz 解压后，进入zlib-1.2.8 安装 ./configure --prefix=/usr/local/zlib; make ;make install
Could NOT find OpenSSL (missing: OPENSSL_LIBRARIES)
wget http://openssl.org/source/openssl-1.0.1f.tar.gz 安装： ./config make ；make test ；make install
/2 
