nettman 发表于 2014-11-12 14:54:40

64bit Centos编译hadoop-2.5.1

问题导读


1.编译hadoop需要哪些软件?
2.对jdk版本有什么要求?
扩展
3.对Protobufprotobuf了解多少,它的作用是什么?

static/image/hrline/4.gif


1、说明
a)       由于从apache下载下来的tar.gz包是用32 bit编译的,所有如果用Linux 64作为hadoop的平台,将会出现一些问题,所以需要手动的编译成64 bit
2、软件准备
   a)       JDK jdk1.7.0_51
   b)       Hadoophardoop-2.5.1-src.tar.gz
   c)       Maven   apache-maven-3.0.5-bin.zip
   d)       Protobufprotobuf-2.5.0.tar.gz




3、编译环境要求   
   a)       Centos64 bit
   b)       JDK1.7+
   c)       Maven3.0 or later
   d)       ProtocolBuffer2.5.0
   e)       CMake 2.6 or newer (if compilingnative code)
   f)       Zlib devel (if compiling native code)
   g)       openssldevel ( if compiling native hadoop-pipes )




4、环境安装
a)JDK
    下载jdk-7u51-linux-x64.tar.gz(http://yunpan.cn/cAfDyMykH4RyX(提取码:540f))
    解压到/opt/soft/jdk1.7.0_51
    编辑/etc/profile
    在/etc/profile里面增加   
(jdk版本记得1.7,1.6会产生问题)   
   #set javaenvironment
   JAVA_HOME=/opt/soft/jdk1.7.0_51
   PATH=$JAVA_HOME/bin:$PATH
   CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export JAVA_HOME
   export PATH

更新配置文件source /etc/profile
检查java是否安装正确 java –version

b)安装必要环境   yum install -y g++ gcc gcc-c++ autoconf automake libtoolcmake zliblg-dev pkg-conf libssl-dev openssh-client make mcurses-devel



c)安装protobuf
下载protobuf-2.5.0.tar.gz(http://yunpan.cn/cAfDmbdZrM7WF (提取码:7678))
解压到/opt/soft/protobuf-2.5.0
   cd protobuf-2.5.0
   ./configure --prefix=/usr/local/protoc/
   make
   make install

编辑/etc/profile
    在/etc/profile里面增加   
   exportPATH=.:/usr/local/protoc/bin:$PATH

更新配置文件source /etc/profile
   验证 protoc –version libprotoc 2.5.0

d)安装Maven
下载apache-maven-3.0.5-bin.zip(http://yunpan.cn/cAfDFwyuZB3Dt(提取码:cdd8))
解压到/opt/soft/apache-maven-3.0.5
编辑/etc/profile
    在/etc/profile里面增加   
   export MAVEN_HOME=/opt/soft/apache-maven-3.0.5
   export PATH=.:$MAVEN_HOME/bin:$PATH更新配置文件source /etc/profile
验证 mvn -version


5、编译Hadoop
cd /opt/soft/hadoop-2.5.1-src
mvn package –DskipTests –Pdist,native

当所有编译完成出现BUILD SUCCESS
编译好多hadoop在/opt/soft/hadoop-2.5.1-src/hadoop-dist/target下面,文件夹为hadoop-2.5.1,就可以用该文件来做hadoop在centos 64bit下面的搭建



凌飞羽 发表于 2014-11-16 22:10:40

我也安装好了,确实有些困难
页: [1]
查看完整版本: 64bit Centos编译hadoop-2.5.1