图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › 安装配置› Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+ ...
分享

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置指导

hyj 2014-5-19 23:40:25 发表于 安装配置 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 15 43834
About云VIP帮助找工作和提升
本帖最后由 hyj 于 2014-5-19 23:41 编辑
问题导读：
本文是对Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程一个介绍，看此篇文章需要以前安装过hadoop,hbase等，如果基础比较弱，此篇文章，可以作为一个主线，然后不断查阅资料，才可顺利进行。
此篇安装的基础：
1.明白环境变量的作用？
2.会编译源码
3.对shell熟悉，搭建过程中会更快





linux环境：Oracle Linux Server release 6.3 (64位)
编译环境：由于公司服务器不能联网，故在本机win8下的虚拟机中编译（虚拟机中同样是Oracle Linux Server release 6.3 (64位)）
节点：一共配置了三个节点，主节点qzj05(ip:192.168.10.199)，子节点qzj02(ip:192.168.10.197)和qzj04(ip:192.168.10.198)
用户：专门创建了个名为grid的用户来进行本次安装配置
吐个小槽：本来以为搭个环境，应该很容易，没想到前前后后花了差不多两个星期，期间各种问题，每天chrome标签栏开几十个网页来找原因，感觉自己像在泡实验室一样。还好期间得到某男程序员大力支持，好多我无力解决的问题都靠他解决了，瞬间觉得自己好菜，希望未来能变成一个强大的人，上得了厅堂下得了厨房，写得出代码查得出异常 = =分享此文与大家共勉

一、配置Hadoop
源码包：hadoop-2.3.0-src.tar.gz
1.     安装以下软件：

  1. yum -y install  lzo-devel  zlib-devel gcc autoconf automake libtool cmake openssl-devel
复制代码
2.     安装Maven
  1. tar zxvfapache-maven-3.1.1-bin.tar.gz

  2. vi/etc/profile
复制代码
增加两行：
  1. export MAVEN_HOME=[maven home path]

  2. export PATH=${MAVEN_HOME}/bin:$PATH
复制代码

3.     安装ProtocolBuffer
  1. tar -zxvf protobuf-2.5.0.tar.gz

  2. cd protobuf-2.5.0

  3. sudo ./configure
复制代码

如果出现g+: command notfound错误，是由于gcc-c没有安装，使用yum install gcc-c++更新编译器重新编译即可解决问题。
  1. sudo make

  2. sudo makecheck

  3. sudo makeinstall

  4. protoc --version
复制代码

4.     编译hadoop2.3.0
  1. mvn cleanpackage -Pdist,native -DskipTests -Dtar
复制代码
编译成功后，./hadoop-dist/target/hadoop-2.3.0.tar.gz就是我们需要的文件了

5.     设置ssh无需密码连接
在master机器上运行ssh-keygen-t rsa命令，一路按回车结束后，会在~/.ssh下生成id_rsa.pub的文件
  1. ssh-copy-id -i ~/.ssh/authorized_keys  grid@qzj04

  2. ssh-copy-id -i ~/.ssh/authorized_keys  grid@qzj02

  3. cp id_rsa.pub authorized_keys
复制代码
将authorized_keys文件拷贝到qzj02,qzj04机器的~/.ssh目录下
  1. scp zuthorized_keys qzj02:/home/grid/.ssh

  2. scp zuthorized_keys qzj04:/home/grid/.ssh
复制代码

测试是否能无密码连接
  1. ssh qzj02

  2. exit
复制代码

6.     修改hadoop配置文件

  1. vi etc/hadoop/hadoop-env.sh

  2. export JAVA_HOME=/u02/hadoop/jdk1.7.0_15
复制代码
  1. vi core-site.xml

  2.  <configuration>

  3.  <property>

  4.    <name>hadoop.tmp.dir</name>

  5.    <value>/u02/hadoop/var</value>

  6.  </property>

  7.  <property>

  8.    <name>fs.default.name</name>

  9.    <value>hdfs://qzj05:8020</value>

  10.  </property>

  11.   <property>

  12.    <name>hadoop.proxyuser.mlx.hosts</name>

  13.    <value>*</value>

  14.  </property>

  15.  <property>

  16.    <name>hadoop.proxyuser.mlx.groups</name>

  17.    <value>*</value>

  18.  </property>

  19.  </configuration>
复制代码

vi hdfs-site.xml  由于端口被占用，故这里端口值设为默认值+1
  1. <configuration>

  2.   <property>

  3.     <name>dfs.namenode.name.dir</name>

  4.     <value>file:/u02/hadoop/var/dfs/name</value>

  5.   </property>

  6.   <property>

  7.     <name>dfs.namenode.data.dir</name>

  8.     <value>file:/u02/hadoop/var/dfs/data</value>

  9.   </property>

  10.   <property>

  11.     <name>dfs.replication</name>

  12.     <value>3</value>

  13.   </property>

  14.   <property>

  15.     <name>dfs.namenode.secondary.http-address</name>

  16.     <value>qzj05:9001</value>

  17.   </property>

  18.   <property>

  19.     <name>dfs.datanode.address</name>

  20.     <value>0.0.0.0:50011</value>

  21.     <description>

  22.      default 50011

  23.     </description>

  24.   </property>

  25.    <property>

  26.      <name>dfs.datanode.ipc.address</name>

  27.      <value>0.0.0.0:50021</value>

  28.      <description>

  29.         default 50020

  30.      </description>

  31.    <property>

  32.      <name>dfs.datanode.http.address</name>

  33.      <value>0.0.0.0:50076</value>

  34.       <description>

  35.         default 50075

  36.      </description>

  37.     </property>

  38.    </property>

  39.    <property>

  40.      <name>dfs.support.append</name>

  41.       <value>true</value>

  42.     </property>

  43.   </configuration>
复制代码

vi mapred-site.xml
  1. <configuration>

  2.    <property>

  3.      <name>mapreduce.framework.name</name>

  4.      <value>yarn</value>

  5.    </property>

  6.    <property>

  7.      <name>mapreduce.jobhistory.address</name>

  8.      <value>qzj05:10020</value>

  9.    </property>

  10.    <property>

  11.    <name>mapreduce.jobhistory.webapp.address</name>

  12.    <value>qzj05:19888</value>

  13.    </property>

  14. </configuration>
复制代码

vi slaves
  1.   1 qzj05

  2.   2 qzj02

  3.   3 qzj04
复制代码

vi yarn-site.xml
  1. <configuration>

  2.  <!-- Site specific YARN configurationproperties -->

  3.  <property>

  4.    <name>yarn.resourcemanager.address</name>

  5.    <value>qzj05:8032</value>

  6.  </property>

  7.  <property>

  8.    <name>yarn.resourcemanager.scheduler.address</name>

  9.    <value>qzj05:8030</value>

  10.  </property>

  11.  <property>

  12.    <name>yarn.resourcemanager.resource-tracker.address</name>

  13.    <value>qzj05:8031</value>

  14.  </property>

  15.  <property>

  16.    <name>yarn.resourcemanager.admin.address</name>

  17.    <value>qzj05:8033</value>

  18.  </property>

  19.  <property>

  20.    <name>yarn.resourcemanager.webapp.address</name>

  21.    <value>qzj05:8088</value>

  22.  </property>

  23.  <property>

  24.    <name>yarn.nodemanager.aux-services</name>

  25.    <value>mapreduce_shuffle</value>

  26.  </property>

  27.  <property>

  28.    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  29.    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  30.  </property>

  31.  </configuration>
复制代码

7.     创建目录
  1. mkdir -p /u02/hadoop/var/dfs/name

  2. mkdir -p /u02/hadoop/var/dfs/data

  3. mkdir -p /u02/hadoop/var/dfs/namesecondary

  4. mkdir -p /u02/hadoop/var/mapred
复制代码



8.     将配置同步到子节点
  1. rsync -avz /u02/hadoop/hadoop-2.3.0qzj02:/u02/hadoop

  2. rsync -avz /u02/hadoop/hadoop-2.3.0qzj04:/u02/hadoop

  3. rsync -avz /u02/hadoop/varqzj02:/u02/hadoop/var

  4. rsync -avz /u02/hadoop/varqzj04:/u02/hadoop/var
复制代码

9.     配置环境变量(包括主节点和子节点)
  1. vi ~/.bash_profile

  2.  export HADOOP_HOME=/u02/hadoop/hadoop-2.3.0

  3.  export PATH=$PATH:$HADOOP_HOME/bin

  4.  export PATH=$PATH:$HADOOP_HOME/sbin

  5. source ~/.bash_profile
复制代码


10.     启动hadoop
bin目录下执行格式化namenode，命令：hdfsnamenode -format
sbin目录下执行启动hdfs,yarn
  1. start-dfs.sh

  2. start-yarn.sh
复制代码


检查是否启动：JPS
主节点应有：NodeManager, DataNode, SecondaryNameNode, ResourceManager, NameNode这几个进程
子节点应有：DataNode, NodeManager这个两个进程
如未启动起来，检查logs，注意端口是否被占用
停止服务:sbin/stop-all.sh
11.    报错及解决方法
若编译中出现网络问题（比如被公司墙了什么的 = =），备份setting.xml，修改maven的镜像站
setting.xml中配置方式:
  1. <mirrors>

  2. <mirror>

  3. <id>nexus-kaifazhe.me</id>

  4. <mirrorOf>*</mirrorOf>

  5. <name>Nexuskaifazhe.me</name>

  6. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  7. </mirror>

  8. </mirrors>
复制代码

pom.xml配置方式:
  1. <repositories>

  2. <repository>

  3. <id>nexus</id>

  4. <name>kaifazhe.me’snexus</name>

  5. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  6. </repository>

  7. </repositories>

  8. <pluginRepositories>

  9. <pluginRepository>

  10. <id>nexus</id>

  11. <name>kaifazhe.me’snexus</name>

  12. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  13. </pluginRepository>

  14. </pluginRepositories>
复制代码

        ii.             报错：
[ERROR]Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run(make) on project hadoop-pipes: An Ant BuildException has occured: execreturned: 1
[ERROR]around Ant part ...<execdir="/home/grid/release-2.3.0/hadoop-tools/hadoop-pipes/target/native"executable="cmake" failonerror="true">... @ 5:118 in/home/grid/release-2.3.0/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
解决方法：openssl-devel没装上，重装下openssl-devel就好了

  1. yum install openssl-devel
复制代码

二、配置Zookeeper
安装包：zookeeper-3.4.6.tar.gz
1.     修改环境变量

  1. vi ~/.bash_profile

  2. export ZK_HOME=/u02/hadoop/zookeeper-3.4.6
复制代码
  1. source ~/.bash_profile
复制代码

2.     创建目录
  1. mkdir -p $ZK_HOME/var/data

  2. mkdir -p $ZK_HOME/var/datalog
复制代码
3.     修改配置文件
  1. cp $ZK_HOME/conf/zoo_sample.cfg $ZK_HOME/conf/zoo.cfg

  2. vi $ZK_HOME/conf/zoo.cfg

  3. dataDir=/usr/u02/hadoop/zookeeper-3.4.6/var/data

  4. dataLogDir=/u02/hadoop/zookeeper-3.4.6/var/datalog

  5.  

  6. server.1=qzj05:2888:3888

  7. server.2=qzj02:2888:3888

  8. server.3=qzj04:2888:3888
复制代码

4.     同步至子节点
  1. rsync -avz /u02/hadoop/zookeeper-3.4.6qzj02:/u02/hadoop

  2. rsync -avz /u02/hadoop/zookeeper-3.4.6qzj04:/u02/hadoop
复制代码

5.     修改myid
  1. vi /u02/hadoop/zookeeper-3.4.6/var/data/myid
复制代码

主节点输入1
其他两个子节点依次设为2和3

6.     启动zookeeper
$ZK_HOME/bin/zkServer.sh start(在三个节点分别执行此命令)
测试是否连通

  1. $ZK_HOME/bin/zkCli.sh -serverqzj05,qzj02,qzj04
复制代码

停止
  1. $ZK_HOME/bin/zkServer.sh stop
复制代码

三、配置Hbase
安装包：hbase-0.96.1.1-hadoop2-bin.tar.gz
1.     在各节点上分别修改内核设置(root用户)


  1. root# vi /etc/security/limits.conf

  2. grid soft nofile 65535

  3. grid hard nofile 65535

  4. grid soft nproc 32000

  5. grid hard nproc 32000
复制代码
  1. root# echo "session requiredpam_limits.so" >> /etc/pam.d/common-session
复制代码

2.     修改环境变量

  1. vi ~/.bash_profile

  2. export HBASE_HOME=/u02/hadoop/hbase-0.96.1.1
复制代码
  1. source ~/.bash_profile
复制代码

3.     创建目录
  1. mkdir -p /u02/hadoop/hbase-0.96.1.1/var
复制代码

4.     修改配置文件
  1. vi $HBASE_HOME/conf/hbase-env.sh

  2. export JAVA_HOME=/u02/hadoop/jdk1.7.0_15

  3. export HBASE_MANAGES_ZK=false

  4. export HBASE_HEAPSIZE=8000

  5. export HBASE_LOG_DIR=/u02/hadoop/hbase-0.96.1.1/logs
复制代码
  1. vi $HBASE_HOME/conf/hbase-site.xml

  2. <configuration>

  3.  <property>

  4.  <name>hbase.rootdir</name>

  5.  <value>hdfs://qzj05:8020/hbase</value>

  6.  </property>

  7.  <property>

  8.  <name>hbase.cluster.distributed</name>

  9.  <value>true</value>

  10.  </property>

  11.  <property>

  12. <name>hbase.tmp.dir</name>

  13.  <value>/u02/hadoop/hbase-0.96.1.1/var</value>

  14.  </property>

  15. </configuration>
复制代码
  1. ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/hdfs-site.xml
复制代码
  1. vi $HBASE_HOME/conf/regionservers

  2.  qzj05

  3.  qzj02

  4.  qzj04
复制代码

5.     复制zookeeper的jar包至lib
  1. rm -i $HBASE_HOME/lib/zookeeper-*

  2. cp zookeeper-3.4.6.jar $HBASE_HOME/lib
复制代码



6.     同步各节点时间
检查各节点时间是否同步，将三台服务器时间同步，若各节点时间差距过大会报错
时间同步参照此文http://blog.chinaunix.net/uid-20104120-id-3838847.html

7.     启动hbase

  1. $HBASE_HOME/bin/start-hbase.sh

  2. $HBASE_HOME/bin/hbase shell
复制代码

输入jps命令检查
主节点下应有HMaster,HRegionServer进程，子节点有HRegionServer进程，检查日志

建表测试

  1.  create 'member','m_id','address','info'
复制代码

查看是否创建成功：list
若该过程未报错则说明hbase安装成功
停止hbase：

  1. $HBASE_HOME/bin/stop-hbase.sh
复制代码

8.     报错及解决方法
i. 问题：
用SecureCRT远程连接服务器，运行hbase shell输入命令无法回删
解决方法：选项-全局选项-常规-预设的会话设置-编辑预设的设置-仿真
将终端改成Linux
保存设置之后就可以用CTRL+Backspace来删除了

四、Hadoop/Zookeeper/Hbase优化
1.     修改hadoop配置

  1. vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

  2.  <property>

  3.  <name>dfs.support.append</name>

  4.  <value>true</value>

  5.  </property>

  6.  <property>

  7.  <name>dfs.datanode.max.xcievers</name>

  8.  <value>4096</value>

  9.  </property>
复制代码

2.     修改zookeeper配置

  1. vi $ZK_HOME/conf/java.env

  2. export JAVA_OPTS="-Xms1000m-Xmx1000m"
复制代码
  1. echo "maxClientCnxns=60" >>$ZK_HOME/conf/zoo.cfg
复制代码



3.     修改hbase配置
  1. vi $HBASE_HOME/conf/hbase-env.sh

  2. export HBASE_HEAPSIZE=8000
复制代码
  1. vi $HBASE_HOME/conf/hbase-site.xml

  2. <property>

  3.  <name>zookeeper.session.timeout</name>

  4.  <value>60000</value>

  5. </property>
复制代码



4.     同步至子节点
  1. scp /u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml qzj02:/u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml

  2. scp /u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml qzj04:/u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml

  3. scp /u02/hadoop/zookeeper-3.4.6/conf/java.env qzj02:/u02/hadoop/zookeeper-3.4.6/conf/java.env

  4. scp /u02/hadoop/zookeeper-3.4.6/conf/java.env qzj04:/u02/hadoop/zookeeper-3.4.6/conf/java.env
复制代码

五、配置Hive


编译后安装包：apache-hive-0.14.0-SNAPSHOT-bin.tar.gz
1.     编译最新版hive
用svn从 http://svn.apache.org/repos/asf/hive/trunk/
下载hive源码
  1. cd hive-trunk

  2. mvn clean install -DskipTests -Phadoop-2

  3. mvn package -Pdist -DskipTests -Phadoop-2
复制代码

将hive-trunk/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin.tar.gz上传至服务器


2.     将apache-hive-0.14.0-SNAPSHOT-bin.tar.gz解压至/u02/hadoop/下
  1. tar xzvf apache-hive-0.14.0-SNAPSHOT-bin.tar.gz -C /u02/hadoop

  2. mv apache-hive-0.14.0-SNAPSHOT-bin hive
复制代码

3.     修改~/.bash_profile(主节点及两个子节点上的)
  1. vi ~/.bash_profile

  2. export HIVE_HOME=/u02/hadoop/hive
复制代码
  1. vi ~/.bash_profile

  2. export HIVE_HOME=/u02/hadoop/hive
复制代码

4.     修改配置文件
  1. cd conf

  2. cp hive-default.xml.templatehive-default.xml

  3. cp hive-env.sh.template hive-env.sh

  4. cp hive-exec-log4j.properties.templatehive-exec-log4j.properties

  5. cp hive-log4j.properties.templatehive-log4j.properties
复制代码
  1. mv hive-default.xml  hive-site.xml
复制代码
（hive-env.sh.template文件中存在一个bug，第2000行，<value>auth</auth>,应该改成<value>auth</value>，否则启动时会报错)
  1. vi

  2. export HADOOP_HOME=/u02/hadoop/hadoop-2.3.0

  3. export HIVE_CONF_DIR=/u02/hadoop/hive/conf
复制代码


主节点：
  1. vi hive-site.xml

  2. <property>

  3.    <name>hive.metastore.warehouse.dir</name>

  4.  <value>hdfs://qzj05:8020/hive</value>

  5.  <description>location of default database for thewarehouse</description>

  6. </property>

  7. <property>

  8.  <name>hive.exec.scratchdir</name>

  9.  <value>hdfs://qzj05:8020/hive/scratchdir</value>

  10.  <description>Scratch space for Hive jobs</description>

  11. </property>

  12.  <property>

  13.   <name>hive.querylog.location</name>

  14.   <value>/u02/hadoop/hive/logs</value>

  15.   <description>

  16.    Location of Hive run time structured log file

  17.   </description>

  18.  </property>

  19. <property>

  20.  <name>javax.jdo.option.ConnectionURL</name>

  21.   <value>jdbc:mysql://192.168.10.199:3306/hiveMeta?createDatabaseIfNotExist=true</value>

  22.   <description>JDBC connect string for a JDBCmetastore</description>

  23. </property>

  24. <property>

  25.  <name>javax.jdo.option.ConnectionDriverName</name>

  26.  <value>com.mysql.jdbc.Driver</value>

  27.  <description>Driver class name for aJDBC metastore</description>

  28. </property>

  29. <property>

  30.  <name>javax.jdo.option.ConnectionUserName</name>

  31.  <value>root</value>

  32.  <description>username to use against metastoredatabase</description>

  33. </property>

  34. <property>

  35.  <name>javax.jdo.option.ConnectionPassword</name>

  36.  <value>123456</value>

  37.  <description>password to use against metastoredatabase</description>

  38. </property>
复制代码

5.     拷贝hbase-0.96.1.1.jar和zookeeper-3.4.6.jar到hive/lib下

  1. rm hbase-0.94.6.1-tests.jar

  2. rm hbase-0.94.6.1.jar

  3. rm zookeeper-3.4.3.jar
复制代码
从/u02/hadoop/hbase-0.96.0-hadoop2/lib下hbase开头的包都拷贝过来
  1. find /u02/hadoop/hbase-0.96.1.1/lib -name "hbase*.jar"|xargs -i cp {} ./

  2. cp /u02/hadoop/hbase-0.96.1.1/lib/protobuf-java-2.5.0.jar /u02/hadoop/hive-0.12.0/lib

  3. cp /u02/hadoop/hbase-0.96.1.1/lib/zookeeper-3.4.6.jar /u02/hadoop/hive-0.12.0/lib

  4. cp/u02/hadoop/hbase-0.96.1.1/lib/hbase-client-0.96.1.1-hadoop2.jar /u02/hadoop/hive-0.12.0/lib

  5. cp/u02/hadoop/hbase-0.96.1.1/lib/hbase-common-0.96.1.1-hadoop2.jar /u02/hadoop/hive-0.12.0/lib

  6. cp mysql-connector-java-3.1.12-bin.jar /u02/hadoop/hive-0.12.0/lib
复制代码

6.     将hive同步至两个子节点
  1. rsync -avz /u02/hadoop/hiveqzj02:/u02/hadoop

  2. rsync -avz /u02/hadoop/hiveqzj04:/u02/hadoop
复制代码

修改子节点hive-site.xml

  1. <property> 

  2.  <name>hive.metastore.uris</name> 

  3.  <value>thrift://qzj05:9083</value> 

  4. </property>
复制代码

7.     启动hive
先启动hadoop,zookeeper,hbase
启动metastore：hive --service metastore
查看log是否报错

用nohup挂载

  1. nohup ./hive --service metastore
复制代码
  1. hive --service hiveserver
复制代码
./hive
查看mysql中的表
  1. show tables;
复制代码
在mysql中建表：
  1. create table doudou(id int,name string);
复制代码

在hbase中建表：

  1. CREATE TABLE hbase_table_1(key int,valuestring) STORED BY

  2. 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" =":key,cf1:val")  TBLPROPERTIES ("hbase.table.name" ="xyz");
复制代码

8.     报错及解决方法
i.             报错:
Exception in thread "main"java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClient
Caused by: MetaException(message:Versioninformation not found in metastore. )
修改权限为777 （chmod 777 mysql-connector-java-3.1.12-bin.jar）
修改conf/hive-site.xml 中的“hive.metastore.schema.verification”  值为 false

ii.             报错：
javax.jdo.JDOFatalDataStoreException:Unable to open a test connection to the given database. JDBC url =jdbc:mysql://qzj05:3306/metastore?createDatabaseIfNotExist=true, username =root. Terminating connection pool. Original Exception: ------
java.sql.SQLException: Access denied foruser 'root'@'qzj05' (using password: YES)
       at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:2928)
       at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:771)
       at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:3649)
       at com.mysql.jdbc.MysqlIO.doHandshake(
MysqlIO.java:1176)
       at com.mysql.jdbc.Connection.createNewIO(Connection.java:2558)
解决方法：将mysql中密码为空的设置为123456



           iii.             报错：
: command not found14.0/bin/ext/beeline.sh:line 15:
: command not found14.0/bin/ext/beeline.sh:line 19:
/u02/hadoop/hive-0.14.0/bin/ext/beeline.sh:line 20: syntax error near unexpected t'ken `{
'u02/hadoop/hive-0.14.0/bin/ext/beeline.sh:line 20: `beeline () {
: command notfound14.0/bin/ext/metatool.sh: line 15:
: command notfound14.0/bin/ext/metatool.sh: line 18:
/u02/hadoop/hive-0.14.0/bin/ext/metatool.sh:line 19: syntax error near unexpected 'oken `{
'u02/hadoop/hive-0.14.0/bin/ext/metatool.sh:line 19: `metatool () {
Service cli not found
orcfiledump rcfilecat schemaTool versionineage metastore metatool
解决方法：
vi -b $HIVE_HOME/bin/ext/beeline.sh  发现每行行尾多了个^M，这是由于该文本应该在C环境下编辑过，Linux编辑器对文件行末的回车符处理不一致，在Linux下经常能看到C文件或者TXT文件每行末尾都有一个^M符号，这个会导致shell脚本运行错误
在命令编辑行<按ESC键然后shift+:冒号>输入：%s/^M//g  这样就删除了行尾的^M，同理处理$HIVE_HOME/bin/ext/metatool.sh

六、配置Sqoop
安装包: sqoop-1.99.3-bin-hadoop200.tar.gz
1.     修改环境变量
  1. vi ~/.bash_profile

  2. exportSQOOP_HOME=/u02/hadoop/sqoop-1.99.3-bin-hadoop200
复制代码
  1. source ~/.bash_profile
复制代码


2.     添加需要的jar包（mysql与oracle的）
在oracle的安装路径下
  1. cp database/stage/ext/jlib/ojdbc5.jar /u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib

  2. cp $HIVE_HOME/lib/mysql-connector-java-3.1.12-bin.jar /u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib
复制代码

3.     修改配置文件
  1. cd server/conf

  2. vi catalina.properties

  3. common.loader=/u02/hadoop/hadoop-2.3.0/share/hadoop/common/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/common/lib/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/yarn/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/hdfs/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/mapreduce/*.jar,/u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib/*.jar
复制代码
  1. vi sqoop.properties

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/u02/hadoop/hadoop-2.3.0/etc/hadoop
复制代码

4.     同步至子节点
  1. scp -r sqoop-1.99.3-bin-hadoop200qzj02:/u02/hadoop

  2. scp -r sqoop-1.99.3-bin-hadoop200qzj04:/u02/hadoop
复制代码



5.     sqoop命令（将mysql表导入至hdfs）
sqoop运行参照http://sqoop.apache.org/docs/1.99.3/Sqoop5MinutesDemo.html（提交job的时候用官网上的命令会报错）
启动：./bin/sqoop.sh server start
停止：./bin/sqoop.sh server stop

在子节点上
  1. ./bin/sqoop.sh client

  2. sqoop:000> set server --host192.168.10.199 --port 12000 --webapp sqoop

  3. sqoop:000> show version --all
复制代码


在server上
  1. ./bin/sqoop.sh client
复制代码
  1. create connection --cid 1
复制代码



Connection with id 1 and name Firstconnection (Enabled: true, Created by grid at 4/16/14 4:21 PM, Updated by gridat 4/17/14 1:06 PM)
Using Connector id 1
Connection configuration
   JDBC Driver Class: com.mysql.jdbc.Driver
   JDBC Connection String: jdbc:mysql://192.168.10.199:3306/hiveMeta
   Username: root
   Password:
   JDBC Connection Properties:
Security related configuration options
   Max connections: 100

sqoop:000> create job --xid 1 --typeimport
Database configuration
   Schema name: hiveMeta
   Table name: ROLES
   Table SQL statement:
   Table column names:
   Partition column name:
   Nulls in partition column:
   Boundary query:
Output configuration
   Storage type: HDFS
   Output format: TEXT_FILE
   Compression format: NONE
   Output directory: /user/jarcec/test3
Throttling resources
   Extractors:
   Loaders:

执行job：
  1. sqoop:000>start job --jid 1
复制代码


查看job执行状态:
status job --jid 1

6.     报错及解决方法
i.             submission start --jid 1   时
报错:No such property: start for class: groovysh_evaluate
解决方法：改成start job --jid 1

ii.             status job --jid 1时
报错：Exception: org.apache.sqoop.common.SqoopException Message:CLIENT_0001:Server has returned exception
解决方法：show job 发现没有id为1的job，之前删除了id为1的job，新建的job id为2
status job --jid 2

iii.             运行job最后状态为failed，检查日志报错
Application application_1397717698978_0004failed 2 times due to AM Container for appattempt_1397717698978_0004_000002exited with exitCode: 1 due to: Exception from container-launch:org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
atorg.apache.hadoop.util.Shell.runCommand(Shell.java:505)
atorg.apache.hadoop.util.Shell.run(Shell.java:418)
atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
atorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
atorg.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
atjava.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
atjava.util.concurrent.FutureTask.run(FutureTask.java:166)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:722)
Container exited with a non-zero exit code1
.Failing this attempt.. Failing theapplication.
执行如下命令测试job：
$HADOOP_HOME/bin/hadoop jar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 10 5
如果报错则说明hadoop配置有问题，检查$HADOOP_HOME/etc/hadoop/mapred-site.xml
发现mapreduce.jobhistory.webapp.address这个参数配错了，应为qzj05:19888


iv.  编译时报错:Too many unapproved licenses: 1
vi /etc/profile
export MAVEN_OPTS="-Xms512m -Xmx1024m-XX:PermSize=256m -XX:MaxPermSize=512m"

source /etc/profile

mvn clean install -DskipTests -Phaop200-Drat.numUnapprovedLicenses=100
-Drat.numUnapprovedLicenses=100
mvn package -Pdist -DskipTests -Phadoop200


v.             编译时报错：
Arequired class was missing while executingorg.apache.maven.plugins:maven-site-plugin:3.0-beta-3:site:org/sonatype/aether/graph/DependencyFilter
解决方法：
vi ./docs/pom.xml
将
<id>packaging-documentation</id>
  <phase>package</phase>

修改为
<id>packaging-documentation</id>
<phase>runtime</phase>


作者：daytimemoon
回复

使用道具 举报

自定义广告语

已有(15)人评论

跳转到指定楼层
正序浏览
jzx309 发表于 2014-5-20 09:29:32
谢谢楼主分享这么好的文章
回复

使用道具 举报

chencheng06 发表于 2014-5-23 16:35:15
感觉好像刚刚看过....
回复

使用道具 举报

xinren 发表于 2014-8-23 21:30:59
谢谢楼主分享这么好的文章
回复

使用道具 举报

hahaxixi 发表于 2014-9-5 11:47:29
强文，学习，so good！
回复

使用道具 举报

anyhuayong 发表于 2014-9-9 08:45:22
谢谢楼主分享
回复

使用道具 举报

linhai1023 发表于 2014-9-9 20:59:56
好文章，正好需要这个
回复

使用道具 举报

linhai1023 发表于 2014-9-10 17:24:57
膜拜了，楼主加油啊，继续 出好的文章！
回复

使用道具 举报

pengsuyun 发表于 2014-12-5 17:11:57

强文，学习，so good！
回复

使用道具 举报

凌飞羽 发表于 2014-12-7 18:28:10
我这个星期准备学hbase，先了解
回复

使用道具 举报

12下一页
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
hyj

超级版主

关注

  • 1689

    主题

  • 2216

    帖子

  • 469

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000