图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop大数据架构 › Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+ ...
分享

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程

pig2 发表于 2014-9-13 11:11:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 18211
本帖最后由 pig2 于 2014-9-13 11:14 编辑
问题导读：

1.Hadoop2.3.0、Hbase0.96.1.1、Hive0.14.0、Zookeeper3.4.6、Sqoop1.99.3它们之间是如何整合的？
2.hbase与zookeeper它们之间的启动顺序是什么？
3.你认为Hadoop、Hbase、Hive、Zookeeper、Sqoop他们的作用是什么？






linux环境：Oracle Linux Server release 6.3 (64位)
编译环境：由于公司服务器不能联网，故在本机win8下的虚拟机中编译（虚拟机中同样是Oracle Linux Server release 6.3 (64位)）
节点：一共配置了三个节点，主节点qzj05(ip:192.168.10.199)，子节点qzj02(ip:192.168.10.197)和qzj04(ip:192.168.10.198)
用户：专门创建了个名为grid的用户来进行本次安装配置
吐个小槽：本来以为搭个环境，应该很容易，没想到前前后后花了差不多两个星期，期间各种问题，每天chrome标签栏开几十个网页来找原因，感觉自己像在泡实验室一样。还好期间得到某男程序员大力支持，好多我无力解决的问题都靠他解决了，瞬间觉得自己好菜，希望未来能变成一个强大的人，上得了厅堂下得了厨房，写得出代码查得出异常 = =分享此文与大家共勉

一、配置Hadoop源码包：hadoop-2.3.0-src.tar.gz
1.     安装以下软件：
  1. yum -y install  lzo-devel  zlib-devel gcc autoconf automake libtool cmake openssl-devel
复制代码

2.     安装Maven

  1. tar zxvfapache-maven-3.1.1-bin.tar.gz

  2. vi/etc/profile
复制代码

增加两行：

  1. export MAVEN_HOME=[maven home path]

  2. export PATH=${MAVEN_HOME}/bin:$PATH
复制代码

3.     安装ProtocolBuffer

  1. tar -zxvf protobuf-2.5.0.tar.gz

  2. cd protobuf-2.5.0

  3. sudo ./configure
复制代码

如果出现g+: command notfound错误，是由于gcc-c没有安装，使用yum install gcc-c++更新编译器重新编译即可解决问题。

  1. sudo make

  2. sudo makecheck

  3. sudo makeinstall

  4. protoc --version
复制代码

4.     编译hadoop2.3.0

  1. mvn cleanpackage -Pdist,native -DskipTests -Dtar
复制代码
编译成功后，./hadoop-dist/target/hadoop-2.3.0.tar.gz就是我们需要的文件了

5.     设置ssh无需密码连接 在master机器上运行ssh-keygen-t rsa命令，一路按回车结束后，会在~/.ssh下生成id_rsa.pub的文件


  1. ssh-copy-id -i ~/.ssh/authorized_keys  grid@qzj04

  2. ssh-copy-id -i ~/.ssh/authorized_keys  grid@qzj02

  3. cp id_rsa.pub authorized_keys
复制代码

将authorized_keys文件拷贝到qzj02,qzj04机器的~/.ssh目录下
  1. scp zuthorized_keys qzj02:/home/grid/.ssh

  2. scp zuthorized_keys qzj04:/home/grid/.ssh
复制代码

测试是否能无密码连接

  1. ssh qzj02

  2. exit
复制代码

6.     修改hadoop配置文件
  1. vi etc/hadoop/hadoop-env.sh

  2. export JAVA_HOME=/u02/hadoop/jdk1.7.0_15
复制代码

  1. vi core-site.xml

  2.  <configuration>

  3.  <property>

  4.    <name>hadoop.tmp.dir</name>

  5.    <value>/u02/hadoop/var</value>

  6.  </property>

  7.  <property>

  8.    <name>fs.default.name</name>

  9.    <value>hdfs://qzj05:8020</value>

  10.  </property>

  11.   <property>

  12.    <name>hadoop.proxyuser.mlx.hosts</name>

  13.    <value>*</value>

  14.  </property>

  15.  <property>

  16.    <name>hadoop.proxyuser.mlx.groups</name>

  17.    <value>*</value>

  18.  </property>

  19.  </configuration>
复制代码

vi hdfs-site.xml  由于端口被占用，故这里端口值设为默认值+1
  1. <configuration>

  2.   <property>

  3.     <name>dfs.namenode.name.dir</name>

  4.     <value>file:/u02/hadoop/var/dfs/name</value>

  5.   </property>

  6.   <property>

  7.     <name>dfs.namenode.data.dir</name>

  8.     <value>file:/u02/hadoop/var/dfs/data</value>

  9.   </property>

  10.   <property>

  11.     <name>dfs.replication</name>

  12.     <value>3</value>

  13.   </property>

  14.   <property>

  15.     <name>dfs.namenode.secondary.http-address</name>

  16.     <value>qzj05:9001</value>

  17.   </property>

  18.   <property>

  19.     <name>dfs.datanode.address</name>

  20.     <value>0.0.0.0:50011</value>

  21.     <description>

  22.      default 50011

  23.     </description>

  24.   </property>

  25.    <property>

  26.      <name>dfs.datanode.ipc.address</name>

  27.      <value>0.0.0.0:50021</value>

  28.      <description>

  29.         default 50020

  30.      </description>

  31.    <property>

  32.      <name>dfs.datanode.http.address</name>

  33.      <value>0.0.0.0:50076</value>

  34.       <description>

  35.         default 50075

  36.      </description>

  37.     </property>

  38.    </property>

  39.    <property>

  40.      <name>dfs.support.append</name>

  41.       <value>true</value>

  42.     </property>

  43.   </configuration>
复制代码



vi mapred-site.xml
  1. <configuration>

  2.    <property>

  3.      <name>mapreduce.framework.name</name>

  4.      <value>yarn</value>

  5.    </property>

  6.    <property>

  7.      <name>mapreduce.jobhistory.address</name>

  8.      <value>qzj05:10020</value>

  9.    </property>

  10.    <property>

  11.    <name>mapreduce.jobhistory.webapp.address</name>

  12.    <value>qzj05:19888</value>

  13.    </property>

  14. </configuration>
复制代码

vi slaves
  1.   1 qzj05

  2.   2 qzj02

  3.   3 qzj04
复制代码

vi yarn-site.xml

  1. <configuration>

  2.  <!-- Site specific YARN configurationproperties -->

  3.  <property>

  4.    <name>yarn.resourcemanager.address</name>

  5.    <value>qzj05:8032</value>

  6.  </property>

  7.  <property>

  8.    <name>yarn.resourcemanager.scheduler.address</name>

  9.    <value>qzj05:8030</value>

  10.  </property>

  11.  <property>

  12.    <name>yarn.resourcemanager.resource-tracker.address</name>

  13.    <value>qzj05:8031</value>

  14.  </property>

  15.  <property>

  16.    <name>yarn.resourcemanager.admin.address</name>

  17.    <value>qzj05:8033</value>

  18.  </property>

  19.  <property>

  20.    <name>yarn.resourcemanager.webapp.address</name>

  21.    <value>qzj05:8088</value>

  22.  </property>

  23.  <property>

  24.    <name>yarn.nodemanager.aux-services</name>

  25.    <value>mapreduce_shuffle</value>

  26.  </property>

  27.  <property>

  28.    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  29.    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  30.  </property>

  31.  </configuration>
复制代码

7.     创建目录

  1. mkdir -p /u02/hadoop/var/dfs/name

  2. mkdir -p /u02/hadoop/var/dfs/data

  3. mkdir -p /u02/hadoop/var/dfs/namesecondary

  4. mkdir -p /u02/hadoop/var/mapred
复制代码

9.     配置环境变量(包括主节点和子节点)
  1. vi ~/.bash_profile

  2.  export HADOOP_HOME=/u02/hadoop/hadoop-2.3.0

  3.  export PATH=$PATH:$HADOOP_HOME/bin

  4.  export PATH=$PATH:$HADOOP_HOME/sbin

  5. source ~/.bash_profile
复制代码

10.             启动hadoopbin目录下执行格式化namenode，命令：hdfsnamenode -format
sbin目录下执行启动hdfs,yarn

  1. start-dfs.sh

  2. start-yarn.sh
复制代码

检查是否启动：JPS
主节点应有：NodeManager, DataNode, SecondaryNameNode, ResourceManager, NameNode这几个进程
子节点应有：DataNode, NodeManager这个两个进程
如未启动起来，检查logs，注意端口是否被占用
停止服务:sbin/stop-all.sh

11.             报错及解决方法                        i.             若编译中出现网络问题（比如被公司墙了什么的 = =），备份setting.xml，修改maven的镜像站
setting.xml中配置方式:

  1. <mirrors>

  2. <mirror>

  3. <id>nexus-kaifazhe.me</id>

  4. <mirrorOf>*</mirrorOf>

  5. <name>Nexuskaifazhe.me</name>

  6. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  7. </mirror>

  8. </mirrors>
复制代码

pom.xml配置方式:
  1. <repositories>

  2. <repository>

  3. <id>nexus</id>

  4. <name>kaifazhe.me’snexus</name>

  5. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  6. </repository>

  7. </repositories>

  8. <pluginRepositories>

  9. <pluginRepository>

  10. <id>nexus</id>

  11. <name>kaifazhe.me’snexus</name>

  12. <url>http://maven.kaifazhe.me/content/groups/public/</url>

  13. </pluginRepository>

  14. </pluginRepositories>
复制代码


                      ii.             报错：
[ERROR]Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run(make) on project hadoop-pipes: An Ant BuildException has occured: execreturned: 1
[ERROR]around Ant part ...<execdir="/home/grid/release-2.3.0/hadoop-tools/hadoop-pipes/target/native"executable="cmake" failonerror="true">... @ 5:118 in/home/grid/release-2.3.0/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
解决方法：openssl-devel没装上，重装下openssl-devel就好了


  1. yum install openssl-devel
复制代码

二、           配置Zookeeper安装包：zookeeper-3.4.6.tar.gz
1.     修改环境变量

  1. vi ~/.bash_profile

  2. export ZK_HOME=/u02/hadoop/zookeeper-3.4.6
复制代码
  1. source ~/.bash_profile
复制代码

2.     创建目录
  1. mkdir -p $ZK_HOME/var/data

  2. mkdir -p $ZK_HOME/var/datalog
复制代码

3.     修改配置文件

  1. cp $ZK_HOME/conf/zoo_sample.cfg $ZK_HOME/conf/zoo.cfg

  2. vi $ZK_HOME/conf/zoo.cfg

  3. dataDir=/usr/u02/hadoop/zookeeper-3.4.6/var/data

  4. dataLogDir=/u02/hadoop/zookeeper-3.4.6/var/datalog

  5.  

  6. server.1=qzj05:2888:3888

  7. server.2=qzj02:2888:3888

  8. server.3=qzj04:2888:3888
复制代码

4.     同步至子节点

  1. rsync -avz /u02/hadoop/zookeeper-3.4.6qzj02:/u02/hadoop

  2. rsync -avz /u02/hadoop/zookeeper-3.4.6qzj04:/u02/hadoop
复制代码

5.     修改myid
  1. vi /u02/hadoop/zookeeper-3.4.6/var/data/myid
复制代码

主节点输入1
其他两个子节点依次设为2和3
6.     启动zookeeper$ZK_HOME/bin/zkServer.sh start(在三个节点分别执行此命令)
测试是否连通

  1. $ZK_HOME/bin/zkCli.sh -serverqzj05,qzj02,qzj04
复制代码

停止

  1. $ZK_HOME/bin/zkServer.sh stop
复制代码



三、           配置Hbase安装包：hbase-0.96.1.1-hadoop2-bin.tar.gz
1.     在各节点上分别修改内核设置(root用户)

  1. root# vi /etc/security/limits.conf

  2. grid soft nofile 65535

  3. grid hard nofile 65535

  4. grid soft nproc 32000

  5. grid hard nproc 32000
复制代码
  1. root# echo "session requiredpam_limits.so" >> /etc/pam.d/common-session
复制代码

2.     修改环境变量

  1. vi ~/.bash_profile

  2. export HBASE_HOME=/u02/hadoop/hbase-0.96.1.1
复制代码
  1. source ~/.bash_profile
复制代码

3.     创建目录
  1. mkdir -p /u02/hadoop/hbase-0.96.1.1/var
复制代码

4.     修改配置文件

  1. vi $HBASE_HOME/conf/hbase-env.sh

  2. export JAVA_HOME=/u02/hadoop/jdk1.7.0_15

  3. export HBASE_MANAGES_ZK=false

  4. export HBASE_HEAPSIZE=8000

  5. export HBASE_LOG_DIR=/u02/hadoop/hbase-0.96.1.1/logs
复制代码
  1. vi $HBASE_HOME/conf/hbase-site.xml

  2. <configuration>

  3.  <property>

  4.  <name>hbase.rootdir</name>

  5.  <value>hdfs://qzj05:8020/hbase</value>

  6.  </property>

  7.  <property>

  8.  <name>hbase.cluster.distributed</name>

  9.  <value>true</value>

  10.  </property>

  11.  <property>

  12. <name>hbase.tmp.dir</name>

  13.  <value>/u02/hadoop/hbase-0.96.1.1/var</value>

  14.  </property>

  15. </configuration>
复制代码
  1. ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/hdfs-site.xml
复制代码
  1. vi $HBASE_HOME/conf/regionservers

  2.  qzj05

  3.  qzj02

  4.  qzj04
复制代码

5.     复制zookeeper的jar包至lib

  1. rm -i $HBASE_HOME/lib/zookeeper-*

  2. cp zookeeper-3.4.6.jar $HBASE_HOME/lib
复制代码

6.     同步各节点时间检查各节点时间是否同步，将三台服务器时间同步，若各节点时间差距过大会报错
时间同步参照此文ubuntu ntp时间同步服务器搭建与使用

7.     启动hbase

  1. $HBASE_HOME/bin/start-hbase.sh

  2. $HBASE_HOME/bin/hbase shell
复制代码

输入jps命令检查
主节点下应有HMaster,HRegionServer进程，子节点有HRegionServer进程，检查日志

建表测试

  1.  create 'member','m_id','address','info'
复制代码

查看是否创建成功：list
若该过程未报错则说明hbase安装成功
停止hbase：

  1. $HBASE_HOME/bin/stop-hbase.sh
复制代码

8.     报错及解决方法                        i.             问题：
用SecureCRT远程连接服务器，运行hbase shell输入命令无法回删
解决方法：选项-全局选项-常规-预设的会话设置-编辑预设的设置-仿真
将终端改成Linux
保存设置之后就可以用CTRL+Backspace来删除了

四、Hadoop/Zookeeper/Hbase优化1.     修改hadoop配置

  1. vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

  2.  <property>

  3.  <name>dfs.support.append</name>

  4.  <value>true</value>

  5.  </property>

  6.  <property>

  7.  <name>dfs.datanode.max.xcievers</name>

  8.  <value>4096</value>

  9.  </property>
复制代码

2.     修改zookeeper配置

  1. vi $ZK_HOME/conf/java.env

  2. export JAVA_OPTS="-Xms1000m-Xmx1000m"
复制代码
  1. echo "maxClientCnxns=60" >>$ZK_HOME/conf/zoo.cfg
复制代码

3.     修改hbase配置

  1. vi $HBASE_HOME/conf/hbase-env.sh

  2. export HBASE_HEAPSIZE=8000
复制代码
  1. vi $HBASE_HOME/conf/hbase-site.xml

  2. <property>

  3.  <name>zookeeper.session.timeout</name>

  4.  <value>60000</value>

  5. </property>
复制代码

4.     同步至子节点

  1. scp /u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml qzj02:/u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml

  2. scp /u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml qzj04:/u02/hadoop/hadoop-2.3.0/etc/hadoop/hdfs-site.xml

  3. scp /u02/hadoop/zookeeper-3.4.6/conf/java.env qzj02:/u02/hadoop/zookeeper-3.4.6/conf/java.env

  4. scp /u02/hadoop/zookeeper-3.4.6/conf/java.env qzj04:/u02/hadoop/zookeeper-3.4.6/conf/java.env
复制代码

五、           配置Hive编译后安装包：apache-hive-0.14.0-SNAPSHOT-bin.tar.gz
1.     编译最新版hive用svn从 http://svn.apache.org/repos/asf/hive/trunk/
下载hive源码(源码管理、获取网络源码工具：TortoiseSVN使用手册)


  1. cd hive-trunk

  2. mvn clean install -DskipTests -Phadoop-2

  3. mvn package -Pdist -DskipTests -Phadoop-2
复制代码

将hive-trunk/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin.tar.gz上传至服务器

2.     将apache-hive-0.14.0-SNAPSHOT-bin.tar.gz解压至/u02/hadoop/下

  1. tar xzvf apache-hive-0.14.0-SNAPSHOT-bin.tar.gz -C /u02/hadoop

  2. mv apache-hive-0.14.0-SNAPSHOT-bin hive
复制代码

3.     修改~/.bash_profile(主节点及两个子节点上的)

  1. vi ~/.bash_profile

  2. export HIVE_HOME=/u02/hadoop/hive
复制代码
  1. source ~/.bash_profile
复制代码

4.     修改配置文件
  1. cd conf

  2. cp hive-default.xml.templatehive-default.xml

  3. cp hive-env.sh.template hive-env.sh

  4. cp hive-exec-log4j.properties.templatehive-exec-log4j.properties

  5. cp hive-log4j.properties.templatehive-log4j.properties
复制代码
  1. mv hive-default.xml  hive-site.xml
复制代码

（hive-env.sh.template文件中存在一个bug，第2000行，<value>auth</auth>,应该改成<value>auth</value>，否则启动时会报错)

  1. vi

  2. export HADOOP_HOME=/u02/hadoop/hadoop-2.3.0

  3. export HIVE_CONF_DIR=/u02/hadoop/hive/conf
复制代码

主节点：

  1. vi hive-site.xml

  2. <property>

  3.    <name>hive.metastore.warehouse.dir</name>

  4.  <value>hdfs://qzj05:8020/hive</value>

  5.  <description>location of default database for thewarehouse</description>

  6. </property>

  7. <property>

  8.  <name>hive.exec.scratchdir</name>

  9.  <value>hdfs://qzj05:8020/hive/scratchdir</value>

  10.  <description>Scratch space for Hive jobs</description>

  11. </property>

  12.  <property>

  13.   <name>hive.querylog.location</name>

  14.   <value>/u02/hadoop/hive/logs</value>

  15.   <description>

  16.    Location of Hive run time structured log file

  17.   </description>

  18.  </property>

  19. <property>

  20.  <name>javax.jdo.option.ConnectionURL</name>

  21.   <value>jdbc:mysql://192.168.10.199:3306/hiveMeta?createDatabaseIfNotExist=true</value>

  22.   <description>JDBC connect string for a JDBCmetastore</description>

  23. </property>

  24. <property>

  25.  <name>javax.jdo.option.ConnectionDriverName</name>

  26.  <value>com.mysql.jdbc.Driver</value>

  27.  <description>Driver class name for aJDBC metastore</description>

  28. </property>

  29. <property>

  30.  <name>javax.jdo.option.ConnectionUserName</name>

  31.  <value>root</value>

  32.  <description>username to use against metastoredatabase</description>

  33. </property>

  34. <property>

  35.  <name>javax.jdo.option.ConnectionPassword</name>

  36.  <value>123456</value>

  37.  <description>password to use against metastoredatabase</description>

  38. </property>
复制代码

5.     拷贝hbase-0.96.1.1.jar和zookeeper-3.4.6.jar到hive/lib下

  1. rm hbase-0.94.6.1-tests.jar

  2. rm hbase-0.94.6.1.jar

  3. rm zookeeper-3.4.3.jar
复制代码

从/u02/hadoop/hbase-0.96.0-hadoop2/lib下hbase开头的包都拷贝过来

  1. find /u02/hadoop/hbase-0.96.1.1/lib -name "hbase*.jar"|xargs -i cp {} ./

  2. cp /u02/hadoop/hbase-0.96.1.1/lib/protobuf-java-2.5.0.jar /u02/hadoop/hive-0.12.0/lib

  3. cp /u02/hadoop/hbase-0.96.1.1/lib/zookeeper-3.4.6.jar /u02/hadoop/hive-0.12.0/lib

  4. cp/u02/hadoop/hbase-0.96.1.1/lib/hbase-client-0.96.1.1-hadoop2.jar /u02/hadoop/hive-0.12.0/lib

  5. cp/u02/hadoop/hbase-0.96.1.1/lib/hbase-common-0.96.1.1-hadoop2.jar /u02/hadoop/hive-0.12.0/lib

  6. cp mysql-connector-java-3.1.12-bin.jar /u02/hadoop/hive-0.12.0/lib
复制代码

6.     将hive同步至两个子节点

  1. rsync -avz /u02/hadoop/hiveqzj02:/u02/hadoop

  2. rsync -avz /u02/hadoop/hiveqzj04:/u02/hadoop
复制代码

修改子节点hive-site.xml
  1. <property> 

  2.  <name>hive.metastore.uris</name> 

  3.  <value>thrift://qzj05:9083</value> 

  4. </property>
复制代码

7.     启动hive先启动hadoop,zookeeper,hbase
启动metastore：hive --service metastore
查看log是否报错

用nohup挂载

  1. nohup ./hive --service metastore
复制代码
  1. hive --service hiveserver
复制代码

./hive
查看mysql中的表


  1. show tables;
复制代码

在mysql中建表：
  1. create table doudou(id int,name string);
复制代码

在hbase中建表：

  1. CREATE TABLE hbase_table_1(key int,valuestring) STORED BY

  2. 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" =":key,cf1:val")  TBLPROPERTIES ("hbase.table.name" ="xyz");
复制代码

8.     报错及解决方法                        i.             报错:
Exception in thread "main"java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClient
Caused by: MetaException(message:Versioninformation not found in metastore. )
修改权限为777 （chmod 777 mysql-connector-java-3.1.12-bin.jar）
修改conf/hive-site.xml 中的“hive.metastore.schema.verification”  值为 false

                      ii.             报错：
javax.jdo.JDOFatalDataStoreException:Unable to open a test connection to the given database. JDBC url =jdbc:mysql://qzj05:3306/metastore?createDatabaseIfNotExist=true, username =root. Terminating connection pool. Original Exception: ------
java.sql.SQLException: Access denied foruser 'root'@'qzj05' (using password: YES)
       at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:2928)
       at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:771)
       at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:3649)
       at com.mysql.jdbc.MysqlIO.doHandshake(
MysqlIO.java:1176)
       at com.mysql.jdbc.Connection.createNewIO(Connection.java:2558)
解决方法：将mysql中密码为空的设置为123456


  1. use mysql;

  2. select host,user,password from mysql.user;

  3. update mysql.user set password =PASSWORD('123456') where password = '';

  4. flush privileges;

  5. GRANT ALL PRIVILEGES ON *.* TO 'root'@'qzj02' Identified by '123456';
复制代码



  iii.             报错：
: command not found14.0/bin/ext/beeline.sh:line 15:
: command not found14.0/bin/ext/beeline.sh:line 19:
/u02/hadoop/hive-0.14.0/bin/ext/beeline.sh:line 20: syntax error near unexpected t'ken `{
'u02/hadoop/hive-0.14.0/bin/ext/beeline.sh:line 20: `beeline () {
: command notfound14.0/bin/ext/metatool.sh: line 15:
: command notfound14.0/bin/ext/metatool.sh: line 18:
/u02/hadoop/hive-0.14.0/bin/ext/metatool.sh:line 19: syntax error near unexpected 'oken `{
'u02/hadoop/hive-0.14.0/bin/ext/metatool.sh:line 19: `metatool () {
Service cli not found
orcfiledump rcfilecat schemaTool versionineage metastore metatool
解决方法：
vi -b $HIVE_HOME/bin/ext/beeline.sh  发现每行行尾多了个^M，这是由于该文本应该在C环境下编辑过，Linux编辑器对文件行末的回车符处理不一致，在Linux下经常能看到C文件或者TXT文件每行末尾都有一个^M符号，这个会导致shell脚本运行错误
在命令编辑行<按ESC键然后shift+:冒号>输入：%s/^M//g  这样就删除了行尾的^M，同理处理$HIVE_HOME/bin/ext/metatool.sh

六、           配置Sqoop安装包: sqoop-1.99.3-bin-hadoop200.tar.gz
1.     修改环境变量
  1. vi ~/.bash_profile

  2. exportSQOOP_HOME=/u02/hadoop/sqoop-1.99.3-bin-hadoop200
复制代码
  1. source ~/.bash_profile
复制代码

2.     添加需要的jar包（mysql与oracle的）在oracle的安装路径下

  1. cp database/stage/ext/jlib/ojdbc5.jar /u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib

  2. cp $HIVE_HOME/lib/mysql-connector-java-3.1.12-bin.jar /u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib
复制代码



3.     修改配置文件
  1. cd server/conf

  2. vi catalina.properties

  3. common.loader=/u02/hadoop/hadoop-2.3.0/share/hadoop/common/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/common/lib/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/yarn/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/hdfs/*.jar,/u02/hadoop/hadoop-2.3.0/share/hadoop/mapreduce/*.jar,/u02/hadoop/sqoop-1.99.3-bin-hadoop200/server/lib/*.jar
复制代码
  1. vi sqoop.properties

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/u02/hadoop/hadoop-2.3.0/etc/hadoop
复制代码

4.     同步至子节点

  1. scp -r sqoop-1.99.3-bin-hadoop200qzj02:/u02/hadoop

  2. scp -r sqoop-1.99.3-bin-hadoop200qzj04:/u02/hadoop
复制代码



5.     sqoop命令（将mysql表导入至hdfs）sqoop运行参照http://sqoop.apache.org/docs/1.99.3/Sqoop5MinutesDemo.html（提交job的时候用官网上的命令会报错）
启动：./bin/sqoop.sh server start
停止：./bin/sqoop.sh server stop

在子节点上


  1. ./bin/sqoop.sh client

  2. sqoop:000> set server --host 192.168.10.199 --port 12000 --webapp sqoop

  3. sqoop:000> show version --all
复制代码


在server上
  1. ./bin/sqoop.sh client
复制代码
  1. create connection --cid 1
复制代码




Connection with id 1 and name Firstconnection (Enabled: true, Created by grid at 4/16/14 4:21 PM, Updated by gridat 4/17/14 1:06 PM)

Using Connector id 1
Connection configuration
   JDBC Driver Class: com.mysql.jdbc.Driver
   JDBC Connection String: jdbc:mysql://192.168.10.199:3306/hiveMeta
   Username: root
   Password:
   JDBC Connection Properties:
Security related configuration options
   Max connections: 100

sqoop:000> create job --xid 1 --typeimport
Database configuration
   Schema name: hiveMeta
   Table name: ROLES
   Table SQL statement:
   Table column names:
   Partition column name:
   Nulls in partition column:
   Boundary query:
Output configuration
   Storage type: HDFS
   Output format: TEXT_FILE
   Compression format: NONE
   Output directory: /user/jarcec/test3
Throttling resources
   Extractors:
   Loaders:

执行job：


  1. sqoop:000>start job --jid 1
复制代码



查看job执行状态:


status job --jid 1



6.     报错及解决方法                        i.             submission start --jid 1   时
报错:No such property: start for class: groovysh_evaluate
解决方法：改成start job --jid 1

                      ii.             status job --jid 1时
报错：Exception: org.apache.sqoop.common.SqoopException Message:CLIENT_0001:Server has returned exception
解决方法：show job 发现没有id为1的job，之前删除了id为1的job，新建的job id为2
status job --jid 2

                     iii.             运行job最后状态为failed，检查日志报错
Application application_1397717698978_0004failed 2 times due to AM Container for appattempt_1397717698978_0004_000002exited with exitCode: 1 due to: Exception from container-launch:org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
atorg.apache.hadoop.util.Shell.runCommand(Shell.java:505)
atorg.apache.hadoop.util.Shell.run(Shell.java:418)
atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
atorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
atorg.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
atjava.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
atjava.util.concurrent.FutureTask.run(FutureTask.java:166)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:722)
Container exited with a non-zero exit code1
.Failing this attempt.. Failing theapplication.
执行如下命令测试job：
$HADOOP_HOME/bin/hadoop jar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 10 5
如果报错则说明hadoop配置有问题，检查$HADOOP_HOME/etc/hadoop/mapred-site.xml
发现mapreduce.jobhistory.webapp.address这个参数配错了，应为qzj05:19888


                     iv.             编译时报错:Too many unapproved licenses: 1
vi /etc/profile
export MAVEN_OPTS="-Xms512m -Xmx1024m-XX:PermSize=256m -XX:MaxPermSize=512m"

source /etc/profile

mvn clean install -DskipTests -Phaop200-Drat.numUnapprovedLicenses=100
-Drat.numUnapprovedLicenses=100
mvn package -Pdist -DskipTests -Phadoop200


                      v.             编译时报错：
Arequired class was missing while executingorg.apache.maven.plugins:maven-site-plugin:3.0-beta-3:site:org/sonatype/aether/graph/DependencyFilter
解决方法：
vi ./docs/pom.xml
将
<id>packaging-documentation</id>
  <phase>package</phase>

修改为
<id>packaging-documentation</id>
<phase>runtime</phase>









关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(3)人评论

跳转到指定楼层
正序浏览
anyhuayong 发表于 2014-9-18 08:47:02
非常详细，谢楼主分享
回复

使用道具 举报

韩克拉玛寒 发表于 2014-9-21 09:37:59
楼主分享的很不错。详细而实用。
回复

使用道具 举报

hero1122 发表于 2015-1-18 14:41:34
真心膜拜，但是不知道你做的这些工作是因为公司需要还是完全是自己个人的兴趣（学院派的那种）？
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
pig2

超级版主

关注

  • 2332

    主题

  • 3342

    帖子

  • 1972

    粉丝

欢迎大家如about云官方2群322273151，更新咨询，更新资源，随时关注
TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000