图文精华

About云-梭伦科技»专题 › 圈子 › about云小组 › Hadoop技术组 › hbase集群安装总结
分享

hbase集群安装总结

lzw 发表于 2014-9-10 14:24:48 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 4099
本帖最后由 lzw 于 2014-9-10 14:32 编辑
第一步，确认环境：        1、机器&系统 x86_64
        2、修改host配置
        vi /etc/hosts
                192.168.30.58 n58
                192.168.30.54 n54
                192.168.30.56 n56
        
第二步，软件准备：
        wget "http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.rpm?AuthParam=1385452720_34d05e9cb79cad4eff77fa95d9461298" -O jdk-7u45-linux-x64.rpm

        wget http://ftp.riken.jp/net/apache/h ... hadoop-2.4.1.tar.gz
        tar zxfv hadoop-2.4.1.tar.gz

        wget http://ftp.riken.jp/net/apache/h ... -hadoop2-bin.tar.gz
        tar zxfv hbase-0.98.5-hadoop2-bin.tar.gz
第三步：安装准备  ssh
     在每台机器上：ssh  login passwordlessly：
                 
        58：
                 ssh-keygen -t  rsa
                                
                 scp ~/.ssh/id_rsa.pub root@192.168.30.56:~/.ssh/authorized_keys58
                 scp ~/.ssh/id_rsa.pub root@192.168.30.54:~/.ssh/authorized_keys58
                          
                 
        :56  ssh-keygen -t  rsa
                 scp ~/.ssh/id_rsa.pub root@192.168.30.58:~/.ssh/authorized_keys56
                 scp ~/.ssh/id_rsa.pub root@192.168.30.54:~/.ssh/authorized_keys56
                 
        54： ssh-keygen -t  rsa
                 scp ~/.ssh/id_rsa.pub root@192.168.30.58:~/.ssh/authorized_keys54
                 scp ~/.ssh/id_rsa.pub root@192.168.30.56:~/.ssh/authorized_keys54
               
        分别：
                58：        
                         cat ~/.ssh/authorized_keys54>>~/.ssh/authorized_keys
                         cat ~/.ssh/authorized_keys56>>~/.ssh/authorized_keys
                56：
                         cat ~/.ssh/authorized_keys58>>~/.ssh/authorized_keys
                         cat ~/.ssh/authorized_keys54>>~/.ssh/authorized_keys

                54：
                         cat ~/.ssh/authorized_keys58>>~/.ssh/authorized_keys
                         cat ~/.ssh/authorized_keys56>>~/.ssh/authorized_keys
                        
        测试：

        ssh 192.168.30.54
        ssh 192.168.30.58
        ssh 192.168.30.56


第四步：修改配置文件:
               
        mkdir -p /home/hduser/dfs/name

        mkdir -p /home/hduser/dfs/data

        mkdir -p /home/hduser/tmp
        
        修改相关文件：
        这里要涉及到的配置文件有7个：

                                $HADOOP_HOME/etc/hadoop/hadoop-env.sh  
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/yarn-env.sh   
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/slaves         
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/core-site.xml  
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/hdfs-site.xml  
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/mapred-site.xml
                                $HADOOP_HOME                           
                                $HADOOP_HOME/etc/hadoop/yarn-site.xml  

                                以上个别文件默认不存在的，可以复制相应的template文件获得。

                                配置文件1：hadoop-env.sh

                                修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0）

                                配置文件2：yarn-env.sh

                                修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0）

                                配置文件3：slaves （这个文件里面保存所有slave节点）

                                写入以下内容：
                                n56
                                n58
                                配置文件4：core-site.xml
  1. <configuration>

  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://n54:9000</value>

  7. </property>

  9. <property>       
  10. <name>io.file.buffer.size</name>
  11. <value>131072</value>

  13. </property>
  14. <property>

  16. <name>hadoop.tmp.dir</name>

  18. <value>file:/home/hduser/tmp</value>

  20. <description>Abase for other temporary directories.</description>

  22. </property>

  24. <property>

  26. <name>hadoop.proxyuser.hduser.hosts</name>

  28. <value>*</value>

  30. </property>

  32. <property>

  34. <name>hadoop.proxyuser.hduser.groups</name>

  36. <value>*</value>

  38. </property>

  40. </configuration>
复制代码



                                配置文件5：hdfs-site.xml


  1. <configuration>

  3. <property>

  5. <name>dfs.namenode.secondary.http-address</name>

  7. <value>n54:9001</value>

  9. </property>

  11. <property>

  13. <name>dfs.namenode.name.dir</name>

  15. <value>file:/home/hduser/dfs/name</value>

  17. </property>

  19. <property>

  21. <name>dfs.datanode.data.dir</name>

  23. <value>file:/home/hduser/dfs/data</value>

  25. </property>

  27. <property>

  29. <name>dfs.replication</name>

  31. <value>3</value>

  33. </property>

  35. <property>

  37. <name>dfs.webhdfs.enabled</name>

  39. <value>true</value>

  41. </property>

  43. </configuration>
复制代码


                                配置文件6：mapred-site.xml

                           
  1. <configuration>

  3. <property>

  5. <name>mapreduce.framework.name</name>

  7. <value>yarn</value>

  9. </property>

  11. <property>

  13. <name>mapreduce.jobhistory.address</name>

  15. <value>n54:10020</value>

  17. </property>

  19. <property>

  21. <name>mapreduce.jobhistory.webapp.address</name>

  23. <value>n54:19888</value>

  25. </property>

  27. </configuration>
复制代码





                                配置文件7：yarn-site.xml

  1. <configuration>

  3. <property>

  5. <name>yarn.nodemanager.aux-services</name>

  7. <value>mapreduce_shuffle</value>

  9. </property>

  11. <property>

  13. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  15. <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  17. </property>

  19. <property>

  21. <name>yarn.resourcemanager.address</name>

  23. <value>n54:8032</value>

  25. </property>

  27. <property>

  29. <name>yarn.resourcemanager.scheduler.address</name>

  31. <value> n54:8030</value>

  33. </property>

  35. <property>

  37. <name>yarn.resourcemanager.resource-tracker.address</name>

  39. <value> n54:8031</value>

  41. </property>

  43. <property>

  45. <name>yarn.resourcemanager.admin.address</name>

  47. <value> n54:8033</value>

  49. </property>

  51. <property>

  53. <name>yarn.resourcemanager.webapp.address</name>

  55. <value> n54:8088</value>

  57. </property>

  59. </configuration>
复制代码



        修改hbase相关配置：
    /$HBASE_HOME/conf/hbase-site.xml       
  1. <property>
  2. <name>hbase.tmp.dir</name>  
  3. <value>/home/hduser/hbasetmp</value>  
  4. </property>
  5. <property>
  6. <name>hbase.rootdir</name>  
  7. <value>hdfs://n54:9000/hbase</value>
  8. </property>
  9. <property>
  10. <name>hbase.cluster.distributed</name>  
  11. <value>true</value>  
  12. </property>
  13. <property>
  14. <name>hbase.zookeeper.quorum</name>  
  15. <value>master54,slave56,slave58</value>  
  16. </property>
  17. <property>
  18. <name>hbase.zookeeper.property.dataDir</name>  
  19. <value>${hbase.tmp.dir}/zookeeper</value>  
  20. </property>
  21. <property>
  22. <name>base.zookeeper.property.clientPort</name>  
  23. <value>2181</value>  
  24. </property>
复制代码





                                        /$HBASE_HOME/conf/hbase-env.sh

                                                export JAVA_HOME=/usr/java/jdk1.7.0
                                                export HBASE_LOG_DIR=/$HADOOP_HOME/logs
                                                export HBASE_MANAGES_ZK=true (启用hbase自带的zookeeper，这样也不用单独安装zookeeper了)
                                        /$HBASE_HOME/conf/regionservers
                                                n54
                                                n56
                                                n58       
          
   追加到  /etc/profile,并source /etc/profile它生效
                export JAVA_HOME=/usr/java/jdk1.7.0
                export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
                export HADOOP_HOME=/hdhbase/hadoop-2.4.1
                export HBASE_HOME=/hdhbase/hbase-0.98.5
                export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
                export PATH=$HADOOP_HOME/bin:$PATH
                export PATH=$HBASE_HOME/bin:$PATH
         
第五步：   copy 到 slavers  

        复制 环境变量

         复制hadoop
           scp -r /hdhbase/hadoop-2.4.1 root@n56:/hdhbase
           scp -r /hdhbase/hadoop-2.4.1 root@n58:/hdhbase
         复制dfs路径  
           scp -r /home/hduser root@hadoop-slave1:/home
           scp -r /home/hduser root@hadoop-slave2:/home
           
         复制java  
           scp -r /usr/java root@hadoop-slave1:/usr
           scp -r /usr/java root@hadoop-slave2:/usr
         
         复制hbase
           scp -r /hdhbase/hbase-0.98.5  root@n56:/hdhbase
       scp -r /hdhbase/hbase-0.98.5 root@n58:/hdhbase


第六步 启动hadoop，启动hbase
        hadoop 命令如下：
         
        1、format：
                bin/hdfs namenode –format -clusterid n54  (集群的format：一定要记得加-clusterid n54)
        2、启动和停止：
                namenode        启动hdfs:
                        sbin/start-dfs.sh
                        sbin/start-yarn.sh        
                        停止：sbin/stop-all.sh
        查看集群状态：
                  bin/hdfs dfsadmin -report
        hbase 启动命令如下：
                /$HBASE_HOME/bin/start-hbase.sh
               
        
        

    来自about云（群39327136）



欢迎加入about云群90371779 、322273151、39327136 ，云计算爱好者群，亦可关注about云腾讯认证空间||关注本站微信
回复

使用道具 举报

自定义广告语

已有(1)人评论

跳转到指定楼层
正序浏览
wubaozhou 发表于 2014-12-28 17:19:31
谢谢分享！！{:soso_e142:}
回复

使用道具 举报

发表新帖
lzw

高级会员

关注

  • 107

    主题

  • 230

    帖子

  • 71

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000