hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

本帖最后由 pig2 于 2014-5-28 16:44 编辑
问题导读：
1.hadoop的安装需要安装哪些如那件？
2.hadoop与hbase整合需要注意哪些问题？
3.hive与hbase的通信包是哪个？

网上这个文档非常流行，但是感觉缺乏一些细节的指导，除非对Linux和hadoop有一定的认识。否则新手很难从这些文档中安装成功。这里重新实践了一下，hadoop2.2 ,hbase0.96,hive0.12的安装及他们的整合，这里整理一下。
1.首先hadoop2.2的安装
hadoop2.2完全分布式最新高可靠安装文档
http://www.aboutyun.com/thread-7684-1-1.html

这个文档里面包含了很多的知识：
包括ssh无密码互通，jdk的安装，以及shell脚本的编写，当然还有文档的配置。相信新手可以通过这个文档安装成功。

2.hbase 0.96整合到hadoop2.2
hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档
http://www.aboutyun.com/thread-7746-1-1.html

这个的整合需要注意权限及包的整合，一些临时目录，最好都建立好，而不是让系统建立，同时建立的时候不要放到系统默认文件夹，这个可能重启就会产生问题，导致缺少hmaster或则其他进程。还有个问题，有的同学安装完毕之后，hmaster或则regionserver起来之后接着宕机，是因为文件夹的权限问题，最好临时目录等都放到hbase的安装目录中。
同时还需要注意hbase与hadoop版本要一致，否则会出问题。下面帖子可以参考：
hadoop2.2.0+hbase0.94.18出现问题

3.hbase 0.96与hive0.12整合
hbase0.96与hive0.12整合高可靠文档及问题总结
http://www.aboutyun.com/thread-7881-1-1.html

这个的整合遇到不少问题，与其hadoop,hbase不一样的地方是它有一个客户端和服务器端，这样导致很多新手问这个问题，到底是否需要每台电脑都需要安装mysql。这个是不需要的，mysql只需要安装在服务器端就可以了。这两个整合涉及到了两个包，还是比较重要的，包括：
mysql的连接包mysql-connector-java-5.1.10-bin.jar，
还有就是hbase与hive的通信包
hive-hbase-handler-0.13.0.jar
这两个包都需要复制到hive安装目录的lib文件夹下，并且注意他们之间版本要匹配。

这里面对他们的整合做一个简单的描述和总结，更详细的内容，可以查看文档。