由于hadoop2.x的集群安装都是通用的,因此可参考
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
弄清楚为什么是通用的,参考如下内容:
###############################
hadoop集群配置有各种中文文档,这里不是术的讲解,而是道的说明,也就是不是具体交给你怎么做,而是交给你方法。这里也算是对hadoop集群的安装的一个总结。
#########################
hadoop集群安装准备
首先需要一些准备工作,
安装Java、ssh、下载hadoop。
########################
有哪些进程
准备工作完毕,我们就开始安装了,那么如何安装:自然是解压,然后各种配置。
安装之后,我们看到的进程
master会看到下面进程
slave会看到下面进程
上面进程是否是固定的,无论你是ubuntu还是centos,还是其它系统,都是这些进程。
##############################################################
配置文件
hadoop配置有两种类型重要配置文件:
一种只读默认配置文件
core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.
一种Site-specific 配置文件
etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml.
额外,你可以控制hadoop脚本,在bin/目录下,通过 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh.设置特定的值
HDFS 守护进程是 NameNode, SecondaryNameNode, and DataNode. YARN 守护进程是 ResourceManager, NodeManager, 和 WebAppProxy.如果使用MapReduce, 可以启用Job History Server.如果集群比较大,通常是在单独的主机上运行。
#########################################################
我们知道了各种配置文件,守护进程,那么剩下的就是对他们具体的配置。
这个配置我们是可以定制的,所以只要是hadoop2.x文档对于其他版本的文档,如果不是当前版本的新特性。所有的完全分布是文档都是可以通用的。
也就是说当前最新版本hadoop2.7,如果安装过以前hadoop2.2或则其他版本,那么集群的安装都是通用的。
hadoop2.7安装参考
ubuntu:参考
hadoop2.2完全分布式最新高可靠安装文档
如果想了解更多,参考官网
hadoop2.7官网集群配置
|