hadoop集群管理：内存分配及不常用参数介绍

问题导读：
不同进程的内存该如何设置？
如何定一个最大map任务数？
mapred.tasktracker.reduce.tasks.maximum属性的作用是什么？
计算节点的内存暂用量如何结算？
HADOOP_LOG_DIR做用是什么？
可以通过什么工具，hadoop控制脚本能够将配置文件分发到集群的各个节点中？






内存设置

1. 内存

hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。

大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设置namenode的内存，可以通过HADOOP_NAMENODE_OPTS来设置。

同样的，可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置secondrynamenode的内存，使得它与namenode保持一致。

当然，还有HADOOP_DATANODE_OPTS、HADOOP_BALANCER_OPTS、HADOOP_JOBTRACKER_OPTS变量供你使用。

此外，tasktracker启动独立的子JVM以运行map和reduce任务，分配给每个子JVM的内存量由mapred.child.java.opts属性（mapred-site.xml）控制，默认值为200M。

2. 最大map任务数

一个tasktracker能够同时运行最大map任务数，由mapred.tasktracker.map.tasks.maximum属性（mapred-site.xml）控制，默认为2。

3. 最大reduce任务数

一个tasktracker能够同时运行最大reduce任务数，由mapred.tasktracker.reduce.tasks.maximum属（mapred-site.xml）性控制，默认为2。

4. 小总结：计算节点的内存占用量。

默认情况下，一个同时运行了namenode，secondarynamenode和jobtracker的主节点，各自使用1000M内存，所以总计使用3000M。

默认情况下，一个从节点运行了如下守护进程：

1个datanode：默认占用1000M内存。
1个tasktracker：默认占用1000M内存。
最多2个map任务：2*200M=400M。
最多2个reduce任务：2*200M=400M。
即默认情况下，一个从节点需要使用2800M内存量。

在一个tasktracker上能够同时运行的任务数取决于这台机器上有多少个处理器。由于mapreduce作业通常是I/O-bound，因此将任务数设定为超出处理器数也有一定道理，可以获得更好的利用率。经验法则是任务总数（map任务数与reduce任务数之和）与处理器的比值在1和2之间。

例如，假设一台8个处理器的工作节点，每个处理器上运行2个进程，则可以将最大map任务数和最大reduce任务数分别设置成7（因为还有datanode和tasktracker进程，所以不能设置为8），各个JVM子任务可用内存设置为400M，则总内存开销=1000M(datanode)+1000M(tasktracker)+7*400M(map)+7*400M(reduce)=7600M

这样配置是否合理，还需要考虑是否给这台机器上的其他进程预留了足够内存，否则可能导致各进程在系统中不断切换，导致性能恶化。可以使用一些工具来监控集群的内存使用情况来进行优化，例如Ganglia工具。

hadoop也可以设置mapreduce操作所能使用的最大内存量，这是分别针对各项作业进行设置的。（详见《hadoop权威指南》117页的“shuffle和排序”小节）





不常用参数


1. hadoop日志目录

默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。

hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”就是我的hadoop集群中的一个日志文件。其中“用户名”部分对应hadoop-env.sh文件中的HADOOP_IDENT_STRING变量，可以通过修改该变量来修改日志文件中的用户名信息。

2. SSH设置

hadoop-env.sh文件中的HADOOP_SSH_OPTS变量可以向SSH传递很多选项，进行SSH的自定义。例如：

使用ConnectTimeout选项来设定减小连接超时，可以避免控制脚本长时间等待宕机节点的响应（当然，也不能设置得太低，使得繁忙节点被跳过）。
使用StrickHostKeyChecking选项设定为no，则会将新主机键加入已知主机文件中。该值默认为ask，不适合大型集群环境。

3. 使用rsync

通过rsync工具，hadoop控制脚本能够将配置文件分发到集群的各个节点中。默认该功能未启用，可以通过设置hadoop-env.sh中的HADOOP_MASTER变量启动。启用rsync后，当工作节点的守护进程启动后，会把以HADOOP_MASTER为根的目录树与本地的HADOOP_INSTALL目录同步。

4. 与rsync相关的变量

在大型集群中，若rsync已启用，则集群启动时所有工作节点几乎同时启动，且同时向主节点发出rsync请求，可能导致主节点瘫痪。这就需要设置hadoop-env.sh中的另一个变量：HADOOP_SLAVE_SLEEP，将它设置为一小段时间（例如0.1秒）。该变量度量为“秒”。