Hadoop3.0集群安装知识3

问题导读

1.hadoop3.0slaves做了什么更改？
2.如何单独启动DataNode？
3.访问hadoop web界面都有哪些接口？



上一篇：
Hadoop3.0集群安装知识2
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23732



Slaves文件

在etc/hadoop/workers文件中，列出所有的worker的hostname或则IP地址。一行一个。辅助脚本将会使用etc/hadoop/workers文件在多台机器上一起运行命令。它不用任何基于Java的hadoop配置。必须为用于运行Hadoop的帐户建立ssh信任（通过无密码ssh或其他方式，如Kerberos）。【注释：这里前面版本不同的是修改文件名称，由slaves文件改为workers文件】

hadoop机架感知
许多Hadoop组件都具有机架感知功能，并利用网络拓扑来提高性能和安全性。 Hadoop守护进程通过调用管理员配置的模块获取集群中worker的机架信息。 有关更多具体信息，请参阅RackAware（http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/RackAwareness.html）文档。

日志
Hadoop通过Apache Commons Logging框架使用Apache log4j进行日志记录。 编辑etc/hadoop/log4j.properties文件以定制Hadoop守护进程的日志配置（日志格式等）。

集群操作
完成所有必要的配置后，将文件分发到所有机器上的HADOOP_CONF_DIR目录。 一般来说，建议HDFS和YARN作为单独的用户运行。 在大多数安装中，HDFS进程以“hdfs”执行。 YARN通常使用“yarn”帐户。


Hadoop启动

启动hadoop集群需要启动hdfs和yarn。
第一次启动hdfs,需要格式化.格式化命令：
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format <cluster_name>
[/mw_shl_code]
在指定节点上使用以下命令启动HDFS NameNode：
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start namenode
[/mw_shl_code]
在每个指定的节点上使用以下命令启动HDFS数据节点：
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start datanode
[/mw_shl_code]
如果配置了etc/hadoop/workers和ssh信任访问，则可以使用下面命令启动所有HDFS进程。
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/sbin/start-dfs.sh
[/mw_shl_code]
用下面的命令启动YARN，在指定的ResourceManager上运行。
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn --daemon start resourcemanager
[/mw_shl_code]
运行一个脚本，在每个指定的主机上启动一个NodeManager：
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn --daemon start nodemanager
[/mw_shl_code]启动一个独立的webappproxy服务器。运行webappproxy服务器为Yarn用户。如果使用多个服务器进行负载平衡，则应该在每个服务器上运行它们：
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn --daemon start proxyserver
[/mw_shl_code]
如果配置了etc/hadoop/workers和ssh信任访问（请参阅单节点设置），则可以使用程序脚本启动所有YARN进程。
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/sbin/start-yarn.sh
[/mw_shl_code]
用以下命令启动MapReduce JobHistory服务器，在指定的服务器上运行：
[mw_shl_code=bash,true][mapred]$ $HADOOP_HOME/bin/mapred --daemon start historyserver
[/mw_shl_code]
集群关闭
使用下面命令停止namenode，在指定的NameNode 上运行
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop namenode
[/mw_shl_code]
使用下面命令停止DataNode
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop datanode
[/mw_shl_code]
如果配置了etc/hadoop/workers和ssh信任访问，则可以使用下面命令停止所有HDFS进程。
[mw_shl_code=bash,true][hdfs]$ $HADOOP_HOME/sbin/stop-dfs.sh
[/mw_shl_code]
使用下面命令停止ResourceManager ，在指定的ResourceManager上运行
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn --daemon stop resourcemanager
[/mw_shl_code]
运行脚本停止worker上的NodeManager
[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn --daemon stop nodemanager
[/mw_shl_code]
如果配置了etc/hadoop/workers和ssh信任访问，则可以使用下面命令停止所有YARN 进程。

[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/sbin/stop-yarn.sh
[/mw_shl_code]
停止webappproxy服务器。运行webappproxy服务器为Yarn用户。如果使用多个服务器进行负载平衡，则应该在每个服务器上运行它们：

[mw_shl_code=bash,true][yarn]$ $HADOOP_HOME/bin/yarn stop proxyserver
[/mw_shl_code]
停止MapReduce JobHistory Server使用下面命令，在指定的机器上运行
[mw_shl_code=bash,true][mapred]$ $HADOOP_HOME/bin/mapred --daemon stop historyserver
[/mw_shl_code]

Web界面
一旦Hadoop集群启动并运行，可以通过web-ui查看，如下所述：

守护进程	Web 接口	说明
NameNode	http://nn_host:port/	默认 HTTP 接口 9870.
ResourceManager	http://rm_host:port/	默认HTTP 接口 8088.
MapReduce JobHistory Server	http://jhs_host:port/	默认HTTP 接口 19888.