hadoop3.x常用配置与hadoop2.x有哪些不同
本帖最后由 pig2 于 2018-1-10 15:28 编辑问题导读
1.如何指定hadoop临时路径？
2.dfs.blocksize可以使用那些单位？
3.mapreduce运行框架有哪三种？
4.mapreduce.admin.user.env设置为空值，不同操作系统会有哪些值？
static/image/hrline/4.gif
hadoop3.x与hadoop2.x在配置方面基本变化不是很大。hadoop3.0在使用过程中，有些不配置，可能会产生问题。这里贴出hadoop3.0配置，供大家参考。对于基本的准备工作省略。如不会可参考：
hadoop（2.x）以hadoop2.2为例完全分布式最新高可靠安装文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7684
这里主要贴出配置文件及相关配置说明：
/etc/hadoop/core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9820</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop3.0/tmp</value>
</property>
</configuration>hadoop3.0端口发生了变化，在伪分布中hadoop依然是用的是9000端口，我们这里使用官网更改的端口9820端口变化参考：
hadoop3.0改变了哪些默认端口
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23592
uri: fs.defaultFShadoop.tmp.dir:临时路径
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
</configuration>
dfs.replication：hadoop副本的数目dfs.permissions.enabled：如果为true，则在HDFS中启用权限检查。 如果“false”，权限检查被关闭
新的默认的文件块大小，字节。你可以使用后缀k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)（比如：128k, 512m, 1g等等）或则提供完整的字节大小（(比如134217728为128 MB).）
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.admin.user.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP _HOME</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP _HOME</value>
</property>
</configuration>
mapreduce.framework.name：可以为local, classic 或则 yarn.local表示本地运行，classic表示经典mapreduce框架，yarn表示新的框架。mapreduce.admin.user.env：如果map和reduce任务访问本地库（压缩等），则必须保留原始值。当此值为空时，设置执行环境的命令将取决于操作系统：Linux：LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native.windows：PATH =%PATH%;%HADOOP_COMMON_HOME%\\bin.yarn.app.mapreduce.am.env：可以设置AM【AppMaster】端的环境变量
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value> JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
yarn.resourcemanager.hostname ：RM的主机名。yarn.nodemanager.env-whitelist：容器可能会覆盖的环境变量，而不是使用NodeManager的默认值。yarn.nodemanager.aux-services ：NodeManager上运行的附属服务yarn.nodemanager.vmem-check-enabled：不检测虚拟机内存
另外hadoop2.x的slaves已经改为workers。在这里面指定slave机器。
感谢楼主!! 不错不错。。
页:
[1]