cdh5 hadoop 配置/etc/hadoop/conf/hdfs-sit.xml
已有 1489 次阅读2014-12-31 14:53
|个人分类:hadoop之路
<configuration>
<!--
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///var/lib/hadoop-hdfs/cache/hdfs/dfs/name</value>
<description>本地磁盘目录,NN存储fsimage文件的地方。可以是按逗号分隔的目录列表,fsimage文件会存储在全部目录,冗余安全。这里多个目录设定,最>好在多个磁盘,另外,如果其中一个磁盘故障,不会导致系统故障,会跳过坏磁盘。由于使用了HA,建议仅设置一个。如果特别在意安全,可以设置2个</description>
</property>
-->
<property>
<name>dfs.nameservices</name>
<value>ns-ods</value>
<description>注意:ns-ods为集群的逻辑名</description>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns-ods</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
<description>这个参数指定具体的failover proxy provider类,也就是在client端发现原来Active的NameNode变成了Standby模式时(在client发送RPC请求时返回了StandbyException时),该如何去连接当前Active的NameNode。目前的Hadoop里只有一个具体实现策略ConfiguredFailoverProxyProvider,实现方法就是如>果client failover时,下次把RPC发送给另外一个NameNode的proxy。</description>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.ns-ods</name>
<value>false</value>
<description>是否开启自动故障转移!这里只有一台所以设为关闭</description>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>m001:2181,s001:2181,s002:2181</value>
<description>Ha功能,需要一组zk地址,用逗号分隔。被ZKFailoverController使用于自动失效备援failover。</description>
</property>
<property>
<name>dfs.ha.namenodes.ns-ods</name>
<value>namenode1</value>
<description>包含一个NN列表。EXAMPLENAMESERVICE是指具体的nameservice名称,通常就是dfs.nameservices中配置的。值是预备配置的NN的ID。ID是自己取的,不重复就可以,例如nn1,nn2</description>
</property>
<property>
<name>dfs.namenode.rpc-address.ns-ods.namenode1</name>
<value>m001:8020</value>
<description>NameNode-Client之间的RPC</description>
</property>
<property>
<name>dfs.namenode.servicerpc-address.ns-ods.namenode1</name>
<value>m001:8022</value>
<description>NameNode-DataNode之间的RPC</description>
</property>
<property>
<name>dfs.namenode.http-address.ns-ods.namenode1</name>
<value>m001:50070</value>
<description>NN的HTTP地址和端口。0表示任意空闲端口</description>
</property>
<property>
<name>dfs.namenode.https-address.ns-ods.namenode1</name>
<value>m001:50470</value>
<description>https服务的端口</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>副本数</description>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
<description>块大小,字节。可以使用后缀: k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)指定大小 (就像128k, 512m, 1g, 等待)。</description>
</property>
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>false</value>
<description>是否客户端应该使用DN的HostName,在连接DN时,默认是使用IP</description>
</property>
<property>
<name>fs.permissions.umask-mode</name>
<value>022</value>
<description>在创建文件和目录时使用此umask值(用户掩码)。类linux上的文件权限掩码。可以使用8进制数字也可以使用符号,例如:"022" (8进制,等同于以符号表示的u=rwx,g=r-x,o=r-x),或者"u=rwx,g=rwx,o="(符号法,等同于8进制的007)。注意,8进制的掩码,和实际权限设置值正好相反,建议使用符号表示>法,描述更清晰</description>
</property>
<property>
<name>dfs.client.read.shortcircuit</name>
<value>false</value>
<description>Java不能直接操作Unix Domain Socket,所以需要安装Hadoop的native包libhadoop.so,这个选项是开关</description>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>ns-ods</value>
<description>Datanode和DFSClient之间沟通的Socket的本地路径</description>
</property>
<property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
<description></description>
</property>
<property>
<name>dfs.client.domain.socket.data.traffic</name>
<value>false</value>
<description></description>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
<description>布尔值,设定后台DN端是否支持DistributedFileSystem#getFileVBlockStorageLocations API</description>
</property>
</configuration>