立即注册 登录
About云-梭伦科技 返回首页

496252649的个人空间 https://aboutyun.com/?10256 [收藏] [复制] [分享] [RSS]

日志

cdh5 hadoop 配置/etc/hadoop/conf/hdfs-sit.xml

已有 1489 次阅读2014-12-31 14:53 |个人分类:hadoop之路

<configuration>
  <!--
  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///var/lib/hadoop-hdfs/cache/hdfs/dfs/name</value>
    <description>本地磁盘目录,NN存储fsimage文件的地方。可以是按逗号分隔的目录列表,fsimage文件会存储在全部目录,冗余安全。这里多个目录设定,最>好在多个磁盘,另外,如果其中一个磁盘故障,不会导致系统故障,会跳过坏磁盘。由于使用了HA,建议仅设置一个。如果特别在意安全,可以设置2个</description>
  </property>
  -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns-ods</value>
    <description>注意:ns-ods为集群的逻辑名</description>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns-ods</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <description>这个参数指定具体的failover proxy provider类,也就是在client端发现原来Active的NameNode变成了Standby模式时(在client发送RPC请求时返回了StandbyException时),该如何去连接当前Active的NameNode。目前的Hadoop里只有一个具体实现策略ConfiguredFailoverProxyProvider,实现方法就是如>果client failover时,下次把RPC发送给另外一个NameNode的proxy。</description>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled.ns-ods</name>
    <value>false</value>
    <description>是否开启自动故障转移!这里只有一台所以设为关闭</description>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>m001:2181,s001:2181,s002:2181</value>
    <description>Ha功能,需要一组zk地址,用逗号分隔。被ZKFailoverController使用于自动失效备援failover。</description>
  </property>
  <property>
    <name>dfs.ha.namenodes.ns-ods</name>
    <value>namenode1</value>
    <description>包含一个NN列表。EXAMPLENAMESERVICE是指具体的nameservice名称,通常就是dfs.nameservices中配置的。值是预备配置的NN的ID。ID是自己取的,不重复就可以,例如nn1,nn2</description>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns-ods.namenode1</name>
    <value>m001:8020</value>
    <description>NameNode-Client之间的RPC</description>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ns-ods.namenode1</name>
    <value>m001:8022</value>
    <description>NameNode-DataNode之间的RPC</description>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns-ods.namenode1</name>
    <value>m001:50070</value>
    <description>NN的HTTP地址和端口。0表示任意空闲端口</description>
  </property>
  <property>
    <name>dfs.namenode.https-address.ns-ods.namenode1</name>
    <value>m001:50470</value>
    <description>https服务的端口</description>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <description>副本数</description>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
    <description>块大小,字节。可以使用后缀: k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa)指定大小 (就像128k, 512m, 1g, 等待)。</description>
  </property>
  <property>
    <name>dfs.client.use.datanode.hostname</name>
    <value>false</value>
    <description>是否客户端应该使用DN的HostName,在连接DN时,默认是使用IP</description>
  </property>
<property>
    <name>fs.permissions.umask-mode</name>
    <value>022</value>
    <description>在创建文件和目录时使用此umask值(用户掩码)。类linux上的文件权限掩码。可以使用8进制数字也可以使用符号,例如:"022" (8进制,等同于以符号表示的u=rwx,g=r-x,o=r-x),或者"u=rwx,g=rwx,o="(符号法,等同于8进制的007)。注意,8进制的掩码,和实际权限设置值正好相反,建议使用符号表示>法,描述更清晰</description>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>false</value>
    <description>Java不能直接操作Unix Domain Socket,所以需要安装Hadoop的native包libhadoop.so,这个选项是开关</description>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>ns-ods</value>
    <description>Datanode和DFSClient之间沟通的Socket的本地路径</description>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit.skip.checksum</name>
    <value>false</value>
    <description></description>
  </property>
  <property>
    <name>dfs.client.domain.socket.data.traffic</name>
    <value>false</value>
    <description></description>
  </property>
  <property>
    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    <value>true</value>
    <description>布尔值,设定后台DN端是否支持DistributedFileSystem#getFileVBlockStorageLocations API</description>
  </property>
</configuration>

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条