立即注册 登录
About云-梭伦科技 返回首页

496252649的个人空间 https://aboutyun.com/?10256 [收藏] [复制] [分享] [RSS]

日志

cdh5 hadoop 配置/etc/hadoop/conf/core-site.xml

已有 1689 次阅读2014-12-31 12:30 |个人分类:hadoop之路| hadoop

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns-ods</value>
    <description> 注意:myhadoop为集群的逻辑名,需与hdfs-site.xml中的dfs.nameservices一致 </description>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
    <description>这里为1天,删除数据rm后,会将数据move到当前文件夹下的.Trash目录</description>
  </property>
  <property>
    <name>net.topology.script.file.name</name>
    <value>/etc/hadoop/conf.cloudera.yarn/topology.py</value>
    <description>用来指定“解析DNS Name”的脚本名称,一般为.sh文件,通常放置在etc/hadoop目录下,这个脚本的作用,就是接收一个序列的DNS参数列表,并>按照顺序返回对应的Rack ID名称。"net.topology.node.switch.mapping.impl"默认值为"org.apache.hadoop.net.ScriptBasedMapping",将使用上述指定的脚本来解析Rack,如果没有配置脚本文件,那么所有的节点的rack Id为“/default-rack”。</description>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
    <description>文件采用的压缩算法</description>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
    <description>hdfs文件读写缓冲区大小</description>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
    <description>simple 表示沒有 authentication,Hadoop 會用 system account 及 group 來控管q权限。另外可以指定為  kerberos,这部分相对比較复杂,要有一個 kerberos server 并产生 account keytab,在执行任何操作前 client 要先用 kinit 指令對 kerberos server 認證,之後的任何操作都是以 kerberos account 來執行。</description>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
    <description>rpc连接保护。可取的值有authentication(认证), integrity(完整) and privacy(隐私)。不建议使用</description>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
    <description>映射kerberos principals(代理人)到本地用户名</description>
  </property>
  <property>
    <name>lzo.text.input.format.ignore.nonlzo</name>
    <value>false</value>
    <description>处理的混合lzo和non-lzo文件,必须设置为false</description>
  </property>
</configuration>

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条