分享

hadoop入门:第三章HDFS文档概述(二)

pig2 2016-2-14 17:39:27 发表于 连载型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 13995


上篇:
hadoop入门:第三章HDFS文档概述(一)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17301




21.HDFS扩展属性

文档简介:
扩展属性(abbreviated as xattrs)是文件系统功能,允许用户应用程序将附加元数据与文件或目录关联起来。不像系统级别inode元数据比如文件权限或则修改时间,扩展属性系统没有解释,取而代之的是应用程序用于存储索引节点的附加信息。例如,可以使用扩展属性来指定一个纯文本文档的字符编码。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html


22.HDFS透明加密

文档简介:

HDFS实现透明的、端到端的加密。一旦配置,数据读取和写入指定HDFS目录是透明加密,解密不需要改变用户应用程序代码。这个加密也是端到端,这意味着数据仅被客户端加密和解密。HDFS不会存储或则访问加密数据或则加密数据加密keys。这满足了2个典型的加密要求:在其它加密(关于持久media数据,比如磁盘)以及传输加密。(等等当数据在网络上传输)

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html

23.HDFS 支持 Multihomed 网络


文档简介:
这个文档是针对集群管理员部署HDFS在Multihomed网络。类似支持 YARN/MapReduce

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsMultihoming.html


24.档案存储、SSD和内存

档案存储是一种解决日益增长的存储容量.高密度节点和低的存储与低的计算能力成为可用,可以被用做冷存储在集群中。基于策略的数据可以从热存储移到冷存储。添加更多的节点冷存储增加存储,独立于集群的计算。
通过异构存储和归档存储提供的框架概括了HDFS的架构包括其他类型的存储介质包括SSD和内存。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html


25.Memory 存储支持 HDFS
HDFS支持写了堆内存的数据节点进行管理。 Data Nodes flush 内存数据到磁盘异构。因此移除昂贵的磁盘IO和checksum 计算从 performance-sensitive IO 路径,因此我们称之为懒惰持久写。HDFS提供最大努力的坚持保证懒持久写。在复制前的一个节点重新启动时,很少有数据丢失是可能的。数据丢失有可能的在节点重启时,副本持久化磁盘。应用可以选择使用懒惰持久写,交换一些耐久性保证,有利于减少延迟。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/MemoryStorage.html






相关文章

hadoop入门-第一章General:第一节单节点伪分布

hadoop入门-第一章General:第二节集群配置

hadoop入门-第一章General:第三节Hadoop初级入门之命令指南

hadoop入门-第一章General:第四节文件系统shell

hadoop入门-第一章General:第五节hadoop的兼容性说明

hadoop入门-第一章General:第六节开发人员和用户接口指南:hadoop接口分类

hadoop入门-第一章General:第七节Hadoop 文件系统 API :概述

hadoop入门-第二章common:第一节hadoop 本地库 指南

hadoop入门-第二章common:第二节hadoop代理用户 -超级用户代理其它用户

hadoop入门-第二章common:第三节机架智能感知

hadoop入门-第二章common:第四节安全模式说明

hadoop入门-第二章common:第五节服务级别授权指南

hadoop入门-第二章common:第六节Hadoop HTTP web-consoles认证机制

hadoop入门-第二章common:第七节Hadoop Key管理服务器(KMS) - 文档集

hadoop入门:第三章HDFS文档概述(一)

hadoop入门:第三章HDFS文档概述(二)

hadoop入门:第四章mapreduce文档概述

hadoop入门:第五章MapReduce REST APIs文档概述

hadoop入门:第六章YARN文档概述

hadoop入门:第七章YARN REST APIs

hadoop入门:第八章hadoop兼容文件系统

hadoop入门:第九章hadoop认证

hadoop入门:第十章hadoop工具

hadoop入门:第十一章hadoop配置





已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条