什么是HDFS及HDFS架构设计

本帖最后由 pig2 于 2014-2-3 22:37 编辑

第一部分：什么是HDFS
Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。

第二部分：HDFS架构设计

HDFS 设计目标

HDFS不适合做什么
存储小文件
大量随机读
需要对文件修改
第三部分：HDFS概念

Block块
数据块 (block ) HDFS(Hadoop Distributed File System) 默认的最基本存储单位默认大小是 64M 。
第四部分：HDFS命令行接口
   hadoop fs :
      [-ls <path>]
      [-lsr <path>]
         [-du <path>]
         [-dus <path>]
         [-count[-q] <path>]
         [-mv <src> <dst>]
         [-cp <src> <dst>]
         [-rm [-skipTrash] <path>]
         [-rmr [-skipTrash] <path>]
         [-put <localsrc> ... <dst>]
         [-copyFromLocal <localsrc> ... <dst>]
         [-moveFromLocal <localsrc> ... <dst>]

         [-getmerge <src> <localdst> [addnl]]
         [-cat <src>]
         [-text <src>]
         [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
         [-moveToLocal [-crc] <src> <localdst>]
         [-mkdir <path>]
         [-tail [-f] <file>]
         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
         [-chown [-R] [OWNER][:[GROUP]] PATH...]
         [-chgrp [-R] GROUP PATH...]
         [-help [cmd]]

hadoop dfsadmin :
         [-report]
         报告文件系统的基本信息
         [-safemode enter | leave | get | wait]
         安全模式维护命令
         [-saveNamespace]
         保存当前的命名空间
         [-refreshNodes]
            重新读取 Hosts 和 eclude 文件，使新的节点或需要退出集群的节点能够重新被 NameNode 识别。
         [-finalizeUpgrade]
        终结 HDFS 的升级操作
         [-upgradeProgress status | details | force]
      [-metasave filename]
         保存 Namenode 的主要数据结构到 Hadoop.log.dir 属性指定目录下的 filename 上
         [-setQuota <quota> <dirname>...<dirname>]
         为每个目录设定配额，强制限定目录树下的名字个数。
         [-clrQuota <dirname>...<dirname>]
      为每个目录清除配额设定。
         [-setBalancerBandwidth <bandwidth in bytes per second>]
         设定负载均衡时使用的带宽

第五部分：Hadoop文件系统
目前 Hadoop 支持的文件系统：