专题 › HDFS › NameNode 和 DataNode

shihailong123 发表于 2013-10-25 10:44:54

NameNode 和 DataNode

本帖最后由 fiberlijun 于 2009-11-19 17:12 编辑
主从结构
HDFS是一个 master/slave的架构。HDFS只有一个NameNode，即master。master负责管理文件系统命名空间和client对文件的访问。此外，HDFS有很多DataNode，通常一个机器节点一个DataNode，管理这个节点上的存储。HDFS对外提供一个文件系统名字空间允许用户把数据存为文件的格式
文件按block划分
文件拆分成若干个block，这些block存放在DataNode节点上。NameNode操作名字空间比如：打开，关闭，重命名文件目录。DataNode负责为文件系统的客户提供读/写操作服务。DataNode同时还为NameNode提供block创建，删除，备份机制
NameNode只负责元数据信息，没有数据流
NameNode维护名字空间,任何对文件系统名字空间的改动都记录在NameNode。系统的文件组织结构和linux非常类似。你可以创建，删除，移动，重命名文件或者目录
本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/fiberlijun/archive/2009/11/11/4797489.aspx

goldtimes 发表于 2013-10-25 10:44:54

Hadoop整个体系的单点故障主要存在于NameNode，现在有很多人研究如何弥补这一不足，ZooKeeper作为hadoop成员之一，很复杂，但应当是可以用来解决这个的。

poptang4 发表于 2013-10-25 10:44:54

另外，请问是否可以将NameNode和DataNode的线程视图画出来吗？DataNode中有创建子进程吗吗？

leo_1989 发表于 2013-10-25 10:44:54

请问一个：对于整个框架运行bin/hadoop fs -ls命令，为什么 会出现如下结果：# bin/hadoop fs -ls
10/04/03 09:28:59 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 0 time(s).
10/04/03 09:29:00 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 1 time(s).
10/04/03 09:29:01 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 2 time(s).
10/04/03 09:29:02 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 3 time(s).
10/04/03 09:29:03 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 4 time(s).
10/04/03 09:29:04 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 5 time(s).
10/04/03 09:29:06 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 6 time(s).
10/04/03 09:29:07 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 7 time(s).
10/04/03 09:29:11 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 8 time(s).
10/04/03 09:29:12 INFO ipc.Client: Retrying connect to server: /192.168.1.108:9000. Already tried 9 time(s).
Bad connection to FS. command aborted.

llike90 发表于 2013-10-25 10:44:54

其中各个节点之间通信良好，框架可以运行起来，但是为什么列文件的时候，出现bad connection to fs 呢吗？是不是dfs 文件没有配置好，导致无法调用任何东西吗？还是因为dfs 内部本身就没有可以执行的文件吗？

when30 发表于 2013-10-25 10:44:54

回复 3# eyjian
    这个看起来不错。。。我想想，看看代码后，过段时间我来试着画下。

ruanhero 发表于 2013-10-25 10:44:54

回复 4# 千古一雄
   1:SSH可以连接吗吗？      2：slaves的firewall关闭了吗吗？
   3：磁盘剩余空间是不是太少吗？

mituan2008 发表于 2013-10-25 10:44:54

回复 4# 千古一雄
你用jps命令看看，可能是namenode没有启动。如果是的话，解决方法是运行start－all前，现格式化namenode，命令：bin/hadoop namenode -format

langke93 发表于 2013-10-25 10:44:54

回复 4# 千古一雄
    尝试输入bin/hadoopdfs-ls   / 想解决此可以使用命令bin/hadoopdfs-mkdir/user/hadoop，因为/user/是操作的默认文件夹。

llike90 发表于 2013-10-25 10:44:54

回复eyjian
    这个看起来不错。。。我想想，看看代码后，过段时间我来试着画下。
zengzhongyi 发表于 2010-4-2 14:59

http://www.hadoopor.com/images/common/back.gif

想画啥吗？

查看完整版本: NameNode 和 DataNode