HDFS读文件解析
本帖最后由 fiberlijun 于 2009-11-19 17:10 编辑下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。
1.client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。
2.DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck，NameNode返回block所在的DataNode（包括副本）的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。
3.client调用FSDataInputStream的read方法。
4.DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode，read block数据，传回给client。
5.当第一个block读完，DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。
6.当client读结束，调用FSDataInputStream的close方法。
在读的过程中，如果client和一个datanode通讯时出错，他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上，NameNode只负责block的位置信息请求。
本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/fiberlijun/archive/2009/11/16/4814863.aspx 一个，按照上面描述，是否可以判断：读大文件（超过dfs.block.size 设置，存储在多个节点上）时，实际为顺序读每个节点上的block，而不会并行同时读取所有节点上的block；即读取性能不会因为分布的节点多而得到变化（提升）吗？ 正确吗？ 回复 2# feelflying
我也问过这个，spork告诉我：
单client时跟你读普通文件系统差不多的了，但是多client时，就不一样了，hdfs支持并发读取，而且副本有均匀分布在集群内，可加速读取。
页:
[1]