sq331335144 发表于 2013-10-25 10:44:34

大家讨论一下HDFS的海量存储

images/smilies/grapeman/19.gif
大家都知道hadoop的海量存储优势，但是我想问问。海量存储不是只要硬盘够大就OK了吗吗？
乍一想，我只知道HDFS的容错备份存储和分布式存储，至于海量，是怎么样的一个概念呢吗？他的优势在哪里呢吗？请大家进来拍拍砖。

cryst2l 发表于 2013-10-25 10:44:34

有以下几点：
1.远超单台机器的存储容量
2.容灾，不会因一台机器故障导致数据丢失或不可用
3.性能，多台机器并行
4.其它还有如线性扩展能力等。

llike90 发表于 2013-10-25 10:44:34

回复 2# eyjian
   版主我想请问一下，我创建的DFS究竟是在什么地方的吗？用hadoop fs -put 将文件拷贝到dfs里面去了，但是不知道这个文件系统究竟在哪里吗？为什么只有在localhost:9000里面才能看到呢吗？不能在本地查看里面的文件吗吗？另外还有一个，就是我将文件拷到dfs里面的时候，是不是就自动的在我的datanode里面已经创建了副本了?怎么查看呢吗？
谢谢～

skaterxu 发表于 2013-10-25 10:44:34

回复eyjian
   版主我想请问一下，我创建的DFS究竟是在什么地方的吗？用hadoop fs -put 将文件拷贝到 ...
wiwengweng 发表于 2011-2-18 12:42

http://bbs.hadoopor.com/images/common/back.gif

对于HDFS，上传的文件分块存储在配置的datadir目录下，可以进入这个目录查看，而且文件未进行处理。

langke93 发表于 2013-10-25 10:44:34

回复 4# eyjian
哦，明白了，    感谢版主～！
我还继续看看DFS的帮助文档才行。看看默认的datadir在哪里，然后自己配置一个路径。而且应该还看看是不是可以不放在HDFS里面的，呵呵～！！！
处理过的数据，我在data/current里面发现好多blk_***.meta的文件，不知道这些是不是传说中的中间文件吗？经过一次简单MR计算的中间文件吗？

oChengZi1234 发表于 2013-10-25 10:44:34

回复 5# wiwengweng
这个是对应的数据块的元数据信息，并非map之后的中间文件。
页: [1]
查看完整版本: 大家讨论一下HDFS的海量存储