关于在HDFS下加载硬盘的问题。感谢各位!
1. 如果我在一个datanode节点的服务器下再挂载一个1T的硬盘,需要怎么配置才能让它与原来的硬盘的容量整合在一起吗?2. 我现在通过hadoop fs -mkdir
文件夹名
在HDFS建立的目录都是在HDFS的/user/root/目录下,通过hadoop fs -put
文件夹名上传数据到HDFS,数据全部存储在
/user/root/目录的文件夹下。请问这个目录是唯一的么吗?是否我所有dananode节点的磁盘容量全部归在/user/root/目录下吗?
劳烦各位帮小弟看看!感激不尽!
将新的硬盘加入hdfs-site.xml配置中吧:
dfs.data.dir
${hadoop.tmp.dir}/dfs/data
Determines where on the local filesystem an DFS data node
should store its blocks.If this is a
comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
谢谢版主指点!希望论坛越来越红火! 回复 2# eyjian
谢谢版主指点!希望论坛越来越红火! 将新的硬盘加入hdfs-site.xml配置中吧:
dfs.data.dir
${hadoop.tmp.dir}/dfs/data
Determine ...
eyjian 发表于 2010-9-20 12:49
http://www.hadoopor.com/images/common/back.gif
会优先存到哪个目录中呢吗? 会优先存到哪个目录中呢吗?
bigmike 发表于 2010-10-10 12:21
http://bbs.hadoopor.com/images/common/back.gif
这个没有优先,HDFS会以轮讯的方式(Round Robin)来写入本地硬盘
页:
[1]