怎么修改HDFS大小
例如我使用hdfs dfs -df -h
然后输出的是
FileSystem Size Used Available Use%
hdfs://xxx:prot 3.2T 2.3T 688G 72%
HDFS系统使用了2.3T的内存了
但是我在查看hdfs-site.xml没看到自己为HDFS设置的大小
请问我是在哪里修改和调整?
hdfs的大小由datanode来决定，至于datanode也就是我们常说的slave节点，datanode增加，那么hdfs的空间自然就增加了，datanode节点减少，那么hdfs的空间就减少了。如果增加和减少空间，也就对应增加和删除节点，详细参考
运行Hadoop的集群如何动态增加与删除节点
desehawk 发表于 2014-11-10 17:41
hdfs的大小由datanode来决定，至于datanode也就是我们常说的slave节点，datanode增加，那么hdfs的空间自然 ...
就是说，我自己不用配置HDFS，Hadoop也会自己帮助我设置HDFS大小？
我之前设置过HDFS大小，但是我没找到参数，文章看了，不是很懂，望赐教
本帖最后由 desehawk 于 2014-11-10 18:24 编辑
Joker 发表于 2014-11-10 17:48
就是说，我自己不用配置HDFS，Hadoop也会自己帮助我设置HDFS大小？
我之前设置过HDFS大小，但是我没找 ...
你能说一下你这个命令的含义吗？没有见过这个命令。
先撇开上面的命令，单说空间
hadoop存储底层是基于Linux磁盘的，如同mysql存储数据是基于磁盘一样。mysql的存储数据的大小，受制于磁盘空间的大小。
也就是说hadoop的存储大小，受制于磁盘空间的大小。
所以对于你的哪个命令，很好奇，能否截个全图（这个命令的使用）及说明这个命令的作用
desehawk 发表于 2014-11-10 18:19
本帖最后由 desehawk 于 2014-11-10 18:24 编辑
你能说一下你这个命令的含义吗？没有见过这个命令。
这个命令是我在help看到的，和Linux的命令看磁盘空间大小一样
Joker 发表于 2014-11-10 18:25
这个命令是我在help看到的，和Linux的命令看磁盘空间大小一样
在 hdfs-site.xml 里配置如下参数，注意，那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小，单位是字节. (如果多块硬盘，则表示为每块硬盘保留这么多空间)
<property>
<name>dfs.datanode.du.reserved</name>
<!-- cluster variant -->
<value>236223201280</value>
<description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.
</description>
</property>
生效方法：
重启 datanode 使该参数生效，可逐台在线重启.
for i in `list `;do
ssh $i "hadoop/bin/hadoop-daemon.sh stop datanode && sleep 1 && hadoop/bin/hadoop-daemon.sh start datanode; sleep 30";
done
验证方式：
（1）hdfs web 中查看 Configured Capacity (GB) 大小是否已经限制为预留空间.
（2）可以尝试你的hdfs命令
我也是初学者，在搭建hadoop集群的时候，也是有将近1G大小的空间，这个也是有点不明白是从那里配置的？ 韩克拉玛寒 发表于 2014-11-11 09:19
我也是初学者，在搭建hadoop集群的时候，也是有将近1G大小的空间，这个也是有点不明白是从那里配置的？
我是之前是没配置HDFS大小的，是自动的产生了
我现在修改了配置，版主的那个，HDFS系统大小就降下来了些许
页:
[1]