怎么修改HDFS大小

例如我使用

hdfs dfs -df -h
复制代码

然后输出的是

FileSystem Size Used Available Use%
hdfs://xxx:prot 3.2T 2.3T 688G 72%

HDFS系统使用了2.3T的内存了
但是我在查看hdfs-site.xml没看到自己为HDFS设置的大小
请问我是在哪里修改和调整?

desehawk · 发表于 2014-11-10 17:41:38

hdfs的大小由datanode来决定，至于datanode也就是我们常说的slave节点，datanode增加，那么hdfs的空间自然就增加了，datanode节点减少，那么hdfs的空间就减少了。如果增加和减少空间，也就对应增加和删除节点，详细参考
运行Hadoop的集群如何动态增加与删除节点

Joker · 发表于 2014-11-10 17:48:54

desehawk 发表于 2014-11-10 17:41
hdfs的大小由datanode来决定，至于datanode也就是我们常说的slave节点，datanode增加，那么hdfs的空间自然 ...

就是说，我自己不用配置HDFS，Hadoop也会自己帮助我设置HDFS大小？

我之前设置过HDFS大小，但是我没找到参数，文章看了，不是很懂，望赐教

desehawk · 发表于 2014-11-10 18:19:24

本帖最后由 desehawk 于 2014-11-10 18:24 编辑

Joker 发表于 2014-11-10 17:48
就是说，我自己不用配置HDFS，Hadoop也会自己帮助我设置HDFS大小？

我之前设置过HDFS大小，但是我没找 ...

你能说一下你这个命令的含义吗？没有见过这个命令。
先撇开上面的命令，单说空间
hadoop存储底层是基于Linux磁盘的，如同mysql存储数据是基于磁盘一样。mysql的存储数据的大小，受制于磁盘空间的大小。
也就是说hadoop的存储大小，受制于磁盘空间的大小。

所以对于你的哪个命令，很好奇，能否截个全图（这个命令的使用）及说明这个命令的作用

Joker · 发表于 2014-11-10 18:25:37

desehawk 发表于 2014-11-10 18:19
本帖最后由 desehawk 于 2014-11-10 18:24 编辑

你能说一下你这个命令的含义吗？没有见过这个命令。

这个命令是我在help看到的，和Linux的命令看磁盘空间大小一样

howtodown · 发表于 2014-11-10 18:32:43

Joker 发表于 2014-11-10 18:25
这个命令是我在help看到的，和Linux的命令看磁盘空间大小一样

在 hdfs-site.xml 里配置如下参数，注意，那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小，单位是字节. (如果多块硬盘，则表示为每块硬盘保留这么多空间)

<property>
<name>dfs.datanode.du.reserved</name>
<!-- cluster variant -->
<value>236223201280</value>
<description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.
</description>
</property>
复制代码

howtodown · 发表于 2014-11-10 18:35:09

生效方法：

重启 datanode 使该参数生效，可逐台在线重启.

for i in `list `;do
ssh $i "hadoop/bin/hadoop-daemon.sh stop datanode && sleep 1 && hadoop/bin/hadoop-daemon.sh start datanode; sleep 30";
done

验证方式：

（1）hdfs web 中查看 Configured Capacity (GB) 大小是否已经限制为预留空间.
（2）可以尝试你的hdfs命令