请问怎么测出namenode元数据占用的内存

各位好，开始没有往HDFS上传文件，上传40000个小文件后，那么这些小文件占用的内存是怎么测出来呢？

这比较难计算，先增加2000个测试下，看内存增加多少，依次类推。
为何想计算这个那？减少小文件就好了。

yuwenge 发表于 2018-6-25 15:56
这比较难计算，先增加2000个测试下，看内存增加多少，依次类推。
为何想计算这个那？减少小文件就好了。

做了个小文件存储优化，需要测出占用内存。看了很多论文，都没有给出具体的方法。

halloki_pinjN 发表于 2018-6-25 19:44
做了个小文件存储优化，需要测出占用内存。看了很多论文，都没有给出具体的方法。

这个不好研究，小文件也没有明确的定义是多少。
只能具体情况具体分析。有测试案例。通用的这个估计没法计算。

sstutu 发表于 2018-6-25 20:37
这个不好研究，小文件也没有明确的定义是多少。
只能具体情况具体分析。有测试案例。通用的这个估计没法 ...

假如HDFS中没有任何文件，现上传1000个文件（不分大/小文件），能测出内存增加多少吗？