HDFS参数设置问题

DATANODE的堆大小为1G,DATANODE的数据缓存为4G,难道数据缓存不是从堆中分配的?

NAMENODE应该分配多大的空间,总感觉4G不够用,NAMENODE的元数据是从堆空间分配的吧? 8@CNI9V2W`)JJBJ)Y4IUZKB.png

巨波小学生 · 发表于 2017-2-23 14:55:28

不要沉不要沉,大神来帮忙呀~

easthome001 · 发表于 2017-2-23 15:29:58

巨波小学生发表于 2017-2-23 14:55
不要沉不要沉,大神来帮忙呀~

这个问题说起来有点多了。
堆和栈是相对于Java来说的。楼主详细可以看看他们的区别。
对于内存，cloudera应该会根据集群的情况来判断。
至于多少1G，还是4G，这些都不是固定的。
只要集群能正常运行，楼主尽量不要修改默认内容。
我以前，有些修改了，反而导致集群出现问题。

巨波小学生 · 发表于 2017-2-23 16:40:05

本帖最后由巨波小学生于 2017-2-23 16:55 编辑

easthome001 发表于 2017-2-23 15:29
这个问题说起来有点多了。
堆和栈是相对于Java来说的。楼主详细可以看看他们的区别。
对于内存，cloude ...

椎和栈大致上来说分别存储对象和指针,您的意思datanode的数据缓存不需要从JVM中申请?还是说用于缓存的内存和DATANODE的HEAP位于不同的内存区域?

巨波小学生 · 发表于 2017-2-23 17:17:39

刚查了资料,DATANODE锁定内存是使用mlock进行系统调用的来锁定内存的,这个应该不属于JVM的范围,因此DATANODE HEAPSIZE不影响DATANODE 的锁定内存

图文精华