【解决】dfs.datanode.max.locked.memory 这个参数的作用

本帖最后由 lixiaoliang7 于 2014-12-22 19:13 编辑

刚安装CDH5.2后，发现dfs.datanode.max.locked.memory这个参数竟然有了4G，但是我的机子本身最大物理内存是8G。
请问这个参数是什么作用？我是否可以调小了？

PS： Cloudera中报警，说我的DataNode节点“内存调拨过度验证阈值” 我才发现这个问题的
PS：因为这个小集群还会跑HIVE和SparkStreaming，所以我肯定NodeManager要给到4G左右，所以就像把HDFS的这个属性调小了，是否可行呢？

gefieder · 发表于 2014-12-22 18:06:52

dfs.datanode.max.locked.memory作用如下：

这决定了一个DataNode将要用来被做HDFS缓存的内存的最大值。用ulimit –l可以用来查看DataNode节点的程序锁定内存的限制，用户需要增加这个值以适应这个配置的参数。当设置了这个值之后，请记住，你将需要内存中的空间做其他事，像DataNode和应用的JVM的堆栈和操作系统的页面缓存。

gefieder · 发表于 2014-12-22 18:07:38

gefieder 发表于 2014-12-22 18:06
dfs.datanode.max.locked.memory作用如下：

这决定了一个DataNode将要用来被做HDFS缓存的内存的最大值 ...

dfs.datanode.max.locked.memory中设置的值，或者是字符串“ulimited”，代表没有限制。注意，ulimit-l的输出通常是KB，但是dfs.datanode.max.locked.memory必须以byte设置。

gefieder · 发表于 2014-12-22 18:12:17

没有绝对的行或则不行。每个人的环境不同，运行软件不同，只能自己根据自己的情况调试下。

lixiaoliang7 · 发表于 2014-12-22 18:29:31

gefieder 发表于 2014-12-22 18:12
没有绝对的行或则不行。每个人的环境不同，运行软件不同，只能自己根据自己的情况调试下。

只是我还是不太明白这个是干什么用的… 为什么默认占用这么多…………因为我整个机器的内存只有8G。它默认就占了4G

bioger_hit · 发表于 2014-12-22 19:03:27

CDH和hadoop他们的默认值都是有所不同的，如果楼主觉得不适应，或则感情上接受不了，也是没有办法的事情。如果内存是4G同学，他们更接受不了。可能跟cloudera的安装有关系，cloudera安装，官方要求至少10G，楼主8G，显然非常吃力。
对于 hadoop这个参数默认是禁止内存缓存的，所以cloudera太大的话，可以使用hadoop。

详细如下：