spark bulkload hbase 代码已写完，字典排序遇到问题了。

hello2019 发表于 2018-3-7 07:40
val value = filterdDataset.rdd
      .flatMap(x => {
        val partition = StringUtils.leftPad ...

出现了这个警告：18/03/07 19:53:46 WARN Executor: Managed memory leak detected; size = 1416165654 bytes, TID = 20
这是内存泄漏吗？

remarkzhao 发表于 2018-3-8 08:57
出现了这个警告：18/03/07 19:53:46 WARN Executor: Managed memory leak detected; size = 1416165654 b ...

一个excutor是如何配置的，需要1.3G，这个内存比较多大。

desehawk 发表于 2018-3-8 09:47
一个excutor是如何配置的，需要1.3G，这个内存比较多大。

？？？这个内存比较多大？？？啥意思啊。。。我在代码上运行没有用spark-submit  

remarkzhao 发表于 2018-3-8 10:08
？？？这个内存比较多大？？？啥意思啊。。。我在代码上运行没有用spark-submit

WARN Executor: Managed memory leak detected; size = 1416165654 bytes
1416165654 bytes大概1.3G

desehawk 发表于 2018-3-8 11:23
WARN Executor: Managed memory leak detected; size = 1416165654 bytes
1416165654 bytes大概1.3G

哦， 我看看。

remarkzhao 发表于 2018-3-8 11:24
哦， 我看看。

排序看来是没有问题了。可能rowkey有重复数据。