我看了很多帖子，大多数都是如下吗的这段描述，感觉都是互相复制的。我阅读完后，有以下几点疑惑，希望大佬给指点解惑。多谢～ ...

javaanddonet 2018-4-26 5 9892

编译类的帖子都不通用，还是希望能给大家提供些帮助： MAC OS环境下编译，首先要看一手资料： 下载源码包，解压，进入目录，vi ...

zhuqitian 2020-8-25 0 5351

需求： 我想让8核心的集群节点在执行yarn分配的任务时，只使用其中的6个核心。 根据hadoop官方文档， 我目前把 yarn.nod ...

Tesla 2018-12-18 2 7318

namenode启动主要包含三部分： 创建NameNodeHttpServer、FSNameSystem、NameNodeRpcServer。 namenode初始化,直接create namen ...

孤独的战神 2019-11-30 0 2636

今天检查磁盘空间时，发现这个目录占的空间挺大的，想咨询一下，yarn.nodemanager.local-dirs 这个目录文件是否可以删除。删除 ...

xiaobaiyang 2019-8-26 0 5138

配置hdfs federation后执行 hdfs dfsadmin -safemode get获取安全模式状态，提示safemode: FileSystem viewfs://***/ is not an ...

幻灭若水 2015-3-16 13 35896

新手，用vm做4个虚拟机，加载centos7，加载hadoop3.0.3，4个节点为master、slave1、slave2、slave3，网络通常，可以互ping，虚拟 ...

cb31 2019-3-1 27 20791

我的core-site.xml中的hadoop.tmp.dir为file:/usr/hadoop/tmp，也格式化了namenode,为什么我的日志还保存在logs下，而且tmp ...

Gdcjudx 2019-2-25 1 3140

各位好： 我配置了HADOOP的网页验证，现在遇到一个问题， http://172.20.43.11:50070/打开这个网址后，需要输入用户名和 ...

jeo 2015-1-12 10 30577

hive on spark并以yarn-cluster方式部署，用beeline连接hive执行查询以及在HUE上执行hive查询，发现返回结果后yarn的任务状态仍 ...

Fortitude 2016-3-21 13 27180

跪求大佬解答！ 集群资源在利用了70%的情况下，在hive中执行操作一直等待，直到失败。 看了下yarn的日志，在container状态转 ...

zenppl 2018-11-22 4 9177

在 CDH 5.14.2 里，为HDFS 启用了 kerberos 之后，NameNode 和 SNN 都可以正常启动，但是secure DataNode 无法启动成功。日志里 ...

vevezula 2018-11-20 1 4660

我部署了cdh5的机器，当我点击http://example:8088的applicationMaster时，连接错误：提示如下 Problem accessing /proxy/app ...

jttsai 2015-4-25 7 29099

如题，在配置如上应用的时候，遇到一个问题“javax.servlet.ServletException: javax.security.auth.login.LoginException: No k ...

pengsuyun 2014-10-24 10 52668

hadoop 性能调优，减少map端的spill， 增大io.sort.mb，但是我怎么知道到底有没有减少spill的次数，在哪里查看呢？

fengshuangme 2018-8-31 2 5037

问题详情： 而且按常理，两个yarnweb端口，在一个未挂的情况下是不能访问另外一个页面的，而我却能访问全部（只配置了两个 ...

﹏染指ぃ年華 2018-8-2 4 16566

如题，只需要map过程，分片处理一下数据，数据无序，所以用不上sort与shuffle，就想着这么把这两个过程去掉，求前辈们帮忙啊

1234567_e8xaE 2018-7-24 2 6208

【情况描述】：Yran的ResourceManager异常退出，什么作业都没有进行，全部都停了，就算是重启完(无论是整个Hadoop还是单个Yran重 ...

wwwyibin518 2018-7-23 6 15625

YARN的调度器设置为capacity调度器，设置两个队列a和b，无嵌套的子队列，capacity分别配置为40%和60%，max capacity分别设置为40 ...

wx_BZ06L1bA 2018-6-6 4 14911

gzip 格式shi使用DEFLATE 算法来存储压缩后的数据，将数据存储在一系列连续的压缩块中，所以说如果是连续的压缩块中，那么就是存 ...

tanxl 2018-5-30 6 7257

大家好，我自己搭建的开源伪分布式hadoop集群目前在开启服务的时候，ResourceManager 服务开启总是失败，导致mr任务无法正常执行 ...

xiaobaiyang 2018-5-23 4 10939

各位老铁我启动Hadoop的时候怎么活节点都为0,这是什么情况 格式化了多次,知道的大佬跟我说一下谢谢,我只是启 ...

hadoop123456 2018-5-7 2 4672

连接hdfs成功，eclipse能在DFS Location 下对文件进行上传，删除， 但是在hadoop集群上创建的文件和运行后生成的文件，不能在 ...

wx_O6kBT052 2018-4-18 1 12630

34290157916,10.4.196.143,14825BA28D1F,4:02,0149,20160229T112740,0x01#高清影院-付费#149#0;02,0112,2016229T145738,0x02#湖 ...

liuzhixin137 2016-6-7 6 17605

来自 微信公众号 若泽大数据 qq交流群:707635769环境要求java、ssh [*]添加hadoop用户 [root@hadoop-01 ~]# useradd hadoo ...

ruozedashuju 2018-4-9 0 5117

hadoop3.0的二进制jar包下载地址：http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz

不可替代 2018-4-7 0 7494

当两个namenode都启动de时候，其中一个standby状态的NN会切换ACTIVE 如手动killl掉active的NN时候，standby的NN不能切换成ACTIVE ...

tustyao 2015-3-25 12 111325

请问在yarn的ha中，resourcemanager向zookeeper写入了什么数据，我的rm和zk报错，找不到原因，一些相关的日志如下： resourcema ...

CR_Y 2018-1-11 5 12312

请教个问题，谢谢知道的兄弟指点一下。 我知道了split的数量是如何计算的，也知道container的资源协商是如何进行的，在数据 ...

cowboy2014 2016-1-26 10 40109

可能会出一个小专题。欢迎大家评论拍砖。 链接会到本博客地址 Hadoop NameNode启动之FSDirectiry

Joker 2017-12-19 0 4932