编译类的帖子都不通用，还是希望能给大家提供些帮助： MAC OS环境下编译，首先要看一手资料： 下载源码包，解压，进入目录，vi ...

zhuqitian 2020-8-25 0 5351

namenode启动主要包含三部分： 创建NameNodeHttpServer、FSNameSystem、NameNodeRpcServer。 namenode初始化,直接create namen ...

孤独的战神 2019-11-30 0 2636

今天检查磁盘空间时，发现这个目录占的空间挺大的，想咨询一下，yarn.nodemanager.local-dirs 这个目录文件是否可以删除。删除 ...

xiaobaiyang 2019-8-26 0 5138

新手，用vm做4个虚拟机，加载centos7，加载hadoop3.0.3，4个节点为master、slave1、slave2、slave3，网络通常，可以互ping，虚拟 ...

cb31 2019-3-1 27 20791

我的core-site.xml中的hadoop.tmp.dir为file:/usr/hadoop/tmp，也格式化了namenode,为什么我的日志还保存在logs下，而且tmp ...

Gdcjudx 2019-2-25 1 3140

需求： 我想让8核心的集群节点在执行yarn分配的任务时，只使用其中的6个核心。 根据hadoop官方文档， 我目前把 yarn.nod ...

Tesla 2018-12-18 2 7318

跪求大佬解答！ 集群资源在利用了70%的情况下，在hive中执行操作一直等待，直到失败。 看了下yarn的日志，在container状态转 ...

zenppl 2018-11-22 4 9177

在 CDH 5.14.2 里，为HDFS 启用了 kerberos 之后，NameNode 和 SNN 都可以正常启动，但是secure DataNode 无法启动成功。日志里 ...

vevezula 2018-11-20 1 4660

hadoop 性能调优，减少map端的spill， 增大io.sort.mb，但是我怎么知道到底有没有减少spill的次数，在哪里查看呢？

fengshuangme 2018-8-31 2 5037

问题详情： 而且按常理，两个yarnweb端口，在一个未挂的情况下是不能访问另外一个页面的，而我却能访问全部（只配置了两个 ...

﹏染指ぃ年華 2018-8-2 4 16566

如题，只需要map过程，分片处理一下数据，数据无序，所以用不上sort与shuffle，就想着这么把这两个过程去掉，求前辈们帮忙啊

1234567_e8xaE 2018-7-24 2 6208

【情况描述】：Yran的ResourceManager异常退出，什么作业都没有进行，全部都停了，就算是重启完(无论是整个Hadoop还是单个Yran重 ...

wwwyibin518 2018-7-23 6 15625

YARN的调度器设置为capacity调度器，设置两个队列a和b，无嵌套的子队列，capacity分别配置为40%和60%，max capacity分别设置为40 ...

wx_BZ06L1bA 2018-6-6 4 14911

gzip 格式shi使用DEFLATE 算法来存储压缩后的数据，将数据存储在一系列连续的压缩块中，所以说如果是连续的压缩块中，那么就是存 ...

tanxl 2018-5-30 6 7257

大家好，我自己搭建的开源伪分布式hadoop集群目前在开启服务的时候，ResourceManager 服务开启总是失败，导致mr任务无法正常执行 ...

xiaobaiyang 2018-5-23 4 10939

各位老铁我启动Hadoop的时候怎么活节点都为0,这是什么情况 格式化了多次,知道的大佬跟我说一下谢谢,我只是启 ...

hadoop123456 2018-5-7 2 4672

我看了很多帖子，大多数都是如下吗的这段描述，感觉都是互相复制的。我阅读完后，有以下几点疑惑，希望大佬给指点解惑。多谢～ ...

javaanddonet 2018-4-26 5 9892

连接hdfs成功，eclipse能在DFS Location 下对文件进行上传，删除， 但是在hadoop集群上创建的文件和运行后生成的文件，不能在 ...

wx_O6kBT052 2018-4-18 1 12630

来自 微信公众号 若泽大数据 qq交流群:707635769环境要求java、ssh [*]添加hadoop用户 [root@hadoop-01 ~]# useradd hadoo ...

ruozedashuju 2018-4-9 0 5117

hadoop3.0的二进制jar包下载地址：http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz

不可替代 2018-4-7 0 7494

请问在yarn的ha中，resourcemanager向zookeeper写入了什么数据，我的rm和zk报错，找不到原因，一些相关的日志如下： resourcema ...

CR_Y 2018-1-11 5 12312

可能会出一个小专题。欢迎大家评论拍砖。 链接会到本博客地址 Hadoop NameNode启动之FSDirectiry

Joker 2017-12-19 0 4932

2017-12-01 09:33:17,352 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 2017-12-01 09:33:17,350 IN ...

aLivable 2017-12-1 6 8568

安装jdk 和 ssh 查看SSH是否安装（检查是否装了SSH包）。 输入命令：rpm -qa | grep ssh 若没安装SSH则可输入：yum instal ...

图样图森破 2017-11-17 0 5021

物理机win7系统，今天不知为何总是不断出现C++ Runtime error R6016 错误， R6016 no enough space for thread data 一个路径， ...

yunge2016 2017-11-11 5 6062

咨询大家一个很奇怪的问题i，我现在正在安装一套hadoop平台，在安装完Yarn HA环境之后，启动yarn resourcemanager 服务没有问题 ...

samfisher 2017-11-5 8 11180

我在阿里云服务器上运行的作业，然后Hadoop的网站上并没有显示，求大神问一下这是什么原因，我的阿里云安全组的8088端口出和入 ...

小白共勉# 2017-11-5 5 6444

我目前在读研，老师让我自己选了个方向，我就选择了hadoop的作业调度，但是学习了一阵过后发现，虽然有很多介绍方法的论文，但是 ...

jh97321 2017-10-13 2 4644

用CM安装了CDH5.5.4，之前用的scheduler是 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler 想 ...

ltl_hit 2017-10-10 1 7684

各位好： 集群中960台机器，现在下线43台，正在下线中有2台，我的步骤如下： 1、到hdfs-site.xml和mapred-site.xml更改 ...

ltl_hit 2017-10-4 2 9349