关于YARN日志的一些问题

查看数: 18325 | 评论数: 7 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-3-31 18:37

正文摘要:

最近看了一些关于YARN日志的知识,有一些抑或,YARN中应用程序的日志分为jobhistory和Container日志,Container日志又分为Application日志和基本 Task日志,Container日志默认在logs目录下的userlogs下,分为stdout, ...

回复

sinv2015 发表于 2017-4-1 15:41:04
nextuser 发表于 2017-4-1 15:38
也不见得。可以做如下测试,先配置成下面

    mapreduce.jobhistory.done-dir

在很多书上写的这个配置的路径都是要求在HDFS上
nextuser 发表于 2017-4-1 15:38:53
sinv2015 发表于 2017-4-1 15:17
jobhistory 是将运行完毕的本地Container上的日志聚合然后上传到HDFS上,对吧?

也不见得。可以做如下测试,先配置成下面
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>file:///usr/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>file:///history/done_intermediate</value>
</property>


然后在都修改为hdfs。
然后在一个hdfs,一个本地。
sinv2015 发表于 2017-4-1 15:17:37
nextuser 发表于 2017-4-1 15:14
楼主说的有点模糊,猜测是想说url是本地的。无论是那个,个人认为都是不妥的。url可以是本地调用或则hado ...

jobhistory 是将运行完毕的本地Container上的日志聚合然后上传到HDFS上,对吧?
nextuser 发表于 2017-4-1 15:14:49

楼主说的有点模糊,猜测是想说url是本地的。无论是那个,个人认为都是不妥的。url可以是本地调用或则hadoop上调用。具体还需要在对应的目录中查找
einhep 发表于 2017-3-31 21:53:28
mapreduce.jobhistory.done-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录;mapreduce.jobhistory.intermediate-done-dir的意思是正在运行的Hadoop作业记录。

到底是什么意思,是在Container运行时也会讲日志上传到HDFS么?但是使用web端的时候正在运行状态的application调用的日志是本地日志而不是HDFS上的。

Container与history是两码事的。调用的是本地日志是什么意思??楼主把配置贴出来看下。是否配置的就是本地
关闭

推荐上一条 /2 下一条