nextuser 发表于 2017-4-1 15:38 在很多书上写的这个配置的路径都是要求在HDFS上 |
sinv2015 发表于 2017-4-1 15:17 也不见得。可以做如下测试,先配置成下面 <property> <name>mapreduce.jobhistory.done-dir</name> <value>file:///usr/history/done</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>file:///history/done_intermediate</value> </property> 然后在都修改为hdfs。 然后在一个hdfs,一个本地。 |
nextuser 发表于 2017-4-1 15:14 jobhistory 是将运行完毕的本地Container上的日志聚合然后上传到HDFS上,对吧? |
楼主说的有点模糊,猜测是想说url是本地的。无论是那个,个人认为都是不妥的。url可以是本地调用或则hadoop上调用。具体还需要在对应的目录中查找 |
mapreduce.jobhistory.done-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录;mapreduce.jobhistory.intermediate-done-dir的意思是正在运行的Hadoop作业记录。到底是什么意思,是在Container运行时也会讲日志上传到HDFS么?但是使用web端的时候正在运行状态的application调用的日志是本地日志而不是HDFS上的。 Container与history是两码事的。调用的是本地日志是什么意思??楼主把配置贴出来看下。是否配置的就是本地 |