用flume收集mapreduce的日志到hdfs，怎么一个hadoop jar产生一个日志文件

lmlm1234 发表于 2015-11-26 13:48
用flume收集mapreduce的日志到hdfs

是啊，但我想要一个“hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output”比方这样一条命令在hdfs上产生一个日志文件怎么实现啊？

shlp 发表于 2015-11-26 14:28
是啊，但我想要一个“hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output”比方 ...

我们hadoop 是Java程序，而hadoop jar只不过是运行Java的命令。假如我们hadoop jar运行一个helloWorld程序。
首先我们写出下面程序。当然如果你也可以直接套到mapreduce。这只是举例：

第一步 引入jar包：

第二步：
编写java代码：
import org.apache.log4j.Logger;

public class Hello {
    private static Logger logger = Logger.getLogger(Hello.class);
    public static void main(String args[]){
        System.out.println("hello word!");
        logger.debug("hello word!");
    }
}

第三步：

编写
log4j.properties文件：
内容如下：
log4j.rootLogger=debug,R
log4j.appender.R=org.apache.log4j.ConsoleAppender
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss} %4r %5p %c{2}:%L - %m%n
这个文件需要放在src目录下

最后运行程序：会在控制台打出日志信息


这样在hadoop jar的时候，就产生了日志