分享

求教Inputformat类中的调试输出问题!!急~~

dsy198816 发表于 2016-12-5 13:29:12 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 13 10069
本人hadoop新手,想在mapreduce程序里的inputformat类中的几个函数打印出调试输出,以学习Inputformat类的编写, map,reduce的终端输出可以再userlog里找打,inputformat里getSplits的终端输出为何看不到?    调试消息写入文件里也一样,map,reduce都可以,inputformat却不行。。。。。。。。。                求教我想把Inputformat类的一些调试信息(比如打印变量的值)输出出来,

已有(13)人评论

跳转到指定楼层
qcbb001 发表于 2016-12-5 14:04:21
代码贴出来看下
回复

使用道具 举报

dsy198816 发表于 2016-12-5 14:09:51
FileWriter fw = null;
                    int i;
                    try{
                            fw = new FileWriter("/home/hadoop/aaa", true);
                                for(i = 0; i < 1000; i++)
                                fw.write("cccccccccccccccc\n");
                                fw.close();
                   } catch (Exception e){
                     e.printStackTrace();
           }

就是这么简单的一段代码啊,reduce跑正确写入日志啊,Inputformat里却不行。      或者说inputformat里的终端打印输出,有办法在日志文件里看到吗?
回复

使用道具 举报

starrycheng 发表于 2016-12-5 14:11:26
InputFormat 类主要用来定义两件事情:

数据分割(Data splits)
记录读取器(Record reader)

inputFormat包含两个方法

        InputSplit[] getSplits(JobConf job,int numSplits) throws IOException;

        RecordReader<k,v> getRecordReader(InputSplit split,JobConf job,Reporter reporter) throws IOException;
楼主用它输出的作用是什么?
应该没有人会在里面输出,楼主又是如何条用的。

回复

使用道具 举报

starrycheng 发表于 2016-12-5 14:13:19
dsy198816 发表于 2016-12-5 14:09
FileWriter fw = null;
                    int i;
                    try{

Inputformat是属于map的功能。关键是你是如何使用的。如何不是使用的最新的,那就是你只定义了函数,但是没有调用
回复

使用道具 举报

dsy198816 发表于 2016-12-5 14:19:41
我看不懂源码,或者别人写的inputformat看不懂,我要把一些变量打印出来看看,才能明白啊。

或者说inputformat里我朝终端打印一条字符串,有没有办法看到,比如日志里?
回复

使用道具 举报

starrycheng 发表于 2016-12-5 15:22:30
dsy198816 发表于 2016-12-5 14:19
我看不懂源码,或者别人写的inputformat看不懂,我要把一些变量打印出来看看,才能明白啊。

或者说input ...

可以,不过你必须重写成功,并且调用才可以实现。这个跟mapreduce是不一样的
回复

使用道具 举报

dsy198816 发表于 2016-12-5 15:44:05
具体怎么说,哪位大牛教教我? inputformat终端输出日志是看不到的,map,reduce函数里的输出日志都能看到。            inputformat日志信息写入文件也不成功,map,reduce函数里却可以
回复

使用道具 举报

starrycheng 发表于 2016-12-5 15:48:16
dsy198816 发表于 2016-12-5 15:44
具体怎么说,哪位大牛教教我? inputformat终端输出日志是看不到的,map,reduce函数里的输出日志都能看到。 ...

推荐参考这个:

重写InputFormat实现数据自定义格式的解析(附代码分析)
http://www.aboutyun.com/thread-12062-1-1.html



回复

使用道具 举报

dsy198816 发表于 2016-12-5 17:48:31
这帖子也没讲任何的如何在inputformat里打印信息啊。。。。
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条