分享

Hadoop都写HDFS文件疑问

roant 发表于 2015-10-24 13:14:16 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7058
朋友们好,写了一个MR任务,其中Map阶段读入两个HDFS上的文件,Reduce阶段处理后输出一个文件,在向Hadoop提交任务运行之后,出现了一个很奇怪的现象:
首先提示获取到两个文件:   [mw_shl_code=actionscript3,true]15/10/23 17:03:15 INFO input.FileInputFormat: Total input paths to process : 1
15/10/23 17:03:15 INFO input.FileInputFormat: Total input paths to process : 1
15/10/23 17:03:15 INFO mapreduce.JobSubmitter: number of splits:2
[/mw_shl_code]

然后,其中该部分显示读入了HDFS上的数据   [mw_shl_code=actionscript3,true]File System Counters:
HDFS: Number of bytes read=1528
                HDFS: Number of bytes written=700
                HDFS: Number of read operations=11
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2[/mw_shl_code]

但是一下部分去显示读入的数据量为0,  [mw_shl_code=actionscript3,true]File Input Format Counters
                Bytes Read=0
        File Output Format Counters
                Bytes Written=700[/mw_shl_code]

另外,两个部分的Written输出的字节数都是一样的大小,这样的情况,Map阶段到底是读到了数据还是没有读到数据???
请了解的朋友们给于帮助,谢谢大家~!!!。

已有(1)人评论

跳转到指定楼层
bioger_hit 发表于 2015-10-24 16:09:32
输出结果是什么?
想完成什么事情。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条