朋友们好,写了一个MR任务,其中Map阶段读入两个HDFS上的文件,Reduce阶段处理后输出一个文件,在向Hadoop提交任务运行之后,出现了一个很奇怪的现象:
首先提示获取到两个文件: [mw_shl_code=actionscript3,true]15/10/23 17:03:15 INFO input.FileInputFormat: Total input paths to process : 1
15/10/23 17:03:15 INFO input.FileInputFormat: Total input paths to process : 1
15/10/23 17:03:15 INFO mapreduce.JobSubmitter: number of splits:2
[/mw_shl_code]
然后,其中该部分显示读入了HDFS上的数据 [mw_shl_code=actionscript3,true]File System Counters:
HDFS: Number of bytes read=1528
HDFS: Number of bytes written=700
HDFS: Number of read operations=11
HDFS: Number of large read operations=0
HDFS: Number of write operations=2[/mw_shl_code]
但是一下部分去显示读入的数据量为0, [mw_shl_code=actionscript3,true]File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=700[/mw_shl_code]
另外,两个部分的Written输出的字节数都是一样的大小,这样的情况,Map阶段到底是读到了数据还是没有读到数据???
请了解的朋友们给于帮助,谢谢大家~!!!。
|