分享

mapreduce 启动信息的一些不解的地方,求指教

dsy198816 发表于 2016-12-21 16:05:29 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 6925
16/12/21 15:44:17 INFO mapreduce.JobSubmitter: number of splits:2
这条消息是说数据被分成了多少分片对吧?但是我返回分不分片的函数 isSplitable 返回的是false,数据太大的情况为何会出现2?

Job Counters
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1

这是是说启动了一个map 和一个reduce对吧? 那Data-local map tasks=1是个什么含义呢?

已有(3)人评论

跳转到指定楼层
einhep 发表于 2016-12-21 16:20:02
测试,需确定具体是分片函数。
mapreduce.JobSubmitter: number of splits:2代表//两个input splits,每个split对应一个Map Task  
Data-local map tasks 的含义:  Job在被调度时,如果启动了一个data-local(源文件的幅本在执行map task的taskTracker本地) ,其实这个应该是mapreduce的数据本地性,也就是说计算节点和存储节点重合在一起。在换句话说就是mapreduce不用到别的节点去拉数据,数据就在自己的电脑上



回复

使用道具 举报

dsy198816 发表于 2016-12-21 16:28:14
测试,需确定具体是分片函数。请问这句话是啥意思?我直接发代码吧。就一行。。

protected boolean isSplitable(Configuration conf, Path path) {
             return false;
}

不是说这样就禁止分片了吗?为何还打印出这样信息?
回复

使用道具 举报

starrycheng 发表于 2016-12-21 16:38:34
dsy198816 发表于 2016-12-21 16:28
测试,需确定具体是分片函数。请问这句话是啥意思?我直接发代码吧。就一行。。

protected boolean isSp ...

你让他返回为true,看看是否有区别
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条