大家看看hadoop这个方法是干什么用的？

sstutu · 发表于 2014-10-31 22:44:20

你这是看得哪个版本的api

sstutu · 发表于 2014-10-31 23:02:55

参考下面

//map优先于reduce，当TaskTracker上运行的map task数目小于平均的工作量，则向其分配map task
  if (numMaps < maxMapLoad) {
    int totalNeededMaps = 0;
    synchronized (jobQueue) {
      for (JobInProgress job : jobQueue) {
        if (job.getStatus().getRunState() != JobStatus.RUNNING) {
          continue;
        }
        Task t = job.obtainNewMapTask(taskTracker, numTaskTrackers,
            taskTrackerManager.getNumberOfUniqueHosts());
        if (t != null) {
          return Collections.singletonList(t);
        }
        ……
      }
    }
  }
  //分配完map task，再分配reduce task
  if (numReduces < maxReduceLoad) {
    int totalNeededReduces = 0;
    synchronized (jobQueue) {
      for (JobInProgress job : jobQueue) {
        if (job.getStatus().getRunState() != JobStatus.RUNNING ||
            job.numReduceTasks == 0) {
          continue;
        }
        Task t = job.obtainNewReduceTask(taskTracker, numTaskTrackers,
            taskTrackerManager.getNumberOfUniqueHosts());
        if (t != null) {
          return Collections.singletonList(t);
        }
        ……
      }
    }
  }
  return null;
}
复制代码

从上面的代码中我们可以知道，JobInProgress的obtainNewMapTask是用来分配map task的，其主要调用findNewMapTask，根据TaskTracker所在的Node从nonRunningMapCache中查找TaskInProgress。JobInProgress的obtainNewReduceTask是用来分配reduce task的，其主要调用findNewReduceTask，从nonRunningReduces查找TaskInProgress。

知道obtainNewMapTask分配任务，getNumberOfUniqueHosts只是一个参数，对于这个参数是什么，你需要进一步提供它的实现代码，大家一起研讨。

bioger_hit · 发表于 2014-10-31 23:06:26

可以参考这篇文章，多少会有些帮助
MapReduce作业的生命周期源码分析之任务分配

gwgyk · 发表于 2014-11-1 09:31:37

本帖最后由 gwgyk 于 2014-11-1 09:32 编辑

sstutu 发表于 2014-10-31 23:02
参考下面

他的实现是JobTracker中的getNumberOfUniqueHosts, 这个方法主要用来干什么呢？

public int getNumberOfUniqueHosts() {
    return uniqueHostsMap.size();
  }
复制代码

uniqueHostsMap的定义为：
Map<String,Integer>uniqueHostsMap = new ConcurrentHashMap<String, Integer>(); 复制代码

gwgyk · 发表于 2014-11-1 09:33:58

howtodown 发表于 2014-10-31 21:46
这个方法很少人去关注，有的说是向jobtracker请求UniqueHosts的size

getNumberOfUniqueHosts方法,返回向 ...

在JobTracker中，getNumberOfUniqueHosts()代表是什么意思呢？

sstutu · 发表于 2014-11-1 10:37:14

gwgyk 发表于 2014-11-1 09:31
他的实现是JobTracker中的getNumberOfUniqueHosts, 这个方法主要用来干什么呢？
uniqueHostsMap的定义为 ...

public int getNumberOfUniqueHosts() {
    return uniqueHostsMap.size();
  }
复制代码

把size的实现也贴出来一下

Map<String,Integer>uniqueHostsMap = new ConcurrentHashMap<String, Integer>();
复制代码

由于map有key及value，因此uniqueHostsMap只是map的一个对象，因此这里的string是key也就是分割的一个字符串
比如
1，1，1，1
2，2，2，2
那么key就是
1，1，1，1
value是偏移量，也就是Integer，为4
如果不出意外uniqueHostsMap.size();很有可能返回的是Integer，也就是是4.
但是这个需要你贴出size的实现。