hadoop的Jobid介绍

问题导读

jobId是如何生成的呢  ？
jobId的组成是什么？







在hadoop的任务job中，jobid是标志一个任务的唯一标志，可以用于定位到该job，查询该job相关信息，kill掉该job 。

jobId是如何生成的呢  ？

在一般的服务集群上我们通过JobTracker来管理job，该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下：

public synchronized JobID getNewJobId() throws IOException {
    ensureRunning();
    return new JobID(getTrackerIdentifier(), nextJobId++);
  }
复制代码

代码二：

 /**
   * Get the unique identifier (ie. timestamp) of this job tracker start.
   * @return a string with a unique identifier
   */
  public String getTrackerIdentifier() {
    return trackerIdentifier;
  }
复制代码

trackerIdentifier  和  nextJobId均是JobTracker的内部变量 。
trackerIdentifier 是固定的JobTracker启动（实例化）时就确定的，代码如下：
     SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmm");
     trackerIdentifier = dateFormat.format(new Date());
是启动时的时间戳 。
nextJobId是启动时赋值1，没执行一次该方法则nextJobId值+1  。


所以job即是：job_JobTracker启动时间戳_该JobTracker生成的顺序的一个id  ，该id也叫做iobtracker的id。

JobID是系统分配给作业的唯一标识符，它的toString结果是job_<jobtrackerID>_<jobNumber>。例子：job_200707121733_0003表明这是jobtracker200707121733
（利用jobtracker的开始时间作为ID）的第3号作业。
作业分成任务执行，任务号TaskID包含了它所属的作业ID，同时也有任务ID，同时还保持了这是否是一个Map任务（成员变量isMap）。任务号的字符串表示为task_<jobtrackerID>_<jobNumber>_[m|r]_<taskNumber>，如task_200707121733_0003_m_000005表示作业200707121733_0003的000005号任务，改任务是一个Map任务，同样，reduce任务中间是_r_.... 。

一个任务有可能有多个执行（错误恢复/消除Stragglers等），所以必须区分任务的多个执行，这是通过类TaskAttemptID来完成，它在任务号的基础上添加了尝试号。一个任务尝试号的例子是attempt_200707121733_0003_m_000005_0，它是任务task_200707121733_0003_m_000005的第0号尝试。