立即注册 登录
About云-梭伦科技 返回首页

nettman的个人空间 https://aboutyun.com/?21 [收藏] [复制] [分享] [RSS]

日志

hadoop2.4新api编程：Hadoop Tool,ToolRunner原理分析

热度 1已有 947 次阅读2014-7-2 12:05

问题导读：
1.Tool是接口还是类？
2.Tool继承了那个类？
3.Tool与ToolRunner的关系是什么？
4. Tool与ToolRunner作用分别是什么？






首先我们需要会查看源码，源码的查看，可以参考：如何通过eclipse查看、阅读hadoop2.4源码

我们首先查看接口Tool：
（Tool.java）
 

  1. @InterfaceAudience.Public
  2. @InterfaceStability.Stable
  3. public interface Tool extends Configurable {
  4.   /**
  5.    * Execute the command with the given arguments.
  6.    * 
  7.    * @param args command specific arguments.
  8.    * @return exit code.
  9.    * @throws Exception
  10.    */
  11.   int run(String [] args) throws Exception;
  12. }

Tool接口继承了Configurable接口，只有一个run()方法。(接口继承接口)

继续自Configurable接口

 

  1. public interface Configurable {

  3.   /** Set the configuration to be used by this object. */
  4.   void setConf(Configuration conf);

  6.   /** Return the configuration used by this object. */
  7.   Configuration getConf();
  8. }



Configurable接口只定义了两个方法：setConf与 getConf。

Configured类实现了Configurable接口：


 

  1. @InterfaceAudience.Public
  2. @InterfaceStability.Stable
  3. public class Configured implements Configurable {

  5.   private Configuration conf;

  7.   /** Construct a Configured. */
  8.   public Configured() {
  9.     this(null);
  10.   }
  11.   
  12.   /** Construct a Configured. */
  13.   public Configured(Configuration conf) {
  14.     setConf(conf);
  15.   }

  17.   // inherit javadoc
  18.   @Override
  19.   public void setConf(Configuration conf) {
  20.     this.conf = conf;
  21.   }

  23.   // inherit javadoc
  24.   @Override
  25.   public Configuration getConf() {
  26.     return conf;
  27.   }

  29. }

继承关系如下：
 
再看ToolRunner类的一部分：


下面两个是重载函数：
  1. public static int run(Configuration conf, Tool tool, String[] args) 
  2.     throws Exception{
  3.     if(conf == null) {
  4.       conf = new Configuration();
  5.     }
  6.     GenericOptionsParser parser = new GenericOptionsParser(conf, args);
  7.     //set the configuration back, so that Tool can configure itself
  8.     tool.setConf(conf);
  9.     
  10.     //get the args w/o generic hadoop args
  11.     String[] toolArgs = parser.getRemainingArgs();
  12.     return tool.run(toolArgs);
  13.   }




  1. /**
  2.    * Runs the <code>Tool</code> with its <code>Configuration</code>.
  3.    * 
  4.    * Equivalent to <code>run(tool.getConf(), tool, args)</code>.
  5.    * 
  6.    * @param tool <code>Tool</code> to run.
  7.    * @param args command-line arguments to the tool.
  8.    * @return exit code of the {@link Tool#run(String[])} method.
  9.    */
  10.   public static int run(Tool tool, String[] args) 
  11.     throws Exception{
  12.     return run(tool.getConf(), tool, args);
  13.   }

 


从上面两个ToolRunner的静态方法run()可以看到，处理hadoop的通用命令行参数，然后将args交给tool来处理,再由tool来运行自己的run方法。

这里在强调一下：以下面函数为准

  2.   /**
  3.    * Runs the given <code>Tool</code> by {@link Tool#run(String[])}, after 
  4.    * parsing with the given generic arguments. Uses the given 
  5.    * <code>Configuration</code>, or builds one if null.
  6.    * 
  7.    * Sets the <code>Tool</code>'s configuration with the possibly modified 
  8.    * version of the <code>conf</code>.  
  9.    * 
  10.    * @param conf <code>Configuration</code> for the <code>Tool</code>.
  11.    * @param tool <code>Tool</code> to run.
  12.    * @param args command-line arguments to the tool.
  13.    * @return exit code of the {@link Tool#run(String[])} method.
  14.    */
  15.   public static int run(Configuration conf, Tool tool, String[] args) 
  16.     throws Exception{
  17.     if(conf == null) {
  18.       conf = new Configuration();
  19.     }
  20.     GenericOptionsParser parser = new GenericOptionsParser(conf, args);
  21.     //set the configuration back, so that Tool can configure itself
  22.     tool.setConf(conf);
  23.     
  24.     //get the args w/o generic hadoop args
  25.     String[] toolArgs = parser.getRemainingArgs();
  26.     return tool.run(toolArgs);
  27.   }





Tool是一个接口，ToolRunner是一个类，在run()方法中，是作为参数传递的


  1. public static int run(Configuration conf, Tool tool, String[] args)

由于tool继续了Configurable，所以可以完成下面的事情：

  1. tool.setConf(conf);

  1. return tool.run(toolArgs);


这样Tool接口与ToolRunner类，他们之间的关系更明确了。

路过
雷人
握手
鲜花
鸡蛋
收藏 分享邀请 举报

全部作者的其他最新日志

发表评论 评论 (1 个评论)

回复 x5136160 2014-7-10 18:12
了解了解。。。。看看看。。学习学习。

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000