分享

在eclipse提交的作业总是在eclipse虚拟的云环境中运行

树叶的狂欢 发表于 2016-3-17 11:35:17 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5273
在eclipse提交的作业总是在eclipse虚拟的云环境中运行,怎么样才能在eclipse中将程序提交到集群中去呢,被这个问题纠结好长时间了,希望了解的同学教教我,谢谢!

已有(2)人评论

跳转到指定楼层
s060403072 发表于 2016-3-17 11:55:05
云环境就是远程的,本身也是集群。操作代码都是一样的,可能楼主需要改变的只是观点,看法和思想。
public class RemoteMapReduceService {  
    public static String startJob() throws Exception {  
        Job job = Job.getInstance();  
        job.setJobName("xxxx");  
        /***************************
         *......
         *在这里,和普通的MapReduce一样,设置各种需要的东西
         *......
         ***************************/

        //下面为了远程提交添加设置:  

        conf.set("fs.default.name", "hdfs://MASTER:8020");  
        conf.set("yarn.resourcemanager.resource-tracker.address", "MASTER:8031");  
        conf.set("yarn.resourcemanager.address", "MASTER:8032");  
        conf.set("yarn.resourcemanager.scheduler.address", "MASTER:8030");  
        conf.set("yarn.resourcemanager.admin.address", "MASTER:8033");  
        conf.set("yarn.application.classpath", "$HADOOP_CONF_DIR,"
            +"$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,"
            +"$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,"
            +"$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,"
            +"$YARN_HOME/*,$YARN_HOME/lib/*,"
            +"$HBASE_HOME/*,$HBASE_HOME/lib/*,$HBASE_HOME/conf/*");  
        conf.set("mapreduce.jobhistory.address", "MASTER:10020");  
        conf.set("mapreduce.jobhistory.webapp.address", "MASTER:19888");  
        conf.set("mapred.child.java.opts", "-Xmx1024m");  

        job.submit();  
        //提交以后,可以拿到JobID。根据这个JobID可以打开网页查看执行进度。  
        return job.getJobID().toString();  
    }  
}


如上面你写的是远程ip,就是远程提交,写的是本地就是本地提交。
最本质感觉是楼主对云有所误解,云可以理解为正常的集群,云更多的是一个宏观概念,对于程序员来讲,没有太多的价值。云就是机器,电脑。
提交更多原理:
hadoop2提交到Yarn: Mapreduce执行过程分析1
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9366

hadoop2提交到Yarn: Mapreduce执行过程分析2

http://www.aboutyun.com/forum.php?mod=viewthread&tid=9370

hadoop2提交到Yarn: Mapreduce执行过程reduce分析3

http://www.aboutyun.com/forum.php?mod=viewthread&tid=9375






回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条