云环境就是远程的,本身也是集群。操作代码都是一样的,可能楼主需要改变的只是观点,看法和思想。
public class RemoteMapReduceService {
public static String startJob() throws Exception {
Job job = Job.getInstance();
job.setJobName("xxxx");
/***************************
*......
*在这里,和普通的MapReduce一样,设置各种需要的东西
*......
***************************/
//下面为了远程提交添加设置:
conf.set("fs.default.name", "hdfs://MASTER:8020");
conf.set("yarn.resourcemanager.resource-tracker.address", "MASTER:8031");
conf.set("yarn.resourcemanager.address", "MASTER:8032");
conf.set("yarn.resourcemanager.scheduler.address", "MASTER:8030");
conf.set("yarn.resourcemanager.admin.address", "MASTER:8033");
conf.set("yarn.application.classpath", "$HADOOP_CONF_DIR,"
+"$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,"
+"$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,"
+"$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,"
+"$YARN_HOME/*,$YARN_HOME/lib/*,"
+"$HBASE_HOME/*,$HBASE_HOME/lib/*,$HBASE_HOME/conf/*");
conf.set("mapreduce.jobhistory.address", "MASTER:10020");
conf.set("mapreduce.jobhistory.webapp.address", "MASTER:19888");
conf.set("mapred.child.java.opts", "-Xmx1024m");
job.submit();
//提交以后,可以拿到JobID。根据这个JobID可以打开网页查看执行进度。
return job.getJobID().toString();
}
}
如上面你写的是远程ip,就是远程提交,写的是本地就是本地提交。
最本质感觉是楼主对云有所误解,云可以理解为正常的集群,云更多的是一个宏观概念,对于程序员来讲,没有太多的价值。云就是机器,电脑。
提交更多原理:
hadoop2提交到Yarn: Mapreduce执行过程分析1
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9366
hadoop2提交到Yarn: Mapreduce执行过程分析2
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9370
hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9375
|