分享

oozie如何配置mapreduce中中job.properties的jobTracker

jttsai 发表于 2014-8-15 12:40:08 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 6 47434
我的hadoop版本是CHD5,已经有namenode的ha,resoucemanager的ha
下面是我的一个job.properties的配置:
nameNode=hdfs://bch
jobTracker=master1.hadoop:8032
queueName=default
examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce
outputDir=map-reduce

其中:
nameNode=hdfs://bch      ---------------------------------->这个已经成功,按照这个地址可以选择active的namenode
jobTracker=master1.hadoop:8032    ----------------------------->这个我一直不知道怎么配置,如何才能选择active的resoucemanager

请高手能给我点帮助,谢谢

已有(6)人评论

跳转到指定楼层
sstutu 发表于 2014-8-15 15:33:27
可以现在cdh中判断状态,如下图所示

9314fddc-614b-316a-b77d-62ef3a7c8b8d.png


回复

使用道具 举报

jttsai 发表于 2014-8-15 16:20:54
sstutu 发表于 2014-8-15 15:33
可以现在cdh中判断状态,如下图所示

我的意思,就是像我填写的namenode那样,可以自动知道哪个namenode是活的,因为namenode的active是不一定的,而resoucemanager也是一样的,不用事先知道naresoucemanager是active,而改变jobTracker的值。

回复

使用道具 举报

sstutu 发表于 2014-8-15 16:47:43
jttsai 发表于 2014-8-15 16:20
我的意思,就是像我填写的namenode那样,可以自动知道哪个namenode是活的,因为namenode的active是不一定 ...
namenode ha中,比如master1和master2,他们有一个共同的名字是clus。所以我们在配置的过程中,就可以用这个名字来代替master1和master2,这样通过程序判断,如果一旦一个有故障,就自动切换。
相信jobtrcker中也存在这么个机制。
你可以找找看。
大胆猜测可能,你只要使用clus+jobtrcker端口,应该就可以实现。不一定准确。
回复

使用道具 举报

zhujun182104906 发表于 2015-1-14 23:28:27
好像网上有相关配置说明
回复

使用道具 举报

hapjin 发表于 2015-10-10 14:22:57
请问下你的“ nameNode=hdfs://bch      ---------------------------------->这个已经成功,按照这个地址可以选择active的namenode” 是什么意思?能详细点吗?
回复

使用道具 举报

hapjin 发表于 2015-10-10 14:25:32
我只知道:jobTracker=master1.hadoop:8032   ,用了8032端口表示使用的Yarn,当底层使用MapReduce1.0执行时,需要用8021端口。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条