es hadoop proxy

我的es服务是亚马逊的elasticsearch服务，配置下就可以生成es集群，这个集群在国外，而我的hadoop的集群在国内，想通过代理让mapreduce连接国外的es集群。

配置如下：
conf.set("es.net.proxy.http.host", "xx.xx.xx.xx");
conf.set("es.net.proxy.http.port", "8989");
conf.set("es.net.proxy.http.user", "anonymous");
conf.set("es.net.proxy.http.pass", "passwd");
conf.set("es.net.proxy.http.use.system.props", "no");

在hadoop的某个节点上，使用telnet是可以访问代理的，但是mr程序运行起来之后，失败，提示connect error

up
up
up

kanwei163 发表于 2016-9-19 11:57
up
up
up

感觉跟代理没关系吧。
远程的机器，跟本地机器都是一样的。通过ip直接连接即可。

可能是远程的电脑误导了楼主的思维。
其实无论是亚马逊的，还是阿里的，还是我们不用网段的虚拟机，其开发的方式都是一样的。

可以通过jar包的方式，然后代码中加入远程
第二则是通过hadoop插件

关于开发方式，楼主可参考：
hadoop开发方式总结及操作指导
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6950

这个是插件开发
windows 7 使用 eclipse 下hadoop应用开发环境搭建及问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8179