kanwei163 发表于 2016-9-19 11:33:54

es hadoop proxy

我的es服务是亚马逊的elasticsearch服务,配置下就可以生成es集群,这个集群在国外,而我的hadoop的集群在国内,想通过代理让mapreduce连接国外的es集群。

配置如下:
conf.set("es.net.proxy.http.host", "xx.xx.xx.xx");
conf.set("es.net.proxy.http.port", "8989");
conf.set("es.net.proxy.http.user", "anonymous");
conf.set("es.net.proxy.http.pass", "passwd");
conf.set("es.net.proxy.http.use.system.props", "no");

在hadoop的某个节点上,使用telnet是可以访问代理的,但是mr程序运行起来之后,失败,提示connect error

kanwei163 发表于 2016-9-19 11:57:31

up
up
up

starrycheng 发表于 2016-9-19 15:01:42

kanwei163 发表于 2016-9-19 11:57
up
up
up

感觉跟代理没关系吧。
远程的机器,跟本地机器都是一样的。通过ip直接连接即可。

qcbb001 发表于 2016-9-19 17:42:38

可能是远程的电脑误导了楼主的思维。
其实无论是亚马逊的,还是阿里的,还是我们不用网段的虚拟机,其开发的方式都是一样的。

可以通过jar包的方式,然后代码中加入远程
第二则是通过hadoop插件

关于开发方式,楼主可参考:
hadoop开发方式总结及操作指导
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6950


langke93 发表于 2016-9-19 17:45:39

这个是插件开发
windows 7 使用 eclipse 下hadoop应用开发环境搭建及问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8179


页: [1]
查看完整版本: es hadoop proxy