es hadoop proxy
我的es服务是亚马逊的elasticsearch服务,配置下就可以生成es集群,这个集群在国外,而我的hadoop的集群在国内,想通过代理让mapreduce连接国外的es集群。配置如下:
conf.set("es.net.proxy.http.host", "xx.xx.xx.xx");
conf.set("es.net.proxy.http.port", "8989");
conf.set("es.net.proxy.http.user", "anonymous");
conf.set("es.net.proxy.http.pass", "passwd");
conf.set("es.net.proxy.http.use.system.props", "no");
在hadoop的某个节点上,使用telnet是可以访问代理的,但是mr程序运行起来之后,失败,提示connect error
up
up
up kanwei163 发表于 2016-9-19 11:57
up
up
up
感觉跟代理没关系吧。
远程的机器,跟本地机器都是一样的。通过ip直接连接即可。
可能是远程的电脑误导了楼主的思维。
其实无论是亚马逊的,还是阿里的,还是我们不用网段的虚拟机,其开发的方式都是一样的。
可以通过jar包的方式,然后代码中加入远程
第二则是通过hadoop插件
关于开发方式,楼主可参考:
hadoop开发方式总结及操作指导
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6950
这个是插件开发
windows 7 使用 eclipse 下hadoop应用开发环境搭建及问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8179
页:
[1]