分享

新手指导:Windows上使用Eclipse远程连接Hadoop进行程序开发

yanzibuaa 发表于 2016-2-3 11:15:29
学些啦,但是作为新手,有两个问题还想请教一下:

1.Map/Reduce 的host 和port都是配置的哪里的呢?host是远程主机的ip吗?端口号配哪个呢?还有DFS的端口号是配置的哪里的?
2. 步骤一里边有个Hadoop install directory, 请问远程连接hadoop,本机还要装Hadoop吗?还是这个目录只是一个工作目录?

非常感谢!

回复

使用道具 举报

unbelieve 发表于 2016-2-17 13:02:11
麻烦问一下,现在是在一台主机A上虚拟了三台linux虚拟机,hadoop环境已经搭好。我想在想用eclipse开发mapreduce。但是局域网主机ping不通虚拟机,是需要增加桥接模式么
回复

使用道具 举报

吸血的天使 发表于 2016-8-29 14:26:45
楼主,初学hadoop,请问使用hadoop 2x 会遇到以下的错误吗?
12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

点评

权限问题  发表于 2017-3-14 18:40
回复

使用道具 举报

lianyini 发表于 2017-3-14 18:13:58
求助
装完hadoop-eclipse-plugin-2.7.3.jar后,展开DFS Locations出现图中错误。
谢谢
hadoop.png
回复

使用道具 举报

nextuser 发表于 2017-3-14 18:41:07
lianyini 发表于 2017-3-14 18:13
求助
装完hadoop-eclipse-plugin-2.7.3.jar后,展开DFS Locations出现图中错误。
谢谢

多刷新几次,版本是否符合
回复

使用道具 举报

lianyini 发表于 2017-3-14 19:46:38
nextuser 发表于 2017-3-14 18:41
多刷新几次,版本是否符合

自己编译的插件版本没问题,重启电脑都不行 T_T 已经弄了好久了
hadoop-2.7.3/eclipse-java-neon-2-win32-x86_64
回复

使用道具 举报

nextuser 发表于 2017-3-15 14:51:47
lianyini 发表于 2017-3-14 19:46
自己编译的插件版本没问题,重启电脑都不行 T_T 已经弄了好久了
hadoop-2.7.3/eclipse-java-neon-2-win3 ...

除非集群没有启动,要不就是插件的问题
回复

使用道具 举报

lianyini 发表于 2017-3-16 12:10:39
nextuser 发表于 2017-3-15 14:51
除非集群没有启动,要不就是插件的问题

集群启动了   插件我又按照官网给的重新编译还是出现同样的错误
回复

使用道具 举报

峰临子 发表于 2017-4-12 10:51:57
楼主你好 ,我是菜鸟一枚
我的虚拟机上的集群每个节点都有各自的用户名和IP,虚拟机用的VMware1的IP。
Location name ;Host :user name 该填什么信息?
百度了好多都没配置成功。请楼主赐教
回复

使用道具 举报

nextuser 发表于 2017-4-12 11:16:00
峰临子 发表于 2017-4-12 10:51
楼主你好 ,我是菜鸟一枚
我的虚拟机上的集群每个节点都有各自的用户名和IP,虚拟机用的VMware1的IP。
Lo ...

这个难度有点大,并且这个只是将hdfs内容,显示在本地。
通过hdfs操作是一样的。不会这个也是没关系的。
这个插件跟eclipse和hadoop版本有关系的。不成功,不一定是你配错了

点评

谢谢您的回复,我已近解决了。 只是只能在eclipse上对dfs上的结果 查看,下载。并不能删除,可能还有点问题,继续解决着  发表于 2017-4-12 12:17
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条