分享

hadoop2.2 eclipse连接hdfs(hadoop)

本帖最后由 pig2 于 2014-8-16 23:53 编辑
问题导读:
1.连接hdfs,hadoop-eclipse-plugin-2.2.0.jar插件放在什么位置?
2.如何在eclipse查看mapreduce?
3.如何创建hadoop location,看到hdfs文件?
4.分布式多个节点,连接那个节点,可以看到hdfs文件?






1. 下载Eclipse

下载地址:http://www.eclipse.org/downloads/

根据操作系统类型,选择合适的版本下载并安装。


2.下载并编译Hadoop的Eclipse插件

hadoop-eclipse-plugin-2.2.0.jar
链接: http://pan.baidu.com/s/1sjQ6Nnv 密码: uvwx
更多插件参考:
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载


3.配置Hadoop插件

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。


droplins.png



重启之后,我们打开如下菜单

通过window->Open Perspective->other菜单打开Map Reduce视图,如下:
maprecue1.png



看到如下Map/Reduce图标


mapreduce2.png


选中大象图标,右键点击New Hadoop Location编辑Hadoop配置信息,然后配置端口

newmapreduce.png


mapreduce3.png

(有时候我们在配置单时候找不到
mapreduce location.png

下面教给大家怎么调出“Map/Reduce Locations
配置Map/Reduce Locations。
在Window-->Show View中打开Map/Reduce Locations。
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如Hadoop,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如:
Map/Reduce Master



疑问回答:
1.50020端口的配置采用的是默认,在配置文件中并没有配置
2.8020端口是hdfs的配置端口,也就是当我们访问hdfs所使用的端口:比如:
hadoop fs -ls hdfs://master:8020/

在core-site-site中配置如下:
  1. <property>
  2.                 <name>fs.defaultFS</name>
  3.                 <value>hdfs://master:8020</value>
  4.        </property>
复制代码

详细配置可以参考:
hadoop2.2完全分布式最新高可靠安装文档


visit.png











已有(25)人评论

跳转到指定楼层
gwzydd 发表于 2014-7-15 16:56:24
很好,正式我需要的文章
回复

使用道具 举报

破灭永恒 发表于 2014-11-3 16:14:14
回复

使用道具 举报

pig2 发表于 2014-11-3 16:17:07
这不是连接上了吗
回复

使用道具 举报

hero1122 发表于 2014-12-20 22:44:18
能不能用hadoop2.2版本的eclipse插件连接更高版本的hdfs?如2.4或2.5版本……
回复

使用道具 举报

zzuyao 发表于 2015-1-12 22:05:41
2.8020端口是hdfs的配置端口,也就是当我们访问hdfs所使用的端口:比如:
hadoop fs -ls hdfs://master:8020/

在core-site-site中配置如下:
  • <property>
  •                 <name>fs.defaultFS</name>
  •                 <value>hdfs://master:8020</value>
  •        </property>

复制代码

----------------------
请教一下,如果fs.defaultFs配置的是ha集群,如,hdfs://mycluster0,那么在Eclipse调试时,指定的端口号应该怎么写呢?写成active状态哪个host和port吗?还是?
回复

使用道具 举报

tang 发表于 2015-3-8 15:47:55
这样做的,为什么一直无法连接上呢???
回复

使用道具 举报

pig2 发表于 2015-3-8 23:19:57
tang 发表于 2015-3-8 15:47
这样做的,为什么一直无法连接上呢???

插件跟版本有关系,最好自己编译
回复

使用道具 举报

dashatangtang 发表于 2015-4-23 22:14:31
楼主请问,这个插件是多少位的,64吗?
回复

使用道具 举报

drizt007 发表于 2015-7-6 23:58:04
。。问下 为什么仅仅设置了用户名  不用密码就可以直接访问HDFS  并作操作呢?
回复

使用道具 举报

123下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条