分享

hadoop开发方式之一:利用插件开发指导

本帖最后由 pig2 于 2015-10-25 17:32 编辑
本文介绍的插件开发:想下载插件和编译插件可以通过下面链接:

Hadoop2.2.0的eclipse插件的编译指导


hadoop-eclipse-plugin-2.2.0.jar插件包分享


阅读本文可以带着下面问题:
1.eclipse 3.5一下版本需要做什么修改?
2.Map/Reduce locations端口设置由谁来决定?
3.hadoop不使用提供的插件该如何开发?


引言
在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。
插件安装
Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。在试用过程中发现不支持eclipse 3.5,因此要在eclipse3.5及以上版本运行,需要做个修改。修改方法如下:
编辑:src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\
HadoopApplicationLaunchShortcut.java
做如下修改:
  1. //import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
  2. import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
复制代码
修改完毕后在hadoop目录执行ant package重新打包eclipse插件。

将修改后的插件拷贝到eclipse\dropins\hadoop\plugins目录下完成安装。

插件配置与使用
指定Hadoop安装目录
1.jpg

打开Map/Reduce视图
”Window”->”Open Perspective”->”Other”->“Map/Reduce”.
“Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.
2.jpg

新建 Hadoop location
3.jpg

DFS视图浏览文件
4.jpg
运行MapReduce作业
5.jpg
查看运行结果
6.jpg


来自群组: Hadoop技术组

已有(3)人评论

跳转到指定楼层
tang 发表于 2015-3-8 15:44:01
回复

使用道具 举报

yunmin 发表于 2015-4-22 16:40:49
准备好之后发现连不上!
回复

使用道具 举报

小飞鱼123 发表于 2015-10-15 18:08:46
hadoop开用eclipse是不是有不太好的地方
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条