分享

配置Hadoop 2.x开发环境(Eclipse)

本帖最后由 pig2 于 2014-4-29 18:51 编辑
问题导读:
下载插件我们都会,那么
1.hadoop-eclipse-plugin-2.2.0.jar应该放在哪个文件夹下?
2.如何编辑配置信息?
3.配置文件该如何修改?







通常我们可以用Eclipse作为Hadoop程序的开发平台。

1)  下载Eclipse
下载地址:http://www.eclipse.org/downloads/
根据操作系统类型,选择合适的版本下载并安装。

2)  下载并编译Hadoop的Eclipse插件
网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以无法使用。
Hadoop 2.2 的Eclipse插件正处于开发过程中,你可以直接下载源代码并编译。本人在编译过程中碰到了一些ant的配置错误导致无法正常编译,修改ant配置即编译成功,为方便大家,我直接提供编译后的.jar文件供大家下载:
代码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin
编译后的插件下载地址:http://download.csdn.net/detail/zythy/6735167

3)  配置Hadoop插件
将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。
通过Open Perspective菜单打开Map Reduce视图,如下:
1.jpg



选中大象图标,右键点击Edit Hadoop Location编辑Hadoop配置信息:
2.jpg


填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)
3.jpg


4)  新建简单Mapreduce项目
通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。
4.jpg




5)  通过Eclipse访问DFS
打开Resource视图,即可看到DFS:
20131218164218468.jpg



此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:

6.jpg

至此,Hadoop的开发环境大致配置完成,下一节我们将看到如何写一个简单的MapReduce程序并放到Hadoop集群上运行。

附上我自己本地环境的几个配置文件内容供大家参考,有错之处敬请指正,谢谢!
1)Core-stie.xml

  1. <configuration>
  2.   <property>
  3.     <name>fs.default.name</name>
  4.     <value>hdfs://localhost:9000</value>
  5.   </property>
  6. </configuration>
复制代码



2)hdfs-site.xml

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.name.dir</name>
  8. <value>file:/var/data/hadoop/hdfs/nn</value>
  9. </property>
  10. <property>
  11. <name>fs.checkpoint.dir</name>
  12. <value>file:/var/data/hadoop/hdfs/snn</value>
  13. </property>
  14. <property>
  15. <name>fs.checkpoint.edits.dir</name>
  16. <value>file:/var/data/hadoop/hdfs/snn</value>
  17. </property>
  18. <property>
  19. <name>dfs.datanode.data.dir</name>
  20. <value>file:/var/data/hadoop/hdfs/dn</value>
  21. </property>
  22. </configuration>
  23. 3)Mapred-site.xml
  24. <configuration>
  25.   <property>
  26. <name>mapreduce.framework.name</name>
  27. <value>yarn</value>
  28. </property>
  29. </configuration>
复制代码


3)Mapred-site.xml

  1. <configuration>
  2.   <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>
复制代码


4)yarn-site.xml

  1. <configuration>
  2. <!-- Site specific YARN configuration properties -->
  3. <property>
  4. <name>yarn.nodemanager.aux-services</name>
  5. <value>mapreduce_shuffle</value>
  6. </property>
  7. <property>
  8. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  9. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  10. </property>
  11. </configuration>
复制代码





已有(5)人评论

跳转到指定楼层
richard6363 发表于 2015-1-8 00:26:25
幫忙真大阿,感謝
回复

使用道具 举报

国宝熊猫 发表于 2015-4-14 17:45:48
提问:报错 Exception in thread "main" java.lang.NullPointerException
        at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010)
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
        at org.apache.hadoop.util.Shell.run(Shell.java:455)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
        at org.apache.hadoop.util.Shell.execCommand(Shell.java:791)
        at org.apache.hadoop.util.Shell.execCommand(Shell.java:774)
        at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)
        at mapreduce.function.bean.WordCount.main(WordCount.java:89)
回复

使用道具 举报

Janle 发表于 2016-5-21 19:57:15
请问配置HA后怎么使用eclipse插件
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条