图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › 安装配置› 简化 Hadoop 2.4.1 Eclpse 插件编译
分享

简化 Hadoop 2.4.1 Eclpse 插件编译

admin 2014-8-3 23:57:01 发表于 安装配置 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 17207
问题导读：
Eclipse插件其实可有可无的，甚至如果你是高手，只要一个文本框即可编程。
对于Eclipse插件本站已经不少了
Hadoop2.4.0 Eclipse插件制作及问题记录

Hadoop2.4.0 Eclipse插件制作

Hadoop 2.2.0编译hadoop-eclipse-plugin插件
hadoop-eclipse-plugin-2.2.0.jar插件包分享


有了上面基础，我们在进行Hadoop 2.4.1 插件制作，就容易多了




昨天折腾hadoop2X的eclipse插件，从https://github.com/winghc/hadoop2x-eclipse-plugin把源码搞下来后，很快搞定出来一个，但是。。。New Hadoop Location时，窗口出不来，汗死，原因后面会说明的。源码难下，最后我会附上源码包的。

　　仔细看了ant和ivy的文件之后，我发现了一个坑爹的现象，编译一个插件，需要ivy么？！
　　ant用了好久了，还是自己写一个的好。
　　查看了jar包，都是hadoop安装目录里面存在的，还需要连网去检测啊！看了下ivy的调试信息，也就那么些东西，直接删除ivy！
　　重新写了个build.xml，只要往目录hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin里面一丢，改改前5个属性的值，直接跑“ant jar”就行了。
　　或者eclipse建立一个普通项目，把


  1. META-INF

  2. resources

  3. src

  4. build.properties

  5. plugin.xml
复制代码

往项目一丢，再把build.xml丢进去，改了前5个属性值直接跑就行了。
　　build.xml内容如下


  1. <?xml version="1.0"?>

  2. <project name="eclipse-plugin" default="jar">

  3. 

  4.     <property name="jdk.home" value="G:/jdk/jdk1.6.0" />

  5.     <property name="hadoop.version" value="2.4.1" />

  6.     <property name="hadoop.home" value="G:/hadoop/hadoop-2.4.1" />

  7.     <property name="eclipse.version" value="4.4" />

  8.     <property name="eclipse.home" value="G:/eclipse4.4" />

  9. 

  10.     <property name="root" value="${basedir}" />

  11.     <property file="${root}/build.properties" />

  12. 

  13.     <property name="name" value="${ant.project.name}" />

  14.     <property name="src.dir" location="${root}/src/java" />

  15. 

  16.     <property name="build.contrib.dir" location="${root}/build/contrib" />

  17.     <property name="build.dir" location="${build.contrib.dir}/${name}" />

  18.     <property name="build.classes" location="${build.dir}/classes" />

  19. 

  20.     <!-- all jars together -->

  21.     <property name="javac.deprecation" value="off" />

  22.     <property name="javac.debug" value="on" />

  23. 

  24.     <property name="build.encoding" value="ISO-8859-1" />

  25. 

  26.     <path id="eclipse-sdk-jars">

  27.         <fileset dir="${eclipse.home}/plugins/">

  28.             <include name="org.eclipse.ui*.jar" />

  29.             <include name="org.eclipse.jdt*.jar" />

  30.             <include name="org.eclipse.core*.jar" />

  31.             <include name="org.eclipse.equinox*.jar" />

  32.             <include name="org.eclipse.debug*.jar" />

  33.             <include name="org.eclipse.osgi*.jar" />

  34.             <include name="org.eclipse.swt*.jar" />

  35.             <include name="org.eclipse.jface*.jar" />

  36.             <include name="org.eclipse.team.cvs.ssh2*.jar" />

  37.             <include name="com.jcraft.jsch*.jar" />

  38.         </fileset>

  39.     </path>

  40. 

  41.     <path id="project-jars">

  42.         <fileset file="${build.dir}/lib/*.jar" />

  43.     </path>

  44. 

  45.     <target name="init" unless="skip.contrib">

  46.         <echo message="contrib: ${name}" />

  47.         <mkdir dir="${build.dir}" />

  48.         <mkdir dir="${build.classes}" />

  49.         <mkdir dir="${build.dir}/lib" />

  50.         <copy todir="${build.dir}/lib/" verbose="true">

  51.             <fileset dir="${hadoop.home}/share/hadoop/mapreduce">

  52.                 <include name="hadoop*.jar" />

  53.                 <exclude name="*test*"/>

  54.                 <exclude name="*example*"/>

  55.             </fileset>

  56.             <fileset dir="${hadoop.home}/share/hadoop/common">

  57.                 <include name="hadoop*.jar" />

  58.                 <exclude name="*test*"/>

  59.                 <exclude name="*example*"/>

  60.             </fileset>

  61.             <fileset dir="${hadoop.home}/share/hadoop/hdfs">

  62.                 <include name="hadoop*.jar" />

  63.             </fileset>

  64.             <fileset dir="${hadoop.home}/share/hadoop/yarn">

  65.                 <include name="hadoop*.jar" />

  66.                 <exclude name="*test*"/>

  67.                 <exclude name="*example*"/>

  68.             </fileset>

  69.             <fileset dir="${hadoop.home}/share/hadoop/common/lib">

  70.                 <include name="protobuf-java-*.jar" />

  71.                 <include name="log4j-*.jar" />

  72.                 <include name="commons-cli-*.jar" />

  73.                 <include name="commons-collections-*.jar" />

  74.                 <include name="commons-configuration-*.jar" />

  75.                 <include name="commons-lang-*.jar" />

  76.                 <include name="jackson-core-asl-*.jar" />

  77.                 <include name="jackson-mapper-asl-*.jar" />

  78.                 <include name="slf4j-log4j12-*.jar" />

  79.                 <include name="slf4j-api-*.jar" />

  80.                 <include name="guava-*.jar" />

  81.                 <include name="hadoop-annotations-*.jar" />

  82.                 <include name="hadoop-auth-*.jar" />

  83.                 <include name="commons-cli-*.jar" />

  84.                 <include name="netty-*.jar" />

  85.             </fileset>

  86.         </copy>

  87.     </target>

  88. 

  89.     <target name="compile" depends="init" unless="skip.contrib">

  90.         <echo message="contrib: ${name}" />

  91.         <javac fork="true"  executable="${jdk.home}/bin/javac" encoding="${build.encoding}" srcdir="${src.dir}" includes="**/*.java" destdir="${build.classes}" debug="${javac.debug}" deprecation="${javac.deprecation}" includeantruntime="on">

  92.             <classpath refid="eclipse-sdk-jars" />

  93.             <classpath refid="project-jars" />

  94.         </javac>

  95.     </target>

  96. 

  97.     <target name="jar" depends="compile" unless="skip.contrib">

  98. 

  99.         <pathconvert property="mf.classpath" pathsep=",lib/">

  100.             <path refid="project-jars" />

  101.             <flattenmapper />

  102.         </pathconvert>

  103. 

  104.         <jar jarfile="${build.dir}/hadoop-${hadoop.version}-eclipse-${eclipse.version}-plugin.jar" manifest="${root}/META-INF/MANIFEST.MF">

  105.             <manifest>

  106.                 <attribute name="Bundle-ClassPath" value="classes/,lib/${mf.classpath}" />

  107.             </manifest>

  108.             <fileset dir="${build.dir}" includes="classes/ lib/" />

  109.             <fileset dir="${root}" includes="resources/ plugin.xml" />

  110.         </jar>

  111.     </target>

  112. 

  113. 

  114.     <target name="clean">

  115.         <echo message="contrib: ${name}" />

  116.         <delete dir="${build.dir}" />

  117.     </target>

  118. 

  119. </project>
复制代码


最前面5个属性中，jdk.home指定编译时用的jdk，hadoop和eclipse版本号是用来给jar起名字的，hadoop.home是hadoop安装目录，会从里面提取需要的文件，eclipse.home是eclipse的安装目录，MyEclipse中是那个Common目录。
　　原版中坑爹的jar包版本号无视了，MANIFEST.MF的classpath值也懒得去改了，都自动了，虽然自动会多了几个值，但是总比少的好。
　　又回到最开始的问题，new hadoop location时的窗口问题，是因为少了commons-collections包，所以直接从hadoop安装目录把这个包拉进来打包了，然后问题解决！
　　用jdk1.6编译了两个插件包，MyEclipse10的和Eclipse4.4的，都能用。至于上传文件时由于当前用户名导致的权限问题，这个就是改配置或改代码的事情了，我是编译前直接在源码里面加了两行，反正插件随便编译一下就有了。

011545068993707.jpg


最后附上官方源码，里面原先那个打包好的插件干掉了，都是旧的，还巨大无比！下载源码包 master.zip (352.87 KB, 下载次数: 18)
关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(1)人评论

跳转到指定楼层
正序浏览
wordwan@163.com 发表于 2014-8-5 09:51:18
可以直接使用
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
admin

管理员

关注

  • 1829

    主题

  • 2055

    帖子

  • 166

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000