gefieder 发表于 2013-12-5 02:07:17

Hadoop_HDFS开发参考



部分信息如下：
Hadoop包括 HDFS和 MapReduce两部分，HDFS是一个可扩展的分布式文件系统，
      MapReduce 是分布式计算模型。目前我们主要考虑HDFS 分布式文件系统的开发和使用。
          1. 开发环境配置
         HDFS 的开发环境可以在windows 上或linux 环境。可以基于eclipse 开发，也可以直接
      使用jdk 。Windows 环境可以正常编译程序，但如果要在远程服务器上运行和测试程序，需
      要配置 ssh 和用户，比较麻烦。因此一般建议在linux 环境运行和测试。
                  1.1. eclipse开发环境配置
                1.1.1.MapReduce Tools for Eclipse插件
         IBM 有一款MapReduce Tools for Eclipse 插件，可以在Eclipse 上创建MapReduce 应用
      程序。该插件支持以下功能：
          以JAR 文件方式打包和部署一个Java 项目到一个Hadoop 服务器（本地和远程）
          可以查看Hadoop 服务器、Hadoop 分布式文件系统（DFS ）和当前任务状态的分离
             视图
          方便基于MapReduce 框架的类开发的向导
          该插件可以运行在Windows、Linux 或任何可以运行Eclipse 的操作系统上。
         该插件支持的环境：
          Eclipse 3.2.2+
          Java(TM) 1.5
          Hadoop 0.7.2 +
                1.1.2.插件配置
         1）下载MapReduce Tools for Eclipse 插件，地址是
      http://www.alphaworks.ibm.com/tech/mapreducetools。
         mapreduce_tools.z
               ip
         2 ）解压缩，将plugins   目录下的文件夹拷贝到Eclipse       目录下的plugins目录下，启动
         Eclipse。
         3）从http://hadoop.apache.org/core/ 下载hadoop-0.18.1.tar.gz，并解压到本机。
         4 ）点击Eclipse 主菜单上Windows->Preferences, 然后在左侧选择Hadoop    Home
         Directory,设定解压的Hadoop 主目录：



hbu126 发表于 2014-12-31 18:03:08

thanks a lot

页: [1]
查看完整版本: Hadoop_HDFS开发参考