discuz论坛apache日志hadoop大数据分析项目：Java web部署

此文档由 about云群（39327136）成员Never give up(2607322268);编写提供

一、下载源代码

1.源码(GIT)地址：https://code.csdn.net/bj278595437/aboutyunhadoop

2.下载完毕后如下图所示的目录结构

注：

·document为该开源项目的文档说明，目录结构如下图所示：

·code为该开源项目的文档说明，目录结构如下图所示：

about-yun为web模块的源代码（本次部署文档的详解内容）；test暂时为未建设的工程（不进行探讨）

·software包含了本开源项目所用到的JAR包和TOMCAT服务器（可选用，也可以用自己安装的）

：

二、建立数据库（本开源项目使用MYSQL以及HBASE，安装过程省略）

1.      建立MYSQL数据库（执行一下语句）：

create database aboutyun;

use aboutyun;

DROP TABLE IF EXISTS `ipstatistical`;

CREATE TABLE `ipstatistical`(

`IpAddress` varchar(30) DEFAULTNULL,

`VisitNum` int(11) DEFAULT NULL,

`Time` datetime DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1;

2.      建立HBASE分布式数据库(在HBASE　SHELL中执行以下语句)：

create 'LogTable','info'

三、构建工程

1.      打开myeclipse,点击FILE----IMPORT----- existing Eclipse projects-----Select ROOTdirectory----BROWSE----选择about-yun所在的目录-----finfsh

图：导入工程

图2：工程目录结构

2.      

导入工程所需要的包（由于项目工程一开始使用的是链接外部的JAR包，故需要将项目所用的JAR包进行导入）

a)        解压项目根目录下software中的lib.

b)       复制lib文件夹到项目工程目录下，如下图所示：

3   c) 右键工程——BUILD PATH（构建路径）——configure build path(配置构建路径)——选择LIBRARIES标签——删除有错误的JAR包

配置构建路径页面

删除错误的JAR包后的页面

d)       把lib下的JAR包加进来（点击 add JARS——选择about-yun下LIB里全部的JAR包——点击OK）

选择LIB目录下全部的JAR包

添加后的页面截图

e)        点击OK，此步骤已经全部完成项目的构建过程。

注：本开源项目提供的为hadoop2.2 和hbase 0.96 版本的JAR包，请根据实际的情况更换对应的JAR包。

3.      修改配置信息

a)        修改mysql数据库配置信息

l        打开resources——config——application-context-ds.xml文件

l        修改ID为：dataSource 的BEAN下的数据库信息（根据实际情况修改）

b)       修改HBASE数据库配置信息

l       打开：com.aboutyun.base.dao.impl. HbaseDaoImpl.java

l       修改HADOOP的地址（根据实际情况）

四、程序部署

a)        使用myeclips自带的TOMCAT进行部署（默认是8080，确保此端口没被占用，若被占用，请自行修改）

                       i.             点击图4.1中按钮（Deploy andundeploy J2EE projects.）——红色标注的按钮

                     ii.             出现图4.2后，点击add——在SERVER下拉框选择myeclipse tomcat选项——点击finished

                   iii.             右键工程——选择RUN AS——选择myeclipseserver application

                    iv.             控制台打印出启动信息，若无报错，则成功。如图4.3所示

                      v.             在浏览器中访问http://IP地址：端口号/about-yun，则可以进入统计页面，如图4.4所示

图4.1

图4.2

      

图4.3

图4.4

b)       使用自己安装的TOMCAT进行部署

                       i.             绑定tomcat在myeclipse中：与使用myeclipse默认的tomcat类似；

                     ii.             不绑定tomcat在myeclipse中：

1.        右键工程——选择EXPORT——选择JAVA EE——WAR FILE——选择保存war文件的路径——finish

2.        将war文件放到tomcat的webapps目录下。启动tomcat即可。（tomcat会自行解压这个文件）

            

                        

怎么不能下载呢？文件损坏啊

和梦一起飞 发表于 2014-8-20 11:32
怎么不能下载呢？文件损坏啊

需要先安装git

楼主麻烦下次发布一些开源的项目的时候,能用maven管理下!这样我们就不用去下载一些jar包！
谢谢！

加入jar的时候,要将spring相关的jar放到web-inf下,否则在启动tomcat的时候会报java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener错误！

LZ,能给点数据吗？我测试用,谢谢了！

JackyCheng 发表于 2014-8-22 13:59
LZ,能给点数据吗？我测试用,谢谢了！

这里面有
about云分析discuz论坛apache日志hadoop大数据项目：需求分析说明书

howtodown 发表于 2014-8-22 14:03
这里面有
about云分析discuz论坛apache日志hadoop大数据项目：需求分析说明书

恩,看到了!
Thanks!

很好，版主。。。最近在做java web和mr的整合，以及通过springmvc 向hdfs上传文件，还请 多给些思路

bonc0378 发表于 2014-8-24 13:37
很好，版主。。。最近在做java web和mr的整合，以及通过springmvc 向hdfs上传文件，还请 多给些思路

可以参考下面内容：

Hadoop web编程--REST API WebHDFS


Hadoop web初级：通过html调用hadoop WebHDFS REST API


欢迎分享。大家相互学习相互帮助