about云分析discuz论坛apache日志hadoop大数据项目：数据库设计说明书V1.0.1

about云分析discuz论坛

apache日志hadoop大数据项目

数据库设计说明书

修改记录

版本号	更改人/发布人	审批人	更改日期
V1.0.1	About云	About云	20140-7-20

程序命名规则：

包：统一www.aboutyun.com.包名

注释中：程序开头加上个人名字

文件清洗，放入路径

/usr/local/abotuyunlog

git地址：https://code.csdn.net/bj278595437/aboutyunhadoop.git

hive表设计

表名称：LogTable

字段：

IpAddress 字符串（STRING）

IpCount  整型（INT）

Url      字符串（STRING）

UserBrowser 字符串（STRING）

OS   字符串（STRING）

AccressTime 时间类型（TIMESTAMP）

hbase表设计

加载到hbase中

hbase两个字段即可：

表名称：

LogTable

RowKey：IpAddress+Url

一个列族

Info：

5个列：

IpAddress

IpCount（暂时去掉）

Url      

UserBrowser

OS   

AccressTime

Mysql表设计

一、统计ip

表名称

IPStatistical  

字段：

IpAddress  VARCHAR

VisitNum   INT

Time       DATETIME  

二、统计跳出率

表名称：

BounceRate

字段：

Url  VARCHAR

Rate  FLOAT

三、统计后台登陆ip

表名称：BackgroundIP

字段：

IpAddress   VARCHAR

VisitNum   INT

Time      DATETIME  

四、统计搜索量及搜索词

表名称：SearchStatistics

字段：

IpAddress   VARCHAR

SearchWod  NVARCHAR

SearchNum  INT

Time        DATETIME

注释：SearchNum   搜索次数

五、统计模块点击量

表名称：ModuleClicks

字段：

IpAddress   VARCHAR

VisitNum    INT

Time        DATETIME  

六、空间总访问量

表名称：ModuleClicks

字段：

IpAddress   VARCHAR

VisitNum    INT

Time        DATETIME  

七、统计导航点击量：

表名称：NavigationStatistics

字段：

IpAddress   VARCHAR

VisitNum    INT

Type          INT

Time        DATETIME  

type类型：数字与统计对相应

1.统计论坛社区

2.统计图文阅读区

3.统计导读

4.统计博客

5.统计排行榜

6.统计分享

7.统计群组

8.统计广播

9.统计微信

现在数据库更新了么？有没有SQL文件

舒舒坦坦过日子，折折腾腾学技术