图文精华

About云»专题 › 技术学习(版主发帖区) › 大数据学习 › Hive|数据仓库 › 连载型› 大数据项目之电商数仓（总结）（六）:用户行为数据仓库
分享

大数据项目之电商数仓（总结）（六）:用户行为数据仓库

levycui 2020-12-1 19:50:36 发表于 连载型 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 0 4940
问题导读：
1、为什么要进行数据分层？
2、数仓搭建环境需要哪些准备工作？
3、如何设计数仓ODS层？
4、Shell中单引号和双引号区别？

上一篇：大数据项目之电商数仓（总结）（五）

第1章 数仓分层概念
1.1 为什么要分层

2020-12-01_194457.jpg

1.2 数仓分层
2020-12-01_194525.jpg

2020-12-01_194545.jpg

1.3 数据集市与数据仓库概念
2020-12-01_194611.jpg

1.4 数仓命名规范
  • ODS层命名为ods
  • DWD层命名为dwd
  • DWS层命名为dws
  • ADS层命名为ads
  • 临时表数据库命名为xxx_tmp
  • 备份数据数据库命名为xxx_bak


第2章 数仓搭建环境准备
2020-12-01_194654.jpg
2020-12-01_194717.jpg

2.1 Hive&MySQL安装
2.1.1 Hive&MySQL安装
2.1.2 修改hive-site.xml
1）关闭元数据检查
[kgg@hadoop102 conf]$ pwd
/opt/module/hive/conf
[kgg@hadoop102 conf]$ vim hive-site.xml
增加如下配置：
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

2.2 项目经验之元数据备份
元数据备份（重点，如数据损坏，可能整个集群无法运行，至少要保证每日零点之后备份到其它服务器两个复本）
参看文档：大数据技术之MySQL_HA

2.3 Hive运行引擎Tez
Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看下图。

2020-12-01_194756.jpg
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。
Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。

2.3.1 安装包准备
1）下载tez的依赖包：http://tez.apache.org
2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录
  1. [kgg@hadoop102 software]$ ls

  2. apache-tez-0.9.1-bin.tar.gz
复制代码

3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。
  1. [kgg@hadoop102 conf]$ hadoop fs -mkdir /tez

  2. [kgg@hadoop102 conf]$ hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez
复制代码

4）解压缩apache-tez-0.9.1-bin.tar.gz
  1. [kgg@hadoop102 software]$ tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/module
复制代码

5）修改名称
  1. [kgg@hadoop102 module]$ mv apache-tez-0.9.1-bin/ tez-0.9.1
复制代码


2.3.2 在Hive中配置Tez
1）进入到Hive的配置目录：/opt/module/hive/conf
  1. [kgg@hadoop102 conf]$ pwd

  2. /opt/module/hive/conf
复制代码
2）在Hive的/opt/module/hive/conf下面创建一个tez-site.xml文件
  1. [kgg@hadoop102 conf]$ pwd

  2. /opt/module/hive/conf

  3. [kgg@hadoop102 conf]$ vim tez-site.xml

  4. 添加如下内容

  5. <?xml version="1.0" encoding="UTF-8"?>

  6. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

  7. <configuration>

  8. <property>

  9.     <name>tez.lib.uris</name>

  10.     <value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value>

  11. </property>

  12. <property>

  13.      <name>tez.use.cluster.hadoop-libs</name>

  14.      <value>true</value>

  15. </property>

  16. <property>

  17.      <name>tez.history.logging.service.class</name>        <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>

  18. </property>

  19. </configuration>
复制代码

3）在hive-env.sh文件中添加tez环境变量配置和依赖包环境变量配置
  1. [kgg@hadoop102 conf]$ vim hive-env.sh

  2. 添加如下配置

  3. # Set HADOOP_HOME to point to a specific hadoop install directory

  4. export HADOOP_HOME=/opt/module/hadoop-2.7.2

  5. 

  6. # Hive Configuration Directory can be controlled by:

  7. export HIVE_CONF_DIR=/opt/module/hive/conf

  8. 

  9. # Folder containing extra libraries required for hive compilation/execution can be controlled by:

  10. export TEZ_HOME=/opt/module/tez-0.9.1    #是你的tez的解压目录

  11. export TEZ_JARS=""

  12. for jar in `ls $TEZ_HOME |grep jar`; do

  13.     export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar

  14. done

  15. for jar in `ls $TEZ_HOME/lib`; do

  16.     export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar

  17. done

  18. 

  19. export HIVE_AUX_JARS_PATH=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS
复制代码

4）在hive-site.xml文件中添加如下配置，更改hive计算引擎
  1. <property>

  2.     <name>hive.execution.engine</name>

  3.     <value>tez</value>

  4. </property>
复制代码


2.3.3 测试
  1. 1）启动Hive

  2. [kgg@hadoop102 hive]$ bin/hive

  3. 2）创建表

  4. hive (default)> create table student(

  5. id int,

  6. name string);

  7. 3）向表中插入数据

  8. hive (default)> insert into student values(1,"zhangsan");

  9. 4）如果没有报错就表示成功了

  10. hive (default)> select * from student;

  11. 1       zhangsan
复制代码


2.3.4 小结
  1. 1）运行Tez时检查到用过多内存而被NodeManager杀死进程问题：

  2. Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_1546781144082_0005_000002 exited with  exitCode: -103

  3. For more detailed output, check application tracking page:http://hadoop103:8088/cluster/app/application_1546781144082_0005Then, click on links to logs of each attempt.

  4. Diagnostics: Container [pid=11116,containerID=container_1546781144082_0005_02_000001] is running beyond virtual memory limits. Current usage: 216.3 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container.

  5. 这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。

  6. [摘录] The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire process tree of the task and if it eats up more memory than the maximum set in mapreduce.map.memory.mb or mapreduce.reduce.memory.mb respectively, we would expect the Nodemanager to kill the task, otherwise your task is stealing memory belonging to other containers, which you don't want.
复制代码


解决方法：
关掉虚拟内存检查，修改yarn-site.xml，修改后一定要分发，并重新启动hadoop集群。
  1. <div><property>

  2. <name>yarn.nodemanager.vmem-check-enabled</name>

  3. <value>false</value>

  4. </property>

  5. </div>
复制代码



第3章 数仓搭建之ODS层
2020-12-01_194940.jpg
3.1 创建数据库
1）创建gmall数据库
hive (default)> create database gmall;
说明：如果数据库存在且有数据，需要强制删除时执行：drop database gmall cascade;
2）使用gmall数据库
hive (default)> use gmall;

3.2 ODS层
原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。
3.2.1 项目经验之支持LZO压缩配置
1）hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

Hadoop支持LZO

0. 环境准备
  1. maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）

  2. gcc-c++

  3. zlib-devel

  4. autoconf

  5. automake

  6. libtool

  7. 通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool
复制代码
1. 下载、安装并编译LZO
  1. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
复制代码
  1. tar -zxvf lzo-2.10.tar.gz

  2. 

  3. cd lzo-2.10

  4. 

  5. ./configure -prefix=/usr/local/hadoop/lzo/

  6. 

  7. make

  8. 

  9. make install
复制代码

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后，修改pom.xml
  1.     <hadoop.current.version>2.7.2</hadoop.current.version>
复制代码

2.3 声明两个临时环境变量
  1.      export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include

  2.      export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
复制代码

2.4 编译
  1.     进入hadoop-lzo-master，执行maven编译命令

  2.     mvn package -Dmaven.test.skip=true
复制代码

2.5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

1）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
  1. [kgg@hadoop102 common]$ pwd

  2. /opt/module/hadoop-2.7.2/share/hadoop/common

  3. [kgg@hadoop102 common]$ ls

  4. hadoop-lzo-0.4.20.jar
复制代码


2）同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104
  1. [kgg@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar
复制代码


3）core-site.xml增加配置支持LZO压缩
  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

  3. 

  4. <configuration>

  5. <property>

  6. <name>io.compression.codecs</name>

  7. <value>

  8. org.apache.hadoop.io.compress.GzipCodec,

  9. org.apache.hadoop.io.compress.DefaultCodec,

  10. org.apache.hadoop.io.compress.BZip2Codec,

  11. org.apache.hadoop.io.compress.SnappyCodec,

  12. com.hadoop.compression.lzo.LzoCodec,

  13. com.hadoop.compression.lzo.LzopCodec

  14. </value>

  15. </property>

  16. 

  17. <property>

  18.     <name>io.compression.codec.lzo.class</name>

  19.     <value>com.hadoop.compression.lzo.LzoCodec</value>

  20. </property>

  21. </configuration>
复制代码

4）同步core-site.xml到hadoop103、hadoop104
  1. [kgg@hadoop102 hadoop]$ xsync core-site.xml
复制代码

5）启动及查看集群
  1. [kgg@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

  2. [kgg@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
复制代码

6）创建lzo文件的索引，lzo压缩文件的可切片特性依赖于其索引，故我们需要手动为lzo压缩文件创建索引。若无索引，则lzo文件的切片只有一个。
  1.   hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo
复制代码

7）测试
  1.     （1）hive建表语句

  2. create table bigtable(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t' STORED AS

  3.   INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'

  4.   OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

  5.     （2）向表中导入数据，bigtable.lzo大小为140M

  6. load data local inpath '/opt/module/data/bigtable.lzo' into table bigtable;

  7.     （3）测试（建索引之前），观察map个数（1个）

  8. select id,count(*) from bigtable group by id limit 10;

  9.     （4）建索引

  10. hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/bigtable

  11.     （5）测试（建索引之后），观察map个数（2个）

  12. select id,count(*) from bigtable group by id limit 10;
复制代码

3.2.2 创建启动日志表ods_start_log

2020-12-01_195052.jpg
1）创建输入数据是lzo输出是text，支持json解析的分区表
  1. hive (gmall)> 

  2. drop table if exists ods_start_log;

  3. CREATE EXTERNAL TABLE ods_start_log (`line` string)

  4. PARTITIONED BY (`dt` string)

  5. STORED AS

  6.   INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'

  7.   OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

  8. LOCATION '/warehouse/gmall/ods/ods_start_log';

  9. 说明Hive的LZO压缩：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LZO
复制代码

2）加载数据
  1. hive (gmall)> 

  2. load data inpath '/origin_data/gmall/log/topic_start/2020-10-14' into table gmall.ods_start_log partition(dt='2019-12-14');

  3. 注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式
复制代码

3）查看是否加载成功
  1. hive (gmall)> select * from ods_start_log limit 2;
复制代码

4）为lzo压缩文件创建索引
  1. hadoop jar /opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_start_log/dt=2020-10-14
复制代码

3.2.3 创建事件日志表ods_event_log

2020-12-01_195305.jpg
1）创建输入数据是lzo输出是text，支持json解析的分区表
  1. hive (gmall)> 

  2. drop table if exists ods_event_log;

  3. CREATE EXTERNAL TABLE ods_event_log(`line` string)

  4. PARTITIONED BY (`dt` string)

  5. STORED AS

  6.   INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'

  7.   OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

  8. LOCATION '/warehouse/gmall/ods/ods_event_log';
复制代码

2）加载数据
  1. hive (gmall)> 

  2. load data inpath '/origin_data/gmall/log/topic_event/2020-10-14' into table gmall.ods_event_log partition(dt='2020-10-14');

  3. 注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式
复制代码

3）查看是否加载成功
  1. hive (gmall)> select * from ods_event_log limit 2;
复制代码

4）为lzo压缩文件创建索引
  1. hadoop jar /opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_event_log/dt=2020-10-14
复制代码

3.2.4 Shell中单引号和双引号区别
1）在/home/kgg/bin创建一个test.sh文件
  1. [kgg@hadoop102 bin]$ vim test.sh 

  2. 在文件中添加如下内容

  3. #!/bin/bash

  4. do_date=$1

  5. 

  6. echo '$do_date'

  7. echo "$do_date"

  8. echo "'$do_date'"

  9. echo '"$do_date"'

  10. echo `date`
复制代码

2）查看执行结果
  1. [kgg@hadoop102 bin]$ test.sh 2019-12-14

  2. $do_date

  3. 2019-12-14

  4. '2019-12-14'

  5. "$do_date"

  6. 2019年 05月 02日 星期四 21:02:08 CST
复制代码

3）总结：
（1）单引号不取变量值
（2）双引号取变量值
（3）反引号，执行引号中命令
（4）双引号内部嵌套单引号，取出变量值
（5）单引号内部嵌套双引号，不取出变量值

3.2.5 ODS层加载数据脚本
1）在hadoop102的/home/kgg/bin目录下创建脚本
  1. [kgg@hadoop102 bin]$ vim ods_log.sh

  2.     在脚本中编写如下内容

  3. #!/bin/bash

  4. 

  5. # 定义变量方便修改

  6. APP=gmall

  7. hive=/opt/module/hive/bin/hive

  8. hadoop=/opt/module/hadoop/bin/hadoop

  9. 

  10. # 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天

  11. if [ -n "$1" ] ;then

  12.    do_date=$1

  13. else 

  14.    do_date=`date -d "-1 day" +%F`

  15. fi

  16. 

  17. echo "===日志日期为 $do_date==="

  18. sql="

  19. load data inpath '/origin_data/gmall/log/topic_start/$do_date' into table "$APP".ods_start_log partition(dt='$do_date');

  20. 

  21. load data inpath '/origin_data/gmall/log/topic_event/$do_date' into table "$APP".ods_event_log partition(dt='$do_date');

  22. "

  23. 

  24. $hive -e "$sql"

  25. 

  26. $hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_start_log/dt=$do_date

  27. 

  28. $hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /warehouse/gmall/ods/ods_event_log/dt=$do_date

  29. 说明1：

  30. [ -n 变量值 ] 判断变量的值，是否为空

  31. -- 变量的值，非空，返回true

  32. -- 变量的值，为空，返回false

  33. 说明2：

  34. 查看date命令的使用，[kgg@hadoop102 ~]$ date --help
复制代码

2）增加脚本执行权限
  1. [kgg@hadoop102 bin]$ chmod 777 ods_log.sh
复制代码

3）脚本使用
  1. [kgg@hadoop102 module]$ ods_log.sh 2019-02-11
复制代码

4）查看导入数据
  1. hive (gmall)> 

  2. select * from ods_start_log where dt='2019-02-11' limit 2;

  3. select * from ods_event_log where dt='2019-02-11' limit 2;
复制代码

5）脚本执行时间
企业开发中一般在每日凌晨30分~1点

最新经典文章，欢迎关注公众号


本帖被以下淘专辑推荐:

回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
levycui

超级版主

关注

  • 654

    主题

  • 1166

    帖子

  • 97

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000