分享

实时数据仓库案例【流程图等】

本帖最后由 hyj 于 2020-7-3 10:49 编辑

技术路线

一图胜千言,如图是所使用的大数据组件,离线数仓的搭建涉及Kafka、Flume、Sqoop、Hive,实时路线包含Kafka、SparkStreaming、Kudu,最终的展示由Impala查询Hive和Kudu上相关数据,作OLAP分析,分析结果由Tableau展示



1.png

离线数据采集

Kafka+Flume+HDFS 构建消息采集系统


1.png


Sqoop作数据库到数仓的桥梁


数据仓库数据分层和维度建模的设计


1.png

实时消息处理


1.png




地址:
https://github.com/josonle/Realtime-Data-Warehouse





已有(2)人评论

跳转到指定楼层
叶孤城 发表于 2020-7-3 09:51:24
根本没有代码啊,下载解压就几张缩略图

点评

hyj
感谢反馈,后面给大家提供更多这方面的内容  发表于 2020-7-3 10:49
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条