实时数据仓库案例【流程图等】
本帖最后由 hyj 于 2020-7-3 10:49 编辑技术路线
一图胜千言，如图是所使用的大数据组件，离线数仓的搭建涉及Kafka、Flume、Sqoop、Hive，实时路线包含Kafka、SparkStreaming、Kudu，最终的展示由Impala查询Hive和Kudu上相关数据，作OLAP分析，分析结果由Tableau展示
离线数据采集
Kafka+Flume+HDFS 构建消息采集系统
Sqoop作数据库到数仓的桥梁
数据仓库数据分层和维度建模的设计
实时消息处理
地址：
https://github.com/josonle/Realtime-Data-Warehouse
根本没有代码啊，下载解压就几张缩略图
页:
[1]