分享

hive 构建一个数据仓库

zhanggl 发表于 2014-6-9 13:47:09 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11250
最近遇到一个问题:需要用hive构建一个数据仓库,没有这方面的经验,大家给点建议或者指导

已有(4)人评论

跳转到指定楼层
nettman 发表于 2014-6-9 14:43:30
本帖最后由 pig2 于 2014-6-11 13:45 编辑
hive与普通仓库的区别是hive是基于hadoop的。
仓库与数据库的区别:
一个是存储历史数据
一个是存储实时存储

从上面我们得出,hive只要了解hadoop,然后会设计数据库,就木有问题了。
详细可以参考:
数据库与数据仓库的区别


Hive与并行数据仓库的体系结构比较


数据仓库hive数据类型转换

回复

使用道具 举报

zhanggl 发表于 2014-6-11 12:12:47
nettman 发表于 2014-6-9 14:43
hive与普通仓库的区别是hive是基于hadoop的。
仓库与数据库的区别:
一个是存储历史数据

谢谢,看了你的回复,对hive仓库有了初步了解。初步定为hive数据仓库的流程如下(流程图还在画):
数据库层
数据仓库管理—>源数据层-->数据导入层 ->数据服务层—>中间服务层
         数据仓库管理包含:源数据管理,数据备份恢复,数据仓库监控
         数据导入层:调度控制,日志,ETL过程,数据质量检查,错误处理回溯
         中间层:做一个数据的展现
ETL架构层
可以问你几个问题:1、hive仓库都是必须和ETL工具配合吗


点评

如果你有更好的工具也可以啊  发表于 2014-6-11 13:46
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条