让你真正明白什么是hive

desehawk · 发表于 2017-3-16 18:24:45

Wyy_Ck 发表于 2017-3-16 16:33
Hive目前还不支持事务；不能对表数据进行修改（不能更新、删除、插入；只能通过文件追加数据、重新导入数据 ...

以前版本不支持，现在的版本已经支持。推荐下面帖子
hive如何配置支持事务及insert、update、delete
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274
hive用处比较大。可以用来分析数据，只需要用sql即可。

sunbrillant · 发表于 2017-8-13 10:19:49

楼主出品~必为精品~~~~~~~~~~~~~~

yngwiewang · 发表于 2017-10-26 15:18:32

看了好多书和材料，只有这篇讲明白了，谢谢。

yyang0709 · 发表于 2017-11-6 10:24:35

看了楼主的文章，还是有很多疑问的

首先对数据仓库的定义，数据仓库里ETL是数仓开发人员开发的重头戏，作为hive，没有找到任何能支持ETL的地方，可把数据分析理解为数仓的全部是不是有些片面？

看了很多关于hive的文章，发现hive是把数据存在HDFS里的文件，这样的话hive实现了用SQL引擎对文件进行查询，那现在的关系型数据库是否会要向hive看齐，数据不再入库，直接存在txt文件里操作就行了

nextuser · 发表于 2017-11-6 14:46:36

yyang0709 发表于 2017-11-6 10:24
看了楼主的文章，还是有很多疑问的

首先对数据仓库的定义，数据仓库里ETL是数仓开发人员开发的重头戏， ...

楼主可参考下面内容

如何使用 Hive 实现 ELT
我从世界银行的网站提取逗号分隔值（CSV）文件。该网站有大量关于经济、金融、贫困等方面的样本和真实数据。在这个示例中，我下载了 World-Finance, Inequality, and Poverty 1958-1998。这些数据将用于研究和教育目的，它们是 52 个发展中国家和发达国家的样本汇总。这些数据包括私人信贷、通货膨胀、国内生产总值（GDP）、GDP 增长率、收入占比等指标，它们提供了可能的洞察力。

在这个示例中，我使用 Hive 从网站提取数据，加载它，并转换它。此用例的目标是要取消各种来源的标准（本例中有 4 个 CSV 文件），然后对一个列执行一些简单的汇总。在您阅读这篇文章，并逐步完成这个示例之后，就会知道如何使用 Hive 实现 ELT 功能。要学习如何执行传统的 ETL 功能，只需逆转该流程，先使用 Hive 转换和汇总数据，然后加载它。

来自：
hive如何作为etl工具
http://www.aboutyun.com/home.php ... do=blog&id=3483

yyang0709 · 发表于 2017-11-8 08:51:13

本帖最后由 yyang0709 于 2017-11-8 08:57 编辑

nextuser 发表于 2017-11-6 14:46
楼主可参考下面内容
来自：
hive如何作为etl工具

非常感谢，顺便想问下hbase的一些疑问，hbase有rowkey的设计，类似于关系数据库的主键，但是关系数据库的主键是可以删除或修改的(在字段允许的情况下)，那rowkey支持换主键么，或者如果有同样一张表的不同主键设计，在hbase里是不是得重新建一张表
比如分户账
账户组account_id，账户序列account_seqn 这两个就能确认一个主键，这时如果有了币种的概念curr_id，那表的主键由account_id，account_seqn改成account_id，account_seqn，curr_id。在关系型数据库里修改就可以了。
但hbase这个rowkey的设计，设计好了能修改改动么，还是改动rowkey只能重新建一张表