1.选择业务过程 2.生命粒度 3.确认维度 4.确认事实

pig2 2020-7-7 0 2089

Hive加载、导入数据，很多同学遇到为NULL的情况，这里给我们总结下，可能的原因如下 1.数据类型不一致 2.数据编码类型不一致 ...

阿飞 2022-3-16 0 2432

在启动 hive cli 时也遇到了这个问题。 试图找到一些解决问题的方法，但没有奏效。 当改变了metastore的版本（比如mysql ...

hyj 2021-7-12 0 4198

背景:数据存在hive中,现在需要将数据导入kafka中,为了减少中间环节,使用自定义UDF将hive数据导入到kafka中 问题:UDF时对 ...

nettman 2021-5-19 1 4441

数据仓库分层我们大概知道有哪些层，比如ODS、DWD等，可是还有DW层，DM层，他们之间是什么关系，可参考下面内容和图示。 数据 ...

pig2 2020-12-24 0 3076

借鉴同行业数据仓库建设实践与经验，商业银行数据仓库建设应重点关注数据仓库技术平台选型、应用体系架构规划、数据仓库设计开发 ...

阿飞 2020-7-10 0 2029

大数据刚兴起的时候，数据主要用途是 BI 、报表、可视化。因此数据需要是结构化的，并且需要 ETL 对数据进行预处理。这个阶段数 ...

阿飞 2020-4-21 1 3972

Oracle 数据类型与 Hive数据类型，需要映射，下面是对照表，可收藏。 下表标识 Oracle 数据类型、复制定义数据类型和 Hive 数 ...

hyj 2020-3-10 1 4960

刚入门，我们搞不清楚spark sql和hive on spark有什么区别。 spark sql是sql语句 hive on spark也是sql语句，这二者有什么 ...

pig2 2018-4-29 4 23744

hive正常插入格式：insert into table tableName values ('d','20170101') 但是如果带有分区，则需要使用下面格式： inse ...

desehawk 2018-4-11 0 6260

某系统，设计要求是每日10w交易，压力测试正常通过。 然后上线不到一周，某日突发行情，当天交易100W+，日终批量跑了两小时 ...

sstutu 2018-3-29 1 6229

根据颗粒度的顺序，Hive数据被组织成： [*]数据库：命名空间功能，为了避免表，视图，分区，列等等的命名冲突。数据库也可以用 ...

desehawk 2018-3-24 0 6420

Hive是一个基于Apache Hadoop的数据仓库。对于数据存储与处理，Hadoop提供了主要的扩展和容错能力。 Hive设计的初衷是：对于 ...

desehawk 2018-3-24 0 5605

本帖最后由 pig2 于 2018-4-29 10:31 编辑 1、创建表时指定数组分隔形式 create table t_arr(id int,name string,hobby array ...

desehawk 2018-3-24 0 10353

hive执行的效率达不到olap需求，我们这边是在hive外层套了presto实现效率提升的 我们使用的是0.196版本（目前最新版） 当我想 ...

zhuqitian 2018-3-21 2 15803

有个小需求，计算商品发货时间和下单时间差，然后算出48小时内发货的占比 [mw_shl_code=sql,true]select sum(case when ((uni ...

zhuqitian 2018-2-7 2 14403

hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可 ...

arsenduan 2015-7-4 4 42418

问题导读： 1.hive是通过什么函数来分页的？ 2.本文hive分页的方法是什么？ hive没有像MySQL那样的limit start,end ...

阿飞 2014-9-4 5 92144

本帖最后由 pig2 于 2018-4-29 10:31 编辑 每日定时导入hive数据仓库的自动化脚本 创建shell脚本，创建临时表，装载数据 ...

Alkaloid0515 2015-5-11 6 111556

在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。 ...

desehawk 2015-9-7 1 9782

1.导入Eclipse编码jar包 hadoop-auth-2.4.0.2.1.3.0-563.jar hadoop-common-2.4.0.2.1.3.0-563.jar hive-exec-0. ...

yuwenge 2015-6-18 1 13278

如果HIVE的输入文件是大量的小文件，而每个文件启动一个map的话是对yarn资源的浪费，同样的，Hive输出的文件也远远小于HDFS块大 ...

yuwenge 2015-6-18 0 18998

业务背景hive表test_user_browse记录了用户浏览过的商品，该表的数据如下：现在，想要将product字段拆分为多行。 实现方式现在 ...

yuwenge 2015-6-3 2 37931

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有 ...

leo_1989 2015-5-24 0 34332

本帖最后由 xioaxu790 于 2014-5-26 08:30 编辑 问题导读： 1、为什么Hive设定的参数没有起作用？ 2、一般是什么设定方式 ...

xioaxu790 2014-5-26 1 8600

　Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,B ...

gefieder 2014-1-12 0 7519

传统数据库大家都了解，那么传统数据库与hive有什么区别和联系。这张表对于传统程序员开发比较有用。

howtodown 2014-1-11 0 7422

问题1： 用SQOOP从ORACLE中导出数据到HDFS上，用HIVE查询后发现中文是乱码 解答： ./sqoop import --connect jdbc:oracle:t ...

pig2 2013-12-23 0 7137