hive插入数据报错

tntzbzc 发表于 2015-12-17 17:25
按照什么分区的，是不是跟这个有关系

是的，插入半年的数据就出错了。。。很奇怪。。我的表是定义成orcfile的格式。不知道有没有错、、、、、、、、rs_inventory_status默认是按按dt 时间来进行分区的。为了保持表一致，我就取rs_inventory_status的分区来插入表

tntzbzc 发表于 2015-12-17 17:25
按照什么分区的，是不是跟这个有关系

以前的表也有根据这个分区，因该不是。。。。。我很怀疑是orcfile的问题，但是就是找不到原因，找不到理由

shengxinxin 发表于 2015-12-17 17:33
以前的表也有根据这个分区，因该不是。。。。。我很怀疑是orcfile的问题，但是就是找不到原因，找不到理 ...

首先这个问题确实挺奇怪，个人分析如下：
1.既然sql都是一样的，那么sql肯定是没有问题的。
也就是说是量出了问题，那么既然是量的问题，楼主将半年的数据分为了三个月，那么一个月一个月的导入是否也是这样那。
假如一个月一个月也是这样。

再次测试，如果将半年的数据，增加一倍，看是否还是有问题。
如果以上成立：
小于三个月的数据，都没有问题
大于六个月的数据，都有问题。

那么也就是说量一大就出问题。既然量大出问题，那么什么会影响量？？
楼主是否有自己的答案

atsky123 发表于 2015-12-17 20:25
首先这个问题确实挺奇怪，个人分析如下：
1.既然sql都是一样的，那么sql肯定是没有问题的。
也就是说是 ...

这，，，，你就直说吧。。。。。。。

shengxinxin 发表于 2015-12-17 20:49
这，，，，你就直说吧。。。。。。。

Hive的参数hive.exec.scratchdir所配置的路径为hive执行sql的临时文件的存放路径
如果一个hive sql正常执行完毕后，相应的tmp文件夹会被清除的
但是如果sql执行的存在异常或者非正常中断，那么这个文件夹是不会被删掉了

那么随着时间的推移，这个文件夹里面的文件个数和文件大小会超过yunti的限制

所以楼主可以先检查下tmp文件夹

atsky123 发表于 2015-12-17 22:17
Hive的参数hive.exec.scratchdir所配置的路径为hive执行sql的临时文件的存放路径
如果一个hive sql正常 ...

公司的项目。这让我怎么办。。

shengxinxin 发表于 2015-12-17 22:22
公司的项目。这让我怎么办。。

大家基本上都是公司项目的？
配置不让看？还是权限问题？
权限问题，就给领导汇报下呗

arsenduan 发表于 2015-12-17 23:03
大家基本上都是公司项目的？
配置不让看？还是权限问题？
权限问题，就给领导汇报下呗

两方面的原因都有，，，关键是其他人都没遇到过。。弄得我心里不踏实

这个sql没有问题，逻辑非常简单，全年才4000条数据，不多呀，肯定是配置出错了，让架构好好查下。或则自己把内存调大些。一帮处理几亿的数据才算大些。

为梦狂野 发表于 2016-1-7 23:26
这个sql没有问题，逻辑非常简单，全年才4000条数据，不多呀，肯定是配置出错了，让架构好好查下。或则自己 ...

感觉是存储为orcfile的问题。。。