关于hive并发问题求助！！！

对于单一的hvie SQL而言，若各个子查询之间 不相关，则可并发执行提高速度，如下： 并发设置语句： set hive.exec.parallel=true; set hive.exec.parallel.thread.number=最大并发job数; 参考：http://www.aboutyun.com/thread-14130-1-1.html 我这的问题是 对于多条hvie SQL，如何设置并发执行？ 看了http://www.aboutyun.com/thread-10362-1-3.html 这篇文章我还没懂。 求大神解惑！~~

多条是指的什么情况？什么场景？这个多条之间是否存在关系。
如果没有关系，其实还是可以按照单条来操作

2017 发表于 2017-6-16 17:46
多条是指的什么情况？什么场景？这个多条之间是否存在关系。
如果没有关系，其实还是可以按照单条来操作
...

我现在这边的有百八十条相互独立的SQL语句，若在脚本中用 hive -f 顺序执行的话太耗费时间，想要提高执行效率并行

[mw_shl_code=sql,true]--sql1:
INSERT INTO TABLE test_table
SELECT 'a',
       'b'
UNION ALL
SELECT 'c',
       'd';

--sql2:
INSERT INTO TABLE test_table
SELECT 'a',
       'b';

--sql3:
INSERT INTO TABLE test_table
SELECT 'a',
       'b';
[/mw_shl_code]

类似SQL1，可通过设置参数使 两个select并发执行提高效率；

我现在是想让 SQL2 和 SQL3两条互相独立的SQL能一块并行执行

heierya 发表于 2017-6-16 18:06
我现在这边的有百八十条相互独立的SQL语句，若在脚本中用 hive -f 顺序执行的话太耗费时间，想要提高执行 ...

插入跟查询不一样的，如果都是插入语句，sql2和sql3应该都是一样的吧，最多数据是不一样的。做成一个循环语句即可

顶の顶！d=====(￣▽￣*)b

顶顶顶

自顶自顶自顶

如果是插入数据，其实是可以批量插入的，无论是通过代码，还是shell.

自顶一下