hadoop使用中reduce卡死

查看数: 8049 | 评论数: 9 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-7-31 10:43

每次select * from 来查询的时候，数据都会卡在93%，谁知道为什么啊？？

CCDK 发表于 2017-8-8 09:56:08

nextuser 发表于 2017-8-5 08:55
是不是join导致的。楼主是否分析过原因。

可能性很大吧，我没有具体分析过，之前用的左连接，后来不用了，就好了。还有种可能就是权限问题，修改后就好。

nextuser 发表于 2017-8-5 08:55:26

CCDK 发表于 2017-8-3 08:45
不是数据库的问题，最后我修改了sql语句，用别的方法就成功了。不过谢谢你的建议

是不是join导致的。楼主是否分析过原因。

CCDK 发表于 2017-8-3 08:45:22

nextuser 发表于 2017-8-1 09:30
具体看下，到底使用的是什么数据库。
可能别的地方用着，导致数据库被锁了。
最好还是使用mysql，比较 ...

不是数据库的问题，最后我修改了sql语句，用别的方法就成功了。不过谢谢你的建议

w517424787 发表于 2017-8-1 11:09:19

这种情况应该是表被锁了，你可以show locks;看看！

nextuser 发表于 2017-8-1 09:30:34

CCDK 发表于 2017-7-31 16:48
SQLite是基于derby的吗？我安装CDH时候就已经把derby改成了pgsql了。

具体看下，到底使用的是什么数据库。
可能别的地方用着，导致数据库被锁了。
最好还是使用mysql，比较常见。

CCDK 发表于 2017-7-31 16:48:35

langke93 发表于 2017-7-31 16:02
是否使用的是SQLite，可以尝试替换为mysql postgresql等。
替换的话，可参考
https://www.cloudera.com ...

SQLite是基于derby的吗？我安装CDH时候就已经把derby改成了pgsql了。

langke93 发表于 2017-7-31 16:02:45

CCDK 发表于 2017-7-31 15:19
在hue管理界面执行时候卡了的话它会报一个错误：database is locked

是否使用的是SQLite，可以尝试替换为mysql postgresql等。
替换的话，可参考
https://www.cloudera.com/documen ... min_hue_ext_db.html

CCDK 发表于 2017-7-31 15:19:38

nextuser 发表于 2017-7-31 14:18
最大可能原因是数据倾斜。
任务进度长时间维持在一个状态，因为其处理的数据量和其他reduce差异过大。单一 ...

在hue管理界面执行时候卡了的话它会报一个错误：database is locked

nextuser 发表于 2017-7-31 14:18:10

最大可能原因是数据倾斜。
任务进度长时间维持在一个状态，因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大

图文精华