hadoop使用中reduce卡死

每次select * from 来查询的时候，数据都会卡在93%，谁知道为什么啊？？

最大可能原因是数据倾斜。
任务进度长时间维持在一个状态，因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大

nextuser 发表于 2017-7-31 14:18
最大可能原因是数据倾斜。
任务进度长时间维持在一个状态，因为其处理的数据量和其他reduce差异过大。单一 ...

在hue管理界面执行时候  卡了的话它会报一个错误：database is locked

CCDK 发表于 2017-7-31 15:19
在hue管理界面执行时候  卡了的话它会报一个错误：database is locked

是否使用的是SQLite，可以尝试替换为mysql postgresql等。
替换的话，可参考
https://www.cloudera.com/documen ... min_hue_ext_db.html

langke93 发表于 2017-7-31 16:02
是否使用的是SQLite，可以尝试替换为mysql postgresql等。
替换的话，可参考
https://www.cloudera.com ...

SQLite是基于derby的吗？我安装CDH时候 就已经把derby改成了pgsql了。

CCDK 发表于 2017-7-31 16:48
SQLite是基于derby的吗？我安装CDH时候 就已经把derby改成了pgsql了。

具体看下，到底使用的是什么数据库。
可能别的地方用着，导致数据库被锁了。
最好还是使用mysql，比较常见。

这种情况应该是表被锁了，你可以show locks;看看！

nextuser 发表于 2017-8-1 09:30
具体看下，到底使用的是什么数据库。
可能别的地方用着，导致数据库被锁了。
最好还是使用mysql，比较 ...

不是数据库的问题，最后我修改了sql语句，用别的方法就成功了。不过谢谢你的建议

CCDK 发表于 2017-8-3 08:45
不是数据库的问题，最后我修改了sql语句，用别的方法就成功了。不过谢谢你的建议

是不是join导致的。楼主是否分析过原因。

nextuser 发表于 2017-8-5 08:55
是不是join导致的。楼主是否分析过原因。

可能性很大吧，我没有具体分析过，之前用的左连接，后来不用了，就好了。还有种可能就是权限问题，修改后就好。