Presto on Yarn基于YARN的群集的调试和日志记录

问题导读

1.如果已使用“使用YARN”标签，则则COORDINATOR和WORKER组件在哪运行？
2.Presto启动在哪可以查看详细信息？
3.YARN应用程序无法启动Presto，该如何做？

启动YARN应用程序后，可以在YARN ResourceManager WebUI上监视状态。

成功启动的应用程序将处于RUNNING状态。 YARN ApplicationMaster UI（例如：http：// master：8088 / cluster / app / application_ <id>）将显示slide-appmaster，COORDINATOR和WORKER组件以及根据配置运行的关联容器。也可以使用Slider cli脚本来检查状态。

如果同一YARN应用程序失败，则Slider重试以启动Presto。在重试阶段，YARN应用程序仍将处于RUNNING状态。经过5次失败的重试，最终导致工作中断。

如果已使用“使用YARN”标签，则COORDINATOR和WORKER组件将在带有“ labeled”标签的节点上运行。

如果尚未使用标签，则可以在YARN ResourceManager上检查状态（例如：http：// master：8088 / cluster / app / application_ <id>），也可以使用Check the Status（获取状态）来获取“ live”（实时） ”容器，从而获得托管Presto组件的节点。

如果Presto已启动并正在运行，则NodeManager节点上的PrestoServer pgrep将提供过程详细信息。这还应提供Presto的安装目录和Presto使用的配置文件。

如果YARN应用程序无法启动Presto，则可能需要查看在YARN日志目录下为相应应用程序创建的滑块日志。建议使用yarn-site.xml中的yarn.log-aggregation-enable属性在YARN中启用YARN应用程序日志文件的日志聚合。然后，在Presto-YARN启动期间创建的滑块日志将在本地日志目录（例如/ var / log / hadoop-yarn / application_）下的nodemanager节点（部署了slide-appmaster和Presto组件-COORDINATOR / WORKER的节点）上本地提供。 <id> / container_ <id> /。对于Slider尝试启动Presto的任何重试，都会启动一个新容器，因此将找到一个新的container_ <id>目录。可以在errors _ *。txt下查找任何错误，并且还有一个slide-agent.log文件，它将为提供Slider应用程序生命周期的详细信息。随后，每个Slider应用程序所有者可以通过在自己的resource.json中添加以下属性来灵活地设置他们打算聚合的文件名的包含和排除模式。例如，使用

"global": {
   "yarn.log.include.patterns": "*",
   "yarn.log.exclude.patterns": "*.*out"
 }
复制代码

有关详细信息，请参见http://slider.incubator.apache.o ... sources.html#logagg。

如果slider.log中没有错误，则可能需要查看Presto日志中是否有任何错误。 Presto日志将在标准Presto数据目录位置下提供。默认情况下，它是/ var / lib / presto / data / var / log目录，其中/ var / lib / presto / data是在Slider appConfig.json中配置的默认数据目录site.global.data_dir。您可以在此处找到server.log和http-request.log文件。请注意，必须手动启用这些Presto日志文件的日志轮换（例如：使用http://linuxcommand.org/man_pages/logrotate8.html）

如果使用默认的appConfig.json属性site.global.config_dir，则Presto配置文件将位于/ var / lib / presto / etc目录中。此处的配置文件将由Slider生成，并在每次重新启动应用程序时覆盖。这些文件不应手动修改。

最新经典文章，欢迎关注公众号