查看Spark任务日志信息的方法及步骤

可以在提交Spark 任务的客户端mynode4 上提交SparkPi 任务，测试是否可以将Spark 任务的日志保存成功、是否可以正常查看已经运行完成的任务的日志信息。在Spark 提交任务的客户端mynode4 上执行提交任务的命令：

在mynode4 客户端节点查看任务运行信息：

使用命令查看提交集群的任务日志是否保存到HDFS 路径/spark/log 下：

经过以上查询，发现当前Spark 任务的日志已经被保存到HDFS 路径中。当上述Spark任务运行完成之后，在浏览器中输入“https：//mynode1：8088”，进入Yarn 任务管理界面，检查已完成Spark 任务的日志信息能否被成功查看。

单击图4-4 中“Tracking UI”对应的“History”，弹出图4-5 所示的页面，表示集群已经成功将已运行完的Spark 任务日志还原。

单击Spark 任务界面的“Executor”选项，查看Spark 任务运行的Executor 日志信息，如图4-6 所示。

单击图4-6 中“Logs”对应的信息，查看Spark 任务运行时的一些日志信息。例如，

图4-4　已完成任务列表

(www.xing528.com)

图4-5　Spark 任务详情

图4-6　Executor 信息

单击“Driver”，对应的标准输出日志信息如下：

此时，查看Spark 日志信息的操作完成。可以通过以上方式在Yarn 的任务管理界面中查看提交到Yarn 集群的Spark 任务日志信息。