spark jobhistory问题

hi  各位

           之前hadoop job的history 能知道 input 的文件路径。通过histroy文件获取到，运行中也可以获取到。

            spark 有什么方法获取到这些路径吗？因为我要获取到在跑的spark任务的input文件路径。

SPARK_HOME/conf 下:

spark-defaults.conf 增加如下内容

spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true

spark-env.sh 增加如下内容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”

启动start-history-server.sh

SPARK_HOME/conf 下: 执行 ./start-history-server.sh

spark job history web: master:18080

这样在spark任务运行完成之后,就可以通过web页面查看日志了

history server相关的配置参数描述

• spark.history.updateInterval
  　　默认值：10
  　　以秒为单位，更新日志相关信息的时间间隔
• spark.history.retainedApplications
  　　默认值：50
  　　在内存中保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时需要重新构建页面。
• spark.history.ui.port
  　　默认值：18080
  　　HistoryServer的web端口
• spark.history.kerberos.enabled
  　　默认值：false
  　　是否使用kerberos方式登录访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，如果设置为true，就要配置下面的两个属性
• spark.history.kerberos.principal
  　　默认值：用于HistoryServer的kerberos主体名称
• spark.history.kerberos.keytab
  　　用于HistoryServer的kerberos keytab文件位置
• spark.history.ui.acls.enable
  　　默认值：false
  　　授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查
• spark.eventLog.enabled
  　　默认值：false
  　　是否记录Spark事件，用于应用程序在完成后重构webUI
• spark.eventLog.dir
  　　默认值：file:///tmp/spark-events
  　　保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建
• spark.eventLog.compress
  　　默认值：false
  　　是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy
  
  

以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf

这个我知道的，但是没有JOB 输入文件，输出文件的信息的,hadoop有job config 里面有input属性

那你只能另想办法了，可以从程序中获取