spark textfile从hdfs上读取文件

如题，请问怎么才能知道读取文件花了多长时间呢

spark没有提供的，有两个思路：1.在驱动程序里面，读取文件前后加上计时器，不过这个可能不精确。而且用到全局变量，最后相加
2.修改源码，在读取文件的函数里，加入计时器。

什么需求呀，还要看读文件的时间

val now1:Date = new Date()
    val lines = spark.textFile(filename, splits)
    val now2:Date = new Date()
    var between:Long = now2.getTime()-now1.getTime()
把textfile前后时间差算出来了要怎样对每个task的between进行相加呢？新手苦恼了一下午。。。

lsy1996 发表于 2017-3-26 19:01
val now1:Date = new Date()
    val lines = spark.textFile(filename, splits)
    val now2:Date = ne ...

使用spark全局变量
spark分布式编程之全局变量专题【共享变量】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19652