spark监控hdfs新增文件在sparkStreaming程序中能否得到这个文件的...

spark监控hdfs的时候，在hdfs中新增文件，在sparkStreaming程序代码中能否得到这个新增文件的路径，应该如何获取这个路径？

sstutu · 发表于 2017-10-12 15:10:06

这个恐怕需要看下源码，是否带有路径这个属性。

fengfengda · 发表于 2017-10-13 11:08:16

sstutu 发表于 2017-10-12 15:10
这个恐怕需要看下源码，是否带有路径这个属性。

看了源码想了很多办法但是还是拿不到这个路径啊

sstutu · 发表于 2017-10-17 20:25:04

fengfengda 发表于 2017-10-13 11:08
看了源码想了很多办法但是还是拿不到这个路径啊

源码应该是首先会去读取配置文件，然后找到路径下的文件，然后读取文件。里面应该有关于路径的代码

fengfengda · 发表于 2017-10-18 15:11:54

sstutu 发表于 2017-10-17 20:25
源码应该是首先会去读取配置文件，然后找到路径下的文件，然后读取文件。里面应该有关于路径的代码

是有关于路径的代码，但是我在rdd里面拿不到这个文件的路径，处理不同的文件会读取新的文件路径

图文精华