Spark 如何读取 excel 指定 sheet 中的数据
最近遇到一个需求,就是使用 spark-excel 读取 excel,需要根据输入的 sheet 页数读取数据。我在网上搜索了一番,却没有合适的答案。当然,我第一时间也看了 ExcelOptions 类中的配置属性,也没有 sheet 相关的内容,正当我苦恼时,仔细阅读了一下官方文档,上面说:
If the sheet name is unavailable, it is possible to pass in an index
我发现我离问题的解决更近了,官方文档下面的这段代码就是答案。
val df = spark.read.excel(
header = true,
dataAddress = "0!B3:C35"
).load("Worktime.xlsx") 就是这个 dataAddress,让我平白的想我不会想这个配置就是 sheet 的配置,然而看到了这个单词,“数据地址“,我认为这也确实是我应该考虑的方向,真是失误啊。当然在 ExcelOptions 类中有此属性。
我是用 java 来用 spark api 的。附上我的代码以及注释,相信大家就明白了。
Dataset<Row> dataset = sparkSession.read()
.format("com.crealytics.spark.excel")
.option("header", true)// 是否要表头
.option("dataAddress", dataAddress)// 第几个 sheet 页 ! 第几行第几列,例如:0!A1:B1
.load(filePath);// 加载路径 如 dataAddress = "0!A1",就代表读取第一个 sheet 页中的数据,从 A1 (A 列第一行)开始读取数据。
地址:
https://index.scala-lang.org/crealytics/spark-excel/spark-excel/0.14.0?target=_2.12
页:
[1]