About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › 疑问解答› spark排序以后写入单个文件

spark排序以后写入单个文件

ighack 2020-12-9 14:08:34 发表于疑问解答 [显示全部楼层] 回帖奖励

阅读模式关闭右栏 0 2479

本帖最后由 ighack 于 2020-12-9 14:11 编辑

val freq = model.freqItemsets.withColumn("rate", col("freq") / lit(count))

freq.orderBy(org.apache.spark.sql.functions.desc("rate")).repartition(1).write.mode("overwrite").json(ifreq)

当我freq.show()好像结果是排序的，但当我写了文件的时候就不排序了

使用道具举报