evababy 发表于 2019-4-24 14:41:16

alluxio挂载hdfs问题

alluxio monut hdfs后,用 hdfs fs -rmr xxx 删除文件后,alluxio文件仍然存在,此时访问此文件存在两种现象:
1、0%加载,报错,无法访问到HDFS文件
2、100%加载,仍然可以访问。

请问如何才能得到及时刷新呢?

evababy 发表于 2019-4-24 15:24:58

找到解决问题的方法了

设置alluxio.user.file.metadata.sync.interval,系统默认-1 关闭自动刷新,另外一个参数是alluxio.user.file.metadata.load.type但是解决不了修改、删除问题。

最终官方还是建议用命令直接刷新某目录:alluxio fs ls -R -Dalluxio.user.file.metadata.sync.interval=0 /xxxx

估计是频繁的无脑刷新会造成性能问题,在官网上竟然有外国妹子在线客服!!与其联系后建议 使用 alluxio rm -R而不是 hdfs -rmr
页: [1]
查看完整版本: alluxio挂载hdfs问题