arsenduan 发表于 2015-11-28 20:34:32

hdfs test 命令

有时候需要写一个脚本测试hdfs中的某个文件或者目录是否存在,比如当接收机发现磁盘分区剩余空间已经到了危险值的时候,需要首先测试一下是否日志已经存入HDFS目录,如果是,则可以删除接收机上的本地日志文件,避免磁盘满的事故。

下面是hdfs2.0的test命令介绍:

hdfs dfs -help
-test - <path>:Answer various questions about <path>, with result via exit status.
                  -dreturn 0 if <path> is a directory.
                  -ereturn 0 if <path> exists.
                  -freturn 0 if <path> is a file.
                  -sreturn 0 if file <path> is greater than zero bytes in size.
                  -zreturn 0 if file <path> is zero bytes in size.
                else, return 1.


注意,上面的这些test flag参数是互斥的,每次只能使用一个。



下面是调用示例:
测试路径是否存在
# hdfs dfs -test -e /data/mv/mvreport/201410/20141019/117-121-54-107-20141019-0000.seq
# echo $?
0


bash中用$?获取最近一次调用的返回值。
还可以用-s 和 -z参数,

如果文件尺寸大于0,则-s 返回0, 否则返回1

如果文件尺寸为0,则-z返回0,否则返回1



lmlm1234 发表于 2015-11-29 10:22:22

有时候需要写一个脚本测试hdfs中的某个文件或者目录是否存在,比如当接收机发现磁盘分区剩余空间已经到了危险值的时候,需要首先测试一下是否日志已经存入HDFS目录
页: [1]
查看完整版本: hdfs test 命令