专题 › HDFS › 为啥 copyFromLocal 在shell脚本里不好使？

RnD_Alex 发表于 2013-10-25 10:44:04

为啥 copyFromLocal 在shell脚本里不好使？

在shell脚本里面用 hadoop fs -copyFromLocal 命令把本地文件load到hdfs里。 用法：hadoop fs -copyFromLocal "$gzfile" "$hadoopfile" ,其中的两个变量是预先装配好的。手动运行sh脚本，工作正常，文件能装载到hdfs。但是配置crontab定时运行脚本，则不能装载文件。可以确定的是sh脚本确实按时执行了，只是hadoop fs -copyFromLocal没效果。请大家帮我看看咋回事吗？谢谢

yaojiank 发表于 2013-10-25 10:44:04

这个情况太多了，既然没有成功那肯定有日志啊，先去看一下日志。 然后在post出来。

xukunddp 发表于 2013-10-25 10:44:04

楼上的是说hadoop的运行日志吗吗？

ruanhero 发表于 2013-10-25 10:44:04

换了个办法，不用copyFromLocal命令导入了。写了java程序，如下。定时执行没有。
public static void main(String[] args) throws Exception {
      String localSrc = args;
      String dst = args;
      Configuration config = new Configuration();
      FileSystem fs = FileSystem.get(URI.create(dst),config);
      Path srcPath = new Path(localSrc);
      Path dstPath = new Path(dst);
      fs.copyFromLocalFile(srcPath, dstPath);
    }

lxs_huntingjob 发表于 2013-10-25 10:44:04

对，Hadoop的执行日志和当时的抛出的出错情况。

查看完整版本: 为啥 copyFromLocal 在shell脚本里不好使？