CDH5.4.3中sqoop命令的日志保存在哪

      写了个批处理脚本，用sqoop命令从oracle中导一堆表到hive。在执行脚本时，发现有个别表的导入出现错误。由于终端一直刷新没法查看错误，想找日志看错误细节时却没找到日志位置。有了解的朋友请帮忙指点，谢谢啦！     我是在CDH5.4.3中安装的sqoop2，看CDH里配置了sqoop2 server的日志目录，位置在/var/log/sqoop2下，但该目录下的日志文件里没有记录与sqoop命令相关的信息。系统是红帽，用的root用户。

如何发现的，是哪里发现的。一般来说可能字段数据类型兼容问题

easthome001 发表于 2017-4-3 18:29
如何发现的，是哪里发现的。一般来说可能字段数据类型兼容问题

执行sqoop命令的shell脚本在终端运行，错误在终端有打印，显示的是错误发生时调用堆栈。执行的命令太多，很快就被刷屏了，没来得及看。我觉得奇怪的是，CDH其它服务一般都能找到日志，sqoop却没找到，或者说sqoop server的日志不记录命令执行错误

lanthro 发表于 2017-4-3 18:48
执行sqoop命令的shell脚本在终端运行，错误在终端有打印，显示的是错误发生时调用堆栈。执行的命令太多， ...

有两个办法：
1.通过个人技术，可以闪截图
2.通过原理，sqoop其实跑的mapreduce，错误日志，可能在hadoop里面能看到

arsenduan 发表于 2017-4-4 07:58
有两个办法：
1.通过个人技术，可以闪截图
2.通过原理，sqoop其实跑的mapreduce，错误日志，可能在hado ...

嗯 多谢
目前看要么按第一种方法，要么就只能等批处理脚本执行完后，检查哪些表没导成功再单独导一次试试了
第二种方法可能有些问题会漏掉，因为有些错可能发生在生成mapreduce任务前

另外再请教个问题，如果我通过多个远程终端，同时执行sqoop命令会有同步问题吗？

lanthro 发表于 2017-4-4 12:25
嗯 多谢
目前看要么按第一种方法，要么就只能等批处理脚本执行完后，检查哪些表没导成功再单独导一次试 ...

如果命令相同，做的事情是一样的，应该会有问题，导致数据冲突，重复等

多个sqoop中指定不同的sql，将数据分段处理应该不会有问题。
partion column
另外，感觉/var/log/sqoop2底下东西挺多的啊

NEOGX 发表于 2017-4-4 13:47
如果命令相同，做的事情是一样的，应该会有问题，导致数据冲突，重复等

多谢（居然还有字数限制。。。）

ake9527 发表于 2017-4-28 09:40
多个sqoop中指定不同的sql，将数据分段处理应该不会有问题。
partion column
另外，感觉/var/log/sqoop2 ...

/var/log/sqoop2目录下的文件我都看了，没有sqoop指令输出的日志
基本是sqoop服务自身的日志

lanthro 发表于 2017-4-28 10:48
/var/log/sqoop2目录下的文件我都看了，没有sqoop指令输出的日志
基本是sqoop服务自身的日志

那看来，只有console上面显示的了。