sqoop2 mapreduce 一会成功一会失败导入到mysql的数据有时有、有时无

查看数: 10821 | 评论数: 7 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-4-6 21:13

本帖最后由 tanxl 于 2017-4-6 21:57 编辑 sqoop2 执行job时，有时能导入数据有时不能导入数据：完整的数据（1.png）：

langke93 发表于 2017-4-7 15:50:38

tanxl 发表于 2017-4-7 15:12
HDFS中总共3条数据：有时导入0条数据到MySQL
有时导入1条数据到MySQL
有时导入2条数据到MySQL

楼主需要分析两方面内容：
第一的firtjob,里面的操作，也就是你的firtjob是怎么写的，是怎么实现的，这个firstjob你是如何封装的，封装里面的内容是什么？这是至关重要的。
第二发生错误，具体错误的日志是什么？
并且两个需要综合分析。

langke93 发表于 2017-4-7 14:41:48

tanxl 发表于 2017-4-7 14:04
您好，如果是格式的问题，那为什么会有导数据成功的时候呢？

你把may jay lee去掉。都换成和第一条，第二条一样的。有的成功，说明格式是正确的，不符合的会导致错误。详细还需要看你具体如何操作的。

tanxl 发表于 2017-4-7 14:04:33

langke93 发表于 2017-4-7 13:36
可能数据格式的问题。

您好，如果是格式的问题，那为什么会有导数据成功的时候呢？

langke93 发表于 2017-4-7 13:36:33

可能数据格式的问题。

nextuser 发表于 2017-4-7 06:48:08

看下slave1上51183端口发生了什么问题，一直连接不上。还是老办法
[mw_shl_code=bash,true]netstat -anp|grep 51183[/mw_shl_code]
同时查看下slave1的日志，看看到底是哪里出现问题

图文精华