luo3601721 发表于 2014-10-17 09:43:43

利用sqoop从hive里往mysql插入数据出现问题

这几天测试sqoop时，用sqoop从hive里往mysql插入数据，如果hive表里有50条数据时会成功，如果Hive表里有100条数据时，会卡住
这是日志
2014-10-17 09:04:40,452 INFO org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Received completed container container_1413451556978_0696_01_000004
2014-10-17 09:04:40,452 INFO org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1413451556978_0696_m_000003_0: Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

不知道是不是有什么大小设置，是在sqoop里还是hadoop里呢

bioger_hit 发表于 2014-10-17 10:15:08

从你提供的信息不足，看不出哪里错误。
如果100条卡住，可能是那里的数据产生错误。
可以先尝试重复的200条（这一条必须可以插入），然后在尝试，看看会是什么效果

luo3601721 发表于 2014-10-19 22:47:19

mapreduce的日志就只有这些了，sqoop运行时没保存，卡在100%不动了，设置了-m之后100条会插入99条，不设置的话只能插入80条左右，如果表里有99条数据只会插入98条，如果表里只有50条数据就完全没问题。
考虑是不是hadoop那边配置问题呢，目前只能用hive -e查询后重定向到文件里，然后导入mysql

wubaozhou 发表于 2015-1-1 20:14:07

{:soso_e181:}

chenfenggang 发表于 2016-5-31 20:13:13

过来那分的。 哎真难。好吧，还有时间限制，真难，时间够了没
页: [1]
查看完整版本: 利用sqoop从hive里往mysql插入数据出现问题