分享

无法用sqoop把hive导到mysql

davis987 发表于 2016-6-8 14:30:41 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 10206
能用sqoop把mysql表导入到hive中,但用同样的方法把hive中的数据再导回mysql时报错,如下:
[hdfs@hadoop0 ~]$ sqoop export --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop --table nodist1 --export-dir /data0/hive/warehouse/nodist1 --input-fields-terminated-by '\t'

.......
16/06/08 14:13:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1464249387420_0032
16/06/08 14:13:42 INFO impl.YarnClientImpl: Submitted application application_1464249387420_0032
16/06/08 14:13:42 INFO mapreduce.Job: The url to track the job: http://hadoop0.hadoop.com:8088/p ... 1464249387420_0032/
16/06/08 14:13:42 INFO mapreduce.Job: Running job: job_1464249387420_0032
16/06/08 14:13:48 INFO mapreduce.Job: Job job_1464249387420_0032 running in uber mode : false
16/06/08 14:13:48 INFO mapreduce.Job:  map 0% reduce 0%
16/06/08 14:13:54 INFO mapreduce.Job:  map 100% reduce 0%
16/06/08 14:13:55 INFO mapreduce.Job: Job job_1464249387420_0032 failed with state FAILED due to: Task failed task_1464249387420_0032_m_000001
Job failed as tasks failed. failedMaps:1 failedReduces:0

16/06/08 14:13:55 INFO mapreduce.Job: Counters: 12
        Job Counters
                Failed map tasks=2
                Killed map tasks=2
                Launched map tasks=4
                Data-local map tasks=4
                Total time spent by all maps in occupied slots (ms)=16572
                Total time spent by all reduces in occupied slots (ms)=0
                Total time spent by all map tasks (ms)=16572
                Total vcore-seconds taken by all map tasks=16572
                Total megabyte-seconds taken by all map tasks=16969728
        Map-Reduce Framework
                CPU time spent (ms)=0
                Physical memory (bytes) snapshot=0
                Virtual memory (bytes) snapshot=0
16/06/08 14:13:55 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
16/06/08 14:13:55 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 16.7668 seconds (0 bytes/sec)
16/06/08 14:13:55 INFO mapreduce.ExportJobBase: Exported 0 records.
16/06/08 14:13:55 ERROR tool.ExportTool: Error during export: Export job failed!


谁知道是什么问题?

已有(3)人评论

跳转到指定楼层
einhep 发表于 2016-6-8 15:07:46
整体没有看出来什么错误,但是还有另外一种方式就是下面方式,楼主可以试试,文件名不能错误
sqoop export --connect jdbc:mysql://192.168.56.1:3306/hive --username root --password root --table pv_info --export-dir /hive/hmbbs.db/result/dat2=2013-05-30 --input-fields-terminated-by '\t';
如果还是不行,可以跑个mapreduce试试,看看是不是集群的问题
回复

使用道具 举报

davis987 发表于 2016-6-8 15:20:29
einhep 发表于 2016-6-8 15:07
整体没有看出来什么错误,但是还有另外一种方式就是下面方式,楼主可以试试,文件名不能错误
sqoop expor ...

这有什么区别吗,这不一样吗?
dat2=2013-05-30 是分区吗?
回复

使用道具 举报

einhep 发表于 2016-6-8 15:33:44
davis987 发表于 2016-6-8 15:20
这有什么区别吗,这不一样吗?
dat2=2013-05-30 是分区吗?

楼主参考下这个,希望有帮助
sqoop导出数据到mysql出现异常,语句是对的,不多不知道为什么报错




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条