图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › HDFS › sqoop-1.99.3 从mysql导入到hdfs报如下错误；各位大神求 ...
分享

sqoop-1.99.3 从mysql导入到hdfs报如下错误；各位大神求帮忙解答

linbowei 发表于 2016-4-5 16:16:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 12 24853
sqoop:000> start job --jid 1
Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception
Stack trace:
     at  org.apache.sqoop.client.request.Request$ServerExceptionFilter (Request.java:103)  
     at  com.sun.jersey.api.client.WebResource (WebResource.java:670)  
     at  com.sun.jersey.api.client.WebResource (WebResource.java:74)  
     at  com.sun.jersey.api.client.WebResource$Builder (WebResource.java:563)  
     at  org.apache.sqoop.client.request.Request (Request.java:67)  
     at  org.apache.sqoop.client.request.SubmissionRequest (SubmissionRequest.java:64)  
     at  org.apache.sqoop.client.request.SqoopRequests (SqoopRequests.java:146)  
     at  org.apache.sqoop.client.SqoopClient (SqoopClient.java:436)  
     at  org.apache.sqoop.shell.StartJobFunction (StartJobFunction.java:78)  
     at  org.apache.sqoop.shell.SqoopFunction (SqoopFunction.java:46)  
     at  org.apache.sqoop.shell.StartCommand (StartCommand.java:51)  
     at  org.apache.sqoop.shell.SqoopCommand (SqoopCommand.java:127)  
     at  org.codehaus.groovy.tools.shell.Command$execute (null:-1)  
     at  org.codehaus.groovy.runtime.callsite.CallSiteArray (CallSiteArray.java:42)  
     at  org.codehaus.groovy.tools.shell.Command$execute (null:-1)  
     at  org.codehaus.groovy.tools.shell.Shell (Shell.groovy:101)  
     at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:-1)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
     at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
     at  java.lang.reflect.Method (Method.java:606)  
     at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
     at  groovy.lang.MetaMethod (MetaMethod.java:233)  
     at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
     at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
     at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:173)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
     at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
     at  java.lang.reflect.Method (Method.java:606)  
     at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite$PogoCachedMethodSiteNoUnwrapNoCoerce (PogoMetaMethodSite.java:267)  
     at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite (PogoMetaMethodSite.java:52)  
     at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:141)  
     at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:121)  
     at  org.codehaus.groovy.tools.shell.Shell (Shell.groovy:114)  
     at  org.codehaus.groovy.tools.shell.Shell$leftShift$0 (null:-1)  
     at  org.codehaus.groovy.tools.shell.ShellRunner (ShellRunner.groovy:88)  
     at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:-1)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
     at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
     at  java.lang.reflect.Method (Method.java:606)  
     at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
     at  groovy.lang.MetaMethod (MetaMethod.java:233)  
     at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
     at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
     at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:148)  
     at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:100)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
     at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
     at  java.lang.reflect.Method (Method.java:606)  
     at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite$PogoCachedMethodSiteNoUnwrapNoCoerce (PogoMetaMethodSite.java:267)  
     at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite (PogoMetaMethodSite.java:52)  
     at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:137)  
     at  org.codehaus.groovy.tools.shell.ShellRunner (ShellRunner.groovy:57)  
     at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:-1)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
     at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
     at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
     at  java.lang.reflect.Method (Method.java:606)  
     at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
     at  groovy.lang.MetaMethod (MetaMethod.java:233)  
     at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
     at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
     at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:148)  
     at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:66)  
     at  java_lang_Runnable$run (null:-1)  
     at  org.codehaus.groovy.runtime.callsite.CallSiteArray (CallSiteArray.java:42)  
     at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:108)  
     at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:112)  
     at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:463)  
     at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:402)  
     at  org.apache.sqoop.shell.SqoopShell (SqoopShell.java:128)  
Caused by: Exception: java.lang.Throwable Message: GENERIC_JDBC_CONNECTOR_0005:No column is found to partition data
Stack trace:
     at  org.apache.sqoop.connector.jdbc.GenericJdbcImportInitializer (GenericJdbcImportInitializer.java:148)  
     at  org.apache.sqoop.connector.jdbc.GenericJdbcImportInitializer (GenericJdbcImportInitializer.java:51)  
     at  org.apache.sqoop.connector.jdbc.GenericJdbcImportInitializer (GenericJdbcImportInitializer.java:40)  
     at  org.apache.sqoop.framework.JobManager (JobManager.java:378)  
     at  org.apache.sqoop.handler.SubmissionRequestHandler (SubmissionRequestHandler.java:152)  
     at  org.apache.sqoop.handler.SubmissionRequestHandler (SubmissionRequestHandler.java:122)  
     at  org.apache.sqoop.handler.SubmissionRequestHandler (SubmissionRequestHandler.java:75)  
     at  org.apache.sqoop.server.v1.SubmissionServlet (SubmissionServlet.java:44)  
     at  org.apache.sqoop.server.SqoopProtocolServlet (SqoopProtocolServlet.java:63)  
     at  javax.servlet.http.HttpServlet (HttpServlet.java:637)  
     at  javax.servlet.http.HttpServlet (HttpServlet.java:717)  
     at  org.apache.catalina.core.ApplicationFilterChain (ApplicationFilterChain.java:290)  
     at  org.apache.catalina.core.ApplicationFilterChain (ApplicationFilterChain.java:206)  
     at  org.apache.catalina.core.StandardWrapperValve (StandardWrapperValve.java:233)  
     at  org.apache.catalina.core.StandardContextValve (StandardContextValve.java:191)  
     at  org.apache.catalina.core.StandardHostValve (StandardHostValve.java:127)  
     at  org.apache.catalina.valves.ErrorReportValve (ErrorReportValve.java:103)  
     at  org.apache.catalina.core.StandardEngineValve (StandardEngineValve.java:109)  
     at  org.apache.catalina.connector.CoyoteAdapter (CoyoteAdapter.java:293)  
     at  org.apache.coyote.http11.Http11Processor (Http11Processor.java:861)  
     at  org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler (Http11Protocol.java:606)  
     at  org.apache.tomcat.util.net.JIoEndpoint$Worker (JIoEndpoint.java:489)  
     at  java.lang.Thread (Thread.java:745)  

回复

使用道具 举报

自定义广告语

已有(12)人评论

跳转到指定楼层
正序浏览
leo_1989 发表于 2016-4-5 22:25:06
linbowei 发表于 2016-4-5 21:20
是啊，删除不了。老是说在运行。还有我找不到1.99.4的安装包，你有没有，能不能发给我。官网只有1.99.6的

1.99.6也行，你应该是按照成功了，可以在检测下配置。
程序没有运行完毕，肯定删不了的。

回复

使用道具 举报

bob007 发表于 2016-4-5 17:59:15
列的名字是不是写错了
回复

使用道具 举报

linbowei 发表于 2016-4-5 18:23:02
bob007 发表于 2016-4-5 17:59
列的名字是不是写错了

我没写列名的呀！
sqoop:000> delete job --jid 4                    
Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception
Stack trace:
         at  org.apache.sqoop.client.request.Request$ServerExceptionFilter (Request.java:103)  
         at  com.sun.jersey.api.client.WebResource (WebResource.java:670)  
         at  com.sun.jersey.api.client.WebResource (WebResource.java:74)  
         at  com.sun.jersey.api.client.WebResource$Builder (WebResource.java:583)  
         at  org.apache.sqoop.client.request.Request (Request.java:75)  
         at  org.apache.sqoop.client.request.JobRequest (JobRequest.java:85)  
         at  org.apache.sqoop.client.request.SqoopRequests (SqoopRequests.java:134)  
         at  org.apache.sqoop.client.SqoopClient (SqoopClient.java:426)  
         at  org.apache.sqoop.shell.DeleteJobFunction (DeleteJobFunction.java:53)  
         at  org.apache.sqoop.shell.SqoopFunction (SqoopFunction.java:46)  
         at  org.apache.sqoop.shell.DeleteCommand (DeleteCommand.java:58)  
         at  org.apache.sqoop.shell.SqoopCommand (SqoopCommand.java:127)  
         at  org.codehaus.groovy.tools.shell.Command$execute (null:-1)  
         at  org.codehaus.groovy.runtime.callsite.CallSiteArray (CallSiteArray.java:42)  
         at  org.codehaus.groovy.tools.shell.Command$execute (null:-1)  
         at  org.codehaus.groovy.tools.shell.Shell (Shell.groovy:101)  
         at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:-1)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
         at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
         at  java.lang.reflect.Method (Method.java:606)  
         at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
         at  groovy.lang.MetaMethod (MetaMethod.java:233)  
         at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
         at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
         at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:173)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
         at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
         at  java.lang.reflect.Method (Method.java:606)  
         at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite$PogoCachedMethodSiteNoUnwrapNoCoerce (PogoMetaMethodSite.java:267)  
         at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite (PogoMetaMethodSite.java:52)  
         at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:141)  
         at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:121)  
         at  org.codehaus.groovy.tools.shell.Shell (Shell.groovy:114)  
         at  org.codehaus.groovy.tools.shell.Shell$leftShift$0 (null:-1)  
         at  org.codehaus.groovy.tools.shell.ShellRunner (ShellRunner.groovy:88)  
         at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:-1)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
         at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
         at  java.lang.reflect.Method (Method.java:606)  
         at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
         at  groovy.lang.MetaMethod (MetaMethod.java:233)  
         at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
         at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
         at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:148)  
         at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:100)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
         at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
         at  java.lang.reflect.Method (Method.java:606)  
         at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite$PogoCachedMethodSiteNoUnwrapNoCoerce (PogoMetaMethodSite.java:267)  
         at  org.codehaus.groovy.runtime.callsite.PogoMetaMethodSite (PogoMetaMethodSite.java:52)  
         at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:137)  
         at  org.codehaus.groovy.tools.shell.ShellRunner (ShellRunner.groovy:57)  
         at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:-1)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:-2)  
         at  sun.reflect.NativeMethodAccessorImpl (NativeMethodAccessorImpl.java:57)  
         at  sun.reflect.DelegatingMethodAccessorImpl (DelegatingMethodAccessorImpl.java:43)  
         at  java.lang.reflect.Method (Method.java:606)  
         at  org.codehaus.groovy.reflection.CachedMethod (CachedMethod.java:90)  
         at  groovy.lang.MetaMethod (MetaMethod.java:233)  
         at  groovy.lang.MetaClassImpl (MetaClassImpl.java:1054)  
         at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:128)  
         at  org.codehaus.groovy.runtime.ScriptBytecodeAdapter (ScriptBytecodeAdapter.java:148)  
         at  org.codehaus.groovy.tools.shell.InteractiveShellRunner (InteractiveShellRunner.groovy:66)  
         at  java_lang_Runnable$run (null:-1)  
         at  org.codehaus.groovy.runtime.callsite.CallSiteArray (CallSiteArray.java:42)  
         at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:108)  
         at  org.codehaus.groovy.runtime.callsite.AbstractCallSite (AbstractCallSite.java:112)  
         at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:463)  
         at  org.codehaus.groovy.tools.shell.Groovysh (Groovysh.groovy:402)  
         at  org.apache.sqoop.shell.SqoopShell (SqoopShell.java:128)  
Caused by: Exception: java.lang.Throwable Message: JDBCREPO_0022:Given job id is in use - Id in use: 4
Stack trace:
         at  org.apache.sqoop.repository.JdbcRepository$15 (JdbcRepository.java:433)  
         at  org.apache.sqoop.repository.JdbcRepository (JdbcRepository.java:90)  
         at  org.apache.sqoop.repository.JdbcRepository (JdbcRepository.java:61)  
         at  org.apache.sqoop.repository.JdbcRepository (JdbcRepository.java:425)  
         at  org.apache.sqoop.handler.JobRequestHandler (JobRequestHandler.java:125)  
         at  org.apache.sqoop.handler.JobRequestHandler (JobRequestHandler.java:104)  
         at  org.apache.sqoop.server.v1.JobServlet (JobServlet.java:54)  
         at  org.apache.sqoop.server.SqoopProtocolServlet (SqoopProtocolServlet.java:95)  
         at  javax.servlet.http.HttpServlet (HttpServlet.java:643)  
         at  javax.servlet.http.HttpServlet (HttpServlet.java:717)  
         at  org.apache.catalina.core.ApplicationFilterChain (ApplicationFilterChain.java:290)  
         at  org.apache.catalina.core.ApplicationFilterChain (ApplicationFilterChain.java:206)  
         at  org.apache.catalina.core.StandardWrapperValve (StandardWrapperValve.java:233)  
         at  org.apache.catalina.core.StandardContextValve (StandardContextValve.java:191)  
         at  org.apache.catalina.core.StandardHostValve (StandardHostValve.java:127)  
         at  org.apache.catalina.valves.ErrorReportValve (ErrorReportValve.java:103)  
         at  org.apache.catalina.core.StandardEngineValve (StandardEngineValve.java:109)  
         at  org.apache.catalina.connector.CoyoteAdapter (CoyoteAdapter.java:293)  
         at  org.apache.coyote.http11.Http11Processor (Http11Processor.java:861)  
         at  org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler (Http11Protocol.java:606)  
         at  org.apache.tomcat.util.net.JIoEndpoint$Worker (JIoEndpoint.java:489)  
         at  java.lang.Thread (Thread.java:745)  
这个问题怎么回事，我想stop里面的一个job。老是不能stop

回复

使用道具 举报

easthome001 发表于 2016-4-5 18:46:21
linbowei 发表于 2016-4-5 18:23
我没写列名的呀！
sqoop:000> delete job --jid 4                    
Exception has occurred during ...

正在运行着，这样是删不掉的，找到id后，直接kill掉试试
回复

使用道具 举报

linbowei 发表于 2016-4-5 18:47:42
easthome001 发表于 2016-4-5 18:46
正在运行着，这样是删不掉的，找到id后，直接kill掉试试

已经运行结束了，怎么样去找到ID？
回复

使用道具 举报

easthome001 发表于 2016-4-5 19:01:27
linbowei 发表于 2016-4-5 18:47
已经运行结束了，怎么样去找到ID？

看看job 4是什么状态
回复

使用道具 举报

linbowei 发表于 2016-4-5 19:04:34
easthome001 发表于 2016-4-5 19:01
看看job 4是什么状态

sqoop:000> show job
+----+------------+--------+-----------+---------+
| Id |    Name    |  Type  | Connector | Enabled |
+----+------------+--------+-----------+---------+
| 4  | mysql_job  | IMPORT | 1         | true    |
| 5  | mysql_job2 | IMPORT | 1         | true    |
| 6  | mysql_job3 | IMPORT | 1         | true    |
回复

使用道具 举报

Alkaloid0515 发表于 2016-4-5 19:20:32
linbowei 发表于 2016-4-5 19:04
sqoop:000> show job
+----+------------+--------+-----------+---------+
| Id |    Name    |  Type ...

删除5，应该也删不掉吧。还在运行着吧。
建议楼主多找找这方面的资料，下面仅供参考，更多的可以多百度下。
Sqoop2  1.99.4安装与使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17938


https://yunpan.cn/cqP9wbt4wnXqZ  访问密码2811

回复

使用道具 举报

linbowei 发表于 2016-4-5 21:20:47
Alkaloid0515 发表于 2016-4-5 19:20
删除5，应该也删不掉吧。还在运行着吧。
建议楼主多找找这方面的资料，下面仅供参考，更多的可以多百度 ...

是啊，删除不了。老是说在运行。还有我找不到1.99.4的安装包，你有没有，能不能发给我。官网只有1.99.6的
回复

使用道具 举报

12下一页
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
linbowei

中级会员

关注

  • 19

    主题

  • 122

    帖子

  • 9

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000