分享

从oracle导出blob数据到hbase中的问题

flyinsky 发表于 2015-8-14 14:06:32 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 24022
大家好,最近在做数据的迁移,使用sqoop从oracle中把数据导出到hbase中,如果oracle表没有blob字段,可以正常导出;但是如果表中包含blob字段,则sqoop命令直接出错,错误如下:哪位大侠有碰到过这个问题呀?
15/08/14 12:38:28 DEBUG manager.OracleManager: Using column names query: SELECT t.* FROM doc_list t WHERE 1=0
15/08/14 12:38:28 DEBUG manager.SqlManager: Execute getColumnInfoRawQuery : SELECT t.* FROM doc_list t WHERE 1=0
15/08/14 12:38:28 DEBUG manager.OracleManager: Creating a new connection for jdbc:oracle:thin:@192.168.14.77:1521:orcl, using username: test
15/08/14 12:38:28 DEBUG manager.OracleManager: No connection paramenters specified. Using regular API for making connection.
15/08/14 12:38:28 INFO manager.OracleManager: Time zone has been set to GMT
15/08/14 12:38:28 DEBUG manager.SqlManager: Using fetchSize for next query: 1000
15/08/14 12:38:28 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM doc_list t WHERE 1=0
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column DOC_ID of type [2, 9, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column DOC_NAME of type [12, 255, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column DOC_TYPE of type [12, 30, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column DOC_DESC of type [12, 4000, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column DOC_VER of type [12, 30, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column FILE_NAME of type [12, 255, 0]
15/08/14 12:38:28 DEBUG manager.SqlManager: Found column FILE_SIZE of type [2, 9, 0]
15/08/14 12:38:28 ERROR tool.ImportTool: Imported Failed: For input string: "4294967295"

已有(2)人评论

跳转到指定楼层
bob007 发表于 2015-8-14 14:27:12


参考这篇:

Sqoop处理Clob与Blob字段
http://www.aboutyun.com/thread-14008-1-1.html
(出处: about云开发)


回复

使用道具 举报

flyinsky 发表于 2015-8-14 14:46:18
谢谢回复,这个是导出到hive的,而且貌似是先导出到hdfs中,然后再转到hive中的。
我目前是想能不能直接导出到hbase中哦
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条