sqoop导入orc格式到hive无法查询

create table my.test
(                                                               
  id            INT,                                       
  from          STRING,                                    
  no            STRING
) partitioned by (  country STRING,area STRING)                  
row format delimited fields terminated by '\t'
STORED AS orc
location '/my/test'
TBLPROPERTIES ("orc.compress"="SNAPPY")
-------------
alter table test add partition (country='China',area='Beijing') location '/my/test/country=China/area=Beijing';
------------------
sqoop import --connect 'jdbc:oracle:thin:@localhost:1521:orcl' \
--username "scott" \
--password "tiger" \
--query "select t.* from test where \$CONDITIONS" \
--target-dir /my/test/country=China/area=Beijing -m 1 \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--hive-import -m 1 \
--hive-table my.test\
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-drop-import-delims \
--fields-terminated-by '\t';

select * from test;

-------------------------------
报错
Error: java.io.IOException: java.lang.reflect.InvocationTargetException        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)        at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:294)        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.<init>(HadoopShimsSecure.java:241)        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:365)        at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:592)        at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:169)        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429)        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)        at java.security.AccessController.doPrivileged(Native Method)        at javax.security.auth.Subject.doAs(Subject.java:415)        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)Caused by: java.lang.reflect.InvocationTargetException        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)        at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:280)        ... 11 moreCaused by: java.io.IOException: Malformed ORC file hdfs://my.cloudera.com:8020/my/test/country=China/area=Beijing/part-m-00000.snappy. Invalid postscript length 1        at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.ensureOrcFooter(ReaderImpl.java:211)        at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.extractMetaInfoFromFooter(ReaderImpl.java:336)        at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.<init>(ReaderImpl.java:292)        at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:197)        at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRecordReader(OrcInputFormat.java:997)        at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.<init>(CombineHiveRecordReader.java:65)        ... 16 moreFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskMapReduce Jobs Launched: Stage-Stage-1: Map: 1  Reduce: 1   HDFS Read: 0 HDFS Write: 0 FAILTotal MapReduce CPU Time Spent: 0 msec

坐等！是不是环境导致的？还是不支持这样用？

ohano_javaee 发表于 2017-9-15 17:28
坐等！是不是环境导致的？还是不支持这样用？

ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载
尝试新建一个以textfile格式的临时表先将源文件数据加载到该表，然后在从textfile表中insert数据到ORC目标表中。或则直接创建外表试试

starrycheng 发表于 2017-9-15 18:55
ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载 ...

我试着用你说的两种办法都试了，不知道为什么，还是不能查询

ohano_javaee 发表于 2017-9-15 20:56
我试着用你说的两种办法都试了，不知道为什么，还是不能查询

我又重新按照你的办法做了一遍，先建立textfile的中间表，然后insert overwrite搞定了！多谢！

starrycheng 发表于 2017-9-15 18:55
ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载 ...

我又重新按照你的办法做了一遍，先建立textfile的中间表，然后insert overwrite搞定了！多谢！

恩，我也是用textfile，不过如果文件很大，，可以加一个 --compress 进行压缩，，可以不指定压缩编码，默认为gzip

starrycheng 发表于 2017-9-15 18:55
ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载 ...

ORC格式不是列式存储的表，而是行列式

xzc0202 发表于 2017-9-16 10:44
恩，我也是用textfile，不过如果文件很大，，可以加一个 --compress 进行压缩，，可以不指定压缩编码，默认 ...

你是说在sqoop里加--compress？我sqoop里没有加任何压缩，导出测试数据约196W，大概1.1G，然后导入hive最终表后，变成200M左右，缩小到1/5左右。如果加--compress会更小吗？查询性能上会不会有更多损耗？一会我也试一下。