sqoop导数据

查看数: 12888 | 评论数: 13 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2015-11-9 17:05

我用sqoop导数据，从mysql导入到hive中，可以导入到hdfs中，mapreduce也执行完毕，但是不能再hive中有相应的表，后期报错如下：

shenqianwen 发表于 2015-11-11 15:14:38

kevin 发表于 2015-11-11 10:43
全量导表时只需要指定表名，在导表的时候会先将表结构复制过来建立表的，导表过的过程中你会看到hdfs下存 ...

恩恩 hdfs里存在文件夹的，可以保存到hdfs，就是在hdfs upload到hive的过程中出了开始的错误。。。。。。不知道怎么解决，百度了好多。。。。兄弟求个联系方式，我实在搞不定了。。。。。。

kevin 发表于 2015-11-11 10:43:56

shenqianwen 发表于 2015-11-10 11:42
兄弟，指定hive表，那你的意思是，hive中要建表，表字段和导进来的数据表字段一致，还是要在hive中要建一 ...

全量导表时只需要指定表名，在导表的时候会先将表结构复制过来建立表的，导表过的过程中你会看到hdfs下存在相应的文件夹，导表完成之后文件夹消失，如果失败了，那么hdfs下就可能存在这个文件

shenqianwen 发表于 2015-11-10 11:42:01

kevin 发表于 2015-11-10 11:10
看不到你的sqoop语句啊，前段时间我也研究过sqoop，如果sqoop语句中没有指定hive表，直接往hdfs导数据，hiv ...

兄弟，指定hive表，那你的意思是，hive中要建表，表字段和导进来的数据表字段一致，还是要在hive中要建一个空表，还是不需要在hive中建表，只要还sqoop语句中随机写一个表名？

shenqianwen 发表于 2015-11-10 11:41:09

kevin 发表于 2015-11-10 11:10
看不到你的sqoop语句啊，前段时间我也研究过sqoop，如果sqoop语句中没有指定hive表，直接往hdfs导数据，hiv ...

lihy114 发表于 2015-11-10 11:35:08

肯定是要指定表的，我之前是先导入到hbase，然后hive创建外部表关联到hbase的表，是可以成功的

没有直接导入到hive

kevin 发表于 2015-11-10 11:10:15

看不到你的sqoop语句啊，前段时间我也研究过sqoop，如果sqoop语句中没有指定hive表，直接往hdfs导数据，hive中是不会存在表的，这个我试过

shenqianwen 发表于 2015-11-10 09:43:36

fly2015 发表于 2015-11-10 09:29
当然要指定hive表了

能发个你成功的导入命令么？也就是导数据之前，要在hive里新建表，表字段和mysql里的一样？是这样么？

fly2015 发表于 2015-11-10 09:29:09

shenqianwen 发表于 2015-11-9 23:39
导入hive 不用指定表的吧是的我mysql里的表名是sqoop

当然要指定hive表了

shenqianwen 发表于 2015-11-9 23:39:59

Alkaloid0515 发表于 2015-11-9 18:01
楼主指定hive表了吗？指定下试试
导入的是sqoop表？

导入hive 不用指定表的吧是的我mysql里的表名是sqoop

图文精华