分享

spark-sql load data inpath 提示Error in query: java.lang.IllegalArgumentExcep...

ltne 2018-8-8 14:32:44 发表于 异常错误 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6447
spark-sql --master yarn 启动spark-sql
CREATE TABLE IF NOT EXISTS scalar_test ( id bigint, x double, y double, type int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

创建了一个表,但是在hdfs没有对应的表数据目录生成
之后load data inpath '***' OVERWRITE INTO TABLE scalar_test;
结果报错Error in query: java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/home/hadoop/lt/scalar_test, expected: file:///;
如果此处用load data local inpath 本地文件目录,提示是正常导入,但是只有master节点下warehouse有数据,另外两个节点没有,用select查询的时候提示无法发现warehouse目录文件,如果把文件复制到另外从节点的warehouse目录下,则可以查询了,是什么原因导致的呢,还是哪个配置没有配好呢?

已有(1)人评论

跳转到指定楼层
jixianqiuxue 发表于 2018-8-8 15:00:44
hive-site.xml, core-site.xml和hdfs-site.xml这三个文件要复制到conf目录下,如果出现楼主的情况,可能是 hive-site.xml配置的有问题。
context会自动创建metastore_db,也就是本地数据库。
特别检测spark.sql.warehouse.dir配置属性的指定路径

更多参考:
spark2 sql去哪读取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23466


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条