spark-sql --master yarn 启动spark-sql
CREATE TABLE IF NOT EXISTS scalar_test ( id bigint, x double, y double, type int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
创建了一个表,但是在hdfs没有对应的表数据目录生成
之后load data inpath '***' OVERWRITE INTO TABLE scalar_test;
结果报错Error in query: java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/home/hadoop/lt/scalar_test, expected: file:///;
如果此处用load data local inpath 本地文件目录,提示是正常导入,但是只有master节点下warehouse有数据,另外两个节点没有,用select查询的时候提示无法发现warehouse目录文件,如果把文件复制到另外从节点的warehouse目录下,则可以查询了,是什么原因导致的呢,还是哪个配置没有配好呢? |
|