用spark写数据到hbase

查看数: 15578 | 评论数: 10 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-7-19 14:20

本帖最后由 remarkzhao 于 2017-7-19 14:24 编辑请问各位大神这是什么情况。。从网上看了一个例子用spark向hbase写数据抛出的异常：java.lang.IllegalArgumentException: Can ...

nextuser 发表于 2017-7-21 09:42:14

remarkzhao 发表于 2017-7-19 16:33
单机模式。就spark-shell 不带master跟yarn

建议理解下原理

remarkzhao 发表于 2017-7-19 16:34:46

nextuser 发表于 2017-7-19 16:28
尝试加大excutor-memory的值，减少executor-cores的数量

好的。去试试。

remarkzhao 发表于 2017-7-19 16:33:45

starrycheng 发表于 2017-7-19 16:26
是 spark on yarn，还是master slave模式

单机模式。就spark-shell 不带master跟yarn

nextuser 发表于 2017-7-19 16:28:56

remarkzhao 发表于 2017-7-19 16:22
HBASE里的数据存在且没问题。在代码里打了断点测试。在最后一行出现了问题。
println("18") 这句没被执行 ...

尝试加大excutor-memory的值，减少executor-cores的数量

starrycheng 发表于 2017-7-19 16:26:44

remarkzhao 发表于 2017-7-19 16:22
HBASE里的数据存在且没问题。在代码里打了断点测试。在最后一行出现了问题。
println("18") 这句没被执行 ...

是 spark on yarn，还是master slave模式

starrycheng 发表于 2017-7-19 16:18:09

remarkzhao 发表于 2017-7-19 16:13
嗯嗯。。是的。数据写入hbase是成功的，可以查询的到。

但不知道这path是哪里的path

既然能成功，应该没有太大关系。
看看数据里面是否有空值的。
还有错误是出现在什么地方，最好有截图。

remarkzhao 发表于 2017-7-19 16:13:01

starrycheng 发表于 2017-7-19 16:09
说的有点乱，每明白什么意思。好像错误，跟代码没有太大的关系。
java.lang.IllegalArgumentException: Ca ...

嗯嗯。。是的。数据写入hbase是成功的，可以查询的到。

但不知道这path是哪里的path

remarkzhao 发表于 2017-7-19 16:11:06

嗯嗯。。是的。数据写入hbase是成功的，可以查询的到。

但不知道这path是哪里的path

图文精华