分享

spark1.3升级到spark1.5如何操作,请教各位大神

锟铻 发表于 2015-11-4 13:59:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 12881
各位大神好:我们用的spark1.3,但是里面的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,运行

val values = data.map((row:Row)=>(row(indexOfKey),row)) .reduceByKey((x:Row,y:Row)=>if(x.getLong(indexOfTimestamp)>y.getLong(indexOfTimestamp)) x else y) .values

会报错,显示:com.esotericsoftware.kryo.KryoException: Class cannot be created (missing no-arg constructor): org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema
spark1.5的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema是拥有无参构造器的,
但是现在的spark1.3是通过通过cdh装的,不知道升级为spark1.5好不好弄,中间会不会对现在已经写好的程序有什么影响

已有(2)人评论

跳转到指定楼层
mituan2008 发表于 2015-11-4 14:50:41

回帖奖励 +1 云币

个人认为没有影响,应该是缺包了。本身程序可能没有问题
回复

使用道具 举报

mituan2008 发表于 2015-11-12 20:59:37



  1. 不会缺少包啊,只不过现在用的是spark1.3,里面org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,所以报错,不知道如何解决,
复制代码


一般都会有的,如果真的没有,那就改成有参的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条