锟铻 发表于 2015-11-4 13:59:51

spark1.3升级到spark1.5如何操作,请教各位大神

各位大神好:我们用的spark1.3,但是里面的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,运行

val values = data.map((row:Row)=>(row(indexOfKey),row)) .reduceByKey((x:Row,y:Row)=>if(x.getLong(indexOfTimestamp)>y.getLong(indexOfTimestamp)) x else y) .values

会报错,显示:com.esotericsoftware.kryo.KryoException: Class cannot be created (missing no-arg constructor): org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema
spark1.5的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema是拥有无参构造器的,
但是现在的spark1.3是通过通过cdh装的,不知道升级为spark1.5好不好弄,中间会不会对现在已经写好的程序有什么影响

mituan2008 发表于 2015-11-4 14:50:41

个人认为没有影响,应该是缺包了。本身程序可能没有问题

mituan2008 发表于 2015-11-12 20:59:37




不会缺少包啊,只不过现在用的是spark1.3,里面org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,所以报错,不知道如何解决,

一般都会有的,如果真的没有,那就改成有参的
页: [1]
查看完整版本: spark1.3升级到spark1.5如何操作,请教各位大神