spark1.3升级到spark1.5如何操作,请教各位大神
各位大神好:我们用的spark1.3,但是里面的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,运行val values = data.map((row:Row)=>(row(indexOfKey),row)) .reduceByKey((x:Row,y:Row)=>if(x.getLong(indexOfTimestamp)>y.getLong(indexOfTimestamp)) x else y) .values
会报错,显示:com.esotericsoftware.kryo.KryoException: Class cannot be created (missing no-arg constructor): org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema
spark1.5的org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema是拥有无参构造器的,
但是现在的spark1.3是通过通过cdh装的,不知道升级为spark1.5好不好弄,中间会不会对现在已经写好的程序有什么影响
个人认为没有影响,应该是缺包了。本身程序可能没有问题
不会缺少包啊,只不过现在用的是spark1.3,里面org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema没有无参构造器,所以报错,不知道如何解决,
一般都会有的,如果真的没有,那就改成有参的
页:
[1]