【已解决】Spark Steaming中的RDD与Spark中的RDD能否进行union

spark可以union和join
参考：Spark RDD详解
报的这个错误，看看类是否继承了serializable类

是否引用了这个类：
import org.apache.spark.streaming.api.java.JavaStreamingContext;

langke93 发表于 2015-1-16 14:37
是否引用了这个类：
import org.apache.spark.streaming.api.java.JavaStreamingContext;

当然引用了，不然编译都会报错的呀

高帝斯法则 发表于 2015-1-16 14:41
当然引用了，不然编译都会报错的呀

楼主首先定位错误，看看是监听出问题了，还是union出问题了。

可以先把union去掉。看看是什么效果

w123aw 发表于 2015-1-16 14:02
spark可以union和join
参考：Spark RDD详解
报的这个错误，看看类是否继承了serializable类

恩，我尝试了spark单独创建两个RDD，然后union没有问题。我现在遇到的问题主要是通过Spark Streaming获取的数据流产生的RDD能否与Spark创建的RDD进行union，这两种RDD难道有什么不同么？

starrycheng 发表于 2015-1-16 15:29
楼主首先定位错误，看看是监听出问题了，还是union出问题了。

可以先把union去掉。看看是什么效果

监听没有问题，去掉union之后获取的数据流可以正常打印出数据来，加上union之后再传送数据就会报错。但是报错的问题是序列化的错误让我感觉有点摸不着头脑。

高帝斯法则 发表于 2015-1-16 15:34
监听没有问题，去掉union之后获取的数据流可以正常打印出数据来，加上union之后再传送数据就会报错。但是 ...

两个RDD看来有些问题，可以详细看看他们的内容打出来看看。

starrycheng 发表于 2015-1-16 17:00
两个RDD看来有些问题，可以详细看看他们的内容打出来看看。

内容都能打印出来，都没有问题。

高帝斯法则 发表于 2015-1-19 08:22
内容都能打印出来，都没有问题。

有没有可能为空的情况，类型倒是一致的