spark 读取oracle，字段类型为Date的处理

lihy114 · 发表于 2016-6-8 10:52:05

YLV 发表于 2016-6-8 10:43
spark处理肯定不会再master节点上处理，都是在worker节点处理；除非你是local模式；而客户端模式，dirver ...

是我说的不是明白。我的master节点上面也部署了worker。我发现在运行结束的时候，只有一个节点的内存释放了，其他节点内存没有发生变化。我估计是运行放在一个节点上了。我使用的也是一个oracle做为数据源

YLV · 发表于 2016-6-8 10:53:39

lihy114 发表于 2016-6-8 10:52
是我说的不是明白。我的master节点上面也部署了worker。我发现在运行结束的时候，只有一个节点的内存释放 ...

你的app指定的master参数是什么，代码里有没有指定？

lihy114 · 发表于 2016-6-8 11:07:48

YLV 发表于 2016-6-8 10:53
你的app指定的master参数是什么，代码里有没有指定？

是代码问题，我是使用local模式进行调试的，丢到集群使用的时候，没有修改过来，多谢提醒

szcountryboy · 发表于 2016-6-12 22:50:29

咨询下,如果多个worker进行从oracle数据库一个表读取数据,worker是如何进行数据区分的,就是说表的一条数据不会被多个worker读取?
谢谢

tttttttttttt · 发表于 2016-9-5 18:29:36

楼主，这个 driver应该设置成什么？options.put("driver", driver);

YLV · 发表于 2016-9-5 18:42:36

tttttttttttt 发表于 2016-9-5 18:29
楼主，这个 driver应该设置成什么？options.put("driver", driver);

oracle.jdbc.driver.OracleDriver

tttttttttttt · 发表于 2016-9-5 18:58:25

YLV 发表于 2016-9-5 18:42
oracle.jdbc.driver.OracleDriver

这个驱动jar应该放在spark那个目录里；

图文精华