spark streaming程序运行一段时间挂了，如何自动启动

spark streaming程序运行一段时间后，出了异常导致程序挂了，如何自动启动streaming程序。

自动启动，这个比较麻烦的，除非做一个守护进程。但是需要懂shell等知识。
最好找到错误原因。防止挂掉

写个监控脚本，挂了就重启

Spark-Streaming容错机制可以自动重启的：

启动Driver自动重启（ClusterManager支持该功能）
standalone: 提交任务时添加 --supervise 参数
官方文档链接

yarn:设置yarn.resourcemanager.am.max-attempts 或者spark.yarn.maxAppAttempts
spark on yarn参数配置
mesos: 提交任务时添加 --supervise 参数



设置checkpoint

StreamingContext.setCheckpoint(hdfsDirectory)

支持从checkpoint中重启

[mw_shl_code=scala,true]def createContext(checkpointDirectory: String): StreamingContext = {
val ssc = ???
ssc.checkpoint(checkpointDirectory)
ssc
}
val ssc = StreamingContext.getOrCreate(checkpointDirectory, createContext(checkpointDirectory))[/mw_shl_code]