spark多个任务，第一个任务的结果是第二个任务的输入

有多个spark任务，第一个任务的结果是第二个任务的输入，有没有什么办法让第一个任务完成之后通知第二个任务，让第二个任务去执行？

回答：
azkaban 可以解决这个问题

更多详细内容：


使用Azkaban调度Spark任务


一. 简介

该部分内容可参考官方文档：http://azkaban.github.io/azkaban/docs/latest/#overview

azkaban由三部分构成：

• Relational Database(Mysql)
• Azkaban Web Server
• Azkaban Executor Server
  

Relational Database(Mysql)

azkaban将大多数状态信息都存于Mysql中,Azkaban Web Server 和 Azkaban Executor Server也需要访问DB。

Azkaban Web Server

提供了Web UI，是azkaband的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。

Azkaban Executor Server

调度工作流和任务，纪录工作流活任务的日志，之所以将AzkabanWebServer和AzkabanExecutorServer分开，主要是因为在某个任务流失败后，可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。

可调度任务类型

• linux命令
• 脚本
• java程序
• hadoop MR
• hive
  

创建工作
1.创建工作任务
创建.job为后缀的文件，type是工作任务类型执行会输出 Hello World

2.创建工作流
两个工作任务，通过dependencies进行关联

[mw_shl_code=bash,true]vim foo.job
type=command
command=echo foo

vim bar.job
type=command
dependencies=foo
command=echo bar[/mw_shl_code]

• 工作流如下:
  将会先调用foo再调用bar。

  

  
  

二. 调度Spark任务Demo

创建一个新的project

编写代码
写一段简单的Spark代码，将程序打包

[mw_shl_code=scala,true]package com.test
import org.apache.spark.{SparkConf, SparkContext}

object AzkabanTest extends App{
  val conf = new SparkConf()
  .setMaster("local[2]")
  .setAppName("azkabanTest")
  val sc = new SparkContext(conf)

  val data = sc.parallelize(1 to 10)
  data.map{_ * 2}.foreach(println)
}[/mw_shl_code]
编写调度命令
[mw_shl_code=bash,true]vim test.job
type=command
command=/usr/install/spark/bin/spark-submit --class com.test.AzkabanTest test-1.0-SNAPSHOT.jar[/mw_shl_code]

将这两个文件以zip的形式打包在一起
[mw_shl_code=bash,true]zip -r xxx.zip azkabanTest  
[/mw_shl_code]

上传工程

目前azkaban只支持zip包，其中要包括.job文件以及一些需要的工程和文件。

设置离线任务执行周期

如果需要的话可以设置离线任务的执行周期（类似于cron的功能）

任务通知

可以设置任务完成或失败进行邮箱通知等操作。

一些界面

主界面

任务完成情况

任务log详情

定时任务调用情况图

这有个文档

azkaban.rar (368.92 KB, 下载次数: 3)

2018-5-22 17:59 上传

点击文件名下载附件