ETL批量作业调度管理软件Taskctl Web版

什么是批量作业:

批量处理是银行业整个信息后台最为重要的技术形态，也是银行核心信息资产数据的分享、传输、演化的重要技术手段。有调查指出，全球70%的数据是经过批量处理得以再次使用，可见批量处理在整个信息生态中的技术占比与重要性。

银行业经过多年的信息化建设，逐步建立起几十甚至几百个信息系统，其中，绝大多数系统后台都具备有不同规模的作业批量处理，总体批量作业数已发展成几千到几万这样的一个庞大规模。随着大数据时代的到来，特别是在数据仓库、大数据平台的带动下，这样的规模还将快速发展，其批量作业数规模也必将产生数量级的增长变化。

银行面对如此多的系统、批量作业数以及可期的快速增长未来，让批量处理最为重要的技术-批量调度走向独立化、系统化、专业化以及平台化，是非常有必要的。批量调度不仅是批量处理的动力中枢，也是整个批量处理的管理入口，因此，建立一个规范专业的批量作业调度技术平台，建立一个统一的批量作业调度运维管理平台，不仅可以从架构层面优化企业整个后台批量体系，减少IT技术异构风险，为数据安全提供更可靠的技术保障，还可以加快具体系统构建速度，提升系统运维效率，降低运维风险。批量调度技术体系的专业化、平台化、统一化，不仅是一个系统建设，更是银行IT基础设施平台的建设，为银行整个IT建设健康高效发展提供坚实的基础。

目前主要实现方式:

目前，由于银行内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，使银行内部几十上百个系统相关批量调度实时混乱。这种现象不仅体现在银行不同系统之间，甚至体现在同一系统的不同建设周期之间。

应用系统内置，手工调度调度:

目前，在银行内有很多系统的后台批量处理，无论从后台调度层面，还是前台应用层面，都与业务系统本身高度耦合，而且调度触发启动主要是靠人工发起。造成这种局面的原因一方面是银行缺乏统一的调度规范体系，另一方面，站在整个应用系统的角度，批量调度本身比重不大。这种方案带来的直接后果体现在两个方面：

因高度耦合，扩展不易；
主要靠人工调度，相对较耗人力资源，而且因人工操作，可能会引入更多人为误操作的风险;

利用现有ETL工具的调度功能

随着银行信息化发展，特别是数据仓库的建立，并以此为基础建立的更多数据类、管理类系统，或多或少都在采用一些专业的ETL工具来实现批量处理，并结合工具本身的调度组件完成相应批量调度处理工作。

关于Taskctl Web应用版

适合中小企业IT自动化类系统建设，如数据系统批量调度自动化、系统运维自动化、企业数据资产监控等等。

适合数据开发人员，大数据从业人员，运维人员学习了解批量作业调度技术

功能特性与授权

是TASKCTL 6.0下一个版本的预览版，具备TASKCTL6.0（官网最新发布版）功能和一些新特性（如工程级变量管理，作业分片执行，微批循环等）。免费授权规格如下表：

（备注：软件未注册，不能实现7*24h连续自动化运行，因此不能用于生产环境。）

应用简介

Taskctl在线应用版V1.2相比C/S应用端功能完整，并精简部分操作逻辑，适合初学者体验taskctl产品，也能作为中小项目生产应用。

安装环境

初识Taskctl-Web版

Taskctl Free应用版原型是在原有商用版Taskctl 6.0衍生扩展开发出的专门为批量作业调度自动化打造的一款完全免费的轻便型敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。

Taskctl通过将企业内部复杂的作业调度依赖关系，进行灵活的统一编排和管理，带来前所未有的简单性。Taskctl采用全内存计算，基于全事件技术驱动，可简单、快速地对作业进行定义、编排和执行，并生成优化调度执行建议，从而负载均衡执行作业调度。

Taskctl作为敏捷批量调度的开拓者，产品设计从一开始就专门为整洁的体验而设计，并提供丰富、直观的用户界面，以简化常见的作业调度执行编排流程。

Taskctl-Web应用版遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合 ETL 调度领域自身的特点，构建了一套直观易用的 ETL 控制容器调度设计、监控、维护、管理平台 Taskctl-Web-Application 。

功能框架

通过上图可以了解到，Taskctl-Web版是Taskctl 中客户端应用软件家族的重要一员。

有三大功能模块：

平台管理（ Admin ）：平台级T配W置信息管理。如网络节点管理，作业类型扩展，工程管理，全局变量管理，调度元信息导入导出，用户及权限管理，消息接口管理等。
作业设计（ Designer ）：作业调度元信息设计。如作业控制容器（定时器 / 作业流）的管理，作业关系、属性编辑，变量管理，作业组织模块管理等。
运行监控（ Monitor ）：作业运行监控维护平台。对设计好的调度元信息进行运行监控以及人工操作干预。对运行信息进行查询、统计、分析等。

系统特性

在 Windows 桌面客户端的基础上， TASKCTL 重新构建了一套基于 web 浏览器的应用 taskctl-web-application 。它具有如下特性：

功能完整：实现了桌面客户端 Admin,Designer,Monitor 所有的功能（包括高级分析功能）
部署简单：采用安装程序一键部署应用，不需要部署额外的 web 容器
体验简介：重新优化图形操作体验，简化操作步骤
合理导向：重新组织了页面 UE，让每个操作自然流畅
性能卓越：200k 带宽、单核处理器即可实现 10 个用户同时应用
稳定可靠：直接与调度服务核心通讯，信息更直接可靠。

登录界面

平台部署的时候，已经确定了调度服务端信息。因此不必再像桌面客户端一样需要输入调度服务端地址。

如上图所示：输入正确的用户名、密码点击“登录”按钮，登录成功后， Taskctl-Web-Application 将根据登录用户进行一系列的初始化操作，加载基本的运行信息。

主界面

成功登录后，即可进入 taskctl-web-application 平台主界面。系统对各个组件进行了合理的初始化布局，如下图所示：

通过上图，我们可以直观的看到 Taskctl-web-application 具备了传统 web 应用软件的 “街头 banner ”、 “顶部导航”，以及主框架区域。

作业设计

在作业设计功能模块的首页，您可以看到资源视图，工程视图以及控制容器, 切换到资源视图查看全部控制容器，切换到工程视图可以选择项目筛选其对应的控制容器。如下图所示：

资源视图

通过资源视图，可以快速的打开模块代码、树节点属性、流程变量等设计窗口。并直观的展示了工程到流程，流程到模块的树形结构。如下图所示：

资源视图拥有自身特有的工具栏，通过其工具栏按钮，可以方便地对资源树及其选中节点进行相关操作

工程视图

工程视图与资源视图，唯一不同的是聚焦到某个选中的工程。

控制容器设计

TASKCTL 通过作业控制器来组织管理作业。作业控制器分为作业流和定时器。如果作业之间存在复杂的关系，如依赖、并行关系。请使用作业流来组织作业集。否则通过定时器来组织管理作业更方便。

小提示：通过定时器来调用子作业流实现作业调度自动化下面通过设计一个简单的作业流控制容器（以下简称“作业流”）来了解下Designer 的操作和 TASKCTL 的一些功能特性

设计案例描述

作业程序清单:

点击添加图片描述（最多60个字）

依赖关系:

点击添加图片描述（最多60个字）

驱动方式:文件到达驱动

新建作业流

私有变量设计

私有变量可通过已创建“作业流/定时器管理”中的跳转私有变量，也可通过工程/资源视图中的作业流/定时器等工具栏

工程下所有控制容器都可以引用工程变量。通过合理的变量设计，能够让调度更灵活，更易迁移.

图形方式设计

作业流由一个启动模块或者再嵌套多个子模块组成，作业的开发设计主要通过模块设计器进行，而模块设计器提供了图形方式设计与模块代码方式设计。图形方式对新手用户更加友好，模块代码设计方式能提高进阶用户的设计效率。

图形方式设计布局

提供了切换图形方式设计与模块代码设计、作业节点搜索框、容器设计工具栏，组件工具箱、作业节点资源树，以及作业属性面板。

拖拽添加作业节点

给作业流添加作业节点时，从工具箱直接向右边的流程图中拖拽相应类型的作业。（注：拖拽到节点上时，绿色箭头提示可放置的方向），如下图所示

编辑作业节点属性

由于作业的属性相对较多，为了方便我们熟悉作业属性的操作，TASKCTL 根据作业属性特征，按用途分为“What --基本属性”，“How -- 控制属性”，“Where-- 目标主机属性”和 “Misc -- 杂项属性”等。另外某些属性还具有复合（继承-inherit、缺省-default、自定义-self）特征。

通过以上定义后，模块作业关系图与节点树如下图所示：

说明 :