数据发布CI/CD、任务运维

更新时间：2024-04-23 GMT+08:00

数据发布CI/CD

支持数据发布 CI/CD。数据开发团队完成任务开发后，可以将流程提交到测试环境中进行验证、调整，任务在测试环境的运行过程中，不影响用户继续完成其他开发任务。对于通过测试的任务，数据工程师可以提交到发布流程中，开发 Leader 则可通过查看任务、比对版本来审核数据任务。审核通过后，运维工程师方可进一步发布到生产环境。

图1 数据发布CI/CD1

图2 数据发布CI/CD2

图3 数据发布CI/CD3

图4 数据发布CI/CD4

任务运维

运维看板
 支持总览离线任务、实时任务的运行状态、运行时长，及调度引擎的运行情况，帮助数据开发工程师及时发现问题，解决问题，同时达到充分利用资源，快速优化任务的目的。

图5 运维看板
离线任务运维
 离线运维支持运维工程师对生产环境上的流程进行运行管理，支持重跑、错误重试、停止、置成功、置失败、补数据、配置质量规则、查看日志等操作。流程发布到生产环境后，运维工程师可以在流程管理中运行流程，并支持版本回滚。

图6 离线任务运维1

每次启动流程，都会生成相应的流程运行实例。每个实例都可以查看到其对应流程版本的 DAG 及对应任务节点版本的代码、资源。

图7 离线任务运维2

生产环境与开发环境实行严格的权限隔离及资源隔离，不同环境的任务运行所依赖的计算资源、数据资源、源码资源均相互独立，不受另一方影响。
实时任务运维
 支持实时任务启动、停止、告警、查看日志等运维操作。支持通过保存点、检查点、业务时间等方式，来指定要读取的业务数据。

图8 实时任务运维