更新时间:2024-04-23 GMT+08:00
分享

数据血缘、资源管理、函数管理和变量管理

数据血缘

在数据采集和数据开发任务中,支持手工配置数据血缘及基于 SQL 解析自动生成数据血缘。在任务发布至生产环境后,即可形成数据血缘影响关系图,直观展示元数据上下游关系,查看到来源于各个相关的数据开发任务的血缘分析、影响分析。

图1 数据血缘

资源管理

函数资源及外部代码资源,可以在资源管理中上传。资源支持 Jar、Python、File 等类型。

图2 资源管理

函数管理

对于复杂的代码实现场景,可以进行 UDF 封装为函数资源,通过资源管理上传后,通过函数管理进行引用管理,而后在 SQL 或脚本编辑器中进行调用,从而实现代码的高可复用,节省重复编写成本。

图3 函数管理

变量管理

通过变量管理功能,用户根据开发环境、生产环境的需要,对同一参数设置不同的值,引用变量的任务将根据运行环境自动适配变量值,简化开发流程。

图4 变量管理

相关文档