数据血缘、资源管理、函数管理和变量管理
数据血缘
在数据采集和数据开发任务中,支持手工配置数据血缘及基于 SQL 解析自动生成数据血缘。在任务发布至生产环境后,即可形成数据血缘影响关系图,直观展示元数据上下游关系,查看到来源于各个相关的数据开发任务的血缘分析、影响分析。
资源管理
函数资源及外部代码资源,可以在资源管理中上传。资源支持 Jar、Python、File 等类型。
函数管理
对于复杂的代码实现场景,可以进行 UDF 封装为函数资源,通过资源管理上传后,通过函数管理进行引用管理,而后在 SQL 或脚本编辑器中进行调用,从而实现代码的高可复用,节省重复编写成本。
变量管理
通过变量管理功能,用户根据开发环境、生产环境的需要,对同一参数设置不同的值,引用变量的任务将根据运行环境自动适配变量值,简化开发流程。