更新时间:2024-10-24 GMT+08:00
分享

自动解析依赖

解释说明

对于SQL类的节点,数据开发可根据节点中的任务代码,自动解析出当前节点的上下游依赖关系。

自动解析添加调度依赖的原理

数据开发会自动解析当前节点的SQL,根据输出命令,如insert得到当前节点的输出表,根据输入命令,如select 得到当前节点的输入表。然后通过查找对比,当节点A的输出表为当前节点的输入表时,则节点A为当前节点的依赖节点。

自动解析依赖为辅助能力,存在部分场景无法解析。自动解析依赖支持的SQL类型:MRS Spark SQL、Hive SQL、DWS SQL和DLI SQL。

相关文档