查看数据血缘
首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。
约束限制
- 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。
对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
- 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。
启动作业调度
元数据采集完成后,系统基于最新的作业调度实例产生相关的数据血缘关系。
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。
- 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。
测试运行不会解析血缘。
图1 作业调度
- 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。
查看数据血缘关系
- 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
- 在
页面,可以对数据开发的作业、节点、表进行查询。
在“类型”筛选区域,单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”,然后单击“确定”。数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。
数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。
图2 选择类型
- 在数据资产搜索结果中,类型名称末尾带“_job”的数据资产为作业,单击某一作业名称,可以查看该作业的详情。在作业的详情页面进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。
图3 查看作业
- 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。
- 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。
- 单击血缘图中的某一个节点,可以查看该节点的详情。
- 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。
图4 查看节点血缘
- 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。
- 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。
- 单击血缘图中的某一个表,可以查看该表的详情。
图5 查看表血缘