更新时间:2024-08-05 GMT+08:00

查看数据血缘

首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。

约束限制

  • 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。

    对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。

  • 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。

新建并运行元数据采集任务

请参见配置元数据采集任务,新建并运行元数据采集任务,注意任务中需要选择待查看血缘关系的数据表。

如果此前已创建并运行过待查看数据表的元数据采集任务,此操作可跳过。

启动作业调度

元数据采集完成后,系统基于最新的作业调度实例产生相关的数据血缘关系。

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。
  4. 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。

    测试运行不会解析血缘。

    图1 作业调度

  5. 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。

查看数据血缘关系

  1. DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
  2. 数据目录 > 技术资产页面,可以对数据开发的作业、节点、表进行查询。

    “类型”筛选区域,单击“搜索全部”按钮并在全部类型中勾选“Job”“Node”“Table”,然后单击“确定”。数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。

    数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。

    图2 选择类型

  3. 在数据资产搜索结果中,类型名称末尾带“_job”的数据资产为作业,单击某一作业名称,可以查看该作业的详情。在作业的详情页面进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。

    图3 查看作业

  4. 在数据资产搜索结果中,类型名称末尾带“_node”的数据资产为节点,单击某一节点名称,可以查看节点的详情。在节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。

    • 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。
    • 单击血缘图中的某一个节点,可以查看该节点的详情。
    • 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。
    图4 查看节点血缘

  5. 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。

    • 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。
    • 单击血缘图中的某一个表,可以查看该表的详情。
    图5 查看表血缘