更新时间:2024-08-29 GMT+08:00

新建衍生指标

衍生指标是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标中的属性。发布衍生指标时,会自动生成一张汇总表,可在“汇总表-自动汇聚”下查看。

衍生指标=原子指标+统计维度+时间限定+通用限定。

  • 原子指标:明确统计口径,即计算逻辑。
  • 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。
  • 时间限定:时间限定是时间条件限制的标准化定义。
  • 通用限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后面的条件,不包括时间区间)。

前提条件

  • 在新建衍生指标之前,请先确认原子指标已经新建并通过审核。
  • 如果衍生指标将使用统计维度或时间限定,请先确认维度或时间限定已经新建并通过审核。

约束与限制

单工作空间允许创建的衍生指标个数最多5000个。

新建衍生指标并发布

  1. DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。
  2. 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“衍生指标”页签进入衍生指标页面。
  3. 在左侧的主题目录中选中一个主题,然后单击“新建”按钮,开始新建衍生指标。
  4. 在新建衍生指标页面,根据页面提示配置参数。
    图1 新建衍生指标

    表1 新建衍生指标参数说明

    参数名称

    说明

    *数据表

    在下拉列表中选择即可。

    *所属主题

    显示所属的主题信息。

    *原子指标

    选择原子指标。

    统计维度

    在下拉列表中,选择一个或多个维度。此处只能选择原子指标所关联的事实表中的属性。

    时间限定

    在下拉框中选择所需要的时间限定,并选择关联的字段。系统预置了一些时间限定,如果不能满足需求,请参考新建时间限定进行创建。

    通用限定

    如需设置通用限定,可以单击“新建”按钮新建一个或多个通用限定。只能包含中文、英文字母、数字和下划线,且只能以中文或英文字母开头。

    图2所示,在新建通用限定区域,通过以下配置新建一个通用限定。

    • 限定名称:指定通用限定的名称。
    • 添加条件(且):单击该下拉框,选择“且条件”或者“或条件”可以添加相应的条件,然后在字段下拉框中选择一个字段,并根据页面提示设置条件。您可以添加多个条件。

      当选择的字段是字符串类型(例如string、varchar)时,并且条件选择“属于”或“不属于”时,支持从码表中导入数据。单击“从码表导入”,在码表配置页面,选择“码表”和“码表字段”,单击“确定”。导入的码表值数量不能超过50。

      在某个条件后面单击删除按钮,可以将该条件删除。

    • 添加公式(且):单击该下拉框,选择“且公式”或者“或公式”可以添加相应的公式,然后再单击“编辑公式”按钮,在弹出对话框中选择所需要的“函数”“字段”,并设置“表达式”

      在某个公式后面单击删除按钮,可以将该公式删除。

    图2 通用限定

    告警配置

    由衍生指标和表达式组成,表达式由告警参数和逻辑运算符组成。在指标运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。

  5. 参数配置完成后,单击“预览”,可以查看该衍生指标的相关信息,并定义名称、编码、数据类型、告警条件和描述等信息。
    表2 预览衍生指标参数说明

    参数名称

    说明

    名称

    系统已根据原子指标、统计维度、时间限定等参数自动生成,您也可以自定义。

    编码

    系统已根据原子指标、统计维度、时间限定等参数编码自动生成,您也可以自定义。

    数据类型

    系统已根据原子指标的数据类型自动生成,您也可以自定义。

    告警条件

    告警条件表达式由告警参数和逻辑运算符组成。在指标运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。

    描述

    描述信息。支持的长度为0~600个字符。

  6. 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。

    如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。

  7. 如果试运行成功,单击“发布”,提交发布审核。
  8. 在弹出框中,选择审核人,单击“确认提交”,提交审核。

    如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”

    选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。

  9. (可选)参考步骤2~步骤8,完成其他衍生指标的发布。
  10. 等待审核人员审核。

    审核通过后,衍生指标创建完成。

    衍生指标创建完成后,单击指标名称,可以查看该衍生指标的详情、关系图、发布历史和审核历史。

    通过关系图,可以查看该衍生指标的血缘图。

    通过发布历史,可以查看该衍生指标的发布历史和不同发布版本之间的差异对比。

管理衍生指标

进入数据架构的“技术指标 > 衍生指标”页面,您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。

图3 管理衍生指标
  1. 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“衍生指标”页签,进入衍生指标页面。
  2. 您可以根据实际需要选择如下操作。

    当需要...

    则...

    新建

    执行新建衍生指标并发布

    编辑

    执行3

    发布

    执行4

    查看发布历史

    执行5

    预览SQL

    执行6

    下线

    执行7

    查看汇总表

    执行8

    删除

    执行9

    导入

    执行10

    导出

    执行11

  3. 编辑
    1. 在需要编辑的衍生指标右侧,单击“编辑”,进入编辑衍生指标页面。
    2. 根据实际需要编辑相关内容。
    3. 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。

      如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。

    4. 如果试运行成功,单击“发布”,提交发布审核。
  4. 发布
    1. 在需要发布的衍生指标右侧,单击“发布”,弹出“提交发布”对话框。
    2. 在下拉菜单中选择审核人。
    3. 单击“确认提交”
  5. 查看发布历史
    1. 在列表中,找到需要查看的衍生指标,在右侧单击“更多 > 发布历史”,将显示“发布历史”页面。
    2. 在“发布历史”中,您可以查看衍生指标的发布历史和版本对比信息。
  6. 预览SQL
    1. 在列表中,找到所需要的衍生指标,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。
    2. 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。
  7. 下线

    下线衍生指标的前提是无依赖引用,即无复合指标引用。

    1. 在需要下线的衍生指标右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
    2. 在下拉菜单中选择审核人。
    3. 单击“确认提交”
  8. 查看汇总表

    当前仅支持查看自动汇聚的汇总表详情。在需要查看汇总表的指标右侧,选择更多 > 查看汇总表,跳转到汇总表详情页面。

  9. 删除

    删除衍生指标的前提是无依赖引用,即无复合指标引用。

    1. 在衍生指标列表中,勾选需要删除的衍生指标,单击页面上方“更多 > 删除”,系统弹出“删除”对话框。
    2. 单击“是”
  10. 导入

    可通过导入的方式将衍生指标批量快速的导入到系统中。

    1. 在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。
      图4 导入衍生指标
    2. 下载衍生指标导入模板,编辑完成后保存至本地。
    3. 选择是否更新已有数据。

      如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。

      • 不更新:当数据重复时,不会替换系统中原有的数据。
      • 更新:当数据重复时
        • 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。
        • 系统中的原有数据为发布状态,则会生成下展数据。
    4. 单击“添加文件”,选择编辑完成的导入模板。
    5. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。
    6. 单击“关闭”。
  11. 导出

    可通过导出的方式将衍生指标导出到本地。

    1. 在衍生指标列表选中待导出的指标。
    2. 在列表上方,单击“更多 > 导出”,即可将系统中的衍生指标导出到本地。
    • 在左侧主题树中选中某个主题,可以导出该主题下的所有衍生指标;
    • 当该空间下不超过5000条衍生指标数据时可以全部导出。