新建衍生指标
衍生指标是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标中的属性。发布衍生指标时,会自动生成一张汇总表,可在“汇总表-自动汇聚”下查看。
衍生指标=原子指标+统计维度+时间限定+通用限定。
- 原子指标:明确统计口径,即计算逻辑。
- 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。
- 时间限定:时间限定是时间条件限制的标准化定义。
- 通用限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后面的条件,不包括时间区间)。
前提条件
- 在新建衍生指标之前,请先确认原子指标已经新建并通过审核。
- 如果衍生指标将使用统计维度或时间限定,请先确认维度或时间限定已经新建并通过审核。
约束与限制
单工作空间允许创建的衍生指标个数最多5000个。
新建衍生指标并发布
- 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。
- 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“衍生指标”页签进入衍生指标页面。
- 在左侧的主题目录中选中一个主题,然后单击“新建”按钮,开始新建衍生指标。
- 在新建衍生指标页面,根据页面提示配置参数。
图1 新建衍生指标
表1 新建衍生指标参数说明 参数名称
说明
*数据表
在下拉列表中选择即可。
*所属主题
显示所属的主题信息。
*原子指标
选择原子指标。
统计维度
在下拉列表中,选择一个或多个维度。此处只能选择原子指标所关联的事实表中的属性。
时间限定
在下拉框中选择所需要的时间限定,并选择关联的字段。系统预置了一些时间限定,如果不能满足需求,请参考新建时间限定进行创建。
通用限定
如需设置通用限定,可以单击“新建”按钮新建一个或多个通用限定。只能包含中文、英文字母、数字和下划线,且只能以中文或英文字母开头。
如图2所示,在新建通用限定区域,通过以下配置新建一个通用限定。
- 限定名称:指定通用限定的名称。
- 添加条件(且):单击该下拉框,选择“且条件”或者“或条件”可以添加相应的条件,然后在字段下拉框中选择一个字段,并根据页面提示设置条件。您可以添加多个条件。
当选择的字段是字符串类型(例如string、varchar)时,并且条件选择“属于”或“不属于”时,支持从码表中导入数据。单击“从码表导入”,在码表配置页面,选择“码表”和“码表字段”,单击“确定”。导入的码表值数量不能超过50。
在某个条件后面单击删除按钮,可以将该条件删除。
- 添加公式(且):单击该下拉框,选择“且公式”或者“或公式”可以添加相应的公式,然后再单击“编辑公式”按钮,在弹出对话框中选择所需要的“函数”和“字段”,并设置“表达式”。
在某个公式后面单击删除按钮,可以将该公式删除。
告警配置
由衍生指标和表达式组成,表达式由告警参数和逻辑运算符组成。在指标运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。
- 参数配置完成后,单击“预览”,可以查看该衍生指标的相关信息,并定义名称、编码、数据类型、告警条件和描述等信息。
表2 预览衍生指标参数说明 参数名称
说明
名称
系统已根据原子指标、统计维度、时间限定等参数自动生成,您也可以自定义。
编码
系统已根据原子指标、统计维度、时间限定等参数编码自动生成,您也可以自定义。
数据类型
系统已根据原子指标的数据类型自动生成,您也可以自定义。
告警条件
告警条件表达式由告警参数和逻辑运算符组成。在指标运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。
描述
描述信息。支持的长度为0~600个字符。
- 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。
如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。
- 如果试运行成功,单击“发布”,提交发布审核。
- 在弹出框中,选择审核人,单击“确认提交”,提交审核。
如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。
选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。
- (可选)参考步骤2~步骤8,完成其他衍生指标的发布。
- 等待审核人员审核。
衍生指标创建完成后,单击指标名称,可以查看该衍生指标的详情、关系图、发布历史和审核历史。
通过关系图,可以查看该衍生指标的血缘图。
通过发布历史,可以查看该衍生指标的发布历史和不同发布版本之间的差异对比。
管理衍生指标
进入数据架构的“技术指标 > 衍生指标”页面,您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。
- 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“衍生指标”页签,进入衍生指标页面。
- 您可以根据实际需要选择如下操作。
- 编辑
- 在需要编辑的衍生指标右侧,单击“编辑”,进入编辑衍生指标页面。
- 根据实际需要编辑相关内容。
- 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。
如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。
- 如果试运行成功,单击“发布”,提交发布审核。
- 发布
- 在需要发布的衍生指标右侧,单击“发布”,弹出“提交发布”对话框。
- 在下拉菜单中选择审核人。
- 单击“确认提交”。
- 查看发布历史
- 在列表中,找到需要查看的衍生指标,在右侧单击“更多 > 发布历史”,将显示“发布历史”页面。
- 在“发布历史”中,您可以查看衍生指标的发布历史和版本对比信息。
- 预览SQL
- 在列表中,找到所需要的衍生指标,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。
- 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。
- 下线
下线衍生指标的前提是无依赖引用,即无复合指标引用。
- 在需要下线的衍生指标右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
- 在下拉菜单中选择审核人。
- 单击“确认提交”。
- 查看汇总表
- 删除
删除衍生指标的前提是无依赖引用,即无复合指标引用。
- 在衍生指标列表中,勾选需要删除的衍生指标,单击页面上方“更多 > 删除”,系统弹出“删除”对话框。
- 单击“是”。
- 导入
- 在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。
图4 导入衍生指标
- 下载衍生指标导入模板,编辑完成后保存至本地。
- 选择是否更新已有数据。
如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。
- 不更新:当数据重复时,不会替换系统中原有的数据。
- 更新:当数据重复时
- 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。
- 系统中的原有数据为发布状态,则会生成下展数据。
- 单击“添加文件”,选择编辑完成的导入模板。
- 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。
- 单击“关闭”。
- 在汇总表上方,单击“更多 > 导入”,进入“导入配置”页签。
- 导出
- 在衍生指标列表选中待导出的指标。
- 在列表上方,单击“更多 > 导出”,即可将系统中的衍生指标导出到本地。
- 在左侧主题树中选中某个主题,可以导出该主题下的所有衍生指标;
- 当该空间下不超过5000条衍生指标数据时可以全部导出。