数据开发

前提条件

已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。

步骤一：创建逻辑主体

1. 进入AppStage运维中心。
2. 在顶部导航栏选择服务。

3. 单击，选择“运维 > 监控服务（ServiceInsight）”。

4. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
5. 选择“数据治理 > 指标仓库”。
6. 单击逻辑主体后的“新建”。
7. 配置逻辑主体参数，参数说明如表1所示，配置完成后，单击“确定”。

   表1 配置逻辑主体参数说明

   参数类型	参数名称	参数说明
   基本信息	英文名称	自定义英文名称。
   	中文名称	自定义中文名称。
   	数据类型	选择逻辑主体的使用场景，一般为APP、Service、SLB、ELB等，支持自定义数据类型。
   	描述	输入描述信息。
   	共享业务	如果其他业务需要使用当前业务某个逻辑主体关联的指标或视图，可以选择其他服务名称。
   字段列表	-	单击“添加字段”，定义逻辑主体中的字段，可多次单击“添加字段”添加多个字段。 设置字段信息，其中英文名称和类型为必填参数。
   数据表	-	单击“新增”，选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”，如果设置为是，会同步将数据表字段添加到字段列表中；设置为否，列表显示已添加的字段，需要在“数据表字段”列选择数据表字段，将逻辑主体字段与数据表字段关联起来。

步骤二：创建指标

1. 在“指标仓库”页面，单击已创建的逻辑主体。
2. 单击逻辑主体页面的“新建指标”，选择“新建单个指标”。
3. 配置指标参数，参数说明如表2所示，配置完成后，单击“创建”。

   表2 配置指标参数说明

   参数名称	参数说明
   类型	选择需要创建指标的类型。 ABSTRACT：抽象指标。 BASIC：基础指标。 DERIVED：派生指标。 COMPOSITE：组合指标。 DERIVED_COMPOSITE：派生组合指标。
   英文名称	自定义英文名称，支持输入字母、数据和下划线。
   中文名称	自定义中文名称。
   指标等级	选择指标等级。 GOLD：黄金指标，一般为请求量、时延、成功率。 HEALTH：健康指标。 NORMAL：普通指标。
   描述	输入描述信息。
   开放名称	在输入框输入并单击下方选项，来设置开放名称，可设置多个。也可以单击“复制名称”复制输入的指标英文名称作为开放名称。 在多指标group by场景，查询的返回结果中，使用开放名称作为指标的属性值；报表开发过程中使用该属性来提取查询结果。
   指标类型	选择指标类型。 RequestCount：请求量。 DelayTime：时延。 SuccessRate：成功率。 FailureRate：失败率。 Speed：速度指标。 Bandwidth：带宽指标。
   逻辑主体	选择指标来源的逻辑主体。
   标签列表	选择标签，可多选，为指标关联标签。
   指标责任人	输入指标责任人。
   开放状态	设置指标开放状态。
   抽象指标	单击“添加抽象指标”，选择已创建的抽象指标，可以为指标添加抽象指标。
   是否多聚合字段	选择是否为多聚合字段指标。 是多聚合字段，需要选择聚合字段列表并设置表达式。
   聚合类型	选择指标的统计方式。
   聚合字段	指标的度量对象。
   过滤器	单击“新增过滤器”，可以依据业务限定条件，给指标设置过滤规则，支持AND、OR多层嵌套过滤条件，节点类型为NODE。默认为AND，可单击AND后在下拉列表重新选择。然后设置字段、类型及取值，如果设置多个取值时，使用回车设置。 举例：有5个过滤条件ABCDE，过滤条件汇总后为（A AND B）OR （C AND D AND E），ABCDE即为NODE节点。

步骤三：创建视图

单指标查询视图/多指标组合查询视图

如果需要在大盘监控单个指标的报表（如折线型报表），可以创建单指标查询视图。

如果需要在大盘同时监控多个指标（如表格型报表），可以创建多指标组合查询视图。

1. 进入运维中心控制台。
2. 单击，选择“运维 > 监控服务（ServiceInsight）”。
3. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
4. 选择“数据治理 > 指标仓库”。
5. 选择需创建视图的逻辑主体，然后单击“新建查询视图”，如图1所示。
   图1 新建查询视图
   

6. 配置查询视图参数，如表3所示，配置完成后，单击“保存”。

   表3 新建查询视图参数说明

   参数名称	参数说明
   类型	视图类型默认为“QUERY”，不可修改。
   数据源	选择视图使用的数据表。
   英文名称	视图英文名，尽量使用英文简写，不超过50个字符，单词之间使用下划线分隔。
   中文名称	视图中文名，不超过20个字符。
   描述	输入视图描述内容。
   指标	选择需要计算的指标，可选择单指标或者多个指标。
   projection	选择是否开启projection。

持久化视图/长期存储视图

持久化视图（自定义汇聚粒度）、长期存储视图（依次执行5分钟、1小时、1天汇聚粒度）可以持久化查询结果。这两种视图需要在查询视图的基础上进行创建。

1. 进入运维中心控制台。
2. 单击，选择“运维 > 监控服务（ServiceInsight）”。
3. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
4. 选择“数据治理 > 指标仓库”。
5. 选择需创建视图的逻辑主体，默认显示“关系图模式”，可以单击页面已创建的指标或视图，弹出“指标”页面或“视图”页面。

   也可以单击“列表模式”，切换至“列表模式”，在指标列表单击对应指标所在行的“查看详情”，弹出“指标”页面；或者单击“视图”，在视图列表单击对应视图所在行的“查看详情”，弹出“视图”页面。

6. 在“指标”页面，选择已创建的单指标视图或多指标视图，单击视图的“操作”，在下拉列表中选择“创建持久化视图”或者“创建长期存储视图”，如图2所示。
   或者在“视图”页面，单击“创建视图”，在下拉列表中选择“创建持久化视图”或者“创建长期存储视图”，如图3所示。

   图2 指标详情页
   

   图3 视图详情页
   

7. 配置如下视图参数，配置完成后，单击“创建”。
   1. 配置Basic参数，具体参数如表4所示。

      表4 Basic参数说明

      参数名称	参数说明
      英文名称	视图英文名，尽量使用英文简写，不超过50个字符，单词之间使用下划线分隔。
      中文名称	视图中文名，不超过20个字符。
      任务名称	汇聚的任务名，默认与视图名一致。
      描述	输入描述信息。
      类型	根据选择创建的视图类型显示，持久化视图为PERSISTENT，长期存储视图为LONG_TERM。
      任务类型	根据视图数据来源显示，不可修改。
      调度集群	选择定时调度集群。
      执行集群	选择执行汇聚的执行集群。
      MPPDB执行集群	（长期存储视图包含该参数）选择执行分钟级、小时级、天级MPPDB汇聚的执行集群。
      查询范围	设定任务查询时间范围，不填则默认每分钟执行一次。 例如设置为1小时，则查询时间区间为当前时间减1小时到当前时间（前闭后开）。
      Auto Round	设置任务执行时间是否舍去分和秒，默认为“是”。 例如汇聚周期是1小时，那么不管是2:10，还是2:40触发任务，汇聚周期都会自动变为1:00~2:00；如果选否，那么汇聚周期就是1:10~2:10，以及1:40~2:40。
      调度（固定时间）	让任务在固定时间执行，一般天级任务会修改此值，例如修改为每天2点执行，不涉及无须选择。 例如设置3小时40分钟，则每天3点40执行任务；设置24小时40分钟，则每天0点40执行任务。
      调度（固定间隔）	设置执行任务的时间间隔，一般是小时任务和分钟任务会修改此值，不涉及无须选择。 例如设置6小时，则每6小时执行一次，即0点、6点、12点、18点执行；配合固定时间调度，间隔时间配置为6小时，固定时间配置为10分钟，则每天的0:10、6:10、12:10、18:10执行。
      汇聚时间提前	设置汇聚任务执行时选择之前的时间段。 例如汇聚时间提前1小时，每次查询的时间范围自动往前偏移1小时；当查询范围是小时、天的时候，一般不需要配置；分钟汇聚任务，由于延迟原因，一般都需配置。
      结果时间偏移	设置汇聚出的结果存入输出表的时间值。 例如结果时间偏移1小时，每次查询的数据存入MPPDB数据库的timestamp自动增加1小时。

   2. 配置Rule参数，具体参数如表5所示，配置完成后，单击“Build Statement”。

      表5 Rule参数说明

      参数名称	参数说明
      表类型	默认显示视图数据表类型。
      数据源	选择需要汇聚的数据表。
      从数据源列表	分表场景时使用，如果选中了数据源A和从数据源列表B，会优先从B表匹配维度。
      Indicators	选择汇聚任务需要计算的指标列表。
      Order By	选择需要排序的维度。
      limit	设置查询返回值个数，上限为200000。
      分组维度	选择需要Groupby的维度。

   3. 配置Output参数，具体参数如表6所示。

      表6 Output参数说明

      参数名称	参数说明
      输出表类型	选择存放汇聚结果的表（输出表）类型，默认为MPPDB。
      集群名	选择输出表所在的集群名。
      数据库名	选择输出表所在的数据库名。
      表名	选择输出表的表名，选择前需要创建MPPDB表。
      列名	选择输出表的所有列名。
      查询结果列	汇聚结果的列名。
      Column Mappings	根据输出表（MPPDB）选择对应的查询结果列。

8. 单击已创建的持久化视图或长期存储视图，在“视图”页面单击“Start Task”，启动第一层任务。保证期望状态和实际状态都为“Running”，如下图图4所示。
   图4 启动任务
   

9. 单击“Create Hourly Task”，会自动创建小时级的MPPDB汇聚任务和表（TTL 默认1年），自动将5分钟级别的数据roll up成小时级的。再单击“Start Hourly Task”启动该任务，保证期望状态和实际状态都为“Running”。
10. 单击“Create Daily Task”，会自动创建天级的MPPDB汇聚任务和表（TTL 默认2年），自动将小时级别的数据roll up成天级的。再单击“Start Daily Task”启动该任务，保证期望状态和实际状态都为“Running”。