文档首页/ 应用平台 AppStage/ 运维中心用户指南/ 使用监控服务进行资源及业务监控/ 开发并管理数据/ 将数据汇聚至MPPDB表
更新时间：2024-11-07 GMT+08:00
查看PDF
分享

将数据汇聚至MPPDB表

数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务，以实现对采集指标的汇聚处理，从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。创建汇聚任务后，需要经过运维管理员或基础运维岗位人员的审批，以确保汇聚任务的创建和执行符合公司的数据管理政策和安全要求，同时审批流程也确保了汇聚任务的合理性和安全性，有助于控制资源的使用，避免资源的浪费。

汇聚任务的数量、运行时长和权限都受到一定控制，避免潜在的安全风险和资源过度使用，确保系统的稳定性和高效性。

前提条件

已获取服务运维岗位权限、基础运维岗位权限，权限申请操作请参见申请权限。

约束限制

  • 一个组织支持创建的汇聚任务数上限=购买的运维中心应用实例数*50%，向上取整。

    即如果购买了215个应用实例，则组织内所有的服务可以创建的汇聚任务数为108个。

  • 一个组织汇聚任务每天的运行时长上限=汇聚任务数量*10分钟。

    实际汇聚任务时长为组织下所有汇聚任务（每个汇聚任务单次执行时长*每天执行次数）之和。

数据汇聚流程

数据汇聚的操作流程如下图：

  1. 创建汇聚任务：拥有服务运维岗位权限人员可以创建汇聚任务，提交创建后系统会自动创建任务申请。
  2. 审批任务申请：拥有基础运维岗位权限人员可以对已自动创建的任务申请进行审批，审批通过后的任务才可以启动执行数据汇聚。
  3. 启动汇聚任务：审批通过的任务可以启动进行数据汇聚。

创建汇聚任务

  1. 进入AppStage运维中心。
  2. 在顶部导航栏选择服务。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  3. 单击“新建任务”。
  4. 配置任务基础参数。

    • 输入任务名称、任务描述，其中任务名称只能包含字母、数字、下划线和中划线。
    • 选择调度集群和执行集群，调度集群选择“scheduleCluster-ops”。

  5. 在“调度配置”页签，设置数据调度的固定时间及固定间隔，可以单击“调度计划预览”，查看计划。
  6. 在“查询配置”页签，配置查询参数。

    • 在“表名”后的输入框选择需要查询的数据表，系统会根据数据表同步显示集群名和数据库名。
    • 可根据使用说明设置查询语句，并单击“测试查询”，测试执行查询语句，查看是否符合预期。

  7. 在“数据输出”页签，配置数据输出参数。

    • 表类型默认为“MPPDB”，当前仅支持汇聚至MPPDB表中。
    • 在“表名”后的输入框选择数据输出的表，系统会根据数据表同步显示集群名、数据库名、列名和默认值配置。可以单击“新增默认值”，选择数据列并设置默认值。
    • 可以设置前置操作语句，即在执行数据输出时可以对数据进行什么操作。

  8. 配置完成后，单击“创建任务”。

    创建任务时系统会自动创建任务申请。

审批任务申请

  1. 进入AppStage运维中心。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  1. 在任务列表中，单击待审批的汇聚任务所在行“操作”列的“编辑”。
  2. 在任务编辑页面，单击“审批通过”或“审批拒绝”。

启动汇聚任务

  1. 进入AppStage运维中心。
  2. 在顶部导航栏选择服务。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  1. 在任务列表中，单击待启动的汇聚任务所在行“操作”列的“启动”。
  2. 在提示页面，单击“确定”。
父主题： 开发并管理数据

相关文档