文档首页/ 应用平台 AppStage/ 运维中心用户指南/ 使用监控服务进行资源及业务监控/ 开发并管理数据/ 将数据汇聚至MPPDB表
更新时间：2024-11-21 GMT+08:00
查看PDF
分享

将数据汇聚至MPPDB表

数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务，以实现对采集指标的汇聚处理，从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。创建汇聚任务后，需要经过运维管理员或基础运维岗位人员的审批，以确保汇聚任务的创建和执行符合公司的数据管理政策和安全要求，同时审批流程也确保了汇聚任务的合理性和安全性，有助于控制资源的使用，避免资源的浪费。

汇聚任务的数量、运行时长和权限都受到一定控制，避免潜在的安全风险和资源过度使用，确保系统的稳定性和高效性。

前提条件

已获取服务运维岗位权限、基础运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。

约束限制

  • 一个组织支持创建的汇聚任务数上限=购买的运维中心应用实例数*50%，向上取整。

    即如果购买了215个应用实例，则组织内所有的服务可以创建的汇聚任务数为108个。

  • 一个组织汇聚任务每天的运行时长上限=汇聚任务数量*10分钟。

    实际汇聚任务时长为组织下所有汇聚任务（每个汇聚任务单次执行时长*每天执行次数）之和。

数据汇聚流程

数据汇聚的操作流程如下图：

  1. 创建汇聚任务：运维管理员或服务运维岗位人员可以创建汇聚任务，提交创建后系统会自动创建任务申请。
  2. 审批任务申请：运维管理员或基础运维岗位人员可以对已自动创建的任务申请进行审批，审批通过后的任务才可以启动执行数据汇聚。
  3. 启动汇聚任务：审批通过的任务可以启动进行数据汇聚。

创建汇聚任务

  1. 进入AppStage运维中心。
  2. 在顶部导航栏选择服务。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  3. 单击“新建任务”。
  4. 配置任务基础参数。

    • 输入任务名称、任务描述，其中任务名称只能包含字母、数字、下划线和中划线。
    • 选择调度集群和执行集群，调度集群选择“scheduleCluster-ops”。

  5. 在“调度配置”页签，设置数据调度的固定时间及固定间隔，可以单击“调度计划预览”，查看计划。
  6. 在“查询配置”页签，配置查询参数。

    • 在“表名”后的输入框选择需要查询的数据表，系统会根据数据表同步显示集群名和数据库名。
    • 可根据使用说明设置查询语句，并单击“测试查询”，测试执行查询语句，查看是否符合预期。

  7. 在“数据输出”页签，配置数据输出参数。

    • 表类型默认为“MPPDB”，当前仅支持汇聚至MPPDB表中。
    • 在“表名”后的输入框选择数据输出的表，系统会根据数据表同步显示集群名、数据库名、列名和默认值配置。可以单击“新增默认值”，选择数据列并设置默认值。
    • 可以设置前置操作语句，即在执行数据输出时可以对数据进行什么操作。

  8. 配置完成后，单击“创建任务”。

    创建任务时系统会自动创建任务申请。

审批任务申请

  1. 进入AppStage运维中心。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  1. 在任务列表中，单击待审批的汇聚任务所在行“操作”列的“编辑”。
  2. 在任务编辑页面，单击“审批通过”或“审批拒绝”。

启动汇聚任务

  1. 进入AppStage运维中心。
  2. 在顶部导航栏选择服务。
  1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
  2. 单击“数据汇聚”，根据实际需要选择“MPPDB汇聚”、“ClickHouse汇聚”或“Influxdb汇聚”，进入汇聚页面。
  1. 在任务列表中，单击待启动的汇聚任务所在行“操作”列的“启动”。
  2. 在提示页面，单击“确定”。
父主题： 开发并管理数据

相关文档