更新时间:2024-08-29 GMT+08:00
分享

将接入数据导流至数据表中

监控服务已接入的日志数据、CES指标数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。

将数据导流至ClickHouse/Influxdb表

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。
  2. 单击“数据管理”,根据实际需要选择“ClickHouse”或“Influxdb”。
  3. 在列表中,单击已创建的ClickHouse/Influxdb表所在行“操作”列的“编辑任务”。

    如果是导流已接入的日志数据,可以单击日志接入时系统自动创建的检索空间同名的ClickHouse表后的“编辑任务”,检索空间可在“日志空间”页面查看,如图1所示。
    图1 查看检索空间

  4. 单击“创建导流任务”。
  5. 在“导流任务配置”页面配置导流任务及字段,如图3所示。

    • 执行集群:选择Topic所在的Kafka集群。
    • Kafka Topic:选择日志接入时选择或系统自动创建的Topic,即“日志空间”页面的存储空间,如图2所示。或者CES指标数据接入时自动创建的Topic。
      图2 查看存储空间
    • 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
    • Kafka字段名:Kafka Topic选择后,自动生成导流数据,部分数据列与Kafka Topic未联系起来,即“Kafka字段名”为空,需要单击“操作”列的“编辑”,在下拉列表中选择对应的字段,然后单击“保存”。
    图3 配置导流任务

  6. 导流任务及为空的Kafka字段名配置完成后,单击“确认创建”。
  7. 在任务列表中单击已创建的导流任务后的“启动”。

相关文档