更新时间:2024-09-23 GMT+08:00
将接入数据导流至数据表中
监控服务已接入的数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。
将数据导流至ClickHouse/Influxdb表
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。
- 单击“数据管理”,根据实际需要选择“ClickHouse”或“Influxdb”。
- 在列表中,单击已创建的ClickHouse/Influxdb表所在行“操作”列的“编辑任务”。
如果是导流已接入的日志数据,可以单击日志接入时系统自动创建的检索空间同名的ClickHouse表后的“编辑任务”,检索空间可在“日志空间”页面查看,如图1所示。
- 单击“创建导流任务”。
- 在“导流任务配置”页面配置导流任务及字段,如图3所示。
- 执行集群:选择Topic所在的Kafka集群。
- Kafka Topic:选择日志接入时选择或系统自动创建的Topic,即“日志空间”页面的存储空间,如图2所示。或者CES指标数据接入时自动创建的Topic。
- 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
- Kafka字段名:Kafka Topic选择后,自动生成导流数据,部分数据列与Kafka Topic未联系起来,即“Kafka字段名”为空,需要单击“操作”列的“编辑”,在下拉列表中选择对应的字段,然后单击“保存”。
- 导流任务及为空的Kafka字段名配置完成后,单击“确认创建”。
- 在任务列表中单击已创建的导流任务后的“启动”。
父主题: 开发并管理数据