方案概述

背景信息

随着业务数量增多，业务的数据开发需求也逐渐增多， 数据开发人员不能快速支撑业务的开发需求，了解业务的人员设计和开发业务的数据资产可以使数据发挥最大价值，因此需要业务人员来主导业务的数据治理开发工作。

数据治理的核心就是管理好业务的数据资产，随着业务特性和业务复杂度快速增长，面临的不再是无数据的时代，面临的问题是如何在数据世界中获取到准确且有价值的信息，例如同一个指标在不同的应用场景，哪个才是准确的？这么多数据我的业务监控是否都覆盖了？以及是否有无价值和未合理使用的数据等，因此如何有效管理数据资产成了当前重点关注的问题。

解决方案

本章节介绍如何通过AppStage运维中心完成对业务实时数据的接入、处理、开发与应用。

图1 数据开发与应用流程

1. 数据接入

   AppStage运维中心支持接入虚拟机日志和容器日志，您可以根据日志类型选择日志接入方式。

   • 虚拟机日志接入：通过日志配置下发任务部署filebeat，并根据日志采集配置设置，通过filebeat采集虚拟机上的业务日志。
   • 容器日志接入：安装daemonset插件，通过daemonset实现容器日志接入。

   （可选）如果需要将原始日志转化为JSON格式，可以在日志接入时选择算子清洗方式对日志数据做清洗，数据清洗如数据清洗说明所示。

2. 数据导流

   接入的日志数据存在于对应的Topic中，需要创建导流任务，将数据存储在对应的数据库中才能进行日志检索、日志数据的管理和后续开发。

3. （可选）数据汇聚：当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。
4. 数据开发
   可以使用存入数据库中的数据进行报表开发、实时监控或者异常告警等应用，可以直接写SQL，但是不同数据源写SQL的方式有差异，且有一定难度，AppStage支持使用运维数仓的方式，会自动根据不同数据源生成对应的SQL。

   1. 创建逻辑主体：使用运维数仓时首先需要创建逻辑主体。
   2. 创建指标：逻辑主体创建成功后，需要创建数据指标。
   3. （可选）创建视图：为需要计算的指标创建查询视图，也可以在查询视图的基础上创建持久化视图或长期存储视图。
5. 数据应用
   • 使用报表对业务进行实时监控：使用运维数仓中的指标或视图创建业务报表，实时监控业务数据。
   • 通过日志检索进行问题定位：日志接入并创建导流任务后，可以对已接入的日志进行检索，定位业务异常问题。
   • 数据异常告警：支持通过异常检测上报告警和配置虚拟机异常告警，根据业务需要进行配置。

数据清洗说明

在做日志接入创建日志空间时可以配置算子清洗策略完成日志数据清洗，如图2所示，算子清洗功能及使用样例请参见算子清洗功能介绍。

图2 算子清洗

• 清洗规则：选择“算子清洗”。
• 日志样例：使用典型日志，用来做清洗验证。
• 解析脚本：配置解析脚本，将日志样例清洗为字段显示。解析脚本中不支持使用中划线，支持使用下划线。
• 清洗字段：配置解析脚本后单击“配置解析脚本”，自动生成清洗自动，查看字段是否符合预期。