方案概述

背景信息

随着业务数量增多，业务的数据开发需求也逐渐增多， 数据开发人员不能快速支撑业务的开发需求，了解业务的人员设计和开发业务的数据资产可以使数据发挥最大价值，因此需要业务人员来主导业务的数据治理开发工作。

数据治理的核心就是管理好业务的数据资产，随着业务特性和业务复杂度快速增长，面临的不再是无数据的时代，面临的问题是如何在数据世界中获取到准确且有价值的信息，例如同一个指标在不同的应用场景，哪个才是准确的？这么多数据我的业务监控是否都覆盖了？以及是否有无价值和未合理使用的数据等，因此如何有效管理数据资产成了当前重点关注的问题。

解决方案

本章节介绍如何通过AppStage运维中心完成对业务实时数据的接入、处理、开发与应用。

图1 数据开发与应用流程

1. 数据接入

   AppStage运维中心支持接入虚拟机日志和容器日志，通过部署filebeat完成日志采集，其中容器日志在设置日志路径时使用通配符匹配完成容器日志数据接入。

2. 数据处理
   1. 数据清洗：采集日志时，可以使用清洗算子的方式得到JSON格式数据
   2. 数据汇聚：当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。
3. 数据开发
   可以使用存入数据库中的数据进行报表开发、实时监控或者异常告警等应用，可以直接写SQL，但是不同数据源写SQL的方式有差异，且有一定难度，AppStage支持使用运维数仓的方式，会自动根据不同数据源生成对应的SQL。

   1. 创建逻辑主体：使用运维数仓时首先需要创建逻辑主体。
   2. 创建指标：逻辑主体创建成功后，需要创建数据指标。
   3. 创建视图：为需要计算的指标创建查询视图，也可以在查询视图的基础上创建持久化视图或长期存储视图。
4. 数据应用
   • 使用报表对业务进行实时监控：使用运维数仓中的指标或视图创建业务报表，实时监控业务数据。
   • 通过日志检索进行问题定位：对已接入的实时日志进行检索定位业务异常问题。
   • 数据异常告警：支持通过异常检测上报告警和配置虚拟机异常告警，根据业务需要进行配置。