更新时间:2024-05-11 GMT+08:00
分享

统一日志存储

华为云日志服务提供安全可靠的多账号运行环境,可以将不同账号下的云服务日志、用户应用程序日志统一收集到日志账号中。

统一日志收集

  1. 下面的架构图描述了云日志服务(Log Tank Service,简称LTS)的主要功能,云日志服务用于实时收集来自主机、云服务、容器、移动终端、开源软件、用户后台应用和WEB端的日志数据。对采集的日志数据,可以通过关键字搜索查询、SQL可视化图表分析、监控和告警、转储到对象存储或KAFKA。
    图1 统一日志收集
  2. 华为云将提供并实施集中式日志服务(即每个应用账号将收集自己账号下应用程序和云服务的日志,并将所有日志接入到日志账号),建议在每个应用账号内收集以下主要类型的日志:
    • CTS审计日志(用户操作日志)
    • 系统日志(ECS日志)
    • 安全中心+WAF+云防火墙日志(安全相关日志)
    • SQL审计日志(数据库审计日志)
    • ELB日志(弹性负载均衡第7层网络日志)
    • 堡垒主机操作日志
    表1 将创建以下日志流来收集上述类型的日志

    日志类型

    日志组

    日志流

    存储周期(天)

    转储到对象存储

    CTS审计日志

    actiontrail-<account name>

    Automatically generated:actiontrail_actiontrail-<account name>

    180

    Syslog

    syslog-<accountname>

    syslog-<accountname>

    180

    Security Centre + WAF + 云防火墙日志

    security-<accountname>

    security-<accountname>

    180

    RDS Audit Log(MySQL)

    rdsaudit-<accountname>

    rdsaudit-<accountname>

    180

    VPC流日志

    vpc-<acountname>

    vpc-<acountname>

    180

    ELB7层访问日志

    slb-<accountname>

    slb-<accountname>

    180

    CCE容器集群日志

    k8s-<accountname>

    k8s-<clusterid>

    180

    ER日志

    er-<accountname>

    er-<accountname>

    180

  3. 应用账号中的日志存储时间将设置为180天,同时日志数据将转储到对象存储服务(OBS)。这样符合中国的分类保护标准(等保) 2.0合规性。使用格式“%Y/%m/%d/%H/%m”来定义目录层次结构,其中正斜杠(/)表示OBS目录的级别,这样可以利用OBS生命周期配置进行长期日志存储,以节省成本并进行归档。
  4. 在应用账号中收集日志后,需要将应用账号中的日志集中到日志账号。为了实现这一点需要在应用账号的统一身份认证服务中创建委托,被委托方是日志账号,并授予日志账号” LTS FullAccess”权限。创建委托后,在日志账号中就可以配置跨账号接入,将应用账号中的日志流接入到日志账号中集中存储。
    图2 应用账号日志汇集到日志账号统一管理
    表2 对于未来的需求,需要收集以下日志类型

    分类

    云服务

    日志类型

    日志内容

    基础服务

    容器类服务(CCE/CCI/IEF/AOS)

    应用

    容器应用的运行日志

    基础服务

    虚拟私有云 VPC

    网络

    网络日志

    基础服务

    弹性负载均衡 ELB

    网络

    业务请求日志

    基础服务

    内容分发网络 CDN

    网络

    域名访问日志

    基础服务

    弹性公网IP日志

    网络

    高精度秒级监控功能,以日志形式将高精度网络带宽监控数据推送到日志服务,帮助您实时监控互联网业务流量变化,及时调整弹性公网IP的带宽峰值

    基础服务

    弹性文件服务NAS

    存储

    将NAS数据导入LTS

    基础服务

    OBS

    存储

    将OBS数据导入LTS

    基础服务

    SMN

    消息

    短信等通知内容分析

    PAAS服务

    应用管理与运维平台 ServiceStage

    应用

    应用运行日志

    PAAS服务

    软件开发平台 DevCloud

    应用

    应用运行日志

    PAAS服务

    区块链 BCS

    应用

    应用运行日志

    PAAS服务

    函数服务 FunctionGraph

    应用

    函数日志

    PAAS服务

    应用运维管理 AOM

    应用

    应用运行日志

    PAAS服务

    API网关APIG

    应用

    API调用日志

    PAAS服务

    云审计 CTS

    审计

    云审计日志

    PAAS服务

    应用与数据集成平台 ROMA Connect

    应用

    API调用日志

    PAAS服务

    DCS

    审计

    redis_audit_log Logstore用于存放Redis审计日志。
    redis_slow_run_log Logstore用于存放Redis慢日志和运行日志

    安全

    Web应用防火墙 WAF

    安全

    攻击、请求和访问防火墙日志

    安全

    态势感知 SA

    安全

    HSS、ANTIDDOS等安全风险日志

    安全

    云堡垒机 CBH

    安全

    堡垒机系统的操作日志

    安全

    DDoS高防日志

    安全

    展示被DDoS高防保护的网站总体访问状况,包括PV、UV、流入流量、网络in带宽峰值、网络out带宽峰值、访问趋势、来源分布等数据

    数据库

    RDS操作审计日志

    数据库

    RDS SQL审计日志记录了对数据库执行的所有操作

    数据库

    ManagoDB日志

    数据库

    审计日志、慢日志和运行日志

    EI

    图引擎服务(GES)

    大数据

    操作审计日志

    EI

    AI开发平台 ModelArts

    大数据

    大数据任务的运行日志(由于是内置租户,仅在ModelArts上查看)

    EI

    MapReduce服务 MRS

    大数据

    大数据任务的运行日志(由于是内置租户,仅在ModelArts上查看)

    联接与协同

    设备接入服务 IoTDA

    应用

    MQTT设备的业务运行日志

    联接与协同

    IoT边缘 IoTEdge

    应用

    边缘设备的日志

应用日志收集

  1. 对于应用日志,华为云建议使用ICAgent收集,应用日志一般包括应用程序日志、客户自建网关日志、操作系统日志、容器日志等,这些日志会写入本地系统磁盘,ICAgent通过实时监听本地文件的变化来采集日志,ICAgent与您的程序解耦,您不需要更改代码,它可以将这些日志从所在主机发送到华为云日志服务。
  2. 对于华为云上的CCE容器应用,您在控制台上打开日志采集开关即可收集日志到日志服务。对于用户自建的K8S集群,您可以使用日志服务提供的CRD方式采集原生K8S容器日志。(https://support.huaweicloud.com/usermanual-lts/lts_04_1110.html)

日志分析

一旦日志收集到日志服务,日志分析团队就可以使用关键词来搜索过滤感兴趣的日志,可以使用SQL语法来分析日志,并生成可视化图表(表格、柱状图、饼图、折线图等)。日志分析团队可以将图表组合到仪表盘中,为业务提供运营分析,支持提取仪表盘为模板,为不同的日志流提供开箱即用的分析能力。日志分析团队可以基于关键词或者是SQL语句创建告警规则,用来监控系统的运行情况,告警可以通过短信、邮件、企业微信、钉钉等多种方式发送。

图3 日志分析

日志与第三方系统集成

用户的SIEM(安全信息和事件管理,例如Splunk)位于内部部署环境中,而不是云上。出于安全考虑,云上服务无法直接从外部环境访问任何SIEM端口。华为云日志服务LTS提供API,让任何外部应用程序和平台都可以使用这些API来检索LTS中存储的日志。同时LTS可以实时转储日志到DMS(KAFKA),外部应用程序可以实时消费DMS(KAFKA),接入到用户自己SIEM系统中。因此建议企业将日志账号中的日志流实时转储到DMS(KAFKA),企业的SIEM系统可以实时消费KAFKA接入日志数据。

图4 云日志服务数据对接客户的SIEM

相关文档