# 统一日志存储
华为云日志服务提供安全可靠的多账号运行环境，可以将不同账号下的云服务日志、用户应用程序日志统一收集到日志账号中。
#### 统一日志收集
1. 下面的架构图描述了云日志服务（Log Tank Service，简称LTS）的主要功能，云日志服务用于实时收集来自主机、云服务、容器、移动终端、开源软件、用户后台应用和WEB端的日志数据。对采集的日志数据，可以通过关键字搜索查询、SQL可视化图表分析、监控和告警、转储到对象存储或KAFKA。
   图1统一日志收集   
   ![](https://support.huaweicloud.com/landingzone-sag/zh-cn_image_0000001867113080.png) 
2. 华为云将提供并实施集中式日志服务（即每个应用账号将收集自己账号下应用程序和云服务的日志，并将所有日志接入到日志账号），建议在每个应用账号内收集以下主要类型的日志：
   - CTS审计日志（用户操作日志）
   
   - 系统日志（ECS日志）
   
   - 安全中心+WAF+云防火墙日志（安全相关日志）
   
   - SQL审计日志（数据库审计日志）
   
   - ELB日志（弹性负载均衡第7层网络日志）
   
   - 堡垒主机操作日志
   
   
   表1将创建以下日志流来收集上述类型的日志 
   | **日志类型**                       | **日志组**                      | **日志流**                                                          | **存储周期（天）** | **转储到对象存储** |
   |:---|:---|:---|:---|:---|
   | CTS审计日志                        | actiontrail-\<account name\> | Automatically generated：actiontrail_actiontrail-\<account name\> | 180         | 是           |
   | Syslog                         | syslog-\<accountname\>       | syslog-\<accountname\>                                           | 180         | 是           |
   | Security Centre + WAF + 云防火墙日志 | security-\<accountname\>     | security-\<accountname\>                                         | 180         | 是           |
   | RDS Audit Log(MySQL)           | rdsaudit-\<accountname\>     | rdsaudit-\<accountname\>                                         | 180         | 是           |
   | VPC流日志                         | vpc-\<acountname\>           | vpc-\<acountname\>                                               | 180         | 是           |
   | ELB7层访问日志                      | slb-\<accountname\>          | slb-\<accountname\>                                              | 180         | 是           |
   | CCE容器集群日志                      | k8s-\<accountname\>          | k8s-\<clusterid\>                                                | 180         | 是           |
   | ER日志                           | er-\<accountname\>           | er-\<accountname\>                                               | 180         | 是           |
      
   
3. 应用账号中的日志存储时间将设置为180天，同时日志数据将转储到对象存储服务（OBS）。这样符合中国的分类保护标准(等保) 2.0合规性。使用格式"%Y/%m/%d/%H/%m"来定义目录层次结构，其中正斜杠（/）表示OBS目录的级别，这样可以利用OBS生命周期配置进行长期日志存储，以节省成本并进行归档。
4. 在应用账号中收集日志后，需要将应用账号中的日志集中到日志账号。为了实现这一点需要在应用账号的统一身份认证服务中创建委托，被委托方是日志账号，并授予日志账号" LTS FullAccess"权限。创建委托后，在日志账号中就可以配置跨账号接入，将应用账号中的日志流接入到日志账号中集中存储。
   图2应用账号日志汇集到日志账号统一管理   
   ![](https://support.huaweicloud.com/landingzone-sag/zh-cn_image_0000001866953268.png)
   表2对于未来的需求，需要收集以下日志类型 
   | **分类** | **云服务**                | **日志类型** | **日志内容**                                                                                    |
   |:---|:---|:---|:---|
   | 基础服务   | 容器类服务（CCE/CCI/IEF/AOS） | 应用       | 容器应用的运行日志                                                                                   |
   | 基础服务   | 虚拟私有云 VPC              | 网络       | 网络日志                                                                                        |
   | 基础服务   | 弹性负载均衡 ELB             | 网络       | 业务请求日志                                                                                      |
   | 基础服务   | 内容分发网络 CDN             | 网络       | 域名访问日志                                                                                      |
   | 基础服务   | 弹性公网IP日志               | 网络       | 高精度秒级监控功能，以日志形式将高精度网络带宽监控数据推送到日志服务，帮助您实时监控互联网业务流量变化，及时调整弹性公网IP的带宽峰值                         |
   | 基础服务   | 弹性文件服务NAS              | 存储       | 将NAS数据导入LTS                                                                                 |
   | 基础服务   | OBS                    | 存储       | 将OBS数据导入LTS                                                                                 |
   | 基础服务   | SMN                    | 消息       | 短信等通知内容分析                                                                                   |
   | PAAS服务 | 应用管理与运维平台 ServiceStage | 应用       | 应用运行日志                                                                                      |
   | PAAS服务 | 软件开发平台 DevCloud        | 应用       | 应用运行日志                                                                                      |
   | PAAS服务 | 区块链 BCS                | 应用       | 应用运行日志                                                                                      |
   | PAAS服务 | 函数服务 FunctionGraph     | 应用       | 函数日志                                                                                        |
   | PAAS服务 | 应用运维管理 AOM             | 应用       | 应用运行日志                                                                                      |
   | PAAS服务 | API网关APIG              | 应用       | API调用日志                                                                                     |
   | PAAS服务 | 云审计 CTS                | 审计       | 云审计日志                                                                                       |
   | PAAS服务 | 应用与数据集成平台 ROMA Connect | 应用       | API调用日志                                                                                     |
   | PAAS服务 | DCS                    | 审计       | redis_audit_log Logstore用于存放Redis审计日志。 ``` redis_slow_run_log Logstore用于存放Redis慢日志和运行日志 ``` |
   | 安全     | Web应用防火墙 WAF           | 安全       | 攻击、请求和访问防火墙日志                                                                               |
   | 安全     | 态势感知 SA                | 安全       | HSS、ANTIDDOS等安全风险日志                                                                         |
   | 安全     | 云堡垒机 CBH               | 安全       | 堡垒机系统的操作日志                                                                                  |
   | 安全     | DDoS高防日志               | 安全       | 展示被DDoS高防保护的网站总体访问状况，包括PV、UV、流入流量、网络in带宽峰值、网络out带宽峰值、访问趋势、来源分布等数据                           |
   | 数据库    | RDS操作审计日志              | 数据库      | RDS SQL审计日志记录了对数据库执行的所有操作                                                                   |
   | 数据库    | ManagoDB日志             | 数据库      | 审计日志、慢日志和运行日志                                                                               |
   | EI     | 图引擎服务（GES）             | 大数据      | 操作审计日志                                                                                      |
   | EI     | AI开发平台 ModelArts       | 大数据      | 大数据任务的运行日志（由于是内置租户，仅在ModelArts上查看）                                                          |
   | EI     | MapReduce服务 MRS        | 大数据      | 大数据任务的运行日志（由于是内置租户，仅在ModelArts上查看）                                                          |
   | 联接与协同  | 设备接入服务 IoTDA           | 应用       | MQTT设备的业务运行日志                                                                               |
   | 联接与协同  | IoT边缘 IoTEdge          | 应用       | 边缘设备的日志                                                                                     |
      
   
 
#### 应用日志收集
1. 对于应用日志，华为云建议使用ICAgent收集，应用日志一般包括应用程序日志、客户自建网关日志、操作系统日志、容器日志等，这些日志会写入本地系统磁盘，ICAgent通过实时监听本地文件的变化来采集日志，ICAgent与您的程序解耦，您不需要更改代码，它可以将这些日志从所在主机发送到华为云日志服务。
2. 对于华为云上的CCE容器应用，您在控制台上打开日志采集开关即可收集日志到日志服务。对于用户自建的K8S集群，您可以使用日志服务提供的CRD方式采集原生K8S容器日志。（https://support.huaweicloud.com/usermanual-lts/lts_04_1110.html）
 
#### 日志分析
一旦日志收集到日志服务，日志分析团队就可以使用关键词来搜索过滤感兴趣的日志，可以使用SQL语法来分析日志，并生成可视化图表（表格、柱状图、饼图、折线图等）。日志分析团队可以将图表组合到仪表盘中，为业务提供运营分析，支持提取仪表盘为模板，为不同的日志流提供开箱即用的分析能力。日志分析团队可以基于关键词或者是SQL语句创建告警规则，用来监控系统的运行情况，告警可以通过短信、邮件、企业微信、钉钉等多种方式发送。
图3日志分析   
![](https://support.huaweicloud.com/landingzone-sag/zh-cn_image_0000001913072893.png)
#### 日志与第三方系统集成
用户的SIEM（安全信息和事件管理，例如Splunk）位于内部部署环境中，而不是云上。出于安全考虑，云上服务无法直接从外部环境访问任何SIEM端口。华为云日志服务LTS提供API，让任何外部应用程序和平台都可以使用这些API来检索LTS中存储的日志。同时LTS可以实时转储日志到DMS（KAFKA），外部应用程序可以实时消费DMS（KAFKA），接入到用户自己SIEM系统中。因此建议企业将日志账号中的日志流实时转储到DMS（KAFKA），企业的SIEM系统可以实时消费KAFKA接入日志数据。
图4云日志服务数据对接客户的SIEM   
![](https://support.huaweicloud.com/landingzone-sag/zh-cn_image_0000001868135888.png)