统一日志存储

统一日志收集

1. 下面的架构图描述了云日志服务（Log Tank Service，简称LTS）的主要功能，云日志服务用于实时收集来自主机、云服务、容器、移动终端、开源软件、用户后台应用和WEB端的日志数据。对采集的日志数据，可以通过关键字搜索查询、SQL可视化图表分析、监控和告警、转储到对象存储或KAFKA。
   图1 统一日志收集
   
2. 华为云将提供并实施集中式日志服务（即每个应用账号将收集自己账号下应用程序和云服务的日志，并将所有日志接入到日志账号），建议在每个应用账号内收集以下主要类型的日志：
   • CTS审计日志（用户操作日志）
   • 系统日志（ECS日志）
   • 安全中心+WAF+云防火墙日志（安全相关日志）
   • SQL审计日志（数据库审计日志）
   • ELB日志（弹性负载均衡第7层网络日志）
   • 堡垒主机操作日志

   表1 将创建以下日志流来收集上述类型的日志

   日志类型	日志组	日志流	存储周期（天）	转储到对象存储
   CTS审计日志	actiontrail-<account name>	Automatically generated：actiontrail_actiontrail-<account name>	180	是
   Syslog	syslog-<accountname>	syslog-<accountname>	180	是
   Security Centre + WAF + 云防火墙日志	security-<accountname>	security-<accountname>	180	是
   RDS Audit Log(MySQL)	rdsaudit-<accountname>	rdsaudit-<accountname>	180	是
   VPC流日志	vpc-<acountname>	vpc-<acountname>	180	是
   ELB7层访问日志	slb-<accountname>	slb-<accountname>	180	是
   CCE容器集群日志	k8s-<accountname>	k8s-<clusterid>	180	是
   ER日志	er-<accountname>	er-<accountname>	180	是

3. 应用账号中的日志存储时间将设置为180天，同时日志数据将转储到对象存储服务（OBS）。这样符合中国的分类保护标准(等保) 2.0合规性。使用格式“%Y/%m/%d/%H/%m”来定义目录层次结构，其中正斜杠（/）表示OBS目录的级别，这样可以利用OBS生命周期配置进行长期日志存储，以节省成本并进行归档。
4. 在应用账号中收集日志后，需要将应用账号中的日志集中到日志账号。为了实现这一点需要在应用账号的统一身份认证服务中创建委托，被委托方是日志账号，并授予日志账号” LTS FullAccess”权限。创建委托后，在日志账号中就可以配置跨账号接入，将应用账号中的日志流接入到日志账号中集中存储。
   图2 应用账号日志汇集到日志账号统一管理
   

   表2 对于未来的需求，需要收集以下日志类型

   分类	云服务	日志类型	日志内容
   基础服务	容器类服务（CCE/CCI/IEF/AOS）	应用	容器应用的运行日志
   基础服务	虚拟私有云 VPC	网络	网络日志
   基础服务	弹性负载均衡 ELB	网络	业务请求日志
   基础服务	内容分发网络 CDN	网络	域名访问日志
   基础服务	弹性公网IP日志	网络	高精度秒级监控功能，以日志形式将高精度网络带宽监控数据推送到日志服务，帮助您实时监控互联网业务流量变化，及时调整弹性公网IP的带宽峰值
   基础服务	弹性文件服务NAS	存储	将NAS数据导入LTS
   基础服务	OBS	存储	将OBS数据导入LTS
   基础服务	SMN	消息	短信等通知内容分析
   PAAS服务	应用管理与运维平台 ServiceStage	应用	应用运行日志
   PAAS服务	软件开发平台 DevCloud	应用	应用运行日志
   PAAS服务	区块链 BCS	应用	应用运行日志
   PAAS服务	函数服务 FunctionGraph	应用	函数日志
   PAAS服务	应用运维管理 AOM	应用	应用运行日志
   PAAS服务	API网关APIG	应用	API调用日志
   PAAS服务	云审计 CTS	审计	云审计日志
   PAAS服务	应用与数据集成平台 ROMA Connect	应用	API调用日志
   PAAS服务	DCS	审计	redis_audit_log Logstore用于存放Redis审计日志。 redis_slow_run_log Logstore用于存放Redis慢日志和运行日志
   安全	Web应用防火墙 WAF	安全	攻击、请求和访问防火墙日志
   安全	态势感知 SA	安全	HSS、ANTIDDOS等安全风险日志
   安全	云堡垒机 CBH	安全	堡垒机系统的操作日志
   安全	DDoS高防日志	安全	展示被DDoS高防保护的网站总体访问状况，包括PV、UV、流入流量、网络in带宽峰值、网络out带宽峰值、访问趋势、来源分布等数据
   数据库	RDS操作审计日志	数据库	RDS SQL审计日志记录了对数据库执行的所有操作
   数据库	ManagoDB日志	数据库	审计日志、慢日志和运行日志
   EI	图引擎服务（GES）	大数据	操作审计日志
   EI	AI开发平台 ModelArts	大数据	大数据任务的运行日志（由于是内置租户，仅在ModelArts上查看）
   EI	MapReduce服务 MRS	大数据	大数据任务的运行日志（由于是内置租户，仅在ModelArts上查看）
   联接与协同	设备接入服务 IoTDA	应用	MQTT设备的业务运行日志
   联接与协同	IoT边缘 IoTEdge	应用	边缘设备的日志

应用日志收集

1. 对于应用日志，华为云建议使用ICAgent收集，应用日志一般包括应用程序日志、客户自建网关日志、操作系统日志、容器日志等，这些日志会写入本地系统磁盘，ICAgent通过实时监听本地文件的变化来采集日志，ICAgent与您的程序解耦，您不需要更改代码，它可以将这些日志从所在主机发送到华为云日志服务。
2. 对于华为云上的CCE容器应用，您在控制台上打开日志采集开关即可收集日志到日志服务。对于用户自建的K8S集群，您可以使用日志服务提供的CRD方式采集原生K8S容器日志。（https://support.huaweicloud.com/usermanual-lts/lts_04_1110.html）

日志分析

一旦日志收集到日志服务，日志分析团队就可以使用关键词来搜索过滤感兴趣的日志，可以使用SQL语法来分析日志，并生成可视化图表（表格、柱状图、饼图、折线图等）。日志分析团队可以将图表组合到仪表盘中，为业务提供运营分析，支持提取仪表盘为模板，为不同的日志流提供开箱即用的分析能力。日志分析团队可以基于关键词或者是SQL语句创建告警规则，用来监控系统的运行情况，告警可以通过短信、邮件、企业微信、钉钉等多种方式发送。

图3 日志分析

日志与第三方系统集成

用户的SIEM（安全信息和事件管理，例如Splunk）位于内部部署环境中，而不是云上。出于安全考虑，云上服务无法直接从外部环境访问任何SIEM端口。华为云日志服务LTS提供API，让任何外部应用程序和平台都可以使用这些API来检索LTS中存储的日志。同时LTS可以实时转储日志到DMS（KAFKA），外部应用程序可以实时消费DMS（KAFKA），接入到用户自己SIEM系统中。因此建议企业将日志账号中的日志流实时转储到DMS（KAFKA），企业的SIEM系统可以实时消费KAFKA接入日志数据。

图4 云日志服务数据对接客户的SIEM