更新时间:2026-10-09 GMT+08:00
分享

桶日志分析使用示例

本章节以查询热点对象(TOP10请求次数对象)为例,介绍一个完整的日志配置和分析过程,并提供典型场景的日志查询语句。

资源和成本规划

表1 资源规划

区域

资源

资源名称

资源说明

数量

费用

华北-北京四

(OBS桶、日志组、日志流需要处于同一个区)

OBS桶

lts-bestpractice

用于配置日志分析的桶。

1

根据上传至桶中的对象占用的存储空间收费,具体请参见存储费用。

日志组

lts-group-bestpractice

LTS日志组,用于管理日志。

1

  • LTS会动态收集日志数据并存储,涉及日志存储费用。
  • 日志数据上传至LTS,会涉及日志读写流量费用。
  • 日志的搜索与分析会涉及索引流量-标准型日志流费用。

相关费用详细介绍参考LTS计费说明。

日志流

log-streams-bestpractice

LTS日志流,用于存储日志,对日志进行分类管理。

1

前提条件

已有一个需要进行日志分析的桶,桶中有对象。创建桶操作请参见创建桶,上传对象操作请参见上传对象。

操作流程

图1 日志分析配置流程图

图图1为使用LTS实时分析OBS日志的操作流程图。

实施步骤

使用LTS实时分析日志步骤如下:

步骤一:开启日志分析并绑定日志组、日志流

  1. 在OBS管理控制台左侧导航栏选择“桶列表”。
  2. 在桶列表中,单击待操作的桶,进入“对象”页面。
  3. 在左侧导航栏,选择“日志管理 > 日志分析”,进入日志分析页面。
  4. 单击右上角的“配置访问日志”。

  5. 在“对接LTS配置”弹窗中,设置相关参数。

    图2 对接LTS配置
    表2 对接LTS配置参数说明

    参数名称

    示例

    参数说明

    日志对接LTS

    开启

    开关打开后,系统会将桶产生的日志存储至LTS,以便使用LTS进行日志搜索和分析。

    日志类型

    OBS访问日志

    接入LTS的云服务。

    默认勾选“OBS访问日志”且不支持修改,如果需取消请直接取消上方“日志对接LTS”复选框。

    项目

    华北-北京四

    此处选择桶所在区域。

    日志组

    lts-group-bestpractice

    选择您在LTS中创建的日志组。如果您没有可用的日志组,请单击“创建日志组”来创建新的日志组,配置参数说明参见创建日志组。

    日志流

    log-streams-bestpractice

    选择您在对应日志组下创建的日志流。如果您没有可用的日志流,请单击“创建日志流”来创建新的日志流,配置参数说明参见创建日志流。

  6. 单击“确定”。

    日志分析配置成功后,大约10分钟后可在日志分析页面下方查看到桶的操作日志。

步骤二:配置日志流云端结构化解析

  1. 单击“日志详情”右上角的“日志设置”按钮,进入日志流的设置页面。

  2. 切换至“云端结构化解析”页签。
  3. 配置以下参数,其他参数保持默认。

    关于更多参数说明,请参见设置日志云端结构化解析。

    表3 云端结构化解析参数说明

    参数

    示例

    描述

    日志结构化方式

    JSON

    请根据日志内容的实际场景选择日志结构化方式。

    此处选择“JSON”。

    步骤1 选择示例日志

    请参见示例日志。

    示例日志,将作为下一步智能提取的输入,用于提取日志字段。

    步骤2 字段提取

    智能提取

    选择“智能提取”,自动提取示例日志中的字段。

    • 示例日志
      {"referer":"https://console.huaweicloud.com/obs/gray?locale=zh-cn&region=cn-north-4","content_length_in":0,"vpc_id":"-","owner_id":"29e******","bucket_storage_type":"STANDARD","http_method":"HEAD","response_body_length":0,"source_identity":"-","bucket_location":"cn-north-4","host":"lts-bestpractice.obs.cn-north-4.huaweicloud.com","client_ip":"100.00.0.000","server_cost_time":6,"vpc_addr":"-","sign_type":"v2","user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/150.0.0.0 Safari/537.36 Edg/150.0.0.0","object_size":"0","object_storage_class":"STANDARD","object_target_storage_class":"-","ssl_protocol":"TLSv1.2","http_type":"https","http_range":"-","request_uri":"/obj1","bucket":"dsa","principle_urn":"-","enterprise_project_id":"0","request_length":2756,"content_length_out":0,"access_key":"HSTA***","logging":"FALSE","http_status":200,"response_time":6,"error_code":"-","time":"25/Jul/2026:16:43:00","request_id":"42f75cef266754de18c8d4b9abd2ed3a","operation":"HEAD.OBJECT","requester_id":"5cc796b35e824f30a6a63982f360fc47","object":"obj1"}

  4. 单击“保存”。

步骤三:配置日志流索引

  1. 单击“日志详情”右上角的“日志设置”按钮,进入日志流的设置页面。
  2. 切换至“索引配置”页签。
  3. 单击“字段索引”下的“自动配置”。

    字段索引是指通过添加步骤二:配置日志流云端结构化解析中提取的字段,对日志数据进行统计与分析,如果您在云端结构化解析界面对字段名称进行了修改,请重新添加字段索引。

    关于更多参数说明,请参见创建LTS日志索引。

  4. 单击“确定”。

步骤四:分析日志

  1. 选择“日志搜索”页签,在搜索框输入SQL语句,查询和分析OBS日志。

    例如查询TOP10请求次数对象,可输入以下SQL语句查询:

    示例中的字段含义如下:

    • bucket:桶名,请修改为您自己的桶名。
    • LIMIT:查询结果的数量限制,可根据诉求自行配置。比如查询TOP10请求次数对象,就将值设置为10。
    * | SELECT
        url_decode(object) AS 对象路径,
        COUNT(*) AS 请求次数
    FROM log
    WHERE
        bucket = 'lts-bestpractice'
        AND object IS NOT NULL
        AND object != ''
        AND object != '-'
    GROUP BY 对象路径
    ORDER BY 请求次数 DESC
    LIMIT 10

  2. 选择“统计图表”页签,查看日志分析结果。

    日志分析结果如下图,已列举出TOP10请求次数对象:

更多日志查询SQL示例

以下为典型场景的SQL查询语句,SQL示例中常用字段的含义如下,可根据业务诉求自行调整:

  • bucket:桶名,请修改为您自己的桶名。
  • LIMIT:查询结果的数量限制,可根据诉求自行配置。比如查询TOP10请求次数对象,就将值设置为10。
  • http_method:请求方法。查询上行流量,可设置为 PUT、POST;查询下行流量,可设置为GET。
  • date_parse:日志时间点。可根据业务诉求设置要查询的日志起始时间和结束时间。

相关文档