更新时间:2024-12-10 GMT+08:00
分享

日志转储至DWS

数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。

目前此功能仅支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡局点,其他局点需要提交工单申请使用。详细操作请参考提交工单

前提条件

日志转储至DWS

  1. 登录云日志服务控制台,在左侧导航栏中选择“日志转储 ”。
  2. 在“日志转储”页面中,单击右上角“配置转储”。
  3. 在“配置转储”页面中,选择转储对象“DWS集群”,并配置各参数信息。

    表1 配置转储参数说明

    参数名称

    说明

    示例

    是否开启转储

    选择是否开启转储。

    开启

    转储对象

    选择转储的云服务。

    DWS集群

    日志组名称

    选择已创建的日志组。

    -

    企业项目

    选择已创建的企业项目。

    • 如果当前账号未开通企业项目则不显示该参数。
    • 如果当前账号已开通企业项目,则存在以下情况:
      • 当转储当前账号日志时,下拉框显示当前账号的全部企业项目。
      • 当转储其他账号日志时,若委托账号未开通企业项目,则默认显示“default”。
      • 当转储其他账号日志时,若委托账号已开通企业项目,则显示委托账号的全部企业项目。

    default

    日志流名称

    选择已创建的日志流。

    说明:

    已配置过DWS集群转储的日志流不能重复配置。

    -

    集群名称

    已创建的集群名称。

    test

    数据库名称

    集群的数据库名称。有两种数据库,分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”

    gaussdb

    用户名

    数据库的管理员用户名。

    lts-test

    密码

    数据库的管理员密码。

    -

    schema名称

    数据库对象的集合名称。

    -

    表名

    schema中的表名称。

    -

    字段映射

    将内置字段以及日志中配置的结构化字段和类型,映射到数据库字段。
    说明:

    内置字段有13个,分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。

    当结构化字段类型和数据库表字段类型一致时,支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS),否则转储无效。

    • 在结构化字段和表字段的下拉框,选择您需要转储的字段。
    • 单击操作列下的,删除不需要的转储字段。
    • 单击,添加需要转储的字段。

    hostIP

  4. 完成后单击“确定”。

    创建转储任务成功后,支持查看、修改、删除转储任务。

    • 转储任务一旦删除将不再对日志进行转储,请谨慎操作。
    • 删除转储任务后,之前已经转储日志将会继续保存在DWS。

相关文档