# 日志转储至OBS 对象存储服务OBS提供日志存储功能；您可以将日志转储至OBS，并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务OBS中长期保存。 - [配置日志转储（周期性）] - [配置日志转储（一次性）] #### 费用说明 日志转储成功后，LTS根据您实际的日志转储量进行收费，转储费用详情请参见[LTS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/lts)。OBS存储独立收费，费用详情请参见[OBS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/obs)。 #### 前提条件 - 日志已接入LTS。详细请参考[日志接入](https://support.huaweicloud.com/usermanual-lts/lts_02_0030.html)。 - 已创建OBS桶。详细请参考[创建桶](https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829088.html)。 #### 配置日志转储 LTS支持将日志周期性或一次性转储至对象存储服务OBS中长期保存。 - [配置日志转储（周期性）] - 创建日志转储时，除需拥有LTS使用权限外，还需要拥有以下OBS桶相关授权项：设置桶ACL（obs:bucket:PutBucketAcl）、获取桶列表（obs:bucket:ListAllMyBuckets）、获取桶元数据（obs:bucket:HeadBucket）、获取桶ACL（obs:bucket:GetBucketAcl）、获取桶的加密配置（obs:bucket:GetEncryptionConfiguration）。更多信息请参见[桶相关授权项](https://support.huaweicloud.com/api-obs/obs_04_0111.html)。 - 云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中，不会对历史日志进行转储。 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/?#/cts/manager/groups)。 2. 左侧导航选择"日志转储"。 3. 在"日志转储"页面右上角，单击"配置转储"。 4. 在"配置转储"页面，设置转储日志相关参数。 图1周期性转储 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002444821857.png "点击放大") 表1配置转储参数说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | 日志源 | - **当前账号**：对用户所在账号下所产生的日志进行转储。 - **其他账号** ：对委托人账号下所产生的日志进行转储，如需转储其他账号日志，需该账号使用者在IAM中[创建委托](https://support.huaweicloud.com/usermanual-iam/iam_06_0002.html)。 | 当前账号 | | 转储方式 | 日志源选择当前账号时，选择周期性转储。 周期性转储：日志将周期性的转储至对象存储服务（OBS）中长期保存。 | 周期性转储 | | 委托名称 | 当转储其他账号时，需填写委托人在IAM中创建的委托名称。 | - | | 委托人账号名称 | 当转储其他账号时，需填写委托人的账号名称。 | - | | 是否开启转储 | 默认开启转储。 | 开启 | | 转储对象 | 选择转储的云服务。 | OBS | | 日志组名称 | 选择已创建的日志组。 | - | | 日志流名称 | 选择已创建的日志流。已配置过OBS转储的日志流不能重复配置。 请确保所选日志流上传了原始日志，否则转储后文件将没有内容。 | - | | OBS桶 | - 选择已创建的OBS桶。 - 如果没有可选择的OBS桶，单击"查看OBS"，进入对象存储服务管理控制台，创建OBS桶。 - 如果OBS桶为加密桶，则需要选择"密钥名称"，并勾选下方的"我同意在KMS创建授权给LTS账号，对转储日志加解密"。 - 选中的桶会将读写策略授权给云日志服务，请谨慎修改桶策略，防止转储失败。 - LTS支持OBS桶的存储类别为标准存储、已恢复的归档存储的OBS桶。 | - | | 密钥名称 | 对于加密的OBS桶，选择密钥名称。如果没有可选择的密钥，单击"创建密钥并授权"，进入数据加密控制台，创建密钥。 | - | | 自定义转储路径 | - 开启：将日志转储至自定义路径中，用于区分不同日志流之间的转储日志文件。 格式为：/LogTanks/RegionName/%GroupName/%StreamName/*自定义转储路径* 。自定义转储路径默认为lts/%Y/%m/%d，其中%Y代表年，%m代表月，%d代表日，格式需要符合如下规范： - "/LogTanks/RegionName"为系统默认路径，不可以修改。 - 新增%GroupName代表日志组名称，%StreamName代表日志流名称。 - 名称只能由英文字母、数字及特殊字符"\&""$""@"";"":"",""=""+""?""-"".""_""/"和"%"组成，且"%"后只可跟Y（年）、m（月）、d（日）、H（时）、M（分），在%Y、%m、%d、%H和%M前后可以添加任意长度字符，并且可对其先后顺序进行调换。 - 自定义转储路径名称不允许为空，长度限制为1\~128个字符。 示例： 1. 输入LTS-test/%Y/%m/%d/%H/%*M* ，则日志转储路径为*：LogTanks/RegionName/LTS-test/* *Y/* *m/* *d/* *H/M* */日志文件名称* *。* 2. 输入LTS-test/%d/%H/%m/%Y，则日志转储路径为：*LogTanks/RegionName/LTS-test/* *d/* *H/* *m/* *Y/* *日志文件名称* *。* - 不开启：将日志转储至系统默认路径中。系统默认路径为：LogTanks/RegionName/*2019/* *01/* *01/* *日志组/* *日志流/* *日志文件名称*。 | LTS-test/%GroupName/%StreamName/%Y/%m/%d/%H/%M | | 日志文件前缀 | 转储至OBS桶中的日志文件前缀。 日志文件前缀需符合如下规范： - 名称长度限制为0\~64个字符。 - 名称只能由英文大小写字母、数字、中划线"-"、下划线"_"和小数点"."组成。 示例：输入LTS-log，则日志文件名称为：LTS-log_日志文件名称。 | LTS-log | | 转储格式 | 用于配置日志的转储格式，可选择"原始日志格式"、"Json格式"和ORC。 - 原始日志格式示例： 云日志服务控制台展示的日志内容的格式为原始日志格式。 ``` Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1) ``` - JSON格式示例： ``` {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303} ``` | Json | | ORC字段 | 转储格式选择ORC时需要设置ORC字段。 支持自动配置字段或者单击添加，在下拉框选择或输入键值、选择类型。 - 键：日志字段名称，同一个字段名在ORC字段中只能配置一次，不支持多次使用。 - 类型：string、boolean、int、long、float、double。 日志转储过程中，会将云日志服务中的日志字段由string类型转换为ORC目标类型。如果转换到非string类型失败，int/long/float/double类型会置为默认值0。 | - | | 无效字段填充 | 转储格式选择ORC时支持设置无效字段填充。 若日志中没有值与上方配置的键值对应，则会用无效字段填充。 | - | | 转储周期 | 日志自动转储至OBS桶的时间间隔，支持2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 | 3小时 | | 文件名时区 | 日志自动转储至OBS桶时，按照UTC时间生成转储目录及文件名称。 | (UTC)协调世界时间 | | 是否投递tag | 如主机日志，转储时会增加采集器收集的tag字段。 - 不开启：不会投递tag。 - 开启：默认的投递tag有：主机信息（hostIP、hostId、hostName、pathFile、collectTime）；kubernetes信息（clusterName、clusterId、nameSpace、podName、appName、containerName）。可选择公共tag有：regionName、projectId、logStreamName、logGroupName。 当开启投递tag后，转储格式必须是JSON格式。 - 转储标签：开启后，会将日志流标签添加至转储内容。 | 开启 | | 压缩格式 | 支持不压缩、压缩gzip、压缩zip、压缩snappy。 说明： 压缩格式支持白名单用户申请[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)开通。 | gzip | 5. 单击"确定"，完成配置。当转储任务状态为"正常"时，表示转储任务创建成功。 6. 单击"转储对象"列的OBS桶名称，可以跳转至OBS控制台，查看转储的日志文件。 转储到OBS后的日志，支持从OBS下载到本地进行查看。转储至OBS的日志支持下载的格式：原始日志、JSON格式。 图2转储至OBS ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002444825029.png "点击放大") - [配置日志转储（一次性）] ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/note_3.0-zh-cn.png) 目前此功能支持华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡，其他局点如有需要请[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)申请开通。 1. 在"日志转储"页面右上角，单击"配置转储"。 2. 在"配置转储"页面，设置转储日志相关参数。 图3一次性转储 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002444825765.png "点击放大") 表2配置转储参数说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | 转储方式 | 一次性转储：日志将一次性的转储至对象存储服务（OBS）中长期保存。 | 一次性转储 | | 转储对象 | 选择转储的云服务。 | OBS | | 日志组名称 | 选择已创建的日志组。 | - | | 日志流名称 | 选择已创建的日志流。已配置过OBS转储的日志流不能重复配置。 请确保所选日志流上传了原始日志，否则转储后文件将没有内容。 | - | | 过滤条件 | 默认关键词过滤，在输入框填写需要过滤的关键词。 | - | | 转储时间范围 | 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 - 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31\~19:20:31的日志数据。 - 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00\~19:00:00的日志数据。 - 自定义：表示查询指定时间范围的日志数据，查询时间范围不能超过31天。 | - | | 日志总条数 | 选择的转储时间范围内的日志总条数。 单击日志总条数后面的查询，LTS自动计算并显示转储时间范围内的日志总条数。若没有日志条数，请修改转储时间范围。 | - | | 转储文件个数 | 单次一次性转储日志条数上限2000万条，转储文件个数上限200个。 | - | | OBS桶 | - 选择已创建的OBS桶。 如果没有可选择的OBS桶，单击"查看OBS"，进入对象存储服务管理控制台，创建OBS桶。 - LTS目前仅支持存储类别为"标准存储"的OBS桶。 - 不支持转储到存储类型为归档存储或配置了跨区域复制的OBS桶。 - 首次配置一次性转储到未授权的OBS桶中时，LTS服务会授权给OBS桶ACL规则，授权生效需要15分钟，如果您第一次配置一次性转储后失败，任务会在15分钟后重试。请谨慎修改桶策略，防止转储失败。 | - | | 所属桶目录 | 所属OBS桶目录路径，不要以/开头或结尾，只能由英文字母、数字、中划线、下划线、小数点组成。 您可以参考如下方法获取所属桶目录： 1. 在OBS控制台桶列表页面，单击目标桶名称进入对象页面。 2. 在"对象"页面，找到需要存放LTS日志的OBS文件名称，单击该文件夹操作列的"更多 \> 复制路径"。（以下示例仅供参考，请以实际路径为准） 如果需要将日志存入该文件夹test/yicixing，复制路径结果为"test/yicixing"，复制的路径就是桶目录。 图4复制路径 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002273544118.png "点击放大") | test/yicixing | | 转储文件名称 | 自定义转储文件名称，只能由英文字母、数字、中划线、下划线、小数点组成。 | - | | 转储格式 | 用于配置日志的转储格式，可选择原始日志格式、Json格式、CSV格式。 - 原始日志格式示例： 云日志服务控制台展示的日志内容的格式为原始日志格式。 ``` Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1) ``` - Json格式示例： ``` {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303} ``` - CSV格式：以表格的形式展示日志内容。 | Json | 3. 单击"确定"，完成配置。当转储任务状态为"正常"时，表示转储任务创建成功。 **日志转储任务创建成功后无法修改，请确保参数已填写正确。** 4. 单击"转储对象"列的OBS桶名称，可以跳转至OBS控制台，查看转储的日志文件。 转储到OBS后的日志，支持从OBS下载到本地进行查看。 图5一次性转储至OBS ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002444789481.png "点击放大") #### 修改日志转储 只支持修改周期性转储任务，一次性转储任务不支持修改。 1. 在日志转储列表中，单击待修改配置转储任务所在行的"修改"，弹出"修改转储"对话框，进行修改。 2. 修改完成后，单击"确定"。 #### 查看转储详情 1. 在日志转储列表中，单击待查看配置转储任务所在行的"更多\>详情"。 2. 在弹出的"转储详情"页面中，可查看日志转储详情。 #### 删除转储任务 如果日志不再需要转储，可以删除转储任务。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/warning_3.0-zh-cn.png) 删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。 - 删除转储任务后，之前已经转储日志将会继续保存在OBS。 - 创建转储任务时，选中的OBS桶会将读写策略授权给云日志服务。当多个转储任务使用同一OBS桶时，如您需要删除转储任务，请按如下操作： - 如果仅使用该OBS桶创建了一个转储任务，删除该转储任务时，请在对象存储服务（Object Storage Service，OBS）中"权限控制 \> 桶ACL"里删除特定用户的桶访问权限。 - 如果使用该OBS桶创建了多个转储任务，请勿删除桶访问权限，否则会导致转储失败。 1. 删除单个转储任务。 1. 单击待删除的转储任务所在行操作列的删除。 2. 在弹出的"删除转储"页面，单击"确定"，删除转储任务。 2. 批量删除转储任务。 1. 批量勾选待删除的转储任务，单击列表左上方"批量删除"。 2. 在弹出的"删除转储"页面，单击"确定"，删除所勾选的转储任务。 #### 查看转储状态 日志转储任务的转储状态共分为正常、异常、关闭三种状态。 - 正常：日志转储任务正常进行。 - 异常：日志转储任务异常，可能是如下原因导致： - OBS桶策略异常，请您在对象存储服务中设置访问控制策略。 - OBS加密桶的密钥被删除或被取消授权，请您确保授权密钥的合法性。 - 关闭：日志转储任务停止。 #### 相关文档 - 如果在配置日志转储时遇到问题，您可以参考[日志转储常见问题](https://support.huaweicloud.com/lts_faq/lts_faq_0040.html)获取解决方案。 - LTS支持通过调用API接口实现创建日志转储、查询日志转储、删除日志转储等，详细请参考[日志转储](https://support.huaweicloud.com/api-lts/topic_300000005.html)。