更新时间:2024-08-13 GMT+08:00
分享

日志转储限制

本文介绍云日志服务转储的限制。

表1 日志转储限制

类别

限制项

说明

备注

转储OBS

单个日志流转储任务数量

1 个日志流只能配置一个转储OBS任务。

不涉及。

转储周期

2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。

不涉及。

每次转储数据大小

0MB-2GB。

不涉及。

转储速率阈值

转储速率上限为为100 MB/s。超过限制时,可能会转储失败。

不涉及。

转储条件已触发,待转储成功时会有时间延迟。

延迟10Min。

例如:转储周期30分钟,8:30开始转储,最晚8:40可见转储文件。

不涉及。

转储目标桶

仅支持标准桶,不支持并行文件系统。

不涉及。

转储DIS

单个日志流转储任务数量

1 个日志流只能配置一个转储DIS任务。

不涉及。

转储周期

实时转储。

不涉及。

每次转储数据大小

不涉及。

不涉及。

转储条件已触发,待转储成功时会有时间延迟。

不涉及。

不涉及。

转储速率阈值

转储速率上限为DIS通道最大写入流量。

超过DIS通道限制时,转储数据会不稳定。

不涉及。

转储DMS

单个日志流转储任务数量

1 个日志流只能配置一个转储DMS任务。

不涉及。

转储周期

实时

不涉及。

每次转储数据大小

不涉及

不涉及。

转储条件已触发,待转储成功时会有时间延迟。

不涉及

不涉及。

转储速率阈值

转储速率上限为DMS(kafka)集群流量上限。

超过KAFKA集群流量上限时,转储数据会不稳定。

不涉及。

转储DWS

单个日志流转储任务数量

一个日志流仅可创建一个DWS转储任务

不涉及。

转储周期

1分钟

不涉及。

单次转储数据大小

<5MB

不涉及。

转储条件已触发,待转储成功时会有时间延迟。

延迟5Min。

例如:8:30开始转储,最晚8:35可见转储数据。

不涉及。

转储速率阈值

转储速率上限为为40 MB/s。

超过限制时,转储数据会不稳定。

不涉及。

转储数据可靠性

某批次数据格式合法时,保证转储数据至少一次(At Least Once)。当DWS集群负载较高、网络错误时,会有写入响应超时,可能导致数据重复,因此无法保障数据精确一次(Exactly Once)。

不涉及。

表结构变更

  • 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储;
  • 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败;
  • 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。

不涉及。

数据列不合法

常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS,其余批次正常写入DWS。

不涉及。

数据列过长

常见场景为数据超出string类型或者varchar长度限制。该批数据不会写入DWS,其余批次正常写入DWS。

不涉及。

相关文档