日志转储限制
本文介绍云日志服务转储的限制。
| 类别 | 限制项 | 说明 | 备注 |
|---|---|---|---|
| 转储OBS | 单个日志流转储任务数量 | 1个日志流只能配置一个转储OBS任务。 | - |
| 转储周期 | 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 | - | |
| 每次转储数据大小 | 0MB-2GB。 | - | |
| 转储速率阈值 | 转储速率上限为100MB/s。超过限制时，可能会转储失败。 | - | |
| 转储条件已触发，待转储成功时会有时间延迟。 | 延迟10Min。 例如：转储周期30分钟，8:30开始转储，最晚8:40可见转储文件。 | - | |
| 转储目标桶 | 仅支持标准桶，不支持并行文件系统。 | - | |
| 转储DIS | 单个日志流转储任务数量 | 1个日志流只能配置一个转储DIS任务。 | - |
| 转储周期 | 实时转储。 | - | |
| 每次转储数据大小 | - | - | |
| 转储条件已触发，待转储成功时会有时间延迟。 | - | - | |
| 转储速率阈值 | 转储速率上限为DIS通道最大写入流量。 超过DIS通道限制时，转储数据会不稳定。 | - | |
| 转储DMS | 单个日志流转储任务数量 | 1个日志流只能配置一个转储DMS任务。 | - |
| 转储周期 | 实时 | - | |
| 每次转储数据大小 | 不涉及 | - | |
| 转储条件已触发，待转储成功时会有时间延迟。 | 不涉及 | - | |
| 转储速率阈值 | 转储速率上限为DMS（kafka）集群流量上限。 超过KAFKA集群流量上限时，转储数据会不稳定。 | - | |
| 转储DWS | 单个日志流转储任务数量 | 一个日志流仅可创建一个DWS转储任务 | - |
| 转储周期 | 1分钟 | - | |
| 单次转储数据大小 | <5MB | - | |
| 转储条件已触发，待转储成功时会有时间延迟。 | 延迟5Min。 例如：8:30开始转储，最晚8:35可见转储数据。 | - | |
| 转储速率阈值 | 转储速率上限为40MB/s。 超过限制时，转储数据会不稳定。 | - | |
| 转储数据可靠性 | 某批次数据格式合法时，保证转储数据至少一次（At Least Once）。当DWS集群负载较高、网络错误时，会有写入响应超时，可能导致数据重复，因此无法保障数据精确一次（Exactly Once）。 | - | |
| 表结构变更 |
| - | |
| 数据列不合法 | 常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS，其余批次正常写入DWS。 | - | |
| 数据列过长 | 常见场景为数据超出string类型或者varchar长度限制。该批数据不会写入DWS，其余批次正常写入DWS。 | - | |
| 转储DLI | 单个日志流转储任务数量 | 1个日志流只能配置一个转储DLI任务。 | - |
| 转储周期 | 5分钟。 | - | |
| 每次转储数据大小 | 0MB-2GB。 | - | |
| 转储速率阈值 | 转储速率上限为100MB/s。超过限制时，可能会转储失败。 | - | |
| 转储条件已触发，待转储成功时会有时间延迟。 | 延迟10Min。 例如：转储周期30分钟，8:30开始转储，最晚8:40可见转储文件。 | - |
