日志转储
本文介绍云日志服务转储的限制。
类别 |
限制项 |
说明 |
备注 |
|---|---|---|---|
转储OBS |
单个日志流转储任务数量 |
1 个日志流只能配置一个转储OBS任务。 |
不涉及。 |
转储周期 |
2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 |
不涉及。 |
|
每次转储数据大小 |
0MB-2GB。 |
不涉及。 |
|
转储速率阈值 |
转储速率上限为为100 MB/s。超过限制时，可能会转储失败。 |
不涉及。 |
|
转储条件已触发，待转储成功时会有时间延迟。 |
延迟10Min。 例如：转储周期30分钟，8:30开始转储，最晚8:40可见转储文件。 |
不涉及。 |
|
转储目标桶 |
仅支持标准桶，不支持并行文件系统。 |
不涉及。 |
|
转储DIS |
单个日志流转储任务数量 |
1 个日志流只能配置一个转储DIS任务。 |
不涉及。 |
转储周期 |
实时转储。 |
不涉及。 |
|
每次转储数据大小 |
不涉及。 |
不涉及。 |
|
转储条件已触发，待转储成功时会有时间延迟。 |
不涉及。 |
不涉及。 |
|
转储速率阈值 |
转储速率上限为DIS通道最大写入流量。 超过DIS通道限制时，转储数据会不稳定。 |
不涉及。 |
|
转储DMS |
单个日志流转储任务数量 |
1 个日志流只能配置一个转储DMS任务。 |
不涉及。 |
转储周期 |
实时 |
不涉及。 |
|
每次转储数据大小 |
不涉及 |
不涉及。 |
|
转储条件已触发，待转储成功时会有时间延迟。 |
不涉及 |
不涉及。 |
|
转储速率阈值 |
转储速率上限为DMS（kafka）集群流量上限。 超过KAFKA集群流量上限时，转储数据会不稳定。 |
不涉及。 |
|
转储DWS |
单个日志流转储任务数量 |
一个日志流仅可创建一个DWS转储任务 |
不涉及。 |
转储周期 |
1分钟 |
不涉及。 |
|
单次转储数据大小 |
<5MB |
不涉及。 |
|
转储条件已触发，待转储成功时会有时间延迟。 |
延迟5Min。 例如：8:30开始转储，最晚8:35可见转储数据。 |
不涉及。 |
|
转储速率阈值 |
转储速率上限为为40 MB/s。 超过限制时，转储数据会不稳定。 |
不涉及。 |
|
转储数据可靠性 |
某批次数据格式合法时，保证转储数据至少一次（At Least Once）。当DWS集群负载较高、网络错误时，会有写入响应超时，可能导致数据重复，因此无法保障数据精确一次（Exactly Once）。 |
不涉及。 |
|
表结构变更 |
|
不涉及。 |
|
数据列不合法 |
常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS，其余批次正常写入DWS。 |
不涉及。 |
|
数据列过长 |
常见场景为数据超出string类型或者varchar长度限制。该批数据不会写入DWS，其余批次正常写入DWS。 |
不涉及。 |
