# 突发流量应对与服务保障指南 本文面向MaaS平台企业客户，说明业务流量出现突发波动时的自助处置方法、平台保障能力与服务边界，帮助客户合理规划业务稳定性保障方案。 #### 什么是限流 MaaS平台对单位时间内的请求数（RPM/QPS）、Token 消耗量（TPM）、并发在途请求数，以及消耗增长速率设置上限。当业务请求超出上述任一维度上限时，超出的请求将被拒绝，通常以429状态码返回。各维度独立核算，任一维度超限即触发限流。 #### 什么是突发流量 **突发流量** 是指业务请求量在较短时间窗口内出现**显著陡增或剧烈波动**的情形，常见诱因包括定时批量任务启动、热点事件触发、营销活动峰值、系统上线或切流等。MaaS平台综合请求特征、资源水位、模型特性、历史流量基线等因素识别突发流量。 **当单客户突发流量挤占过多资源、影响整体可用性时，MaaS平台将优先限制或熔断突发流量，以保障其他客户正常使用。** 为降低突发流量对服务稳定性的影响，建议客户将 Token 消耗的增长速率控制在**每1分钟不超过20%**，避免流量曲线出现明显陡变。 #### 为什么需要限流 大模型推理对算力资源消耗大、扩容周期相对较长，平台需要在有限资源下兼顾所有客户的服务体验。限流作为流量治理的基础手段，其意义在于： - **防止资源被异常占用**：抑制恶意攻击或异常调用对服务造成过载冲击，保障服务持续可用。 - **维护多租户公平性**：避免单一客户短时高负载挤占公共资源，影响其他客户正常调用。 - **保持平台整体平稳运行** ：在资源扩容节奏有限的前提下，平滑承接流量增长，避免雪崩式不可用。 ![](https://support.huaweicloud.com/bestpractice-maas/public_sys-resources/caution_3.0-zh-cn.png) 限流阈值为单位时间内的服务调用量上限，不构成对服务吞吐能力的承诺。当业务大盘出现突发流量、持续高负载等场景，仍有可能触发限流，导致部分请求无法正常响应。为提升配额使用效率、降低限流影响，建议您对业务流量做平滑处理，或采用多模型分流的方式分散调用压力。 #### 限流作用范围 以**主账号下同一模型** 为基本单位独立核算。同一主账号下同一模型（不区分版本）共享限流额度，**通过多接入点或多个子账号对同一模型分流无法绕过该模型的限流上限**------因为底层算力资源池是共享的。不同模型之间资源池相互独立，互不影响。 #### MaaS平台限流指标 下表中的指标用于客户进行容量评估与架构设计参考。**在业务流量正常波动范围内，平台不会主动限制客户请求。** 表1限流指标 | **指标** | **含义** | |:---|:---| | RPM | 每分钟允许发起的请求数上限。 | | TPM | 每分钟允许处理的 Token 总量上限（含输入与输出）。 | | QPS | 每秒允许发起的请求数上限。 | | 并发在途请求数 | 同一时刻正在处理的请求数上限，涵盖排队、数据传输、推理计算、结果回传全过程。 | #### 突发流量应对策略 为应对因突发流量超限而导致的模型流量限流，建议您主要从**事前预防** 、**事中处理** 、**事后复盘**这几个方面入手。 - [事前预防] 事前预防主要有两个方面，分别是**MaaS平台侧保障机制** 和**客户侧预防建议**。 - **MaaS平台侧保障机制** 为承接客户突发流量，平台侧已建立以下保障机制： - **常态流量服务策略** ：**在业务流量正常波动范围内，平台不主动限制客户请求。**合理的业务波动与可预期的周期性突发属于平台正常承接范围，不会触发保护性机制。 - **弹性扩容** ：在突发场景下动态扩容服务集群，逐步承接流量增量。 ![](https://support.huaweicloud.com/bestpractice-maas/public_sys-resources/note_3.0-zh-cn.png) 资源池扩容期间，MaaS平台对Token用量靠前的用户限制QPS增速，以保障扩容期间资源池稳定。 **示例**：Token用量前Top 10客户，保护时长15分钟，增速步长20%。 - **触发条件**：用户处于扩容期间Token用量前Top 10。 - **限制策略**：取近期平均QPS为基准，扩容保护期首分钟QPS额度为平均值的120%，第2分钟为140%，随后每分钟递增 20%，逐步恢复。 - **结束条件**：15 分钟后自动解除QPS限制。 - **服务端排队**：平台会在可控范围内维持待处理请求队列，并在队列超时时尝试重试请求，避免直接拒绝。 - **专属算力与优先调度**：通过模型单元为客户提供资源预留与更高调度优先级。 - **TPM流控过多反压QPS** ：**统计过去一段时间的 TPM 流控占比，若超过阈值，则触发临时 QPS 限制** 。 **示例：**阈值20%、统计窗口3分钟、限制时长5分钟、限制力度60%。 - **触发条件**：过去3分钟内，TPM流控数占总请求数超过20%。 - **限制策略**：取近期平均QPS为基准，限制首分钟QPS额度为平均值的60%，随后逐步恢复。 - **结束条件**：5分钟后自动解除QPS限制。 - **客户侧预防建议** - **流量预估与容量规划**：依据历史监控数据建立业务基线与峰值模型，结合 SLA 目标反推所需吞吐量，评估现有额度是否充裕。 - **流量削峰**：借助消息队列或本地缓冲，将瞬时高峰摊平为相对平稳的请求流，降低对平台的增长斜率。 - **跨模型分散压力**：将请求分散到多个具备冗余容量的模型，依托不同模型资源池独立的特性分摊负载。 - **渐进式放量**：客户端根据服务端响应状态动态调节发送速率（如初始以较低 QPS 启动，逐步小幅上调，错误率上升时回退），规避冷启动瞬时冲击。 - **监控与告警**：围绕 TPM/RPM、请求成功率、4xx 占比、P95/P99 时延、客户端积压量等指标建立监控，配置基线 ×1.5 持续 3 分钟、成功率低于 99% 等告警规则，及时感知异常。 - **大型活动提前报备**：对于可预见的流量高峰，建议至少提前 3 个工作日通过商务或工单渠道报备（含峰值时间窗口、预估 TPM/RPM、涉及模型、联系方式），便于平台提前评估资源水位与调度安排。报备不构成对极端流量不受限的承诺。 - [事中处理] 限流出现时，建议遵循异常排查、自助优化操作、问题反馈流程解决限流问题。 - **异常排查** 1. **确认影响范围**：定位异常是否集中于特定模型、特定时间窗口、特定错误码（429/5xx）。 2. **区分触发原因** ：若成功率下降伴随流量陡变且以 429 为主，优先判断为保护性限制；若 5xx 占比突出且无明显流量陡变，优先判断为平台侧故障。 表2错误码信息 | HTTP状态码 | 错误码 | 错误信息 | 描述 | 处理措施 | |:---|:---|:---|:---|:---| | 429 | ModelArts.81101 | Too many requests, the rate limit is %s times per second. | 请求量超过QPS限制（每秒请求数超限）。 | 控制调用频率，请稍后重试。 | | 429 | ModelArts.81101 | Too many requests, the rate limit is %s times per minute. | 请求量超过RPM限制（每分钟请求数超限）。 | 控制调用频率，请稍后重试。 | | 429 | ModelArts.81114 | Too many requests, the rate limit is %s tokens per minute. | 请求量超过TPM限制。 | 控制调用频率，请稍后重试。 | | 429 | ModelArts.81111 | The model TPM limit has been significantly exceeded. Please reduce the request rate and retry later. | 请求数或输入输出Token数激增，触发平台稳定性保护。 | 控制调用频率，请稍后重试。 | 3. **评估业务影响**：确认是否波及核心链路，必要时启动降级预案保障核心功能。 - **自助优化操作** - **降低发送速率**：通过客户端限流（令牌桶、并发信号量等）下调对平台的请求速率，待压力缓解后再渐进恢复。 - **分散与缓冲**：将流量分散至其它模型，或将突发请求在客户端暂存消息队列以可控速率回放。 - **问题反馈** 通过工单反馈异常现象、时间窗口、请求特征，便于平台侧定位。如确认平台侧故障导致大面积不可用，可通过紧急故障申报通道升级处理，请参见[联系与支持]。 - [事后复盘] 复盘流量曲线与触发时段，定位陡变根因；评估削峰、分散、渐进放量等能力是否到位，是否需要引入模型单元提升保障等级；将有效处置沉淀为标准作业流程。 #### 极端异常场景说明 - **保护性限制的触发前提** 当业务出现**流量曲线剧烈陡变或调用特征异常突变** 等极端情形，为保障平台整体稳定性与绝大多数客户的正常服务，平台可能触发**保护性服务限制** 。该机制属于MaaS平台兜底措施，**正常业务波动与合理突发不会触发**。典型触发前提包括： - 平台整体负载过高； - 平台检测到异常请求或请求特征突变模式（如疑似攻击或滥用）； - 平台检测到流量曲线剧烈陡变，每3分钟调用量增长超过20%。 - **限流的表现形式** - 部分请求返回**429**； - 业务调用出现**临时中断**； - 当突发流量挤占过多资源、影响整体可用性时，平台将**优先限制或熔断突发流量**，以保障其他客户正常使用。 - **服务恢复规则** 保护性限制为分钟级动态机制，随资源水位恢复而**逐步解除** ，一般无需人工干预。平台**不提供人工强制解除**通道，客户侧应优先下调发送速率、配合流量削峰以加速恢复。若流量已趋于平稳但仍长时间未恢复，可通过工单反馈，平台将协助核查。 #### 常见问题 **Q1：什么情况下业务会出现访问异常/404？如何判断是否触发了保护性限制？** 正常业务波动不会产生 404。当流量曲线出现剧烈陡变或调用特征异常突变等极端情形时，可能触发平台保护性限制，表现为部分请求返回 404/429 或调用临时中断。若监控显示成功率突降且伴随流量陡变、错误以429 为主，可初步判定为保护性限制。 **Q2：突发流量导致服务异常，第一时间应该做什么？** 按"下调发送速率 -\> 跨模型分散 -\> 客户端消息队列缓冲"顺序处置，详见[事中处理]中的自助优化操作。 **Q3：触发保护性限制后多久恢复？可以申请人工加急恢复吗？** 保护性限制为分钟级动态机制，随资源水位恢复逐步解除，一般无需人工干预。平台不提供人工强制解除通道；客户侧应优先下调发送速率、配合削峰以加速恢复。若流量已平稳仍长时间未恢复，可通过工单反馈协助核查。 **Q4：如何提前预判流量风险？推荐怎样的监控告警配置？** 围绕 TPM/RPM、请求成功率、4xx 占比、P95/P99 时延、客户端积压量建立监控，配置基线 ×1.5 持续 3 分钟、增长率超阈、成功率低于 99% 等告警规则，详见[事前预防]。 **Q5：模型单元能解决什么问题？购买后是否就不会被限制？** 模型单元可为客户提供专属算力与更高的资源调度优先级，核心价值是**提升资源调度优先级与业务稳定性** ，**大幅降低异常限制概率**。 模型单元**不能完全避免服务限制** ，在[极端异常场景]下仍可能触发平台保护性机制。 **模型单元** **当前处于** **邀测阶段**，如需参与可联系商务或提交工单。 **Q6：保护性限制是否会影响账号下其他业务或其他模型服务？** 保护性限制以模型维度触发为主。不同模型底层资源池相互独立，单模型触发限制一般不直接影响其他模型服务；同一账号下同一模型限流为共享维度，跨接入点或子账号分流无法规避。 **Q7：有大型活动或可预见流量高峰，提前报备是否有用？通过什么渠道？** 报备有助于平台提前评估资源水位与调度安排，建议提前3个工作日通过商务或工单报备（含峰值时间窗口、预估 TPM/RPM、涉及模型、联系方式）。报备不构成对极端流量不受限的承诺，仍建议同步落实削峰、分散等预防措施。 #### 联系与支持 - **故障申报通道** ：通过平台控制台[提交工单](https://console.huaweicloud.com/ticket/?#/ticketindex/createTicketServiceNew)，紧急情况请注明"紧急故障"以便升级处理。 - **商务咨询通道**：模型单元邀测、限流额度调整等需求，可通过客户经理或工单提交。