# 概述
华为云MaaS服务提供KV Cache复用能力，用户调用大模型的过程中，MaaS会不断更新客户的缓存信息。用户的请求如果命中前缀缓存，将复用缓存命中的计算结果，节省大部分Prefill（预填充阶段，即模型首次处理输入Token的计算过程）的计算，大幅提升推理性能，降低推理成本。为尽可能复用KV Cache，提升缓存命中率，可以使用本章所述原则进行业务侧和服务侧的配置。
#### 核心概念
**Token缓存命中率**
指单位统计周期内，缓存命中Token数量占总输入Token数量的比例，是衡量企业Token调用复用率、资源利用率的核心指标。
缓存命中率计算公式：Token缓存命中率 = 命中缓存Token数/总输入Token数 × 100%。
**缓存命中机制**
系统对请求内固定重复的Token前缀进行KV Cache存储，支持前缀动态复用。后续同类请求无需重复算力推理，仅对新增动态内容计算，适用于多轮对话、批量任务、AI Coding等复杂业务场景，大幅减少无效算力消耗。
**KV Cache**
KV Cache是模型推理过程中缓存的Key-Value矩阵，复用后可跳过已计算部分的注意力矩阵运算，直接复用历史结果。
#### 核心收益
- 极致降本：命中缓存的Token可大幅降低调用单价，减少重复算力消耗，规模化场景下可降低30%-80%的Token调用成本。
- 提速增效：规避重复推理计算，显著降低TTFT（首Token响应时间）与整体请求时延，提升用户交互体验。
- 稳控流量：削平业务流量峰值，减少突发请求对算力集群的冲击，提升服务可用性与稳定性。
- 高效扩容：同等算力资源支撑更高业务并发，无需盲目扩容算力，提升资源利用率。
 
#### 高缓存命中率场景
企业缓存命中率偏低的核心原因为场景识别模糊、优化方向不明确。本章节提供标准化场景甄别体系，帮助企业快速锁定高缓存复用、高优化收益的核心业务场景，精准落地优化动作。
典型的业务场景包括**代码编程辅助** 、**智能体工作流场景** 、**长系统指令** 、**长文档回答** 以及**多轮对话**等。
- **代码编程辅助**
  - 场景描述：代码生成、补全、检查、翻译、重构以及批量生成单元测试。
  
  - 场景特征： 代码补全：整个项目代码（或当前文件）作为固定前缀。
    代码审查：将完整的diff或特定文件作为前缀。
    批量单元测试生成：将同一项目代码作为固定前缀反复复用，每次仅末尾追加待测函数。
    代码翻译/重构：同一项目代码作为固定前缀，翻译/重构请求复用项目上下文。
    
   
- **智能体工作流**
  - 场景描述：Agent（工具调用 / 工作流编排 / 多步推理）。
  
  - 场景特征： 工具调用型Agent的多步推理循环。
    批处理型Agent的数据集/环境复用。
    科研场景任务步数长达百步，工具调用达几十次。
    
   
- **长系统指令**
  - 场景描述：客服提示词、NPC设定、指令模板。
  
  - 场景特征： 客服话术、角色设定、格式模板不变。
    同一指令服务海量不同用户请求。
    内容处理流水线中模板完全复用。
    
   
- **长文档回答**
  - 场景描述：RAG、知识库、文档分析。
  
  - 场景特征： 单一长文档的交互式深度问答。
    同一份长文档的批量分析任务。
    跨用户高频热点文档问答。
    固定文档集的综述与对比研究。
    
   
- **多轮对话**
  - 场景描述：智能客服/助手、对话历史复用。
  
  - 场景特征： System Prompt + 对话历史高度稳定。
    智能客服多轮信息确认。
    个人AI助手连续指令交互。
    教育辅导对话启发式问答。