# 实时比对 #### 使用场景 在AI工程化落地过程中，面对众多的基础大模型和微调版本，如何选择"最合适"的模型是关键难题。模型实时比对功能提供了一个直观的比对平台，允许用户在完全一致的输入条件下，对不同模型进行横向评测。 核心作用与价值： - **基础大模型选型：**在项目初期，比对不同架构模型（例如DeepSeek、Qwen3、GLM等）的表现，快速锁定适合业务场景的基模。 - **微调效果验证：**将"未微调的原生模型"与"微调后的模型"做同步对比，直观验证微调是否成功注入了领域知识，或是否存在能力退化。 - **参数策略调优（A/B Testing）：**对比同一模型在不同超参数（例如Temperature、Top_P等）下的输出差异，寻找最佳推理配置。 #### 前提条件 已部署推理服务。具体操作，请参见[部署模型为在线服务](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0016.html)。 #### 约束限制 - **控制台限制**：仅新版控制台支持。 - **模型类型限制：**当前仅支持大语言模型领域的文本生成类模型对比，暂不支持其他领域模型对比。 - **数量限制：**为了保证前端渲染性能及便于人眼比对，单次对比任务最多支持3个模型同时进行。 - **超时限制：**在实时比对任务运行过程中，如果某个比对模型因为思考或者性能原因超过5分钟未结束，该模型窗口会提示超时而中断回答。 - **历史对话限制**：系统自动保存每个IAM用户在同一空间下的最近100条历史对话记录。当历史对话记录超过100条时，系统将立即删除最旧的记录（只保留最近的100条记录）。此外，对于超过7天的历史对话，系统将在每天0点自动删除最旧的记录。 #### 实时比对 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧导航栏选择"模型评测 \> 实时比对"。 ![](https://support.huaweicloud.com/model-evaluation-modelarts/public_sys-resources/note_3.0-zh-cn.png) 实时比对有多个入口，除了从控制台左侧直接选择外，也可通过如下入口进入： - 在左侧导航栏选择"模型推理 \> 在线推理"，单击右侧操作列的"实时比对"，进入"实时比对"页面。 - 在左侧导航栏选择"模型推理 \> 在线推理"，单击服务名称，进入服务详情页，单击右上角的"实时比对"，进入"实时比对"页面。 2. 在"实时比对"页面右上角，单击"服务对比"，在"实时比对 \| 选择服务"对话框，按需选择1\~3个服务，单击"确定"。 3. 按需配置服务参数。 在服务名称右侧，单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002585669577.png)图标，可以设置服务的系统人设、温度、核采样等，使模型输出在随机性、多样性等维度的输出不同。为保证服务比对控制变量单一，请保持服务的配置参数一致。 关于服务参数的说明及典型场景，请参见[服务参数配置说明]。 4. 在页面中间单击预置的问题，或者在输入框输入问题。单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002586560411.png "点击放大")图标或者在键盘按"Enter"键发送问题，按"Shift+Enter"键换行。 - 系统会将这个问题同时发送给所有的比对模型。 - 支持单轮问答，也支持在当前上下文中进行多轮对话。 多个比对服务时，系统将以分栏视图（Side-by-Side） 的形式，并行展示各模型的生成内容，您可以直观地通过肉眼比对文本的逻辑性、格式规范度以及语义准确性。 模型回答下方会显示总耗时、思考耗时等信息，详细说明请参见[指标说明]。 "实时比对"页面相关的操作说明如下： 表1操作说明 | 操作 | 说明 | |:---|:---| | 切换服务 | 单击服务名称，在"切换服务"弹窗选择目标服务。 | | 删除比对服务 | 在服务名称右侧，单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002555791256.png)图标，删除比对服务。 | | 停止回答 | 在模型回答的过程中，在输入框单击停止回答，可中止模型回答。 | | 重新生成回答 | 在模型回答下方，单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002586326053.png)图标重新生成回答。 | | 复制回答 | 在模型回答下方，单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002555806176.png)图标复制回答。 | | 对模型回答进行反馈 | 在模型回答下方，单击![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002555646542.png)图标反馈模型的问题。 | | 开启新对话 | 在页面右上角，单击"新对话"，将清空当前对话，您可以在右上角单击"服务对比"，重新选择服务，开始一个新的对话。 | | 清空对话 | 在页面右上角，单击"清空对话"，将清空当前对话内容的上下文。后续对话不受上文对话影响。 | | 查看历史记录 | 在页面左侧，可以查看历史对话记录。您可以单击任意的历史对话记录，在原有对话基础上继续提问。默认第一个问题为历史记录的标题。 | | 修改历史记录标题 | 在页面左侧，单击历史对话标题右侧的![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002607642499.png)图标，选择"编辑标题"，在"编辑标题"对话框，按需修改标题，单击"确定"。 图1编辑标题 ![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002577162444.png) | | 删除历史记录 | 在页面左侧，单击历史对话标题右侧的![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002577162536.png)图标，选择"删除"，在"删除会话"对话框，单击"确定"，删除该对话的所有记录。 | #### 服务参数配置说明 在调用大模型时，经常会遇到模型回答问题和预想结果有较大差异的问题。您可以通过调整"解码参数"来控制模型生成的随机性和创造力。简单来说，这些参数决定了模型是像严谨的科学家一样回答，还是像浪漫的诗人一样创作。 表2服务参数说明 | 参数名 | 作用 | 示例 | 推荐调试顺序 | |:---|:---|:---|:---| | 系统人设 | 自定义模型的系统人设。最多可输入1000个字符。 | 你是一个系统AI助手 | - | | 温度/Temperature | 用于控制模型输出的随机性、创造性的参数。温度设置低，输出更可预测；温度设置高，输出种类更多，更不可预测。 - 低温度 (0.1)：模型极其保守，总是选择概率最高的那个选项。适合标准答案明确的场景。 - 高温度 (0.9)：模型变得兴奋，愿意尝试概率较低的选项。适合需要创意的场景，但容易一本正经地胡说八道（幻觉）。 | prompt：请用"天空"造句。 - Temperature = 0.1 (严谨) - **结果** **：**天空是蓝色的，飘着几朵白云。 - **特点** **：**准确、平淡、每次运行结果几乎一样。 - Temperature = 0.9 (发散) - **结果** **：**天空宛如一块被打翻的蓝莓果酱，星辰在其中沉浮。 - **特点** **：**生动、多变、每次运行结果差异大。 | 优先调整 | | 核采样/Top_P | 用于控制模型输出的多样性，取值越大，生成文本的多样性越强。 动态截取概率最高的词。数值越大，可选词汇越丰富（但也可能越生僻）。Top_P不看**数量**，看累计概率。模型会按概率高低排序，把概率加起来达到P值（如0.9）的词留下来，剩下的丢掉。 | - Top_P = 0.1：只取最头部、最稳的几个词。 - Top_P = 0.9：允许更多长尾词汇进入候选池，词汇更丰富。 Top_P是动态的。如果下一组词都很确定，候选池就小；如果下一组词都很模糊，候选池就大。这比Top-K更智能。 | 配合Temperature微调 | | Top_K | 用于控制生成文本的创造力或者随机性。K值越小，生成的句子越通顺、逻辑越严密，但可能比较枯燥、重复。K值越大生成的句子越丰富、越有创意，但也更容易出现离谱的词（幻觉）。 强制保留排名前K个词。数值越大，保留的候选词越多。 | - Top-K = 1：贪婪解码，每次只选第1名（效果等同于极低温度）。 - Top-K = 50：主要用于防止模型生成极低概率的乱码。 | 辅助参数（通常保持默认或较大值） | 以下是配置参数的典型场景，请根据使用场景配置不同参数。 表3服务参数配置典型场景 | 业务场景 | 建议配置 | 期望效果 | 典型应用 | |:---|:---|:---|:---| | 代码生成 数学解题 | Temp: 0.0 - 0.2 Top_P: 0.1 | **极度精确** 拒绝随机性，保证代码逻辑正确，语法严谨。 | 辅助编程、SQL生成、逻辑推理 | | 知识问答 客服 | Temp: 0.3 - 0.5 Top_P: 0.7 | **稳定且自然** 事实准确，但语言组织比机器人更像人类。 | 智能客服、RAG文档问答 | | 文案创作 闲聊 | Temp: 0.7 - 0.9 Top_P: 0.9 | **丰富多样** 词汇量大，句式多变，富有创意。 | 营销文案、小说续写、角色扮演 | | 头脑风暴 | Temp: 1.0+ Top_P: 0.95 | **天马行空** 跳出常规逻辑，寻找意外的灵感（需人工筛选）。 | 创意构思、起名 | #### 指标说明 除了主观的文本内容比对外，您还可以在模型回答下方查看技术指标，以辅助量化评估。 图2技术指标 ![](https://support.huaweicloud.com/model-evaluation-modelarts/figure/zh-cn_image_0000002586202741.png) 表4模型指标 | 指标类型 | 指标名称 | 指标说明 | |:---|:---|:---| | 性能指标 | 总耗时 | 完成整个回答所需的总时间。耗时越短，说明模型输出的性能越强。 | | 性能指标 | 思考耗时 | 针对思考模型，思考所花费的时间。 | | 性能指标 | TTFT | 首字延迟（Time To First Token）。从用户单击"发送"按钮开始，到屏幕上出现AI回复的"第一个字（Token）"所花费的时间。TTFT越低代表模型响应速度越快。 | | 性能指标 | TPOT | 每个Token耗时（Time Per Output Token）。当第一个字出来后，后续输出字符出现时，平均生成每个字需要的时间。TPOT越低代表模型后续输出越快，越流畅。 | | 消耗指标 | 消耗tokens | 显示本次问答的Input Tokens（输入量）和Output Tokens（输出量），用于预估调用成本。 |