实时比对

使用场景

在AI工程化落地过程中，面对众多的基础大模型和微调版本，如何选择“最合适”的模型是关键难题。模型实时比对功能提供了一个直观的比对平台，允许用户在完全一致的输入条件下，对不同模型进行横向评测。

核心作用与价值：

基础大模型选型：在项目初期，比对不同架构模型（例如DeepSeek、Qwen3、GLM等）的表现，快速锁定适合业务场景的基模。
微调效果验证：将“未微调的原生模型”与“微调后的模型”做同步对比，直观验证微调是否成功注入了领域知识，或是否存在能力退化。
参数策略调优（A/B Testing）：对比同一模型在不同超参数（例如Temperature、Top_P等）下的输出差异，寻找最佳推理配置。

前提条件

已部署推理服务。具体操作，请参见部署模型为在线服务。

约束限制

站点使用限制：仅“西南-贵阳一”、“华北-北京四”和“华南-广州”区域的新版控制台支持。
模型类型限制：当前仅支持大语言模型领域的文本生成类模型对比，暂不支持其他领域模型对比。
数量限制：为了保证前端渲染性能及便于人眼比对，单次对比任务最多支持3个模型同时进行。
超时限制：在实时比对任务运行过程中，如果某个比对模型因为思考或者性能原因超过5分钟未结束，该模型窗口会提示超时而中断回答。
历史对话限制：系统自动保存每个IAM用户在同一空间下的最近100条历史对话记录。当历史对话记录超过100条时，系统将立即删除最旧的记录（只保留最近的100条记录）。此外，对于超过7天的历史对话，系统将在每天0点自动删除最旧的记录。

实时比对

登录ModelArts管理控制台，在左侧导航栏选择“模型评测 > 实时比对”。
实时比对有多个入口，除了从控制台左侧直接选择外，也可通过如下入口进入：
- 在左侧导航栏选择“模型推理 > 在线推理”，单击右侧操作列的“实时比对”，进入“实时比对”页面。
- 在左侧导航栏选择“模型推理 > 在线推理”，单击服务名称，进入服务详情页，单击右上角的“实时比对”，进入“实时比对”页面。
在“实时比对”页面右上角，单击“服务对比”，在“实时比对 | 选择服务”对话框，按需选择1~3个服务，单击“确定”。
按需配置服务参数。
在服务名称右侧，单击图标，可以设置服务的系统人设、温度、核采样等，使模型输出在随机性、多样性等维度的输出不同。为保证服务比对控制变量单一，请保持服务的配置参数一致。

关于服务参数的说明及典型场景，请参见服务参数配置说明。

在页面中间单击预置的问题，或者在输入框输入问题。单击点击放大

图标或者在键盘按“Enter”键发送问题，按“Shift+Enter”键换行。

系统会将这个问题同时发送给所有的比对模型。
支持单轮问答，也支持在当前上下文中进行多轮对话。

多个比对服务时，系统将以分栏视图（Side-by-Side）的形式，并行展示各模型的生成内容，您可以直观地通过肉眼比对文本的逻辑性、格式规范度以及语义准确性。

模型回答下方会显示总耗时、思考耗时等信息，详细说明请参见指标说明。

“实时比对”页面相关的操作说明如下：

表1 操作说明
操作	说明
切换服务	单击服务名称，在“切换服务”弹窗选择目标服务。
删除比对服务	在服务名称右侧，单击图标，删除比对服务。
停止回答	在模型回答的过程中，在输入框单击停止回答，可中止模型回答。
重新生成回答	在模型回答下方，单击图标重新生成回答。
复制回答	在模型回答下方，单击图标复制回答。
对模型回答进行反馈	在模型回答下方，单击图标反馈模型的问题。
开启新对话	在页面右上角，单击“新对话”，将清空当前对话，您可以在右上角单击“服务对比”，重新选择服务，开始一个新的对话。
清空对话	在页面右上角，单击“清空对话”，将清空当前对话内容的上下文。后续对话不受上文对话影响。
查看历史记录	在页面左侧，可以查看历史对话记录。您可以单击任意的历史对话记录，在原有对话基础上继续提问。默认第一个问题为历史记录的标题。
修改历史记录标题	在页面左侧，单击历史对话标题右侧的图标，选择“编辑标题”，在“编辑标题”对话框，按需修改标题，单击“确定”。图1 编辑标题
删除历史记录	在页面左侧，单击历史对话标题右侧的图标，选择“删除”，在“删除会话”对话框，单击“确定”，删除该对话的所有记录。

服务参数配置说明

在调用大模型时，经常会遇到模型回答问题和预想结果有较大差异的问题。您可以通过调整“解码参数”来控制模型生成的随机性和创造力。简单来说，这些参数决定了模型是像严谨的科学家一样回答，还是像浪漫的诗人一样创作。

表2 服务参数说明
参数名	作用	示例	推荐调试顺序
系统人设	自定义模型的系统人设。最多可输入1000个字符。	你是一个系统AI助手	-
温度/Temperature	用于控制模型输出的随机性、创造性的参数。温度设置低，输出更可预测；温度设置高，输出种类更多，更不可预测。低温度 (0.1)：模型极其保守，总是选择概率最高的那个选项。适合标准答案明确的场景。高温度 (0.9)：模型变得兴奋，愿意尝试概率较低的选项。适合需要创意的场景，但容易一本正经地胡说八道（幻觉）。	prompt：请用“天空”造句。 Temperature = 0.1 (严谨) 结果：天空是蓝色的，飘着几朵白云。特点：准确、平淡、每次运行结果几乎一样。 Temperature = 0.9 (发散) 结果：天空宛如一块被打翻的蓝莓果酱，星辰在其中沉浮。特点：生动、多变、每次运行结果差异大。	优先调整
核采样/Top_P	用于控制模型输出的多样性，取值越大，生成文本的多样性越强。动态截取概率最高的词。数值越大，可选词汇越丰富（但也可能越生僻）。Top_P不看数量，看累计概率。模型会按概率高低排序，把概率加起来达到P值（如0.9）的词留下来，剩下的丢掉。	Top_P = 0.1：只取最头部、最稳的几个词。 Top_P = 0.9：允许更多长尾词汇进入候选池，词汇更丰富。 Top_P是动态的。如果下一组词都很确定，候选池就小；如果下一组词都很模糊，候选池就大。这比Top-K更智能。	配合Temperature微调
Top_K	用于控制生成文本的创造力或者随机性。K值越小，生成的句子越通顺、逻辑越严密，但可能比较枯燥、重复。K值越大生成的句子越丰富、越有创意，但也更容易出现离谱的词（幻觉）。强制保留排名前K个词。数值越大，保留的候选词越多。	Top-K = 1：贪婪解码，每次只选第1名（效果等同于极低温度）。 Top-K = 50：主要用于防止模型生成极低概率的乱码。	辅助参数（通常保持默认或较大值）

以下是配置参数的典型场景，请根据使用场景配置不同参数。

表3 服务参数配置典型场景
业务场景	建议配置	期望效果	典型应用
代码生成数学解题	Temp: 0.0 - 0.2 Top_P: 0.1	极度精确拒绝随机性，保证代码逻辑正确，语法严谨。	辅助编程、SQL生成、逻辑推理
知识问答客服	Temp: 0.3 - 0.5 Top_P: 0.7	稳定且自然事实准确，但语言组织比机器人更像人类。	智能客服、RAG文档问答
文案创作闲聊	Temp: 0.7 - 0.9 Top_P: 0.9	丰富多样词汇量大，句式多变，富有创意。	营销文案、小说续写、角色扮演
头脑风暴	Temp: 1.0+ Top_P: 0.95	天马行空跳出常规逻辑，寻找意外的灵感（需人工筛选）。	创意构思、起名

指标说明

除了主观的文本内容比对外，您还可以在模型回答下方查看技术指标，以辅助量化评估。

图2 技术指标

表4 模型指标
指标类型	指标名称	指标说明
性能指标	总耗时	完成整个回答所需的总时间。耗时越短，说明模型输出的性能越强。
	思考耗时	针对思考模型，思考所花费的时间。
	TTFT	首字延迟（Time To First Token）。从用户单击“发送”按钮开始，到屏幕上出现AI回复的“第一个字（Token）”所花费的时间。TTFT越低代表模型响应速度越快。
	TPOT	每个Token耗时（Time Per Output Token）。当第一个字出来后，后续输出字符出现时，平均生成每个字需要的时间。TPOT越低代表模型后续输出越快，越流畅。
消耗指标	消耗tokens	显示本次问答的Input Tokens（输入量）和Output Tokens（输出量），用于预估调用成本。