配置模型服务路由策略

前提条件

• 已购买Versatile智能体平台。
• 已接入自定义的模型服务。
• 登录用户为空间所有者、空间管理员、开发工程师、运维工程师，详细信息请参考管理团队空间成员。

创建路由策略

1. 登录Versatile智能体平台，在左侧导航栏“个人空间”区域，选择目标空间。
2. 在左侧导航，选择“模型中心 > 路由策略”。
3. 在“路由策略”页面，单击“创建路由策略”。
   图1 创建路由策略
   

4. 在“创建路由策略”页面，配置参数信息，具体参数说明请参考表1，配置完成后单击“保存”。

   新建的路由策略，显示在路由策略列表中。

   图2 创建路由策略
   

   表1 路由策略参数说明

   参数	说明	示例
   策略名称	自定义路由策略的名称。由2~36个字符组成，包含中英文、数字、中划线（-）、下划线（_）、点（.），仅支持以中英文开头。	文本对话路由策略
   AI模型	在“模型A”下拉框中选择模型服务。 单击“+ AI模型”，添加模型服务。一共支持添加3个模型服务。 路由策略提供模型服务时，模型调用顺序为：模型A > 模型B > 模型C，当模型A无法正常工作时，可以自动依次切换为模型B、模型C。	模型A：DeepSeek-R1 模型B：DeepSeek-V3 模型C：Qwen3-32B
   策略总超时时间	模型路由策略的总体超时时间。取值范围为1000~1,000,000ms，默认值为10,000ms。	10000ms
   模型重试次数	路由策略中单个模型服务的重试次数。取值范围为0-100次，默认值为0次。	0
   策略描述	路由策略的描述信息。由1~100个字符组成。	该策略为文本对话类型的路由策略。

5. 在“模型调测”区域，调测模型，具体参数说明请参考表2。
   图3 调测模型
   

   表2 模型调测参数说明

   参数名称	参数说明	示例
   输出方式	可选非流式、流式。 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。默认流式。	流式
   输出最大token数	模型在单次推理或生成内容时，能够输出的token（模型处理文本的基本单位）数量的最大值。取值范围为100~32768，默认值为2048。	2048
   温度	较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。取值范围0.01~2，默认值为0.5。 建议该参数和“多样性”只设置1个。	0.5
   多样性	影响输出文本的多样性，取值越大，生成文本的多样性越强。取值范围0~1，默认值为0.5。 建议该参数和“温度”只设置1个。	0.5
   存在惩罚	正值会尽量避免使用已出现过的词语，更倾向于生成新词语。取值范围-2.0~2.0，默认值为0。	0
   频率惩罚	正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。取值范围-2.0~2.0，默认值为0。	0

6. 在右侧“预览调试”区域，在对话输入框输入测试语句后按Enter键或单击，查看模型响应结果。

   单击，清除本次会话内容，可以开始新的会话。

   图4 预览调试
   

相关操作

在“路由策略”列表，支持的其他操作请参考表3。

相关文档

路由策略创建完成后，用户可在智能体、工作流中使用路由策略，请参考开发单智能体应用、开发工作流应用、开发多智能体应用。