创建路由策略用于提供模型服务

前提条件

需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参见AppStage组织成员申请权限。

创建路由策略

1. 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的模型服务”。
2. 选择“我的路由策略”页签，单击“创建路由策略”。
3. 在“创建路由策略”页面，参照表1配置策略信息，配置完单击“保存”。

   表1 路由策略参数说明

   参数	说明
   策略名称	自定义路由策略的名称，支持中英文、数字、中划线（-）、下划线（_）、点（.），长度2~36个字符，仅支持中英文开头。
   AI模型	在“模型A”下拉框中选择模型。 单击“+ AI模型”，还可以增加2个AI模型。 说明： 路由策略提供模型服务时，模型调用顺序为：模型A > 模型B > 模型C，当模型A无法正常工作时，可以自动依次切换为模型B、模型C。
   策略总超时时间	模型路由策略的总体超时时间，取值范围为0-1000000ms。
   模型重试次数	路由策略中单个模型服务的重试次数，取值范围为0-100次。
   策略描述	路由策略的描述信息。

4. 在模型调测区域，参考表2调测模型。

   表2 模型调测参数说明

   参数名称	参数说明
   输出方式	可选非流式、流式。二者区别如下： 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。
   输出最大token数	表示模型输出的最大长度。
   温度	较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和“多样性”（top_p）只设置1个。
   多样性	影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”（temperature）只设置1个。
   存在惩罚	介于-2.0和2.0之间的数字。正值会尽量避免重复已经使用过的词语，更倾向于生成新词语。
   频率惩罚	介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。

5. 在右侧“模型效果预览”区域查看效果。

更多操作

模型路由策略创建完成后，可执行如表3所示的操作。