添加自定义大模型实例

约束条件

一个project最多配置5个llm。

添加自定义大模型实例

1. 登录Web应用防火墙控制台。
2. 在控制台左上角，单击图标，选择区域或项目。
3. (可选) 如果您已开通企业项目，在左侧导航栏上方单击“按企业项目筛选”下拉框，选择您所在的企业项目。完成后，页面将为您展示该企业项目下的相关数据。
4. 在左侧导航栏，选择“防护策略 > AI安全护栏”。
5. 在“自定义大模型实例”页签，单击“添加大模型实例”。
6. 在“添加大模型实例”面板，完成以下配置后，单击“确定”。

   表1 添加大模型实例参数说明

   参数	参数说明	取值样例
   实例名称	填写要添加的大模型实例名称，要求不能以空格开头或结尾，只能包含中文、字母、数字和以下特殊字符()（）@#_-/:：，且不能超过256个字符长度。	waf_test
   实例描述 (可选)	设置该大模型实例的备注信息。	--
   BASE URL	填写大模型实例的BASE URL，且以http://或https://开头。	http://modelarts.xxx.com/v1/xxx
   API KEY	填写大模型实例的API KEY。	-
   模型名称	填写大模型实例的模型名称。	-
   模型协议	选择模型协议。当前模型协议仅支持openai-chat，即兼容OpenAI “/v1/chat/completions”的对话接口协议。	openai-chat
   测试	单击“测试”按钮，检查服务联通性、时延是否符合要求、测试用例是否能通过。 若测试结果不通过，不影响大模型实例添加。话题控制模式使用内置模型检测。	-

   完成以上配置后，可参考添加话题控制规则，将自定义大模型实例关联到话题控制规则。

   用户也可在自定义大模型实例列表进行如下操作：

   • 查看已添加的实例
   • 编辑或删除实例。仅支持删除未关联话题控制规则的实例。若实例已关联规则，需取消关联后，再删除。
   • 选中多个实例，批量删除或导出实例。