添加模型代理
模型代理是连接模型提供商与网关的桥梁,提供统一的推理服务入口。模型代理配置入站身份认证和入网配置,将推理请求通过 /inference/ 路径路由到关联的模型提供商。
在创建模型提供商页面或模型提供商详情页面,可以创建模型代理。
前提条件
已创建至少一个模型提供商,并配置了模型服务。
约束与限制
一个模型提供商最多可创建5个模型代理,如需调整配额,请提交工单申请。
关联模型代理
- 登录AgentArts智能体平台。
- 在左侧导航栏选择“托管与运行 > 模型”,进入模型界面。
- 单击已创建的模型提供商卡片上的“查看”或“创建模型提供商”,在“模型代理”区域,单击“添加模型代理”。
- 输入模型代理的配置信息,参数说明请参考表1。
表1 模型代理参数说明 参数
说明
模型代理名称
模型代理的名称。
命名规则:以小写字母开头,以小写字母或数字结尾,可以包含小写字母、数字和中划线,长度为2-40个字符。
系统会默认生成名称,可根据需求自定义修改。
描述(可选)
用于说明该模型代理的内容与用途。长度不大于1000个字符。
入站身份认证
配置入站身份认证方式,用于验证调用者的身份。支持以下两种认证方式:
- IAM认证:将华为云IAM身份配置为入站身份认证,以验证调用者的身份。
- API Key认证:将预设的密钥对(键和值)配置为入站身份认证,以验证请求中携带的密钥合法性。选择后需配置 API Key 名称。
API Key名称
当入站身份认证选择“API Key认证”时填写。用于指定在HTTP请求头中传递API Key的键名,调用方需在请求头中携带该键名和对应的密钥值。系统会自动生成API Key的名称,可根据需求自定义修改。
入网配置
选择入站网关,通过互联网或者VPC内网访问模型代理。如下拉框无选项,请单击“前往网络配置”创建新的网络配置。
委托
可使用系统默认创建的AgentArtsGatewayAgency委托。
如需手动创建,请单击“创建委托”并参考如下配置创建。
- 委托名称:自定义。
- 信任主体类型:选择“云服务”。
- 云服务:搜索service.WorkloadSandboxMetadata。
- 其余参数使用默认值。
图1 创建委托
委托创建完成后可对委托进行授权,操作具体详情请参考创建委托并授权。
标签(可选)
由“标签键”和“标签值”组成,用于标识和分类云资源。
您可以在TMS中创建预定义标签,用于使用同一标签标识多种云资源,创建后可在标签输入框下拉选择同一标签,具体操作请参考创建预定义标签,创建后单击
刷新。单击“添加标签”,选择在TMS中创建的预定义标签,或自定义输入标签键和标签值。
可添加一个或多个标签,最多添加20个标签。
- 单击“确定”,完成模型代理的创建和关联。
解绑模型代理
当模型代理关联的所有模型提供商都被解绑后,模型代理将自动删除。
- 在模型代理列表中,选择待操作的模型代理,单击“解绑”。
- 在确认对话框中,单击“确定”。