添加模型代理
模型代理是连接模型提供商与网关的桥梁,提供统一的推理服务入口。模型代理配置入站身份认证和入网配置,将推理请求通过 /inference/ 路径路由到关联的模型提供商。
在创建模型提供商页面或模型提供商详情页面,可以创建模型代理。
前提条件
- 已创建至少一个模型提供商,并配置了模型服务。
- (可选)管理员可在IAM控制台为创建的IAM子用户授予权限,授权后,子用户即可根据权限使用账号中的云服务资源,相关操作步骤如下。
- 创建IAM用户。
- 给IAM用户授权。
- 为子用户授予完整的模型代理权限,需授予AgentArtsFullAccessPolicy身份策略。
- 创建自定义身份策略并授予如下权限,授权项功能介绍请参考表1。
表1 授权项 操作
授权项
功能介绍
添加模型代理
iam:agencies:pass
授予向云服务传递委托的权限。
vpc:nativePorts:create
授予原生API创建端口权限。
vpc:routeTables:update
授予更新路由表权限。
eip:publicIps:associateInstance(涉及公网访问时需要)
授予将弹性公网IP绑定网卡的权限。
删除模型代理
vpc:routeTables:update
授予更新路由表权限。
vpc:nativePorts:delete
授予原生API删除端口权限。
eip:publicIps:disassociateInstance(涉及公网访问时需要)
授予将弹性公网IP解绑网卡的权限。
添加模型代理的入站认证功能
csms:secret:getVersion
授予查询指定凭据版本的信息和其明文凭据值的权限。
kms:cmk:decryptDataKey
授予解密数据密钥的权限。
- 添加模型代理时需要创建委托并授权,请确保传入的委托包含以下身份策略权限:
表2 授权项 授权项
功能介绍
csms:secret:getVersion
授予查询指定凭据版本的信息和其明文凭据值的权限。
kms:cmk:decryptDataKey
授予解密数据密钥的权限。
agentIdentity::getResourceApiKey
授予获取与API密钥凭证提供者关联的API密钥的权限。
agentIdentity::getResourceOauth2Token
授予通过OAuth2两方/三方授权流程获取访问令牌,以访问外部资源的权限。
agentIdentity::getResourceStsToken
授予从STS凭证提供者获取IAM临时凭证的权限。
约束与限制
一个模型提供商最多可创建5个模型代理,如需调整配额,请提交工单申请。
添加模型代理
- 登录AgentArts智能体平台。
- 在左侧导航栏选择“托管与运行 > 模型”,进入模型界面。
- 单击已创建的模型提供商卡片上的“查看”或“创建模型提供商”,在“模型代理”区域,单击“添加模型代理”。
- 输入模型代理的配置信息,参数说明请参考表3。
表3 模型代理参数说明 参数
说明
模型代理名称
模型代理的名称。
命名规则:以小写字母开头,以小写字母或数字结尾,可以包含小写字母、数字和中划线,长度为2-40个字符。
系统会默认生成名称,可根据需求自定义修改。
描述(可选)
用于说明该模型代理的内容与用途。长度不大于1000个字符。
入站身份认证
配置入站身份认证方式。在接收到请求时,对请求进行身份验证和授权,确保请求来自可信的来源,并且具有访问特定资源的权限。
支持以下两种认证方式:
- IAM认证:将华为云IAM身份配置为入站身份认证,以验证调用方的身份。
- API Key认证:将预设的API Key配置为入站身份认证,以验证请求中携带的密钥合法性。选择后需配置API Key名称。
API Key名称
当入站身份认证选择“API Key认证”时填写。用于指定在HTTP请求头中传递API Key的键名,调用方需在请求头中携带该键名和对应的密钥值。系统会自动生成API Key的名称,可根据需求自定义修改。
入网配置
选择入站网关,通过互联网或者VPC内网访问模型代理。如下拉框无选项,请单击“前往网络配置”创建新的网络配置。
委托
可使用系统默认创建的AgentArtsGatewayAgency委托。
如需手动创建,请单击“创建委托”并参考如下配置创建。
- 委托名称:自定义。
- 信任主体类型:选择“云服务”。
- 云服务:搜索service.WorkloadSandboxMetadata。
- 其余参数使用默认值。
图1 创建委托
委托创建完成后可对委托进行授权,具体操作详情请参考创建委托并授权。
标签(可选)
由“标签键”和“标签值”组成,用于标识和分类云资源。
您可以在TMS中创建预定义标签,用于使用同一标签标识多种云资源,创建后可在标签输入框下拉选择同一标签,具体操作请参考创建预定义标签,创建后单击
刷新。单击“添加标签”,选择在TMS中创建的预定义标签,或自定义输入标签键和标签值。
可添加一个或多个标签,最多添加20个标签。
- 单击“确定”,完成模型代理的创建和关联。
解绑模型代理
当模型代理被解绑后,模型代理将自动删除。
- 在模型代理列表中,选择待操作的模型代理,单击“解绑”。
- 在确认对话框中,单击“确定”。
修改模型代理标签
- 在模型代理列表中,选择待操作的模型代理,单击标签列的“编辑标签”。 图2 编辑标签
- 在“编辑标签”页面中修改标签,单击“确定”。