更新时间:2026-11-03 GMT+08:00
分享

添加模型代理

模型代理是连接模型提供商与网关的桥梁,提供统一的推理服务入口。模型代理配置入站身份认证和入网配置,将推理请求通过 /inference/ 路径路由到关联的模型提供商。

在创建模型提供商页面或模型提供商详情页面,可以创建模型代理。

前提条件

  • 已创建至少一个模型提供商,并配置了模型服务。
  • (可选)管理员可在IAM控制台为创建的IAM子用户授予权限,授权后,子用户即可根据权限使用账号中的云服务资源,相关操作步骤如下。
    1. 创建IAM用户。
    2. 给IAM用户授权。
      • 为子用户授予完整的模型代理权限,需授予AgentArtsFullAccessPolicy身份策略。
      • 创建自定义身份策略并授予如下权限,授权项功能介绍请参考表1。
        表1 授权项

        操作

        授权项

        功能介绍

        添加模型代理

        iam:agencies:pass

        授予向云服务传递委托的权限。

        vpc:nativePorts:create

        授予原生API创建端口权限。

        vpc:routeTables:update

        授予更新路由表权限。

        eip:publicIps:associateInstance(涉及公网访问时需要)

        授予将弹性公网IP绑定网卡的权限。

        删除模型代理

        vpc:routeTables:update

        授予更新路由表权限。

        vpc:nativePorts:delete

        授予原生API删除端口权限。

        eip:publicIps:disassociateInstance(涉及公网访问时需要)

        授予将弹性公网IP解绑网卡的权限。

        添加模型代理的入站认证功能

        csms:secret:getVersion

        授予查询指定凭据版本的信息和其明文凭据值的权限。

        kms:cmk:decryptDataKey

        授予解密数据密钥的权限。

  • 添加模型代理时需要创建委托并授权,请确保传入的委托包含以下身份策略权限:
    表2 授权项

    授权项

    功能介绍

    csms:secret:getVersion

    授予查询指定凭据版本的信息和其明文凭据值的权限。

    kms:cmk:decryptDataKey

    授予解密数据密钥的权限。

    agentIdentity::getResourceApiKey

    授予获取与API密钥凭证提供者关联的API密钥的权限。

    agentIdentity::getResourceOauth2Token

    授予通过OAuth2两方/三方授权流程获取访问令牌,以访问外部资源的权限。

    agentIdentity::getResourceStsToken

    授予从STS凭证提供者获取IAM临时凭证的权限。

约束与限制

一个模型提供商最多可创建5个模型代理,如需调整配额,请提交工单申请。

添加模型代理

  1. 登录AgentArts智能体平台。
  2. 在左侧导航栏选择“托管与运行 > 模型”,进入模型界面。
  3. 单击已创建的模型提供商卡片上的“查看”或“创建模型提供商”,在“模型代理”区域,单击“添加模型代理”。
  4. 输入模型代理的配置信息,参数说明请参考表3。

    表3 模型代理参数说明

    参数

    说明

    模型代理名称

    模型代理的名称。

    命名规则:以小写字母开头,以小写字母或数字结尾,可以包含小写字母、数字和中划线,长度为2-40个字符。

    系统会默认生成名称,可根据需求自定义修改。

    描述(可选)

    用于说明该模型代理的内容与用途。长度不大于1000个字符。

    入站身份认证

    配置入站身份认证方式。在接收到请求时,对请求进行身份验证和授权,确保请求来自可信的来源,并且具有访问特定资源的权限。

    支持以下两种认证方式:

    • IAM认证:将华为云IAM身份配置为入站身份认证,以验证调用方的身份。
    • API Key认证:将预设的API Key配置为入站身份认证,以验证请求中携带的密钥合法性。选择后需配置API Key名称。

    API Key名称

    当入站身份认证选择“API Key认证”时填写。用于指定在HTTP请求头中传递API Key的键名,调用方需在请求头中携带该键名和对应的密钥值。系统会自动生成API Key的名称,可根据需求自定义修改。

    入网配置

    选择入站网关,通过互联网或者VPC内网访问模型代理。如下拉框无选项,请单击“前往网络配置”创建新的网络配置。

    委托

    可使用系统默认创建的AgentArtsGatewayAgency委托。

    如需手动创建,请单击“创建委托”并参考如下配置创建。

    • 委托名称:自定义。
    • 信任主体类型:选择“云服务”。
    • 云服务:搜索service.WorkloadSandboxMetadata。
    • 其余参数使用默认值。
    图1 创建委托

    委托创建完成后可对委托进行授权,具体操作详情请参考创建委托并授权。

    标签(可选)

    由“标签键”和“标签值”组成,用于标识和分类云资源。

    您可以在TMS中创建预定义标签,用于使用同一标签标识多种云资源,创建后可在标签输入框下拉选择同一标签,具体操作请参考创建预定义标签,创建后单击刷新。

    单击“添加标签”,选择在TMS中创建的预定义标签,或自定义输入标签键和标签值。

    可添加一个或多个标签,最多添加20个标签。

  5. 单击“确定”,完成模型代理的创建和关联。

解绑模型代理

当模型代理被解绑后,模型代理将自动删除。

  1. 在模型代理列表中,选择待操作的模型代理,单击“解绑”。
  2. 在确认对话框中,单击“确定”。

修改模型代理标签

  1. 在模型代理列表中,选择待操作的模型代理,单击标签列的“编辑标签”。

    图2 编辑标签

  2. 在“编辑标签”页面中修改标签,单击“确定”。

相关文档