更新时间:2025-09-16 GMT+08:00
分享

创建预测大模型部署任务

平台支持部署训练后的模型或预置模型,操作步骤如下:

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
    图1 我的空间
  2. 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
  3. 在“选择模型”页面,选择“模型广场 > 预测大模型 > 模型”,单击“确定”进入“创建部署”页面。
  4. 在“创建部署”页面,参考表1完成部署参数设置。
    表1 预测大模型部署参数说明

    参数分类

    部署参数

    参数说明

    部署配置

    选择模型

    可以修改如下信息:

    • 来源:选择“我的资产”。
    • 类型:选择“预测大模型”,并选择需要进行部署的模型和版本。

    部署方式

    支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。部署参数说明如下:

    • 实例数:设置部署模型时所需的实例数。
    • 若选择“边缘部署”,部署参数说明如下:
      • 本地挂载路径(可选): 在容器内部将卷挂载的本地路径。挂载后,容器中的应用程序可以通过这个路径访问宿主机上的数据。
      • 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池
      • CPU:部署需要使用的最小CPU值(物理核)。
      • 内存:部署需要使用的最小内存值。
      • Ascend:部署使用的NPU数量。

    订阅提醒

    订阅提醒

    该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。

    基本信息

    服务名称

    设置部署任务的名称。

    描述(选填)

    设置部署任务的描述。

    标签(选填)

    设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。

  5. 参数填写完成后,单击“立即部署”。

相关文档