创建NLP大模型部署任务
平台支持部署训练后的模型或预置模型,操作步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
   图1 我的空间  
- 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。
- 在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击“确定”进入“创建部署”页面。
- 在“创建部署”页面,参考表1完成部署参数设置。 
   表1 NLP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 选择模型 可以修改如下信息: - 来源:选择“模型广场”。
- 类型:选择“大语言模型”,并选择需要进行部署的模型和版本。
 部署方式 支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 - 部分模型资产支持边缘部署方式,若选择“边缘部署”:
          - 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。
- CPU:部署需要使用的最小CPU值(物理核)。
- 内存:部署需要使用的最小内存值。
- Ascend:部署使用的NPU数量。
- 实例数:设置部署模型时所需的实例数。
 
 最大TOKEN长度 模型处理序列长度最大值。 自定义名称 此名称是通过V2版本推理接口调用该推理服务时的唯一标识。创建后不支持修改。 安全护栏 安全护栏开关 安全护栏保障模型调用安全。 版本选择 当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置(选择云上部署时) 计费模式 限时免费。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 标签(选填) 设置部署任务的标签,部署和更新模型时,以“SERVICE_TAGS_CONFIG”为key,标签信息的json体Base64字符串为value添加到模型服务的环境变量中。 
- 参数填写完成后,单击“立即部署”。
 
  