部署盘古行业NLP大模型

云上部署

平台支持部署训练后的模型或预置模型，操作步骤如下：

1. 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
   图1 我的空间
   
2. 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。
3. 在“选择模型”页面，选择“模型广场 > 大语言模型 > 模型”，单击“确定”进入“创建部署”页面。
4. 在“创建部署”页面，参考表1 行业NLP大模型部署参数说明完成部署参数设置。

   表1 盘古行业NLP大模型部署参数说明

   参数分类	部署参数	参数说明
   部署配置	选择模型	可以修改如下信息： 来源：选择“模型广场”。 类型：选择“大语言模型”，并选择需要进行部署的模型和版本。
   	最大TOKEN长度	模型可最大请求的上下文TOKEN数。
   	部署方式	支持“云上部署”和“边缘部署”，其中，云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中（仅支持边缘部署的模型可配置边缘部署）。 部分模型资产支持边缘部署方式，若选择“边缘部署”： 资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见创建边缘资源池。 CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 实例数：设置部署模型时所需的实例数。
   	自定义名称	此名称是通过V2版本推理接口调用该推理服务时的唯一标识。创建后不支持修改。
   安全护栏	安全护栏开关	安全护栏保障模型调用安全。
   	版本选择	当前支持安全护栏基础版，内置了默认的内容审核规则。
   资源配置（选择云上部署时）	计费模式	限时免费。
   	实例数	设置部署模型时所需的实例数。
   订阅提醒	订阅提醒	该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。
   基本信息	服务名称	设置部署任务的名称。
   	描述（选填）	设置部署任务的描述。
   	标签（选填）	设置部署任务的标签，部署和更新模型时，以“SERVICE_TAGS_CONFIG”为key，标签信息的json体Base64字符串为value添加到模型服务的环境变量中。

5. 参数填写完成后，单击“立即部署”。