# 部署盘古行业NLP大模型 #### 云上部署 平台支持部署训练后的模型或预置模型，操作步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图1我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206884.png) 2. 在左侧导航栏中选择"模型开发 \> 模型部署"，单击界面右上角"创建部署"。 3. 在"选择模型"页面，选择"模型广场 \> 大语言模型 \> 模型"，单击"确定"进入"创建部署"页面。 4. 在"创建部署"页面，参考[表1 行业NLP大模型部署参数说明]完成部署参数设置。 表1盘古行业NLP大模型部署参数说明 | 参数分类 | 部署参数 | 参数说明 | |:---|:---|:---| | 部署配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"大语言模型"，并选择需要进行部署的模型和版本。 | | 部署配置 | 最大TOKEN长度 | 模型可最大请求的上下文TOKEN数。 | | 部署配置 | 部署方式 | 支持"云上部署"和"边缘部署"，其中，云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中（仅支持边缘部署的模型可配置边缘部署）。 - 部分模型资产支持边缘部署方式，若选择"边缘部署"： - 资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见[创建边缘资源池](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0313.html)。 - CPU：部署需要使用的最小CPU值（物理核）。 - 内存：部署需要使用的最小内存值。 - Ascend：部署使用的NPU数量。 - 实例数：设置部署模型时所需的实例数。 | | 部署配置 | 自定义名称 | 此名称是通过V2版本推理接口调用该推理服务时的唯一标识。创建后不支持修改。 | | 安全护栏 | 安全护栏开关 | 安全护栏保障模型调用安全。 | | 安全护栏 | 版本选择 | 当前支持安全护栏基础版，内置了默认的内容审核规则。 | | 资源配置（选择云上部署时） | 计费模式 | 包周期计费。 | | 资源配置（选择云上部署时） | 实例数 | 设置部署模型时所需的实例数。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态运行、失败或者告警时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建部署时选择对应主题以及需要通知的状态。训练状态范围：运行、失败、告警。 | | 基本信息 | 服务名称 | 设置部署任务的名称。 | | 基本信息 | 描述（选填） | 设置部署任务的描述。 | | 基本信息 | 标签（选填） | 设置部署任务的标签，部署和更新模型时，以"SERVICE_TAGS_CONFIG"为key，标签信息的json体Base64字符串为value添加到模型服务的环境变量中。 | 5. 参数填写完成后，单击"立即部署"。