# 创建NLP大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图1我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726603.png) 2. 在左侧导航栏中选择"模型开发 \> 模型部署"，单击界面右上角"创建部署"。 3. 在"创建部署"页面，参考[表1]完成部署参数设置。 表1NLP大模型部署参数说明 | 参数分类 | 部署参数 | 参数说明 | |:---|:---|:---| | 部署配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"大语言模型"，并选择需要进行部署的模型和版本。 | | 部署配置 | 部署方式 | 支持"云上部署"和"边缘部署"，其中，云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中（仅支持边缘部署的模型可配置边缘部署）。 - 若选择"云上部署"，部分模型资产支持两种云上部署方式。 - 混合部署：基础部署方式，所有场景适用，部署资源消耗较少。 - 分离部署：性能优化部署方式，适用输入输出长度相对固定的场景，推理吞吐量提升但资源消耗增大。分离部署包含1:1、2:2两种形式的PD配比，建议用户根据场景需求，尝试不同配比，以达到全量时延、增量时延都满足要求的情况下，吞吐最大。 - 部分模型资产支持边缘部署方式，若选择"边缘部署"： - 资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见[创建边缘资源池](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0313.html)。 - CPU：部署需要使用的最小CPU值（物理核）。 - 内存：部署需要使用的最小内存值。 - Ascend：部署使用的NPU数量。 - 实例数：设置部署模型时所需的实例数。 | | 部署配置 | 最大TOKEN长度 | 模型处理序列长度最大值。 | | 部署配置 | 环境变量（可选） | 环境变量可影响模型推理性能、效果等，在非必要时不建议修改，使用默认值即可。参见[表2]了解环境变量用法。 | | 部署配置 | 自定义名称 | 此名称是通过V2版本推理接口调用该推理服务时的唯一标识。创建后不支持修改。 | | 安全护栏 | 安全护栏开关 | 安全护栏保障模型调用安全。 | | 安全护栏 | 版本选择 | 当前支持安全护栏基础版，内置了默认的内容审核规则。 | | 资源配置（选择云上部署时） | 计费模式 | 根据当前计费方式选择。 | | 资源配置（选择云上部署时） | 实例数 | 设置部署模型时所需的实例数。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态运行、失败或者告警时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建部署时选择对应主题以及需要通知的状态。训练状态范围：运行、失败、告警。 | | 基本信息 | 服务名称 | 设置部署任务的名称。 | | 基本信息 | 描述（选填） | 设置部署任务的描述。 | | 基本信息 | 标签（选填） | 设置部署任务的标签，部署和更新模型时，以"SERVICE_TAGS_CONFIG"为key，标签信息的json体Base64字符串为value添加到模型服务的环境变量中。 | 表2环境变量说明 | 环境变量 | 描述 | 限制说明 | |:---|:---|:---| | NUM_SCHEDULER_STEP | 使用多步调度可以提高模型推理性能。当前默认为8，可选值1，2，4，6，8。 | - | | ENABLE_PREFIX_CACHING | 使用前缀缓存可复用近期相同的请求的缓存，降低首token推理耗时。当前FP16模型默认开启。 | 此参数仅支持FP16模型。 | 4. 参数填写完成后，单击"立即部署"。 ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/note_3.0-zh-cn.png) 如果部署失败，请参考[NLP大模型推理常见错误及解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0534.html)做初步定位。