基于PyTorch NPU快速部署开源大模型

主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理

查看更多 →

主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理

查看更多 →

系统中已经创建的设备名，当规则级别是产品级时，不用传设备名的参数。 topic string 否 设备对应的Topic的名称，只能使用pub权限的Topic，每个设备的Topic只能添加到一个规则下面，不能重复添加到不同的规则，当规则的级别是产品级时，不用传Topic的参数。 is_base64

查看更多 →

LLM大语言模型训练推理 在ModelArts Studio基于Qwen2-7B模型实现新闻自动分类 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911） 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911） 主流开源大模型基于Lite

查看更多 →

应用场景 该解决方案基于ModelArts Standard资源模式适配PyTorch NPU推理技术，将主流的开源大模型与硬件相结合，实现高速、高效的模型推理。帮助用户快速一键部署AI应用、在线推理，主要适用于 自然语言处理 LLM应用场景，为用户提供更加高效、便捷的服务。 方案架构

查看更多 →

开源模型怎么部署？ 开源模型的部署需要购买推理单元，具体操作如下： 在AI原生应用引擎的左侧导航栏选择“资产中心”，选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上，单击“部署”。 在“创建部署服务”页面，可以查看到需要几个推理单元，单击“购买推理单元资源”。 图1 创建部署服务

查看更多 →

LLM/AIGC/数字人基于Server适配NPU的训练推理指导 ModelArts提供了丰富的关于Server使用NPU进行训练推理的案例指导，涵盖了LLM大语言模型、AIGC文生图、数字人等主流应用场景。您可单击链接，即可跳转至相应文档查看详细指导。 LLM大语言模型 主流开源大模型基于Server适配PyTorch

查看更多 →

节点数是指在一个特定的环境中，例如测试或生产环境，需要部署的节点数量。 镜像名称 用于标识环境配置的镜像。 镜像版本 用于区分一个镜像库中不同的镜像文件所使用的标签。 资源规格 指根据不同的环境类型和用途，对 服务器 的 CPU 、内存、数据盘等硬件资源进行合理分配和管理的过程。例如，开发

查看更多 →

10B/100B，单机多卡推理。 - 能否提供实际模型、网络验证的代码和数据等信息 提供实际模型、网络验证的代码和数据。 提供与业务类型类似的开源模型，例如GPT3 10B/13B。 提供测试模型以及对应的Demo代码路径（开源或共享）。 可以提前的完成POC评估，例如框架、算子支持度，以及可能的一些性能指标。

查看更多 →

昇腾能力应用地图 ModelArts支持如下开源模型基于Ascend卡进行训练和推理。 主流三方大模型 ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型进行推理训练。 表1 LLM模型训练能力 支持模型 支持模型参数量 应用场景

查看更多 →

开箱即用，资源弹性，按需使用 预置开源主流三方大模型的推理服务，客户可直接调预置推理服务API下发文本对话等任务，无需购买资源，按需付费。 推理服务支持自动扩缩。 全托管Ray支持Pod级自动扩缩，应对客户请求波峰压力，实现资源动态分配。 开源生态 基于昇腾生态提供开源Ray的能力，并在开源Ray的能力上提供Redis高可靠。

查看更多 →

迁移评估 推理迁移包括模型迁移、业务迁移、精度性能调优等环节，是否能满足最终的迁移效果需要进行系统的评估。如果您仅需要了解迁移过程，可以先按照本文档的指导进行操作并熟悉迁移流程。如果您有实际的项目需要迁移，建议填写下方的推理业务迁移评估表，并将该调研表提供给华为云技术支持人员进行迁移评估，以确保迁移项目能顺利实施。

查看更多 →

基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理

查看更多 →

明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b

查看更多 →

mqs_topic string 是 转发目的端的MQS的Topic名称。 connect_address string 是 MQS Broker的连接地址。 destination string 是 消息转发的目的端的类型，目前只支持ROMA_MQS，KAFKA。 mqs_sasl_ssl

查看更多 →

昇腾云服务6.3.907版本说明 本文档主要介绍昇腾云服务6.3.907版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2

查看更多 →

昇腾云服务6.3.906版本说明 本文档主要介绍昇腾云服务6.3.906版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud

查看更多 →

业务场景定义 √ x - 基于请求Method的匹配规则 √ x - 基于请求Path的匹配规则 √ x - 基于请求Headers的匹配规则 √ x - 治理策略-流量控制 服务端的令牌桶限流 √ √ - 治理策略-重试 客户端通过重试来保证用户业务的可用性、容错性、一致性 √

查看更多 →

0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Diffusers Koyha_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908）

查看更多 →