基于PyTorch NPU快速部署开源大模型

，您可在管理控制台“实例管理”页面实例列表中的“数据库引擎版本”列，查看具体的小版本号。数据库引擎和版本请以实际环境为准。 图1 数据库版本号 表1 数据库引擎和版本 数据库引擎 单机实例 主备实例 集群版实例 MySQL引擎 8.0 5.7 5.6（不支持购买，仅存量经营） 8

查看更多 →

AppStage服务计费模式概述 AppStage提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于设备需求量长期稳定的成熟业务。 按需计费：一种后付

查看更多 →

在线服务和批量服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 批量服务一次性推理批量数据，处理完服务结束。在线服务提供API接口，供用户调用推理。 父主题：

查看更多 →

设备接入服务 如何获取设备数据？ 全新升级后的设备接入服务获取设备数据，需要通过规则引擎，将数据转发至其他服务获取。例如转发至OBS存储，转发至DIS或DMS后再发送至应用 服务器 。 父主题： 方案咨询

查看更多 →

设备集成 设备集成支持哪些通信协议？ 为什么我的设备不能接入设备集成？ 为什么规则引擎的数据目的端未收到设备发送的消息？

查看更多 →

数据转发至FunctionGraph 函数工作流 数据转发至MySQL存储 数据转发至OBS长期存储 数据转发至 BCS 可信上链 数据转发至MongoDB存储 父主题： 规则引擎

查看更多 →

/...目录下，查找到summmary目录，有txt和csv两种保存格式。总体打分结果参考txt和csv文件的最后一行，举例如下： npu： mmlu：46.6 gpu： mmlu：47 NPU打分结果（mmlu取值46.6）和GPU打分结果（mmlu取值47）进行对比，误差在1%以内（计算公式：(47-46

查看更多 →

erver和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.3.2。 支持FP16和BF16数据类型推理。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend

查看更多 →

Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx.zip和算子包AscendCloud-OPP-xxx

查看更多 →

"software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。

查看更多 →

本方案支持的软件配套版本和依赖包获取地址如表2所示。 表2 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。

查看更多 →

以内（计算公式：(47-46.6) < 1）认为NPU精度和GPU对齐。NPU和GPU的评分结果和社区的评分不能差太远(小于10）认为分数有效。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）

查看更多 →

，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml和推理服务启动脚本run_vllm.sh，run_vllm.sh内容见Step3 创建服务启动脚本。

查看更多 →

本方案支持的软件配套版本和依赖包获取地址如表2所示。 表2 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.908-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

私有模板和公共模板的区别是什么 模板用于不同用户之间的项目共享，模板包括私有模板和公共模板，两者的区别如下所示。 私有模板：如果用户想要后续重复使用自己已创建的项目或想要将自己已创建的项目共享给同一租户下的其他用户，则需要将项目保存为私有模板。保存私有模板之前用户不需要创建私有模板的目录。

查看更多 →

如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高

查看更多 →

容灾和备份的区别是什么？ 容灾和备份具有以下区别： 容灾主要应对数据中心软硬件故障或重大自然灾害，生产站点和容灾站点之间通常会保持一定的安全距离，支持同城或异地；备份主要针对人为误操作、病毒感染、逻辑错误等因素，用于业务系统的数据恢复，数据备份一般在同一数据中心进行。 容灾系统不

查看更多 →

IAM项目和企业项目的区别 IAM项目 IAM项目是针对同一个区域内的资源进行分组和隔离，是物理隔离。 在IAM项目中的资源不能转移，只能删除后重建。 企业项目 企业项目针对企业在全部区域内的资源进行分组与管理，是逻辑隔离。 企业项目中可以包含多个区域的资源，且项目中的资源可以迁入迁出。

查看更多 →

IAM项目和企业项目的区别 IAM项目 IAM项目是针对同一个区域内的资源进行分组和隔离，是物理隔离。在IAM项目中的资源不能转移，只能删除后重建。 使用IAM项目，请参考：项目。 企业项目 企业项目是IAM项目的升级版，针对企业不同项目间资源的分组和管理，是逻辑隔离。企业项目中

查看更多 →

请确认连接信息是否正确或目标端地址是否可达，其中用户名和密码分别对应topic所属应用的appKey和appSecret，请检查后重试 请确认连接信息是否正确或目标端地址是否可达，其中用户名和密码分别对应topic所属应用的appKey和appSecret，请检查后重试。 500 ROMA

查看更多 →