基于PyTorch NPU快速部署开源大模型

odel入参同系列，但是权重参数远小于--model指定的模型。若未使用投机推理功能，则无需配置。 --num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）

查看更多 →

antialias=antialias) 各模型支持的卡数请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明章节。 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

"use_beam_search":true "best_of":2 附录：基于vLLM（v0.3.2）不同模型推理支持的max-model-len长度说明 基于vLLM（v0.3.2）部署推理服务时，不同模型推理支持的max-model-len长度说明如下面的表格所示。如需达到以下值

查看更多 →

推理服务接口 发起调用请求 父主题： API

查看更多 →

删除推理服务 当您不想使用推理服务的时候，您可以删除自己创建的推理服务。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。 操作步骤 登录Fabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“开发与生产 > 推理服务”。

查看更多 →

基于数据建模引擎创建“工业产品问卷调查”应用 本示例通过使用工业数字模型驱动引擎-数据建模引擎（xDM Foundation，简称xDM-F）的扩展属性功能，带您快速创建一个简易版的工业产品问卷调查应用。 通过创建工业产品问卷调查应用，您可以初步了解xDM-F的基本概念并体验扩展

查看更多 →

I、UI、权限、数据图谱； 工业模型管理平台提供各类元数据引擎，未来可扩展支持流程、规则、数据质量、报表等元数据引擎； 基于元数据引擎构建工业数据管理应用设计能力； 根据设计服务及其所定义的元数据自动生成工业数据原理引擎：构建模型驱动、功能可配置、服务可编排、一键可发布的统一能力。真正做到设计即开发。

查看更多 →

Bert基于DevServer适配MindSpore Lite 推理指导(6.3.910) 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾Atlas 300I Duo推理卡计算资源，部署Bert-base-chinese模型推理的详细过程。完成本方案的部

查看更多 →

Paraformer基于DevServer适配PyTorch NPU推理指导（6.3.911) 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Paraformer的推理过程。 约束限制 本方案目前仅适用于企业客户。

查看更多 →

方案概述 应用场景 该解决方案基于ModelArts Standard资源模式适配PyTorch NPU推理技术，将主流的开源大模型与硬件相结合，实现高速、高效的模型推理。帮助用户快速一键部署AI应用、在线推理，主要适用于 自然语言处理 LLM应用场景，为用户提供更加高效、便捷的服务。

查看更多 →

Nacos引擎 服务启动时注册了端口为8080和9090的实例，在服务列表中9090端口实例丢失，导致请求grpc的时候报错

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

流程引擎 评审记录 流程运行 参与者 流程监控 导航树 父主题： API

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →