基于PyTorch NPU快速部署开源大模型

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

里是ppl的配置项。由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。 batch_size，推理时传入的prompts数量，可配合后面的参数适当减少 offline，是否启动离线模型，使用ppl时必须为True tp_size，使用推理的卡数 max_seq_len，推理的上下文长

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua

查看更多 →

推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含

查看更多 →

云端推理 本章仅以硬盘故障检测为例，旨在介绍操作方法，其他场景请根据实际情况操作。 单击菜单栏的“模型管理”，进入模型管理界面。 单击界面右上角的“开发环境”，弹出“环境信息”对话框。 单击“创建”，在弹出的“新建环境”对话框中，选择规格和实例，保持默认值即可。 单击“确定”，创建一个Webide环境。

查看更多 →

推理服务 云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。 其中，“推理服务”主界面默认展示所有推理服务，用户可查

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

安全可信 构建企业应用与大模型之间的安全隔离带，保障AI原生应用安全可信。 AI原生应用引擎功能介绍 AI原生应用引擎的主要功能如表1所示。 表1 AI原生应用引擎功能介绍 主要功能 功能简介 Agent管理 支持一站式创建专属AI原生应用，对于创建的Agent进行体验调测，并通

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

简介 在使用 可信跨链 服务时，您需要开发自己的链代码和应用。本文档主要介绍跨链业务链代码的开发，专供具备Go/Java开发经验的开发人员使用。 当前仅“华北-北京四”区域支持可信跨链服务。 购买 区块链 服务 您可通过华为云区块链服务Hyperledger Fabric增强版实例，具体请参考基于CCE集群部署。

查看更多 →

简介 卫星遥感数据服务将聚焦使能平台、联合行业生态伙伴，为客户提供卫星遥感数据在线购买、交付的，卫星遥感行业解决方案。 产品优势 卫星遥感数据服务具有覆盖能⼒强、性价⽐⾼、拍摄需求可定制、预拍服务灵活、交付时间短等特点，可以达到市域⽉度覆盖，省域季度覆盖，并拥有丰富的存档数据。 应用场景

查看更多 →

简介 Huawei LiteOS是华为面向IoT领域，构建的轻量级物联网操作系统，可广泛应用于智能家居、个人穿戴、车联网、城市公共服务、制造业等领域。 Huawei LiteOS发布于2015年5月的华为网络大会上。自开源社区发布以来，围绕 NB-IoT 物联网市场从技术、生态、

查看更多 →

STM32CubeMX 是意法半导体(ST) 推出的一款图形化开发工具，支持 STM32 全系列产品，能够让用户轻松配置芯片外设引脚和功能，并一键生成C语言的裸机工程。裸机工程可以为移植提供硬件配置文件和外设驱动文件，同时可以测试开发板的基本功能。以下介绍正点原子STM32F407的裸机工程创建过程。

查看更多 →

简介 API简介 相关背景知识 版本配套说明

查看更多 →

简介 ISDP+开发中心提供了应用、大屏、移动端、端侧设备四大业务场景应用的开发，满足行业客户、合作伙伴、开发者各种需求。 应用：使用开发者平台中的轻应用/行业应用提供的各种能力组件，采用零码、低码或多码模式开发应用，帮助开发者快速构建和发布应用。 大屏：使用开发者平台中的一款可

查看更多 →

简介 在互联网飞速发展的时代，视频直播服务需求量不断加大。华为云稳定的E CS 、VPC、ELB，可为您的视频直播服务提供稳定的资源，以保障便捷接入、低延迟、高并发、高清流畅的视频直播服务，减少视频卡顿、模糊带来的用户体验差的问题。 在华为云部署的视频直播业务典型架构图如图1所示，其

查看更多 →