基于PyTorch NPU快速部署开源大模型

如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考大模型训练相关文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下。 df -h 步骤四：制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-xxx

查看更多 →

Nacos引擎 服务启动时注册了端口为8080和9090的实例，在服务列表中9090端口实例丢失，导致请求grpc的时候报错

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

流程引擎 流程运行 导航树 参与者 评审记录 流程实例 流程监控 父主题： API

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

引擎管理 查询微服务引擎的规格列表 查询微服务引擎列表 创建微服务引擎 查询微服务引擎的详情 查询微服务引擎任务详情 查询微服务引擎配额详情 删除指定的微服务引擎 升级微服务引擎 更新微服务引擎配置 变更微服务引擎规格 重试ServiceComb引擎专享版失败任务 更新微服务引擎详情

查看更多 →

引擎管理 查询微服务引擎专享版支持规格 查询微服务引擎专享版列表 创建微服务引擎专享版 查询微服务引擎专享版详情 删除微服务引擎专享版 查询微服务引擎专享版任务详情 父主题： CS E API

查看更多 →

基础版算入计费消息数 设备调用LWM2M协议的Register消息 应用端消息 应用端调用物联网平台API发送的消息 算入计费消息数 规则引擎转发消息 使用规则引擎转发到其他 华为云产品 的消息 当低于设备上报消息数时免费赠送，超过部分算入计费消息数。 例如： 上报100万条，流转110万条，消息数按110万条计算。

查看更多 →

和协议差异，通过规则引擎将数据流转到OBS进行存储，还可以流转到 MRS 进行进一步的数据处理。 图6 分布式光伏业务架构图 分布式光伏场景参考架构如下： 端侧不同的厂家的逆变器设备通过MQTT协议上报电压，电流，功率，发电量等数据到云端。 云端IoTDA通过规则引擎将数据流转到OB

查看更多 →

创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题： 大模型推理场景

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

--distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 高阶参数说明： --enable-prefix-

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →