基于PyTorch NPU快速部署开源大模型

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

推理业务迁移评估表 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。

查看更多 →

处理”菜单下面的数据处理算子。 模型包 将模型训练生成的模型进行打包。可以基于模型包生成SHA256校验码、创建模型验证服务、重训练服务、发布在线推理服务。也可以上架至应用市场，支持用户订购后，下载到推理框架中使用。 父主题： 产品介绍

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

引擎管理 查询微服务引擎的规格列表 查询微服务引擎列表 创建微服务引擎 查询微服务引擎的详情 查询微服务引擎任务详情 查询微服务引擎配额详情 删除指定的微服务引擎 升级微服务引擎 更新微服务引擎配置 变更微服务引擎规格 重试ServiceComb引擎专享版失败任务 更新微服务引擎详情

查看更多 →

引擎管理 查询微服务引擎专享版支持规格 查询微服务引擎专享版列表 创建微服务引擎专享版 查询微服务引擎专享版详情 删除微服务引擎专享版 查询微服务引擎专享版任务详情 父主题： CS E API

查看更多 →

生命周期管理活动提供自助式服务能力。 目前AppStage的AI原生应用引擎提供API供您调用。在调用AppStage的AI原生应用引擎API之前，请确保已经充分了解AppStage的相关概念，详细信息请参见AppStage服务的产品介绍。 终端节点 终端节点即调用API的请求地

查看更多 →

模型。 制作 自定义镜像 用于推理 如果您使用了ModelArts不支持的AI引擎开发模型，可以通过制作自定义镜像，导入ModelArts创建为模型，并支持进行统一管理和部署为服务。 用户制作的自定义镜像，使用的场景不同，镜像规则也不同，具体如下： 通用规则：SWR镜像类型为“私有”

查看更多 →

迁移评估，以确保迁移项目能顺利实施。 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 表1 通用的推理业务及LLM推理业务迁移评估表 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。

查看更多 →

GPT-2基于Server适配PyTorch GPU的训练推理指导 场景描述 本文将介绍在GP Ant8 裸金属服务器 中，使用DeepSpeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-DeepSpeed

查看更多 →

LLaMA-VID基于DevServer适配PyTorch NPU推理指导（6.3.910) 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展LLaMA-VID的推理过程。 约束限制 本方案目前仅适用于企业客户。

查看更多 →

数。 步骤六：开始推理 执行如下命令开始推理，推理完成后会生产*_result.jpg，即检测结果。 python infer.py --model yolov8n.mindir infer.py是NPU上使用MindSpore Lite推理的样例，与GPU推理代码区别主要参考i

查看更多 →

主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理

查看更多 →

威胁检测与处置 入侵检测：基于行为检测引擎，提供终端行为检测能力，检测暴力破解、异常登录、权限提升等恶意行为。 事件聚合：将离散的勒索类告警事件，基于进程调用链聚合成相应的勒索事件，且支持对其一键处置。 病毒查杀与处置 病毒查杀：基于华为第三代反病毒引擎，每日更新病毒特征库，实时

查看更多 →

附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服

查看更多 →

附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服

查看更多 →

主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法

查看更多 →

用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题： 大模型推理场景

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →