致远高校一体化协同运营平台解决方案

LLM大语言模型训练推理 在ModelArts Studio基于Qwen2-7B模型实现新闻自动分类 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911） 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911） 主流开源大模型基于Lite

查看更多 →

将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后，可以对模型服务进行模型调测，并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。

查看更多 →

盘古NLP大模型，此版本是2024年10月发布的十亿级模型版本，支持8K训练，4K/32K推理。基于Snt9B3卡可单卡推理部署，此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理和能力调测特性。单卡部署4K模型版本支持64并发，单卡部署32K模型版本支持32并发。

查看更多 →

在MaaS体验模型服务 在ModelArts Studio大模型即服务平台，运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts

查看更多 →

开源模型怎么部署？ 开源模型的部署需要购买推理单元，具体操作如下： 在AI原生应用引擎的左侧导航栏选择“资产中心”，选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上，单击“部署”。 在“创建部署服务”页面，可以查看到需要几个推理单元，单击“购买推理单元资源”。 图1 创建部署服务

查看更多 →

包含数据管理、模型管理部署、在线推理、批量推理、工作流引擎平台、AI算法模型资产管理等功能模块，并配置管理标书中给定规模的AI推理资源。 整体系统：系统采用B/S架构，无需安装插件，无需下载客户端 AI应用模型管理：提供管理模型版本变化的能力，记录各版本模型发布时间、模型大小、精度、

查看更多 →

DevServer的推理部署过程，推理使用PyTorch框架和昇腾NPU计算资源。 启动推理服务后，可用于搭建大模型问答助手。 主流开源大模型基于Standard适配PyTorch NPU推理指导 推理部署、推理性能测试、推理精度测试、推理模型量化 介绍主流的开源大模型Llama系列、

查看更多 →

部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型

查看更多 →

tar.gz ansible 的安装（此步骤已集成到基础环境部署中，可跳过） 图1 ansible 的安装 修改配置文件vars.yml，修改 node 的名称改为对应的节点名称master 图2 修改配置文件vars.yml 环境初始化，进入部署包中的 ansible 文件夹，执行如下命令

查看更多 →

内容审核 模型训练推理 Bert基于DevServer适配MindSpore Lite 推理指导(6.3.910) Yolov8基于DevServer适配MindSpore Lite推理指导（6.3.909）

查看更多 →

开发者通过ModelArts训练模型，通过HiLens进行模型转换和AI应用开发后，将其部署到昇腾310设备上，包括Atlas 200 HiLens Kit和Atlas 500。 方案描述：开发者可基于华为ModelArts AI开发平台或线下 服务器 训练算法模型，再将模型导入HiLens平台进行技能开

查看更多 →

支持在线推理、能力调测特性，基于Snt9B3部署，可支持1个推理单元部署推理。 Pangu-AI4S-Weather_Precip-20241030 此版本在Studio上首次发布，用于降水预测，支持在线推理、能力调测特性，基于Snt9B3部署，支持1个推理单元部署推理。 Pan

查看更多 →

/usr/usr/local/jar下修改jar服务配置文件 图2 修改配置文件 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。 图3 修改及启动 所有服务的启动 nohup java -jar yunpi-base-gateway.jar >> yunpi-base-gateway

查看更多 →

持能力，确保模型在不同硬件平台上的高效运行。 高效模型迁移适配：通过自动化迁移工具和专业的技术支持，实现模型从GPU平台快速、无缝地迁移到昇腾NPU平台，确保模型在新平台上的性能和精度不受影响； 多维度性能调优：提供从算子、内存、通信、调度等多维度的调优手段，提升模型的运行效率和

查看更多 →

在预置服务列表，选择所需的服务，单击操作列的“更多 > 部署为我的服务”，跳转到“创建模型”页面。 在创建模型页面，完成参数配置，创建我的模型。操作指导请参见在MaaS中创建模型。 当模型创建成功后，需要部署成模型服务，操作指导请参见使用MaaS部署模型服务。 模型服务部署成功后，即可继续使用。

查看更多 →

控制台管理界面 单击“部署”节点， 图3 部署 单击安装按钮 选择服务器的war包，选择下一步 war包/WEB-INF/需要放一个web.xml文件“Attachment1.xml” 图4 安装1 选择下一步 图5 安装2 单击“下一步”按钮。 图6 安装3 单击“完成”按钮。

查看更多 →

组织关联平台应用部署 将前端上传至服务器/usr/local/web下前端包 yunpi-base-mgr 修改配置信息将请求后端网关地址进行修改 Vim config.js 将后端包上传至服务器/usr/local/web下 图1 上传 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。

查看更多 →

此版本是2024年10月发布的十亿级模型版本，支持128K序列长度在线推理。基于Snt9B3卡支持8卡推理部署，此模型版本仅支持预置模型版本，不支持SFT后模型版本做128K序列长度推理部署。 Pangu-NLP-N2-Base-20241030 - 此版本是2024年10月发布的百亿级模型版本，支持模

查看更多 →

查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型 使用该功能调用部署后的预

查看更多 →

Studio大模型即服务平台开始模型调优。模型调优，即使用训练数据集和验证数据集训练模型。 使用MaaS调优模型 模型压缩 在ModelArts Studio大模型即服务平台支持对自定义模型进行模型压缩，以此提升推理服务性能、降低部署成本。 使用MaaS压缩模型 4 模型部署 ModelArts

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →