致远高校一体化协同运营平台解决方案

压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间。

查看更多 →

模型服务页面。 在部署模型服务页面，完成创建配置。 图5 资源设置 表2 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 service-1122 描述 部署模型服务的简介。 - 模型设置 部署模型 当从“我的模型”进入部署模型服务页面时，此处默认呈现选择的模型。

查看更多 →

控制台管理界面 单击“部署”节点， 图3 部署 单击安装按钮 选择 服务器 的war包，选择下一步 war包/WEB-INF/需要放一个web.xml文件“Attachment1.xml” 图4 安装1 选择下一步 图5 安装2 单击“下一步”按钮。 图6 安装3 单击“完成”按钮。

查看更多 →

组织关联平台应用部署 将前端上传至服务器/usr/local/web下前端包 yunpi-base-mgr 修改配置信息将请求后端网关地址进行修改 Vim config.js 将后端包上传至服务器/usr/local/web下 图1 上传 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。

查看更多 →

后台服务的启动与配置。 配置jar服务： Jar包为：dce-admin.jar dce-apimrg.jar dce-front.jar dce-center.jar dce-monitor.jar dce-res.jar 修改：jar服务配置信息： vim dce-res.jar

查看更多 →

持能力，确保模型在不同硬件平台上的高效运行。 高效模型迁移适配：通过自动化迁移工具和专业的技术支持，实现模型从GPU平台快速、无缝地迁移到昇腾NPU平台，确保模型在新平台上的性能和精度不受影响； 多维度性能调优：提供从算子、内存、通信、调度等多维度的调优手段，提升模型的运行效率和

查看更多 →

在预置服务列表，选择所需的服务，单击操作列的“更多 > 部署为我的服务”，跳转到“创建模型”页面。 在创建模型页面，完成参数配置，创建我的模型。操作指导请参见在MaaS中创建模型。 当模型创建成功后，需要部署成模型服务，操作指导请参见使用MaaS部署模型服务。 模型服务部署成功后，即可继续使用。

查看更多 →

什么是盘古大模型 盘古大模型服务致力于深耕行业，打造多领域行业大模型和能力集。ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发平台及大模型应用开发平台，盘古NLP、科学计算模型能力通过ModelArts S

查看更多 →

查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型 使用该功能调用部署后的预

查看更多 →

常见开源大模型的预训练、SFT微调、LoRA微调训练过程。 面向熟悉代码编写和调测的AI工程师 ModelArts Standard推理部署 使用Standard一键完成商超商品识别模型部署 本案例以“商超商品识别”模型为例，介绍从AI Gallery订阅模型，一键部署到ModelArts

查看更多 →

在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试，即在导入模型或模型调试后，在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明

查看更多 →

行环境与工具链。 模型适配：针对昇腾迁移模型必要的转换和改造。 模型准备，导出和保存确定格式的模型。 转换参数准备，准备模型业务相关的关键参数。 模型转换，包含模型转换、优化和量化等。 应用集成。 针对转换的模型运行时应用层适配。 数据预处理。 模型编排。 模型裁剪。 精度校验。

查看更多 →

健康检查：保持默认。如果镜像中配置了健康检查则按实际情况配置健康检查。 图1 模型配置参数 单击“立即创建”，进入模型列表页，等模型状态变为“正常”，表示模型创建成功。 使用模型部署在线服务 登录ModelArts管理控制台，进入“模型部署 >在线服务”页面，单击“部署”，跳转至在线服务部署页面。 完成服务的配置，部分配置如下：

查看更多 →

型”，参考表1完成部署参数设置，启动模型部署。 表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 云上部署：算法部署至平台提供的资源池中。 最大TOKEN长度

查看更多 →

池的物理池。 “选择模型及配置” “模型来源” 根据您的实际情况选择“自定义模型”或者“订阅模型”。 “选择模型及版本” 选择状态“正常”的模型及版本。 “分流” 设置当前实例节点的流量占比，服务调用请求根据该比例分配到当前版本上。 如您仅部署一个版本的模型，请设置为100%。如

查看更多 →

技能（Skill）是运行在端侧摄像头的人工智能应用，一般由模型和逻辑代码组成。其中，逻辑代码是技能的框架，负责控制技能的运行，包括数据读入、模型导入、模型推理、结果输出等；模型是人工智能算法经由大数据训练而成，负责技能运行中关键场景的推理。 按应用场景划分，技能可应用于：智能园区、智慧家庭、智能车载、智能商超和其他等场景。

查看更多 →

高效的推理性能和跨平台迁移工具，模型开发工具链能够保障模型在不同环境中的高效应用。 支持区域： 西南-贵阳一 开发盘古NLP大模型 开发盘古科学计算大模型 压缩盘古大模型 部署盘古大模型 调用盘古大模型 迁移盘古大模型 应用开发工具 链 应用开发工具链是盘古大模型平台的关键模块，支持提示词工程和智能Agent应用创建。

查看更多 →

部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题： 开发盘古科学计算大模型

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

训练服务模块上承接数据服务和标注服务两大模块，为自动驾驶研发提供方便易用的模型训练和评测平台，让用户无需过多关注底层资源，聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法，将成熟的算法创建训练任务生成训练模型。此外，训练服务提供多种模型评测指标，从多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下：

查看更多 →

全帽检测模型，快速开发安全帽检测技能，实现园区自动检测工人未戴安全帽的行为。 适用场景 智慧园区。 优势 模型精度高，检测速度快，更新模型简便。 端云协同推理：端侧设备可协同云侧在线更新模型，快速提升端侧精度。 对接华为HiLens技能开发平台，一键式创建技能，快速部署技能至端侧设备。

查看更多 →