若权重文件大于60G，创建AI应用会报错，提示模型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台中，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2

查看更多 →

若权重文件大于60G，创建AI应用会报错，提示模型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台中，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2

查看更多 →

推理简介 AI模型开发完成后，在ModelArts服务中可以将AI模型创建为AI应用，将AI应用快速部署为推理服务，您可以通过调用API的方式把AI推理能力集成到自己的IT平台。 图1 推理简介 开发模型：模型开发可以在ModelArts服务中进行，也可以在您的本地开发环境进行，

查看更多 →

包含数据管理、模型管理部署、在线推理、批量推理、工作流引擎平台、AI算法模型资产管理等功能模块，并配置管理标书中给定规模的AI推理资源。 整体系统：系统采用B/S架构，无需安装插件，无需下载客户端 AI应用模型管理：提供管理模型版本变化的能力，记录各版本模型发布时间、模型大小、精度、

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

此案例以“商超商品识别”模型为例，完成从AI Gallery订阅模型，到ModelArts一键部署为在线服务的 免费体验 过程。 推理部署（高阶教程） 表5 推理部署列表 样例 镜像 对应功能 场景 说明 从0-1制作 自定义镜像 并创建AI应用 - 镜像制作 模型推理部署 - 此案例介绍在M

查看更多 →

易上手 提供多种预置模型，开源模型想用就用。 模型超参自动优化，简单快速。 零代码开发，简单操作训练出自己的模型。 支持模型一键部署到云、边、端。 高性能 优化深度模型推理中资源的利用率，加速云端在线推理。 可生成在Ascend芯片上运行的模型，实现高效端边推理。 灵活 支持多种主

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →

开发者通过ModelArts训练模型，通过HiLens进行模型转换和AI应用开发后，将其部署到昇腾310设备上，包括Atlas 200 HiLens Kit和Atlas 500。 方案描述：开发者可基于华为ModelArts AI开发平台或线下 服务器 训练算法模型，再将模型导入HiLens平台进行技能开

查看更多 →

： 图2 管理界面 单击“部署”节点， 图3 部署 单击安装按钮 选择服务器的war包，选择下一步 图4 下一步1 选择下一步 图5 下一步2 单击“下一步”按钮。 图6 下一步3 单击“完成”按钮。 图7 下一步4 单击“保存”按钮 图8 保存 部署完成 图9 完成 参数设置 在startWebLogic

查看更多 →

在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试，即在导入模型或模型调试后，在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明

查看更多 →

行环境与工具链。 模型适配：针对昇腾迁移模型必要的转换和改造。 模型准备，导出和保存确定格式的模型。 转换参数准备，准备模型业务相关的关键参数。 模型转换，包含模型转换、优化和量化等。 应用集成。 针对转换的模型运行时应用层适配。 数据预处理。 模型编排。 模型裁剪。 精度校验。

查看更多 →

重现。 极“快”致“简”模型训练 自研的MoXing深度学习框架，更高效更易用，有效提升训练速度。 多场景部署 支持模型部署到多种生产环境，可部署为云端在线推理和批量推理，也可以直接部署到端和边。 自动学习 支持多种自动学习能力，通过“自动学习”训练模型，用户不需编写代码即可完成自动建模、一键部署。

查看更多 →

AI原生应用引擎会根据用户调用预置模型服务时实际输入和输出tokens总量以及创建推理服务（模型部署）所需购买的推理单元收费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 大模型微调服务API在线调用-SFT局部调优 调用大模型Lora微调服务AP

查看更多 →

创建及管理模型服务 模型需要部署成功后才可正式提供模型服务，平台支持将微调后的模型、系统预置的模型以及通过自建模型服务接入的模型发布为模型服务，生成的模型服务可用于创建应用或调测模型。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运

查看更多 →

创建及管理模型 用户通过微调平台预置的模型生成微调的模型后，可进行部署、修改、删除的管理操作；对于我收藏的平台预置模型，也可进行体验、设置鉴权等。 创建模型 在AI原生应用引擎工作台的左侧导航栏选择“模型中心 > 模型管理”。 在“模型管理”页面，单击“创建模型”。 在“创建模型”页面，参照表1配置模型相关参数。

查看更多 →

华为HiLens为端云协同AI应用开发与运行管理平台，对接高性能的开发与推理框架ModelBox，支持部署华为云ModelArts平台训练的模型，提供云上管理平台、丰富的技能市场和 开发者工具 与插件，帮助用户高效开发AI应用，并将其部署到多种端侧计算设备运行和在线管理。 基础版HiLens

查看更多 →

tar.gz ansible 的安装（此步骤已集成到基础环境部署中，可跳过） 图1 ansible 的安装 修改配置文件vars.yml，修改 node 的名称改为对应的节点名称master 图2 修改配置文件vars.yml 环境初始化，进入部署包中的 ansible 文件夹，执行如下命令

查看更多 →

化和改进，将大模型的输入限定在一个特定的范围中，进而更好地控制模型的输出。 3 创建模型服务 模型需要部署成功后才可正式提供模型推理服务，平台支持将微调后的模型、系统预置的模型以及通过自建模型服务接入的模型发布为模型服务。调测模型、应用调用均需先部署模型（即部署模型服务）。 4 创建知识库

查看更多 →

技能（Skill）是运行在端侧摄像头的人工智能应用，一般由模型和逻辑代码组成。其中，逻辑代码是技能的框架，负责控制技能的运行，包括数据读入、模型导入、模型推理、结果输出等；模型是人工智能算法经由大数据训练而成，负责技能运行中关键场景的推理。 按应用场景划分，技能可应用于：智能园区、智慧家庭、智能车载、智能商超和其他等场景。

查看更多 →

ok。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch

查看更多 →