导航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 在“在线服务”列表中，单击左上角“部署”，进入“部署”页面。 在“部署”页面，填写在线服务相关参数。 填写基本信息，详细参数说明请参见表1。 表1 基本信息参数说明 参数名称 说明 “名称” 在线服务的名称，请按照界面提示规则填写。

查看更多 →

部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session

查看更多 →

建模步骤 创建部署模型。 创建新的部署模型图或者在已有的部署模型图中进行画图设计，如果部署模型场景较多，可根据实际情况将内容进行拆分，按实际部署场景创建多个部署模型图。 建立交付元素与部署元素的部署关系。 从工具箱拖入部署元素创建到部署模型图中，描述部署场景，再将交付模型中定义的打包交付

查看更多 →

部署模型的基础构造型与自定义构造型元素才认定为部署元素）。 在部署模型图上创建出来的部署元素； 引用到部署模型中的部署元素（包含关联空间中的引用的部署元素）； 如何检查 查询部署模型图内元素类型为架构方案配置构造型的所有元素，查询基于模型图构出的部署模型架构树。 正确示例 每个部署元素都有连线关系和上下级关系（包含关系）。

查看更多 →

部署为在线服务 模型训练完成后，即模型处于“已完成”状态时，可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理，但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“部署”。

查看更多 →

模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从 对象存储服务 （OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定义

查看更多 →

使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务，可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”，则支持在线推理。如果模型的“任务类型”是除“文本问答”和“文本

查看更多 →

Standard模型部署 ModelArts Standard提供模型、服务管理能力，支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如，智慧交通项目中，在获得训练好的模型后，需要部署到云、边、端多种场景。如果在端侧部署，需要一次性部署到不同规格

查看更多 →

在线开发产品模型 概述 在线开发产品模型前需要创建产品。创建产品需要输入产品名称、协议类型、数据格式、所属行业和设备类型等信息，产品模型会使用这些信息作为设备能力字段取值。物联网平台提供了标准模型和厂商模型，这些模型涉及多个领域，模型中提供了已经编辑好的产品模型文件，您可以根据自

查看更多 →

自动部署模板在线测试 在线测试模板操作步骤 点击“执行测试”按钮； 执行测试时，根据商家的模板，开通云资源时会产生一定费用（部署时可查看费用明细），测试完成后，请及时删除已开通的资源，避免产生持续扣费。 进入 RFS 控制台，创建资源栈选择“已有模板”，模板来源选择“URL”； 进入

查看更多 →

当用户使用自定义引擎时，默认开启动态加载，模型包与镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的AI应用，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间

查看更多 →

部署盘古大模型 部署为在线服务 部署为边缘服务

查看更多 →

将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后，可以对模型服务进行模型调测，并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。

查看更多 →

自定义镜像 模型部署为在线服务时出现异常 问题现象 在部署在线服务时，部署失败。进入在线服务详情页面，“事件”页签，提示“failed to pull image, retry later”，同时在“日志”页签中，无任何信息。 图1 部署在线服务异常 解决方法 出现此问题现象，通常

查看更多 →

部署边缘模型 进入盘古大模型套件平台，进入“模型开发 > 模型部署 > 边缘部署”，单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产，选择部署方式为边缘部署，输入推理实例数（根据边缘资源池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 >

查看更多 →

Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 单击“部署模型服务”进入部署页面，完成创建配置。 表1 部署模型服务 参数 说明 服务设置 服务名称 自定义部署模型服务的名称。 支持1~64位，以中文、

查看更多 →

部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。

查看更多 →

调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。

查看更多 →

在线服务部署是否支持包周期？ 在线服务不支持包周期的计费模式。 父主题： 功能咨询

查看更多 →

部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is

查看更多 →

在线开发的插件部署失败如何处理？ 在插件开发界面，下载编解码插件： 如果插件下载失败，则插件部署失败存在如下可能原因： 同类消息的（例如：两种数据上报的消息）messageId的值设置重复或在消息中的位置不一致。 messageId的数据类型设置为非int型。 存在字段的默认值设置为非16进制数。

查看更多 →