在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“计算节点个数”。 如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。您可以根据实际需求进行选择。

查看更多 →

因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。数据从平台发送到服务，服务预测推理，再将结果返回的时间不超过限制，可以成功返回预测结果。当服务预测的时间过长或者频繁预测导致服务接收不过来请求，即会出现该报错。 可以通过以下方式解决问题： 服务预测请求内容过大时，会因数据处理慢

查看更多 →

在线服务预测报错MR.0105 问题现象 部署为在线服务，服务处于运行中状态，预测时报错：{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面

查看更多 →

在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景，以下主要介绍两种场景： "error_msg":

查看更多 →

服务预测 服务预测失败 服务预测失败，报错APIG.XXXX 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4503 在线服务预测报错MR.0105 Method Not Allowed 请求超时返回Timeout

查看更多 →

在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts

查看更多 →

在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错 日志分析 ，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码

查看更多 →

实时预测 实时预测通过在计算节点部署在线预测服务的方式，允许用户利用POST请求，在毫秒级时延内获取单个样本的预测结果。 创建实时预测作业 执行实时预测作业 删除实时预测作业 父主题： 联邦预测作业

查看更多 →

服务预测失败 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，预测失败。 原因分析及处理方法 服务预测需要经过客户端、外部网络、APIG、Dispatch、模型服务多个环节。每个环节出现都会导致服务预测失败。 图1 推理服务流程图 出现APIG.XX

查看更多 →

在线服务 新建在线服务 查询在线服务详情 修改在线服务参数 删除在线服务 父主题： API

查看更多 →

在线服务 点击“客服”，拨打电话进行相关问题咨询。 父主题： 客服与帮助

查看更多 →

在线服务 部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 在线服务预测时，如何提高预测速度？ 调整模型后，部署新版本AI应用能否保持原API接口不变？ 在线服务的API接口组成规则是什么？ 在线服务运行中但是预测失败时，如何排查报错是不是模型原因导致的 在

查看更多 →

在线服务 微调后的迭代模型创建在线服务，进行推理，查看预测效果。每类迭代模型，只能同时运行一个在线服务，如果已经存在“运行中”的在线服务，将无法继续创建该类在线服务。 创建在线服务 在左侧菜单栏中选择“智驾模型服务 > 智驾模型管理”。 选择“在线服务”页签，单击“创建在线服务”。

查看更多 →

在线服务 创建在线服务 获取推荐结果 查看在线服务详情 管理在线服务 父主题： 用户指南（旧版）

查看更多 →

在线服务 在线服务用来做线上推荐时的应用，每个服务之间是独立的。即根据不同的离线计算得到的候选集以及相关参数，提供不同的推荐服务。 表1 在线服务参数说明 参数名称 子参数 说明 召回池 “推荐候选集” “添加推荐候选集” 选择表名：添加离线、近线任务或者在线自定义检索召回策略生

查看更多 →

在线服务API 获取规格列表 部署服务 预测接口 预测接口（排序） 预测接口（文本标签） 更新服务 查询服务列表 查询服务详情 订阅服务 停止/启动服务 删除服务 查询镜像列表 父主题： API（V1不推荐）

查看更多 →

删除在线服务 功能介绍 删除在线服务实例。 调试 您可以在 API Explorer 中调试该接口。 URI DELETE /v2.0/{project_id}/workspaces/{workspace_id}/resources/{resource_id}/service-instance/{job_id}

查看更多 →

集成在线服务 针对已完成调测的API，可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态，否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API，可使用HTTPS协议访问。Model

查看更多 →

部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session

查看更多 →

访问在线服务 访问在线服务简介 认证方式 访问方式 WebSocket访问在线服务 Server-Sent Events访问在线服务 父主题： 部署AI应用（在线服务）

查看更多 →

登录RES管理控制台，在左侧菜单栏中选择“在线服务”，进入服务列表。 在“在线服务”页面，您可以单击目标服务操作列的“编辑”，进入“编辑在线服务”页面。 在线服务配置方法，请参见创建在线服务，配置结束单击“立即修改”。 启动服务 当在线服务创建完成后，用户可以根据业务需求启动服务运行，当服务状态为“运行中”

查看更多 →