在线服务运行中但是预测失败时，如何排查报错是不是模型原因导致的 问题现象 在线服务启动后，当在线服务进入到“运行中”状态后，进行预测，预测请求发出后，收到的响应不符合预期，无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后，ModelArts提供两种方式的预测： 方式1

查看更多 →

ON文本预测的方式进行预测，更多信息，请参见测试服务。 填写所需json在左侧文本框中，单击下方预测按钮，单击“预测”即可进行服务的预测。 本Workflow预测结果以返回文件的形式自动返回到对应输出obs路径中(ourput_path)参数，若预测成功，将会在在“预测结果显示”区域显示返回路径。

查看更多 →

，重新进行模型训练及部署上线。预测结果中的参数说明请参见表1。如果您对模型预测结果满意，可根据界面提示调用接口访问在线服务，操作指导请参见“访问在线服务”。 表1 预测结果中的参数说明 参数 说明 predicted_label 该段音频的预测类别。 score 预测为此类别的置信度。

查看更多 →

混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型预测的类别判断两个标准进行汇总。其中矩阵的行表示真实值，矩阵的列表示预测值。 True Positive（TP）：真正类。样本的真实类别是正类，并且模型识别的结果也是正类； False

查看更多 →

DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →

具体可参考如何创建数据集。 “标签列” 可自行选择您需要预测的列名。 标签列是预测模型的输出。模型训练步骤将使用全部信息训练预测模型，该模型以其他列的数据为输入，以标签列的预测值为输出。部署上线步骤将使用预测模型发布在线预测服务。 “输出路径” 选择自动学习数据输出的统一OBS路径。

查看更多 →

moment." 出现该错误，是因为模型报错太多。当模型报错太多时，会触发dispatcher的熔断机制，导致预测失败。建议您检查模型返回结果，处理模型报错问题，可尝试通过调整请求参数、降低请求流量等方式，提高模型调用的成功率。 父主题： 服务预测

查看更多 →

使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。 业务内存不正常。 请检查推理代码是否存在内存溢出或者内存泄漏的问题。 模型运行异常。

查看更多 →

{预测地址}。如返回Timeout则需排查本地防火墙，代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API网关）的限制，模型单次预测的时间不能超过40S，超过后系统会默认返回Timeout错误。 父主题： 服务预测

查看更多 →

因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。数据从平台发送到服务，服务预测推理，再将结果返回的时间不超过限制，可以成功返回预测结果。当服务预测的时间过长或者频繁预测导致服务接收不过来请求，即会出现该报错。 可以通过以下方式解决问题： 服务预测请求内容过大时，会因数据处理慢

查看更多 →

推理结果以“JSON”体的形式返回，“JSON”的具体字段由模型决定。 请求样例 该模式下的推理方式均为输入一张待处理图片，响应的“JSON”根据模型改变而改变。示例如下： 页面预测 Postman调REST接口预测 部署上线成功后，您可以从服务详情页的调用指南中获取预测接口地址。选择“Body”设置请求

查看更多 →

训练输出模型。适用于一张图片中要识别多个物体或者物体的计数等。可应用于园区人员穿戴规范检测和物品摆放的无人巡检。 预测分析 预测分析项目，是一种针对结构化数据的模型自动训练应用，能够对结构化数据进行分类或者数据预测。可用于用户画像分析，实现精准营销。也可应用于制造设备预测性维护，根据设备实时数据的分析，进行故障识别。

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 开启训练故障自动重启功能 查看日志和性能 训练脚本说明 父主题： LLM大语言模型

查看更多 →

分子属性预测作业管理 创建分子属性预测作业 查询分子属性预测作业详情 父主题： API（盘古辅助制药平台）

查看更多 →

在线服务 微调后的迭代模型创建在线服务，进行推理，查看预测效果。每类迭代模型，只能同时运行一个在线服务，如果已经存在“运行中”的在线服务，将无法继续创建该类在线服务。 创建在线服务 在左侧菜单栏中选择“智驾模型服务 > 智驾模型管理”。 选择“在线服务”页签，单击“创建在线服务”。

查看更多 →

“实例详情”进入“在线服务”界面，在“预测”页签的“预测代码”区域，输入调试代码。 单击“预测”进行测试，预测完成后，右侧“返回结果”区域输出测试结果。如模型准确率不满足预期，可在“数据标注”页签，重新进行模型训练及部署上线。如果您对模型预测结果满意，可根据界面提示调用接口访问在

查看更多 →

sunflowers”和检测的评分。如模型准确率不满足预期，可在“数据标注”页签中添加图片并进行标注，重新进行模型训练及部署上线。预测结果中的参数说明请参见表1。如果您对模型预测结果满意，可根据界面提示调用接口访问在线服务，操作指导请参见“访问在线服务”。 目前只支持jpg、jpeg、bmp、png格式的图片。

查看更多 →

出的联邦模型对新数据进行联邦预测，筛选出高价值的潜在客户，再针对这些客户进行定向营销，达成提高营销效果、降低营销成本的业务诉求。 根据前一篇文章，企业A已经通过可信联邦学习功能训练出了一个预测客户时候是高价值用户的模型。 本文主要介绍企业A和大数据厂商B如何通过已有的模型对新的业务数据进行预测。

查看更多 →

训练输出模型。适用于一张图片中要识别多个物体或者物体的计数等。可应用于园区人员穿戴规范检测和物品摆放的无人巡检。 预测分析 预测分析项目，是一种针对结构化数据的模型自动训练应用，能够对结构化数据进行分类或者数据预测。可用于用户画像分析，实现精准营销。也可应用于制造设备预测性维护，根据设备实时数据的分析，进行故障识别。

查看更多 →

进入服务预测界面，在“预测”页签单击“上传”，选择本地图片进行测试。 单击“预测”进行测试，预测完成后，右侧“预测结果”区域输出标签名称“sunflowers”和检测的评分。如模型准确率不满足预期，可在“数据标注”页签中添加图片并进行标注，重新进行模型训练及部署上线。预测结果中的

查看更多 →

续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据，如果您上传未标注数据，需要手动标注数据。 选择数据 训练模型 选择训练数据后，无需用户配置任何参数即可开始训练云状类型识别模型，并查看训练的模型准确率和误差的变化。 训练模型 评估模型 训练得到模型之后，

查看更多 →