来源 模型包的来源。包括模型训练服务、本地上传和AI市场导入三种来源。 状态 模型包的状态。 操作 可以对模型包执行下述操作： ：查看模型包信息，包括名称、版本、描述、基本信息、运行依赖。 ：将模型包发布成推理服务。 ：删除模型包。 父主题： 云端推理框架

查看更多 →

对单个API的推理请求流量做了限制，同时为了保证推理服务可以稳定运行在合理区间，ModelArts将限流值设定在一个较高区间。 处理办法 降低API的流量，如果确有超高并发的需求，请提工单处理。 父主题： 服务预测

查看更多 →

当模型训练服务开始启动以后，实例处于Running状态时，开始计费。请及时停止不需要的实例，以免产生不必要的费用。 云上推理 云上推理服务根据CPU和GPU的规格和使用时长进行计费，不使用则不产生费用。 当模型一旦部署在云上推理服务中，并启动运行，实例处于Running状态时，开始计费。请及时停止不需要的实例，以免产生不必要的费用。

查看更多 →

次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后恢复推理请求处理能力。故障的硬件节点会自动隔离不再调度和运行推理服务实例。 父主题： 安全

查看更多 →

服务预测失败 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，预测失败。 原因分析及处理方法 服务预测需要经过客户端、外部网络、APIG、Dispatch、模型服务多个环节。每个环节出现都会导致服务预测失败。 图1 推理服务流程图 出现APIG.XX

查看更多 →

新。 2020-06-30 模型管理界面新增推理服务入口、新增创建联邦学习案例入口，对应模型管理章节截图更新。 Jupyterlab算子菜单位置及算子分组变更，对应特征工程章节菜单入口描述变更。 Jupyterlab特征工程选择数据增加时序数据选择，并支持多数据选择，对应特征工程章节操作截图全量更新。

查看更多 →

像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在在线服务的日志中查看到部分内容。 原因分析 推理服务的日志如果需要显示出来，需要代码中将日志打印到Console控制台。当前推理基础镜像使用的pytho

查看更多 →

迁移测试报告。 推理迁移验收表。 ModelArts开发环境 ModelArts作为华为云上的 AI开发平台 ，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。

查看更多 →

AI原生应用引擎会根据用户调用预置模型服务时实际输入和输出tokens总量以及创建推理服务（模型部署）所需购买的推理单元收费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 大模型微调服务API在线调用-SFT局部调优 调用大模型Lora微调服务API时根据实

查看更多 →

tensor粒度量化。 启动smoothQuant量化服务。 参考Step3 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 父主题： 推理模型量化

查看更多 →

tensor粒度量化。 启动smoothQuant量化服务。 参考Step6 启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 父主题： 推理模型量化

查看更多 →

为了避免算法推理内部可能出现的内存拷贝，在调用模型管家Process接口时，建议输入数据（输入数据一般可直接使用框架传入的内存，该内存是由框架通过HIAI_DMalloc申请得到）及输出数据都通过HIAI_DMalloc接口申请，这样就能够使能算法推理的零拷贝机制，优化Process时间。如果在推理前需要进行DVPP处理，DVPP的输入内

查看更多 →

如何使用多线程进行技能推理？ 问题描述 如果在局域网内对多个rtsp摄像头画面进行推理，每路摄像头开一个线程进行推理，线程内模型加载、推理都是独立的，不会相互影响。如果多路线程合并，如何使用多线程进行技能推理？ 解决方法 如果多路线程合并做batch推理，对多路摄像头的推理实时性有一定的

查看更多 →

查询推理VPC访问通道信息的API 功能介绍 该接口用于查询推理VPC访问通道。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_i

查看更多 →

基本概念 大模型推理服务 直接调用预置大模型提供API完成推理过程。 私有模型部署 针对已经微调训练好的模型，如需评测此模型效果，或通过应用调用此模型，则需将模型部署为线上服务。 向量知识库 通过引入多种类型和格式的企业知识，将数据转化为向量，并利用高效的存储和索引方式进行查询，实现基于检索增强的大模型能力。

查看更多 →

开发AI算法，利用数据服务里的数据，生成模型，提供给运营商使用。 运营商用户 三产公司基于自己的数据，使用训练服务开发AI算法，生成模型供自己使用。 从NAIE服务官网订购并下载模型，部署至推理框架后，进行推理应用。 使用模型训练服务打包的模型，发布成在线推理服务，进行在线实时验证。

查看更多 →

推理业务昇腾迁移通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 附录 父主题： 昇腾业务迁移

查看更多 →

推理基础镜像详情TensorFlow（CPU/GPU） ModelArts提供了以下TensorFlow（CPU/GPU）推理基础镜像： 引擎版本一：tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 引擎版本二： tensorflow_1

查看更多 →

规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是 自定义镜像 时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当文件状态变成“上传成功”表示数据文件成功上传至AI

查看更多 →

训练服务 训练服务简介 算法管理 训练任务 模型评测 编译管理 推理服务

查看更多 →

Gallery进行自定义镜像训练或推理。模型微调或模型部署为推理服务 如果使用自定义镜像进行训练，操作步骤可以参考模型微调，其中“训练任务类型”默认选择“自定义”，且不支持修改。 如果使用自定义镜像进行部署推理服务，操作步骤可以参考模型部署为推理服务，其中“推理任务类型”默认选择“自定义”，且不支持修改。

查看更多 →