模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。

查看更多 →

： 图1 推理服务访问公网 步骤一：ModelArts专属资源池打通VPC 创建好VPC和子网，具体步骤请参考创建虚拟私有云和子网。 创建Modelarts专属资源池网络。 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”，默认进入“Standard资源池”页面。

查看更多 →

ModelArts Studio（MaaS）模型推理计费项 计算资源计费项 在MaaS进行模型推理时，会产生计算资源和存储资源的累计值计费。计算资源为运行模型服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式

查看更多 →

使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业

查看更多 →

模型部署上线的端到端开发流程（即AI全流程开发）。 本文档介绍了如何在ModelArts管理控制台完成AI开发，如果您习惯使用API或者SDK进行开发，建议查看《ModelArts SDK参考》和《ModelArts API参考》获取帮助。 使用AI全流程开发的端到端示例，请参见

查看更多 →

-lite离线推理场景下使用。 下载工具源码使用。 AKG PyTorch GPU推理迁移至PyTorch ascend-vllm /atb/torchair推理 模型迁移 - 需要用户自行代码适配，或者使用ModelArts迁移好的模型。 - ModelArts迁移好的模型可参

查看更多 →

Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型的训练和部

查看更多 →

DeepSeek系列模型推理应用 DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导 DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导 基于ModelArts Studio（MaaS） DeepSeek

查看更多 →

络完成推理过程。 在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片，是华为自主研发的高计算力低功耗的AI芯片。 资源池 ModelArts提供的大

查看更多 →

json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：模型推理代码文件是必选的。文件名固定为“customize_service.py”，此文件有且只能有一个，模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文件可以直接放mod

查看更多 →

Deepseek-Coder 文本生成 对话问答、文本推理 中文、英文 西南-贵阳一、华东二 Deepseek Coder由一系列代码语言模型组成，每个模型都从头开始在2T标记上进行训练，其中87%为代码，13%为英文和中文的自然语言。在编码能力方面，DeepSeek Coder在多种编程语

查看更多 →

请求报错：{"error_code":"ModelArts.4503","error_msg":"Failed to respond due to backend service not found or failed to respond"} 基于高性能考虑，ModelArts会复用同模型服务的连接。

查看更多 →

请求超时返回Timeout 出现ModelArts.XXXX类型的报错，表示请求在Dispatcher出现问题而被拦截。 常见报错： 在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4503 当使用推理的镜像并且出现MR

查看更多 →

ModelArts部署在线服务时，如何避免自定义预测脚本python依赖包出现冲突？ 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内

查看更多 →

第三方推理框架迁移到ModelArts Standard推理自定义引擎 背景说明 ModelArts支持第三方的推理框架在ModelArts上部署，本文以TFServing框架、Triton框架为例，介绍如何迁移到推理自定义引擎。 TensorFlow Serving是一个灵活、

查看更多 →

迁移测试报告。 推理迁移验收表。 ModelArts开发环境 ModelArts作为华为云上的 AI开发平台 ，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。

查看更多 →

开发推理 目前“专家经验注入”是为Gpr数据集定制，如果用户使用Gpr数据集体验KPI异常检测学件的操作流程，可以先执行“专家经验注入”，再执行“开发推理”，那么专家经验会自动转成代码并关联到模型推理函数里面。 “开发推理”用于生成推理代码至推理文件“learnware_predict

查看更多 →

端到端运维ModelArts Standard推理服务方案 ModelArts推理服务的端到端运维覆盖了算法开发、服务运维和业务运行的整个AI流程。 方案概述 推理服务的端到端运维流程 算法开发阶段，先将业务AI数据存放到 对象存储服务 （OBS）中，接着通过ModelArts数据管理

查看更多 →

导入/转换ModelArts开发模型 技能可以抽象地理解为算法模型+逻辑代码。算法模型负责关键的AI推理，逻辑代码负责处理模型推理的结果。因此在HiLens Studio开发技能时，需要将模型导入HiLens Studio。 本章节介绍如何将在ModelArts开发的模型导入HiLens

查看更多 →

署。 ModelArts Standard同时提供了自动学习功能，帮助用户零代码构建AI模型，详细介绍请参见使用ModelArts Standard自动学习实现垃圾分类。 面向AI工程师，熟悉代码编写和调测，您可以使用ModelArts Standard提供的在线代码开发环境，编写训练代码进行AI模型的开发。

查看更多 →

DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导 方案概述 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展DeepSeek蒸馏版模型推理部署的详细过程。推理框架使用Ascend-vLLM。 Deep

查看更多 →