Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

部署到推理调试 在开发环境容器内调试完成后，开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像，并发布到ModelArts推理服务，直接测试部署的服务并查看日志，以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下：

查看更多 →

CombineTmsTags objects 标签的融合结构，相同key合并。 表4 CombineTmsTags 参数 参数类型 描述 key String 标签的key。 values Array of strings 相同key的标签value合并后的列表。 状态码： 400 表5 响应Body参数

查看更多 →

假设用户于2023年4月1日10:00:00创建了一个使用专属资源池的在线服务，并在11:00:00停止运行。按照存储费用结算，那么运行这个在线服务的费用计算过程如下： 存储费用：训练的数据通过 对象存储服务 （OBS）上传或导出，存储计费按照OBS的计费规则。 综上，在线服务的运行费用 = 存储费用 父主题： 计费项

查看更多 →

推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

函数计算平台默认提供的按量GPU实例使用方式，会自动管理GPU计算资源。根据业务的请求数量，自动弹性GPU实例，最低0个实例，最大可配置实例数量。 规格最优 函数计算平台提供的GPU实例规格，根据业务需求，选择卡型并配置使用的显存和内存的大小，为您提供最贴合业务的实例规格。 成本最优

查看更多 →

备份由于数据搬迁会耗费一定的时间，创建快照和回滚快照数据的速度比备份快。 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除，那么对应的快照也会被同时删除 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘，或者通过快照创建新的云硬盘，找回数据，恢复业务。 父主题： 概念类

查看更多 →

设备集成API（V1） 产品管理 设备管理 规则引擎 父主题： 历史API

查看更多 →

使用训练模型进行在线推理的推理入口函数在哪里编辑？ 进入简易编辑器界面，在“代码目录”节点下，创建推理文件，根据实际情况写作推理代码。 父主题： 模型训练

查看更多 →

设备集成API 设备分组管理 设备管理 订阅管理 产品模板 产品管理 规则引擎 服务管理

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

ModelArts与 ModelArts Pro 的区别 ModelArts是一站式AI开发管理平台，提供领先算法技术，保证AI应用开发的高效和推理结果的准确，同时减少人力投入。ModelArts致力于底层模型专业开发、调参等。 ModelArts Pro根据预置工作流生成指定场景模

查看更多 →

支持一键实施预置的安全编排策略，加固资产安全。 MTD暴力破解与HSS暴力破解的区别 主机安全服务（Host Security Service，简称HSS）是华为云提升主机整体安全性的服务。着重于全面识别并管理主机中的信息资产，实时监测主机中的风险并阻止非法入侵行为，降低 服务器 面临的安全风险，保障主机整体安全。

查看更多 →

gent上报的安全信息。 表1 SA与HSS主要功能区别 功能项 共同点 不同点 资产安全 主机资产 呈现主机资产的整体安全状态。 SA：仅支持同步HSS主机资产风险信息，列表呈现各主机资产的整体安全状况。 HSS：不仅支持呈现主机的安全状况，还支持深度扫描主机中的账号、端口、进程、Web目录、软件信息和自启动任务。

查看更多 →

设备集成 设备集成支持哪些通信协议？ 为什么我的设备不能接入设备集成？ 为什么规则引擎的数据目的端未收到设备发送的消息？

查看更多 →

设备集成指导 业务使用介绍 创建产品 注册设备 接入设备 产品管理 设备管理 规则引擎 订阅管理

查看更多 →