Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

部署到推理调试 在开发环境容器内调试完成后，开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像，并发布到ModelArts推理服务，直接测试部署的服务并查看日志，以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下：

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

推理部署计费项 计费说明 在ModelArts进行服务部署时，会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。

查看更多 →

推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

查看更多 →

弹性裸金属DevServer：面向云主机资源型用户，基于 裸金属服务器 进行封装，可以通过弹性公网IP进行访问操作。 弹性集群Cluster：面向k8s资源型用户，提供k8s原生接口，用户可以直接操作资源池中的节点和k8s集群。 ModelArts Edge：支持边云协同推理，高效利用边缘推理资源，提供边缘应用安全

查看更多 →

引擎管理 查询微服务引擎专享版的规格列表 查询微服务引擎列表 创建微服务引擎专享版 查询微服务引擎专享版详情 查询微服务引擎任务详情 查询微服务引擎配额详情 删除微服务引擎专享版 升级微服务引擎专享版 更新微服务引擎专享版配置 变更微服务引擎规格 重试微服务引擎专享版失败任务 父主题：

查看更多 →

引擎管理 查询微服务引擎专享版支持规格 查询微服务引擎专享版列表 创建微服务引擎专享版 查询微服务引擎专享版详情 删除微服务引擎专享版 查询微服务引擎专享版任务详情 父主题： CS E API

查看更多 →

表引擎 同步的表，默认使用ReplacingMultiVersionMergeTree引擎。 父主题： 开发指南

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

Nacos引擎 服务启动时注册了端口为8080和9090的实例，在服务列表中9090端口实例丢失，导致请求grpc的时候报错

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎

查看更多 →

流程引擎 流程引擎概述 我的工作空间 流程元模板 流程服务编排 流程日志管理 流程运行服务 父主题： 运行态使用指南

查看更多 →

存储引擎 存储引擎体系架构 Astore存储引擎 Ustore存储引擎 数据生命周期管理-OLTP表压缩

查看更多 →

SDXL&SD1.5 ComfyUI基于Lite Cluster适配NPU推理指导（6.3.906） ComfyUI是一款基于节点工作流的Stable Diffusion操作界面。通过将Stable Diffusion的流程巧妙分解成各个节点，成功实现了工作流的精确定制和可靠复现

查看更多 →

save('1.jpg') else: print("no box") 运行推理脚本。 python infer.py 推理结果如下所示。 图1 推理结果（1） 图2 推理结果（2） Step5 调用API接口推理 进入源码根目录，安装依赖。 cd Qwen-VL pip install

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.904） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 父主题： LLM大语言模型

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：大模型推理常见问题 父主题： LLM大语言模型

查看更多 →