模板管理 云端推理框架新增模板能力，用户在云端推理框架发布推理服务时，可以使用系统预置的模板，将模型包发布成推理服务。 背景信息 在模型训练服务“模型管理”界面发布的推理服务，仅封装了Tensorflow类型的模型。对模型包格式上限制导致定制会比较多。或者使用特殊环境的Case难

查看更多 →

删除桶清单规则(Java SDK) 功能说明 OBS使用DELETE操作来删除指定桶的清单配置（通过清单规则id来指定确认要删除的桶清单规则）。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云 对象存储服务 论坛中发帖求助。 接口约束 您必须是桶拥有者或者拥

查看更多 →

设置桶日志规则(Java SDK) 功能说明 调用设置桶日志管理配置接口，您可以为指定桶打开桶日志功能，并配置日志存放的目标桶。创建桶时，默认是不生成桶的日志的，调用Java SDK的设置桶日志管理配置接口时，接口会自动为您打开桶日志配置。桶日志功能开启后，桶的每次操作将会产生一

查看更多 →

获取桶日志规则(Java SDK) 功能介绍 调用获取桶日志管理配置，可获取指定桶的日志配置。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有获取桶日志管理配置的权限，才能获取桶日志管理配置。

查看更多 →

获取桶清单规则(Java SDK) 功能说明 您可以使用获取桶清单规则接口获取指定桶的清单规则，可以通过配置规则id来选择指定清单规则。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或者拥有获取桶

查看更多 →

平台创建规则前最后一次上报的数据满足触发条件，可以设置是否立即触发该规则。 是：创建规则后规则立即生效，系统会对最近一次上报的数据做判断来触发规则。 否：创建规则后，系统对新上报的数据进行判断，然后触发规则。 规则类型 云端规则：设置直接接入到云端物联网平台的设备的规则。 边缘规

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.904）

查看更多 →

odel入参同系列，但是权重参数远小于--model指定的模型。若未使用投机推理功能，则无需配置。 --num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model

查看更多 →

模型推理文件 如果用户需要使用内置评测指标集，需要按照以下规范提供模型推理的启动脚本，具体参考下面文件实例。如果不使用内置评测模板，可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时，仅需提供模型即可，具体目录结构由用户自行决定。 模型推理启动文件实例

查看更多 →

设置生命周期规则(Java SDK) 功能介绍 OBS支持用户调用设置桶的生命周期配置接口，为指定桶设置生命周期规则，实现定时删除桶中的对象或者定时转换对象的存储类别，从而节省存储费用，更多生命周期相关信息请参见生命周期管理。 对象过期后会被OBS服务端自动删除。 对象转换策略中

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

unset DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →