华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

用户需要根据算子的输入张量描述、算子逻辑及算子属性，推理出算子的输出张量描述，包括张量的形状、数据类型及数据排布格式等信息。这样离线模型转换时就可以为所有的张量静态分配内存，避免动态内存分配带来的开销。函数的声明如下所示：InferShapeAndTypexx：函数名称，用户自定义，需要保持唯一。op：计算节点定义，存储输入张量描述及各种

查看更多 →

的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。 代码目录如下: benchmark_tools

查看更多 →

集群所在VPC为1创建的VPC。 CCE集群不能被其他环境绑定。 创建不开启安全认证的2.4.0及以上版本的微服务引擎（对应于微服务引擎 CS E服务的ServiceComb引擎专享版），请参考创建微服务引擎。 如果微服务引擎所在VPC与1创建的VPC不一致，需正确配置VPC连通。 创建微服务应用网关，请参考创建应用网关。

查看更多 →

AI原生应用引擎计费项 计费说明 AI原生应用引擎会根据用户调用预置模型服务时实际输入和输出tokens总量以及创建推理服务（模型部署）所需购买的推理单元收费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 大模型微调服务API在线调用-SFT局部调优

查看更多 →

推理性能测试 本章节介绍如何进行推理性能测试，建议在在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 benchmark方法介绍 性能benchmark包括两部分。

查看更多 →

模板管理 云端推理框架新增模板能力，用户在云端推理框架发布推理服务时，可以使用系统预置的模板，将模型包发布成推理服务。 背景信息 在模型训练服务“模型管理”界面发布的推理服务，仅封装了Tensorflow类型的模型。对模型包格式上限制导致定制会比较多。或者使用特殊环境的Case难

查看更多 →

在“组件配置”页面，单击“微服务引擎CSE”模块的“配置”，进入“微服务引擎CSE配置”页面。 单击“注册配置中心”，选择前提条件中您已创建的Nacos引擎。 nacos-consumer组件和nacos-provider组件需绑定同一个Nacos引擎。 单击“保存”，完成对该组件微服务引擎CSE配置。

查看更多 →

设置存储引擎 存储引擎会对数据库整体效率和性能具有巨大影响，请根据实际需求选择适当的存储引擎。用户可使用WITH ( [ORIENTATION | STORAGE_TYPE] [= value] [, ... ] )为表或索引指定一个可选的存储参数。参数的详细描述如下所示： ORIENTATION

查看更多 →

Terraform引擎 Terraform引擎概述 变更计划与任务 实例列表 实例管理 组件列表 变更计划审批信息 插件管理 父主题： 部署服务

查看更多 →

本。根据独享引擎实例个数不同选择不同升级方法： 单独享引擎实例节点升级 多独享引擎实例节点升级 如果您的业务只部署了一个独享引擎实例，请参照以下操作升级实例。 建议参见购买WAF独享模式购买一个新的独享引擎实例。 新购买的独享引擎实例为最新版本。当实例为最新版本时，“升级”按钮为灰化状态。

查看更多 →

Ustore存储引擎 Ustore简介 存储格式 Ustore事务模型 闪回恢复 常用视图工具 常见问题及定位手段 父主题： 存储引擎

查看更多 →

数字主线引擎 其中表1展示了登录数字主线引擎后的产品功能。 表1 数字主线引擎功能概览 功能名称 功能描述 发布区域 我的工作空间 展示当前登录用户的导出、导入任务清单。 华北-北京四 xDM-F数据同步 通过xDM-F数据同步功能可将xDM-F模型与实例数据同步至LinkX-F系统。

查看更多 →

模型包规范，推理代码和配置文件也需遵循ModelArts的要求，详细说明请参见模型包规范介绍、模型配置文件编写说明、模型推理代码编写说明。 使用容器化部署，导入的元模型有大小限制，详情请参见导入AI应用对于镜像大小限制。 前提条件 已完成模型开发和训练，使用的AI引擎为Model

查看更多 →

ServiceStage怎么管理IDEA上的代码？ IDEA是本地的IDE，在IDE上编码后上传代码库，在ServiceStage上选择源码部署。 如果是基于ServiceComb框架开发的话，创建ServiceComb应用，选择源码部署，指定引擎，就可以治理了。 父主题： 持续交付

查看更多 →

Cloud应用快速接入Nacos引擎 本章节通过一个demo进行全流程的微服务应用接入Nacos引擎操作演示，帮助您快速了解如何接入Nacos引擎。 本章节将使用一个provider服务和一个consumer服务接入Nacos引擎。 前提条件 已创建Nacos引擎，具体操作请参考快速创建Nacos引擎。

查看更多 →

”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/

查看更多 →

”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/

查看更多 →

”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/

查看更多 →

删除Nacos引擎 如不再使用Nacos引擎，可执行删除操作。 删除引擎后数据无法恢复，请谨慎操作。 背景介绍 支持删除处于如下状态的Nacos引擎： 可用 不可用 创建失败 变更失败 升级失败 操作步骤 登录微服务引擎控制台。 在左侧导航栏选择“注册配置中心”。 操作待删除的Nacos引擎实例。

查看更多 →

扩容Nacos引擎 Nacos引擎容量支持在线扩容，只有低容量的引擎支持此操作。 操作步骤 登录微服务引擎控制台。 在左侧导航栏选择“注册配置中心”。 在待扩容的Nacos引擎实例“操作”列，选择“更多 > 扩容”，也可单击待扩容的Nacos引擎，在Nacos引擎的“基础信息”页

查看更多 →