备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如表1所示。

查看更多 →

备份和容灾的区别是什么？ 备份和容灾的区别主要如下： 表1 备份和容灾的差异 对比维度 备份 容灾 使用目的 避免数据丢失，一般通过快照、备份等技术构建数据的数据备份副本，故障时可以通过数据的历史副本恢复用户数据。 避免业务中断，一般是通过复制技术（应用层复制、主机I/O层复制、

查看更多 →

“查看控制台”，进入实例控制台。 在左侧的导航栏选择“设备集成 LINK > 规则引擎”，在“规则引擎”页签中单击“导入规则”。 在弹窗中选择本地保存的规则文件，并导入。 导入成功后，在页面的规则引擎列表中可查看导入的规则。 导出规则 登录ROMA Connect控制台，在“实例

查看更多 →

此时在会显示设备在线，设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目录，该目录下会记录启动和运行日志。该目录下会有edge-shell-error.log和edge-shell-info.log两个文件，如果启动后设备没有连接上，可以通过查看error日志快速定位。

查看更多 →

开发中心支持数据转发吗？ 开发中心不支持规则引擎功能，无法进行数据转发。 您可在开发中心调测的时候使用API接口，订阅设备上报的数据。 开发中心调测完成，使用设备管理商用环境时，可以使用规则引擎的数据转发功能进行数据转发。 父主题： 设备集成（联通用户专用）

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

数据集数据预处理方法集 │ ├── chatglm.py # 处理请求相应模块, 一般和chatglm的官方评测数据集ceval搭配 │ ├── llama.py # 处理请求相应模块, 一般和llama的评测数据集mmlu搭配 ├── mmlu-exam, mmlu数据集 ├──

查看更多 →

数据集数据预处理方法集 │ ├── chatglm.py # 处理请求相应模块, 一般和chatglm的官方评测数据集ceval搭配 │ ├── llama.py # 处理请求相应模块, 一般和llama的评测数据集mmlu搭配 ├── mmlu-exam, mmlu数据集 ├──

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

"default_policy/eps:0" : "0.0" } path 否 String 服务内的推理路径，默认为"/"。 表2 predict返回参数说明 参数 描述 返回消息体 输出的参数和值，平台只做转发，不做识别。 父主题： 服务管理

查看更多 →

unset DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

计算节点资源，包括CPU和GPU。 用户可以单击选定计算节点资源，并在“计算节点个数”中配置计算节点资源的个数。 计算节点个数 计算节点的个数。 1代表单节点计算 2代表分布式计算，开发者需要编写相应的调用代码。可使用内置的MoXing分布式训练加速框架进行训练，训练算法需要符合

查看更多 →

Standard推理部署 基于ModelArts Standard一键完成商超商品识别模型部署 从0-1制作 自定义镜像 并创建AI应用 推理服务访问公网 推理服务端到端运维 使用自定义引擎创建AI应用 使用大模型创建AI应用部署在线服务 第三方推理框架迁移到推理自定义引擎 推理服务支持虚拟私有云（VPC）直连的高速访问通道

查看更多 →

不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。 支持的模型软件包和权重文件 本方案支持的模型列表、对应的开源权重获取地址如表3所示，模型对应的软件和依赖包获取地址如表1所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 开源权重获取地址 1

查看更多 →

False Bool 是否开启流式推理。默认为False，表示不开启流式推理。 查看返回是否符合预期 {"text":["你是谁？\n你是一个大语言模型，是由百川智能的工程师们创造，我可以和人类进行自然交流、解答问题、协助创作，帮助大众轻松、普惠的获得世界知识和专业服务。如果你有任何问题，可以随时向我提问"]}

查看更多 →

/...目录下，查找到summmary目录，有txt和csv两种保存格式。总体打分结果参考txt和csv文件的最后一行，举例如下： npu： mmlu：46.6 gpu： mmlu：47 NPU打分结果（mmlu取值46.6）和GPU打分结果（mmlu取值47）进行对比，误差在1%以内（计算公式：(47-46

查看更多 →

本方案支持的软件配套版本和依赖包获取地址如表2所示。 表2 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。

查看更多 →

/...目录下，查找到summmary目录，有txt和csv两种保存格式。总体打分结果参考txt和csv文件的最后一行，举例如下： npu： mmlu：46.6 gpu： mmlu：47 NPU打分结果（mmlu取值46.6）和GPU打分结果（mmlu取值47）进行对比，误差在1%以内（计算公式：(47-46

查看更多 →

。 --dtype：模型推理的数据类型。仅支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 推理启动脚本必须名为run_vllm.sh，不可修改其他名称。 hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明：

查看更多 →