推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）

查看更多 →

内置评测指标说明 内置评测指标简介 安全性评测指标 合规性评测指标 智能性评测指标 舒适性评测指标 父主题： 评测管理

查看更多 →

期望的预警次数； 默认期望的预警次数为-1，此时只要该预警功能激活至少一次，则评测项通过；当设置期望的预警次数为正数或0时（0代表期望预警功能不被激活），只有当预警功能激活次数和期望预警次数相同时，评测项才通过； 该指标仅对有算法pb的场景有效。当算法pb中未设置预警项，或预警项

查看更多 →

使用Lm-eval精度测评工具进行大语言模型精度评测 使用lm-eval工具暂不支持pipeline_parallel方式，也不支持qwen-7b、qwen-14b、qwen-72b、chatglm2-6b、chatglm3-6b模型。 安装精度评测工具。在启动推理服务的环境，进入到一个固定目录下，执行如下命令。

查看更多 →

使用Lm-eval精度测评工具进行精度评测 使用lm-eval工具暂不支持pipeline_parallel方式，也不支持qwen-7b、qwen-14b、qwen-72b、chatglm2-6b、chatglm3-6b模型。 安装精度评测工具。可以在原先的conda环境，进入到一个固定目录下，执行如下命令。

查看更多 →

评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重（Average）评分方案 C类均匀权重评分（Average）方案 父主题： 评测管理

查看更多 →

单击“ 知识管理 > 评测管理”，进入评测管理页面。 单击“上传评测集”，进入上传评测集页面（图2），输入评测集名称。 图2 上传评测集页面 单击“模板下载”，评测集模板填写完成后，单击“添加文件”，完成评测文件的上传。 选择“评测助手”后，单击“确定”，完成评测集的上传。 表2 上传评测集参数说明

查看更多 →

步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 评测名称：只能包含数字、英文、中

查看更多 →

评测类型：分“内置评测配置”和“自定义评测镜像”，选择“内置评测配置”。 评测模式：选择“实时评测”或“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。 查看内置评测配置详情 评测类型为内置评测配置时，项目详情包含评测基本信息和自定义评测配置两部分。 基本信

查看更多 →

认证测试中心提供以下功能： 执行认证测试中心 等保安全 当订单成功支付后，华为安全专家团队将为您量身定制等保合规整改方案，指导您进行安全服务的选型和部署，对您的网络、主机、数据库、安全管理制度等进行整改，优选具有资质的权威等保测评机构，提供专业的测评认证测试中心。 等保套餐 等保2.0产品优惠套餐为您提

查看更多 →

配置样例 公司名称 输入公司的名称。 - 机构所在省市 选择公司所在的省市。 北京市 行业属性 选择行业的类型。 银行 系统类型 选择系统类型。 公有云租户系统 线下IDC系统 公有云租户系统 待测评系统等级 选择待测评系统等级。 二级 三级 二级 联系人姓名 输入真实的联系人姓名。

查看更多 →

单价（元） 单位 等保测评 定制版 一次性计费，根据等保等级和测评所在区域计费。 等保二级 A类地区 60,000.00 每套 B类地区 70,000.00 每套 C类地区 80,000.00 每套 D类地区 100,000.00 每套 其他 130,000.00 每套 等保三级 A类地区

查看更多 →

等保合规解决方案 方案概述 部署指南 维护宝典

查看更多 →

Long 应用机构总数。 organizations Array of ApplicationOrg objects 机构列表。 表5 ApplicationOrg 参数 参数类型 描述 org_id String 应用机构id。 org_code String 应用机构编码。 name

查看更多 →

应。 等保建设助手 等保建设助手凭借华为安全团队自身及客户等保认证经验，为您提供等保定级和差距评估咨询，并根据系统情况提供定级参考意见和相关技术建议书以及等保条款分析情况汇总。 等保建设助手流程如图2所示，各流程步骤说明如表6所示。 图2 等保建设助手业务流程图 表6 等保建设助手业务流程说明

查看更多 →

认证证书 公安部信息安全等级保护三级评测 ISO 27701认证【隐私信息管理体系】 BS 10012认证【个人信息管理体系】 ISO 27018认证【公有云个人信息保护管理体系】 ISO 27799证书【个人健康信息安全管理体系】 NIST CS F 证书【网络安全框架评估体系】

查看更多 →

华为云合规中心 华为云信任中心 华为云等保合规安全解决方案：华为云依托自身安全能力与安全合规生态，为客户提供一站式的安全解决方案，帮助客户快速、低成本完成安全整改，轻松满足等保合规要求。通过华为30年安全经验积累，结合企业和机构的安全合规与防护需求，来帮助企业与机构满足国家及行业法律法规要求

查看更多 →

等保合规解决方案 表1 规格清单 一级分类 二级分类 规格名称 规格描述 二级等保基本要求 - 安全区域边界的边界防护 天关部署在客户网络的边界，可提供跨越边界的访问和数据流的受控接口通信的能力。 安全区域边界的访问控制 根据访问控制策略在位于网络边界或区域之间的天关上设置访问控

查看更多 →

真结束，将结束时的这帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，将评测结果写入到评测pb文件中。 写成评测pb文件后，自定义实时评测镜像的工作就完成了。仿真平台的控制程序，会主动将自定义评测结果和内置评测结果融合后的评测pb文件上传到对象存储中，前端可通过下载pb文件进行解析。

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

购买认证测试中心的详细操作，请参见《认证测试中心用户指南》。 执行认证测试中心 等保安全 当订单成功支付后，华为安全专家团队将为您量身定制等保合规整改方案，指导您进行安全服务的选型和部署，对网络、主机、数据库、安全管理制度等进行整改，优选具有资质的权威等保测评机构，提供专业的测评服务。 父主题： 管理类

查看更多 →