推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）

查看更多 →

步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 图1 新建评测 评测名称：只能包

查看更多 →

评测类型：分“内置评测配置”和“自定义评测镜像”，选择“内置评测配置”。 评测模式：选择“实时评测”或“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。 查看内置评测配置详情 评测类型为内置评测配置时，项目详情包含评测基本信息和自定义评测配置两部分。 基本信

查看更多 →

评测类型为自定义评测镜像时，项目详情包含评测基本信息和评测镜像两部分。 基本信息：评测名称、评测名称、更新时间等信息。 评测镜像：该项目包含的镜像版本信息。 创建镜像 评测类型为自定义评测时，可为评测创建多个镜像版本，便于管理。 单击评测名称，在评测项目详情页，单击“创建镜像”，填写基本信息。 镜像版本：选择镜像版本。

查看更多 →

内置评测指标简介 评测算法从驾驶安全性，合规性，智能性，舒适性维度对自动驾驶系统进行全面评价。评测指标的pass/fail标准比较复杂，需要对一些评测函数的细节进行介绍。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时的

查看更多 →

安全性评测指标 碰撞（Collision）检测 碰撞检测的目的是判断主车是否与其它交通参与物发生碰撞。 在进行碰撞检测时，根据与主车碰撞的物体类型的不同对碰撞类型进行细分。 具体分为： 车的车碰撞检测 追尾检测 被追尾检测 正面对碰检测 垂直角度碰撞检测 斜角侧碰检测 车人碰撞检测

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

真结束，将结束时的这帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，将评测结果写入到评测pb文件中。 写成评测pb文件后，自定义实时评测镜像的工作就完成了。仿真平台的控制程序，会主动将自定义评测结果和内置评测结果融合后的评测pb文件上传到对象存储中，前端可通过下载pb文件进行解析。

查看更多 →

本节操作介绍使用SPEC CPU®2017基准测试工具评测Linux操作系统实例计算性能的方法。已使用云平台提供的公共镜像创建 弹性云服务器 。请确保每个CPU核至少保留2GB内存空间，安装测试工具的磁盘空间至少10GB。本例以CentOS 7.4操作系统 云服务器 为例。远程连接弹性云 服务器 。安装依赖包。yum install -y m4 nu

查看更多 →

舒适性评测指标 减速度（Deceleration）检测 减速度检测的目的是： 判断主车在整个行驶过程中制动减速度是否超过对应的舒适性阈值。 本设计的减速度的默认阈值为3。 加速度变化率（Jerk）检测 加速度变化率是加速度对时间的导数。 加速度变化率也被称为冲击度，冲击度反映了驾驶员的瞬态冲击体验。

查看更多 →

推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 获取模型推理的Profiling数据 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.5.901）

查看更多 →

管理NLP大模型评测任务 管理评测任务 在评测任务列表中，任务创建者可以对任务进行克隆（复制评测任务）、启动（重启评测任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测 > 任务管理”，可进行如下操作：

查看更多 →

云平台提供了多种实例类型供您选择，不同类型的实例可以提供不同的计算能力和存储能力。同一实例类型下可以根据CPU和内存的配置选择不同的实例规格。本章节以通用计算增强型C6s、通用计算增强型C6、内存优化型M6为例，采用SPECInt（Standard Performance Evaluation Corporation，Integer）基准

查看更多 →

on字段中提取出所需的数据。 评测配置 评测类型 选择“人工评测”。 评测指标 由用户自定义评测指标并填写评测标准。 评测数据集 待评测的数据集。 评测结果存储位置 模型评测结果的存储位置。 基本信息 评测任务名称 填写评测任务名称。 描述 填写评测任务描述。 参数填写完成后，单击“立即创建”，回退至“模型评测

查看更多 →

可以查看评测任务的基本信息及评测概览。 其中，各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 评测明细”页面，单击“导出”，可选择需要导出的评测报告，单击“确定”。 单击右侧“下载记录”，可查看导出的任务ID，单击操作列“下载”，可将评测报告下载到本地。

查看更多 →

漏洞管理服务（CodeArts Inspector） 安天威胁情报综合分析平台（TID） 若需启用其他产品集成，请在“安全产品集成”页面，单击右上角“我要推荐”，反馈相关产品信息。 本小节主要介绍如何管理安全产品集成，包括启用和取消产品集成。 约束限制 需按区域分别启用或取消产品集成。 启用产品集成需账户具有“Tenant

查看更多 →

创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程

查看更多 →

Octopus平台提供对评测任务的管理，包括创建、删除、停止评测任务的操作。在评测任务页面， 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后，触发任务。评测任务结束后会生成评测任务结果文件，详细展示模型的各项评测指标得分。 创建评测任务 评测任务与评测参数和数据集有关。具体步骤如下：

查看更多 →

日志存储、导出场景，满足日志存储180天及集中审计的要求。 日志管理 安全产品集成 通过集成安全防护产品，接入安全产品检测数据，管理检测结果的数据来源。同时，支持查看传输数据量，管理数据上报健康状态。 安全产品集成

查看更多 →

位等算法内部信息，用户还能根据算法内部数据的pb文件实现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 评测项配置。 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定

查看更多 →

集中呈现主机漏洞扫描结果信息，并提供相应修复建议。 × √ √ 网站漏洞 集中呈现 网站漏洞扫描 结果信息，并提供相应修复建议。 × × √ 基线检查 云服务基线 通过一键扫描云服务基线，分类呈现云服务配置项检测结果信息。 × √ √ 通过一键扫描云服务基线，分类呈现云服务配置项检测结果信息。支持查看检测结果详情，并提供相应修复建议。

查看更多 →