真结束，将结束时的这帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，将评测结果写入到评测pb文件中。 写成评测pb文件后，自定义实时评测镜像的工作就完成了。仿真平台的控制程序，会主动将自定义评测结果和内置评测结果融合后的评测pb文件上传到对象存储中，前端可通过下载pb文件进行解析。

查看更多 →

本节操作介绍使用SPEC CPU®2017基准测试工具评测Linux操作系统实例计算性能的方法。已使用云平台提供的公共镜像创建 弹性云服务器 。请确保每个CPU核至少保留2GB内存空间，安装测试工具的磁盘空间至少10GB。本例以CentOS 7.4操作系统 云服务器 为例。远程连接弹性云 服务器 。安装依赖包。yum install -y m4 nu

查看更多 →

温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题，可以参考解决方案进行优化： 问题一：模型答案没有按照Prompt要求回答。例如，要求文案在300字以内，但是模型回答字数仍然超出300字。

查看更多 →

服务监控：用户可方便地查看场景识别、2D图像生成、2D预标注的监控数据。 智驾模型管理：智驾模型管理列表中展示服务内置的初始模型和用户进行模型微调后的迭代模型。支持将微调后的迭代模型创建在线服务，进行推理，查看预测效果。 模型微调 场景识别 2D图像生成 2D预标注 智驾模型管理 镜像仓库 Octopus平台各

查看更多 →

云平台提供了多种实例类型供您选择，不同类型的实例可以提供不同的计算能力和存储能力。同一实例类型下可以根据CPU和内存的配置选择不同的实例规格。本章节以通用计算增强型C6s、通用计算增强型C6、内存优化型M6为例，采用SPECInt（Standard Performance Evaluation Corporation，Integer）基准

查看更多 →

训练产物、训练任务日志存储在OBS中。 模型评测 评测脚本文件、评测产物、评测任务日志存储在OBS中。 编译管理 编译产物、编译任务日志存储在OBS中。 仿真服务 场景管理 场景文件存储在OBS中。 逻辑场景管理 逻辑场景的参数空间敏感性分析文件存储在OBS中。 并行仿真 仿真结果存储在OBS中。 智驾模型服务 2D图像生成

查看更多 →

评测算法的自研proto接口 背景 Octopus内置一套评测算法，用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义，序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示，目前控制台展示主要分为两大方面：

查看更多 →

，持续提升自动驾驶算法的安全性。 在数据服务和训练服务的基础上，提供在线仿真管理、算法管理、评测管理、场景管理、任务管理等应用工具，确保自动驾驶规模合规、安全、可度量，版本快速集成。 智驾模型服务 以盘古大模型为核心。 自动驾驶场景理解代替人工打标签分类，万段视频片段分钟级处理完成。

查看更多 →

createLogicalGeneralizations 删除泛化任务 octopus deleteLogicalGeneralizations 表7 云审计 服务支持的智驾模型服务关键操作列表 操作名称 资源类型 事件名称 设置委托名称 octopus setAgency 删除委托名称 octopus deleteAgency

查看更多 →

Octopus平台提供对评测任务的管理，包括创建、删除、停止评测任务的操作。在评测任务页面， 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后，触发任务。评测任务结束后会生成评测任务结果文件，详细展示模型的各项评测指标得分。 创建评测任务 评测任务与评测参数和数据集有关。具体步骤如下：

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

镜像生效，评测镜像和仿真器镜像不支持配置entrypoint。 目前自定义算法、自定义评测、自定义脚本的镜像制作使用的基础镜像版本要求为：ubuntu18.04及以上。算法与仿真器需要采用TCP协议进行通信。 自定义评测镜像制作 与datahub对接的算法镜像制作 评测算法的自研proto接口

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。

查看更多 →

评分方案介绍 Octopus评测指标共有30多项大类指标，当规控算法未通过某些评测指标后，评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类： 主要指标（以下简称A类）。 次要指标（以下简称B类）。 未定义重要度指标（以下简称C类）。 本设计提供如下三种内置的评分方案：

查看更多 →

训练服务操作引导如下： 算法管理：负责管理用户上传的符合平台规范的算法。 训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。 编译管理：包含编译任务和编译镜像。训练产生的模型版本，一般不可直接被车载芯片识别，需要经过编译工具，模型编译成车载芯片识别的产物。

查看更多 →

AB类log函数评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →

选择左侧的数据，右侧将高亮显示对应的数据，内置评测信号参数请参考内置评测信号参数。 图5 评测信号 可根据需要添加数据和框图，也可根据需要选择框图的横向和纵向布局。 单击可删除不需要的框图和数据。单击“清空数据”，可清空页面上所有的数据。 内置评测信号参数 表1 内置评测信号参数 内置评测信号参数 对应中文

查看更多 →

现算法的白盒化评测。 Datahub模式，目前暂不支持配合仿真器的帧同步模式。 图3 算法配置 评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”，设置评测标准。 内置评测配置：请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像：请选择在“评测管理”服务中创

查看更多 →

不参与评分。 AB类均匀权重评测分数计算实现（Equation） 本设计的评测分数旨在反映自动驾驶的安全性，因此计算过程中的评测分值分布为： A类：60分 B类：40分 具体实现公式为： 其中： : A类指标参与评测的总数目。 : A类指标未通过的数目。 : B类指标参与评测的总数目。 : B类指标未通过的数目。

查看更多 →