评测任务 创建任务 评测结果 父主题： 模型评测

查看更多 →

评测管理 Octopus支持内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真任务中的算法展开评测。 图1 评测管理流程图 内置评测配置 自定义评测镜像 评测列表 内置评测指标说明 评测分数计算介绍 实时评测和延时评测介绍 父主题： 仿真服务

查看更多 →

会展示以下三种流程图： 自定义评测 图2 自定义评测 内置指标评测 图3 内置指标评测 自定义评测+内置指标评测（组合评测） 图4 自定义评测+内置指标评测（组合评测） 用户单击不同的任务视窗后，结果栏会相应切换。可查看在当前视图下的结果文件、任务日志和资源占用情况。 坏例判别

查看更多 →

模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务

查看更多 →

评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签，单击“新建评测对比”，填写基本信息。 图1 新建评测对比 名称：对比任务名称，只能包含数字、英文、中文、下划线、中划线。 描述：简要描述任务，

查看更多 →

评测脚本 Octopus平台提供评测脚本管理功能，支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。 创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评

查看更多 →

模型评测 创建评测脚本 创建评测任务 父主题： 训练服务

查看更多 →

选择数据集：用户选择评测使用的数据集。如果选择内置评测选项，数据集不支持视图格式。选择数据集时无法预览到视图数据。 选择自定义评测和内置指标评测（“自定义评测”和“内置指标评测”至少选择一项）。 图3 选择自定义评测和内置指标评测 自定义评测： 评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路

查看更多 →

处理每帧数据，不断更新评测结果。 仿真结束时，将最后一帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，经评测结果写入到评测pb文件中。 延时评测 图2 延时评测 如上图所示，延时评测以仿真pb文件作为输入，进行评测逻辑处理后，将评测结果写成评测pb。 其中仿真pb是通过八爪鱼提供的sim_osi

查看更多 →

创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重（Average）评分方案 C类均匀权重评分（Average）方案 父主题： 评测管理

查看更多 →

内置评测指标说明 内置评测指标简介 减速度（Deceleration）检测 急转向（Steering）检测 急刹（Emergency Braking）检测 加速度变化率（Jerk）检测 平稳起步(Gentle Start)检测 平顺性（Ride Comfort）检测 乘员舒适性（Driving

查看更多 →

评测列表 在评测列表，还可以进行以下操作： 表1 评测列表相关操作 任务 操作步骤 搜索评测 在搜索框中输入关键字搜索相关评测。支持通过评测名称、评测ID和评测类型搜索。 查看评测详情 单击评测名称，页面跳转至评测详情页。 编辑评测 单击操作栏中的“编辑”，可编辑评测的信息。 删除评测

查看更多 →

\”特殊字符，不得超过255个字符。 评测类型：选择“内置评测配置”。 评测模式：选择“实时评测”和“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。仿真评测创建成功。 查看内置评测配置详情 评测类型为内置评测配置时，项目详情包含评测基本信息和自定义评测配置两部分。 图2 内置评测配置详情

查看更多 →

步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 图1 新建评测 评测名称：只能包

查看更多 →

\”特殊字符，不得超过255个字符。 评测类型：选择“自定义评测镜像”。 评测镜像：选择在镜像仓库中创建好的评测镜像。 评测模式：选择“实时评测”和“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。仿真评测创建成功。 查看自定义评测镜像详情 评测类型为自定义评测镜像时，项目详情包含评测基本信息和评测镜像两部分。

查看更多 →

内置评测指标简介 评测算法从驾驶安全性，智能性，合规性，舒适性等维度对自动驾驶系统进行全面评价。评测指标的pass/fail标准比较复杂，需要对一些评测函数的细节进行介绍。 point_type：是一个PointType的枚举类型，表示该子类指标发生特殊状态（一般是指发生异常）时

查看更多 →

智驾模型管理 智驾模型微调后，需要对模型进行评测，并把模型部署到环境上进行推理，方便用户使用自己的数据训练得到专属模型进行推理，及比对训练效果。 智驾模型 在线服务 父主题： 智驾模型服务

查看更多 →

温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题，可以参考解决方案进行优化： 问题一：模型答案没有按照Prompt要求回答。例如，要求文案在300字以内，但是模型回答字数仍然超出300字。

查看更多 →

真结束，将结束时的这帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，将评测结果写入到评测pb文件中。 写成评测pb文件后，自定义实时评测镜像的工作就完成了。仿真平台的控制程序，会主动将自定义评测结果和内置评测结果融合后的评测pb文件上传到对象存储中，前端可通过下载pb文件进行解析。

查看更多 →