评测列表 在评测列表，还可以进行以下操作： 表1 评测列表相关操作 任务 操作步骤 搜索评测 在搜索框中输入关键字搜索相关评测。支持通过评测名称和评测ID搜索。 查看评测详情 单击评测名称，页面跳转至评测详情页。 编辑评测 单击操作栏中的“编辑”，可编辑评测的信息。 说明： 当内

查看更多 →

评测任务 评测任务 评测结果 父主题： 模型评测

查看更多 →

] } } kind: 唯一类型标识，Table标识为表格，多用于输出指标项结果。 spec: 数据主体。 name：表格名称。 fields：表头元素。 data：表主体，每个列表表示一行数据。 柱状图 { "kind": "BarChart",

查看更多 →

评测管理 Octopus支持内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真任务中的算法展开评测。 图1 评测管理流程图 内置评测配置 自定义评测镜像 评测列表 内置评测指标说明 评测分数计算介绍 实时评测和延时评测介绍 父主题： 仿真服务

查看更多 →

模型评测 创建评测脚本 创建评测任务 父主题： 训练服务

查看更多 →

模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务

查看更多 →

单击脚本名称，进入该脚本的详情页面。 图3 脚本详情 脚本详情：脚本的详细信息，如脚本ID、名称、描述、状态等信息。 评测脚本相关操作 在“评测脚本”列表，可对脚本进行以下操作。 表1 评测脚本相关操作 任务 操作步骤 查找脚本 在搜索输入框中输入搜索条件，按回车键即可查询。 查看脚本详情 单击脚本名称，查看脚本详情。

查看更多 →

评测任务相关操作 在“评测任务”列表，可对任务进行以下操作。 表3 评测任务相关操作 任务 操作步骤 查找任务 在搜索输入框中输入搜索条件，按回车键即可查询。 查看任务详情 单击任务名称，可在任务详情页查看该任务详情、参数信息、评测结果、任务日志和资源在占用情况。 任务详情：任务ID、名称、描述、状态、资源类型等信息。

查看更多 →

"recall": [{"Car": 0.8, "Truck": 0.9}, 0.85], } 键值对，键表示指标名称，值为字典或列表。当值为列表时，第一项为各类别对应的该指标评测结果字典，第二项为所有类别的指标均值。当值为字典时，仅包含上述第一项。 折线图类指标结果 { "pr_curve":

查看更多 →

的脚本路径挂载至容器内部，用户可使用${SCRIPT}进行引用。 评测启动指令：用户指定自定义评测的启动命令，根据用户选择注入包括以下环境变量： 表1 自定义评测环境变量 类型 启动命令 默认值 模型 ${MODEL} /tmp/data/model 算法 ${ALGORITHM}

查看更多 →

处理每帧数据，不断更新评测结果。 仿真结束时，将最后一帧的评测结果作为最终的评测结果，通过EVA_PATH环境变量获取评测pb路径，经评测结果写入到评测pb文件中。 延时评测 图2 延时评测 如上图所示，延时评测以仿真pb文件作为输入，进行评测逻辑处理后，将评测结果写成评测pb。 其中仿真pb是通过八爪鱼提供的sim_osi

查看更多 →

创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。

查看更多 →

包含感知、规控、定位等算法信息。 信号查看器：在已完成的任务中，在任务详情页，单击操作栏中的“信号查看器”，页面跳转至信号查看器页面，以图表的形式展现该场景自动驾驶过程中的关键数据的变化。 下载任务报告 任务完成后，用户可下载PDF格式的任务报告至本地，便于查看。单击任务名称后“操作”栏的“更多

查看更多 →

评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重（Average）评分方案 C类均匀权重评分（Average）方案 父主题： 评测管理

查看更多 →

内置评测指标说明 简介 减速度（Deceleration）检测 急转向（Steering）检测 急刹（Emergency Braking）检测 加速度变化率（Jerk）检测 平稳起步(Gentle Start)检测 平顺性（Ride Comfort）检测 乘员舒适性（Driving

查看更多 →

步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 评测名称：只能包含数字、英文、中

查看更多 →

\”特殊字符，不得超过255个字符。 评测类型：选择“内置评测配置”。 评测模式：选择“实时评测”和“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。仿真评测创建成功。 查看内置评测配置详情 评测类型为内置评测配置时，项目详情包含评测基本信息和自定义评测配置两部分。 图2 内置评测配置详情

查看更多 →

\”特殊字符，不得超过255个字符。 评测类型：选择“自定义评测镜像”。 评测镜像：选择在镜像仓库中创建好的评测镜像。 评测模式：选择“实时评测”和“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。仿真评测创建成功。 查看自定义评测镜像详情 评测类型为自定义评测镜像时，项目详情包含评测基本信息和评测镜像两部分。

查看更多 →

该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on表示支持算子内存提前释放。 off表示不支持算子内存提前释放。 默认值：on local_syscache_threshold 参数说明：系统表cache在单个session缓存的大小。

查看更多 →

文件之前使用的内存大小。带partial cluster key的表、带索引的表插入，创建表索引，删除表和更新表都会用到。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 同样，多个正在运行的会话可能会同时进行表的局部排序操作。因此使用的总内存可能是psort_work_mem的好几倍。

查看更多 →

件之前使用的内存大小。带partial cluster key的表、带索引的表插入，创建表索引，删除表和更新表都会用到。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 同样，好几个正在运行的会话可能会同时进行表的局部排序操作。因此使用的总内存可能是psort_work_mem的好几倍。

查看更多 →