评测任务 创建任务 评测结果 父主题： 模型评测

查看更多 →

查看容量排名 提供用户查看已关联的资源容量排名的能力。 操作场景 通过Cloud Operations Center查看已关联的资源容量排名。 操作步骤 登录COC。 在左侧菜单栏选择“资源管理 > 应用资源管理”，进入“应用资源管理”页面，选择“应用管理”页签，单击“容量”。 图1

查看更多 →

资源占用情况功能模块，需要用户在制作 自定义镜像 时安装psutil与pynvml，参考命令如下： pip install psutil pynvml 如果未安装psutil与pynvml，则页面无法显示资源使用状况。 父主题： 评测任务

查看更多 →

评测管理 Octopus支持内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真任务中的算法展开评测。 图1 评测管理流程图 内置评测配置 自定义评测镜像 评测列表 内置评测指标说明 评测分数计算介绍 实时评测和延时评测介绍 父主题： 仿真服务

查看更多 →

模型评测 创建评测脚本 创建评测任务 父主题： 训练服务

查看更多 →

模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务

查看更多 →

语言的渲染，支持MarkDown文件的实时双屏预览。 图4 评测脚本在线编辑 新建文件夹：选中文件夹并单击，用户将新建一个该文件夹的子文件夹。选中工程文件并单击，将会新建一个新的文件夹，与用户已有的文件夹同级。 新建文件：单击，或右键文件夹，单击“新建文件”。 修改文件：单击，用户可对文件名称进行修改。

查看更多 →

选择对比来源与模式。 图2 选择对比来源与模式 对比来源：可选择“已有评测任务”或“新建评估任务”。 对比模式：可选择“文本对比”或“报告对比”。 文本对比：仅支持对比多个（2个及以上）自定义评测任务产生的文本文件。 报告对比：对于存在多个（2个及以上）内置评测任务时将自动触发

查看更多 →

选择“用户”，则不允许选择内置评测项，仅可使用用户自定义评测。 资源规格：当前项目中可用的资源规格，资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。 配置模型仓库与数据集 图2 选择模型与数据 选择模型

查看更多 →

实时评测和延时评测介绍 实时评测 图1 实时评测 实时评测的基本架构如上图所示，实时评测算法从仿真器和AD算法按帧接收数据，每接收一帧数据，就调用一次评测函数，在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤： 代码内实现与仿真器的通信，实时接收仿真器

查看更多 →

创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下： 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签，单击“新建评测脚本”，填写脚本信息。 图1 新建评测脚本 名称：只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →

评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重（Average）评分方案 C类均匀权重评分（Average）方案 父主题： 评测管理

查看更多 →

内置评测指标说明 简介 减速度（Deceleration）检测 急转向（Steering）检测 急刹（Emergency Braking）检测 加速度变化率（Jerk）检测 平稳起步(Gentle Start)检测 平顺性（Ride Comfort）检测 乘员舒适性（Driving

查看更多 →

步骤三：创建评测 Octopus支持自定义内置评测配置和自定义评测镜像，并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”，填写基本信息。 评测名称：只能包含数字、英文、中

查看更多 →

\”特殊字符，不得超过255个字符。 评测类型：选择“内置评测配置”。 评测模式：选择“实时评测”和“延时评测”。详情请参考实时评测和延时评测介绍。 以上信息填写无误后，单击“确认”。仿真评测创建成功。 查看内置评测配置详情 评测类型为内置评测配置时，项目详情包含评测基本信息和自定义评测配置两部分。 图2 内置评测配置详情

查看更多 →

评测列表 在评测列表，还可以进行以下操作： 表1 评测列表相关操作 任务 操作步骤 搜索评测 在搜索框中输入关键字搜索相关评测。支持通过评测名称和评测ID搜索。 查看评测详情 单击评测名称，页面跳转至评测详情页。 编辑评测 单击操作栏中的“编辑”，可编辑评测的信息。 说明： 当内

查看更多 →

单击“连接器日志”界面上方“本连接器操作日志”，单击“最热用户”右侧“全部用户排名”，进入“全部用户排名界面”，用户可查看排名、用户名称和操作次数。 查看本连接器全部数据排名 登录 交换数据空间 官网。 单击“管理控制台”，进入交换数据空间控制台界面。 单击“我的空间”，在交换数据

查看更多 →

面。 单击“连接器日志”界面上方“消费方操作日志”，单击“最热用户”右侧“全部用户排名”，进入“全部用户排名界面”，用户可查看排名、用户名称和操作次数。 查看消费方全部数据排名 登录交换数据空间官网。 单击“管理控制台”，进入交换数据空间控制台界面。 单击“我的空间”，在交换数据

查看更多 →

proto，用于支持用户自定义实时评测的功能，具体的proto字段说明见其他相关文档。 自定义实时评测算法的实现有如下几个步骤： 代码内实现与仿真器的通信，实时接收仿真器的帧数据，也可同时接收仿真器和AD算法的数据。同时，自定义评测算法也可选择对接八爪鱼提供的Datahub服务，通过Grpc协议

查看更多 →

了仿真器在整个仿真过程中的数据，用户可以利用该仿真pb进行数据分析。 评测pb下载：任务运行成功后，用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果，支持用户自定义评测指标输出为Octopus的评测pb格式，从而在前端进行展示。 算法pb下载：任务运行成功后，用户可以

查看更多 →