自动驾驶云服务 Octopus
自动驾驶云服务 Octopus
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- 准备工作
- 数据资产
- 数据合规
- 数据处理
- 标注服务
- 训练服务
-
仿真服务
- 仿真服务简介
- 在线仿真
- 算法管理
-
评测管理
- 内置评测配置
- 自定义评测镜像
- 评测列表
-
内置评测指标说明
- 内置评测指标简介
- 减速度(Deceleration)检测
- 急转向(Steering)检测
- 急刹(Emergency Braking)检测
- 加速度变化率(Jerk)检测
- 平稳起步(Gentle Start)检测
- 平顺性(Ride Comfort)检测
- 乘员舒适性(Driving Comfort)检测
- 蛇行(Snake Driving)检测
- 碰撞(Collision)检测
- 车道保持(Lane Keeping)检测
- 限速(Speeding)检测
- 碰撞时间(Time to Collision)检测
- 车头时距(Time Headway)检测
- 在路(On Road)检测
- 逆行(Reverse Direction Driving)检测
- 压实线(Onto Solid line)检测
- 换道(Lane Change)检测
- 到达终点(Reach Destination)检测
- 红灯前行为(Run Red Light)检测
- 绿灯通行(Drive Through Green Light)检测
- 礼让行人(Polite To Pedestrian)检测
- 限速标志牌前限速(Speed Limit Sign)检测
- 跟车起停(Stop and Go)检测
- 应对对向车辆占道(Encroaching vehicle)检测
- 警告标志前行为(Warning Sign)检测
- 指示标志牌前行为(Mandatory Sign)检测
- 禁止标志牌前行为(Prohibited Sign)检测
- 通行速率(Efficiency)检测
- 预警系统激活(Warning)检测
- 控制辅助系统激活(Control)检测
- 信息辅助系统激活(Information)检测
- 评测分数计算介绍
- 实时评测和延时评测介绍
- 场景管理
- 并行仿真
- 批量仿真调优
- Open SCENARIO2.0场景说明
- 采样方式介绍
- 智驾模型服务
- 镜像仓库
- 运维配置
- 工作空间
- 审计日志
- API参考
- SDK参考
- 常见问题
- 文档下载
- 通用参考
链接复制成功!
评测脚本
Octopus平台提供评测脚本管理功能,支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。
创建评测脚本
添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下:
- 在左侧菜单栏中单击“训练服务 > 模型评测”。
- 选择“评测脚本”页签,单击“新建评测脚本”,填写脚本信息。
图1 新建评测脚本
- 名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
- 描述:简要描述脚本信息。不得包含“@^\#$%&*<>'|"/”,不得超过256个字符。
- 单击“初始化”,完成脚本的初始化过程。
- 上传文件
将本地脚本文件夹拖入框中,或单击此处选择本地文件夹。
图2 上传文件文件夹选择完毕后,单击“上传”。说明:
上传中刷新或关闭浏览器会导致文件上传异常,请谨慎操作!
- 查看脚本详情
单击脚本名称,进入该脚本的详情页面。
图3 脚本详情脚本详情:脚本的详细信息,如脚本ID、名称、描述、状态等信息。
评测脚本相关操作
在“评测脚本”列表,可对脚本进行以下操作。
任务 |
操作步骤 |
---|---|
查找脚本 |
在搜索输入框中输入搜索条件,按回车键即可查询。 |
查看脚本详情 |
单击脚本名称,查看脚本详情。 |
删除脚本 |
单击操作栏的“更多 > 删除”,删除脚本。 在使用中的评测脚本不能被删除。 |
编辑脚本 |
单击操作栏内的“编辑”,可修改脚本信息。 在使用中的评测脚本不能被编辑。 |
上传文件 |
单击脚本名称后操作栏内的“更多 > 上传文件”,上传本地脚本文件。 脚本所处状态为“初始化”、“上传中断”的自定义算法可上传文件。 |
打包文件 |
单击操作栏的“打包”,即可打包脚本。 脚本所处状态为“创建成功”且打包状态不为“打包中”的自定义脚本可打包文件。 |
下载脚本 |
当脚本的打包状态为“打包成功”时,单击操作栏的“更多 > 下载”,即可下载脚本。 |
脚本编辑 |
单击在线编辑栏的“在线编辑”,可在线编辑脚本,具体请参考评测脚本在线编辑。 |
评测脚本在线编辑
平台提供脚本编辑器,可在线编辑评测文件。单击评测脚本名称后"在线编辑",进入该脚本的在线编辑页面。如图4,界面左侧显示的是该评测文件包内的所有文件,以目录树的形式展示,支持编程语言的渲染,支持MarkDown文件的实时双屏预览。
- 新增文件夹:选中文件夹并单击
,用户将新建一个该文件夹的子文件夹。选中工程文件并单击
,将会新建一个新的文件夹,与用户已有的文件夹同级。
- 新增文件:单击
,或单击某个文件夹目录,单击“新增文件”。
- 修改文件:单击
,用户可对文件名称进行修改。
- 删除文件:单击
,用户可删除文件。
说明:
- 文件(夹)名称不能为空,且只能包含数字、英文、中文、点、下划线、中划线。
- 删除后不可恢复,请谨慎操作。
- 配置界面:单击
,按照喜好配置界面基本属性,查看快捷键说明。
图5 配置界面 - 删除当前文件:单击"删除",删除当前页面的文件。删除后不可恢复,请谨慎操作。
- 保存文件:单击"保存",保存当前脚本。脚本更新完毕请及时保存。
评测脚本使用说明:
- 模型路径通过环境变量{MODEL}获取,用户在评测过程中需要选择该模型,需要注意的是,以上环境变量仅指明模型文件夹,具体选择模型需用户指定,例如使用os.path.join拼接,或者使用os.listdir查找选择 。
- 评测数据集通过环境变量{DATASET}获取:
DATASET_PATH = os.getenv("DATASET")
- 用户产生的评测结果可以存储为任意格式文件,任务完成后可在评测任务详情页的评测结果中查看(支持通用文本文件)或下载结果文件。
说明:
评测使用以下环境变量:
MODEL:模型目录
DATASET:数据集目录
EVAL_RESULT:用户自定义评测结果存放目录
父主题: 模型评测