- 功能总览
- 产品介绍
- 快速入门
- 用户指南
- API参考
- SDK参考
- 常见问题
- 文档下载
- 通用参考
链接复制成功!
创建任务
Octopus平台提供对评测任务的管理,包括创建、删除、停止评测任务的操作。在评测任务页面, 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后,触发任务。评测任务结束后会生成评测任务结果文件,详细展示模型的各项评测指标得分。
创建评测任务
评测任务与评测参数和数据集有关。具体步骤如下:
- 在左侧菜单栏中选择“训练服务 > 模型评测”。
- 选择“评测任务”页签,单击“新建评测任务”,填写如下信息。
表1 新建评测任务 参数
描述
名称
任务组名称,包含中英文、数字、“_”“-”,不得超过32个字符。
描述
简要描述任务,不包含“@^\#$%&*<>'|"/”,不得超过256个字符。
类别
分“内置”或“用户”,然后选择对应类别:
- 内置:支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”八个类别。
- 用户:不允许选择内置评测项,仅可使用自定义评测。
资源规格
选择当前项目中可用的资源用途为“模型评测”的资源规格,可参考资源管理创建资源规格。
优先级
设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
关联已有算法
可选择关联已有的算法。
模型
选择模型仓库和对应的模型版本,如果需要将模型对应的原始算法也挂载到用户评测容器中,可选择“关联已有算法”,系统默认选择模型创建时的关联算法,用户也可手动更改选择其他算法文件。选择该项后,会自动添加算法路径环境变量${ALGORITHM}至容器中,并在“评测启动指令”文本框内输入环境变量提示信息。
数据集
选择普通数据集或缓存数据集。
评测配置
设置评测配置,详情请参考3。
- 选择自定义评测和内置指标评测(至少选择一项)。
- 自定义评测:
- 创建自定义BadCase判别:当类别选择“2D、3D目标检测”时,可选择创建BadCase判别;自定义和内置的BadCase判别只能选择其中一种。
- 评测脚本:可选,如果用户有其他自定义评测脚本,可勾选该项将选择的脚本路径挂载至容器内部,用户可使用${SCRIPT}进行引用。
- 评测启动指令:用户指定自定义评测的启动命令,根据用户选择注入以下环境变量:
表2 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
自定义评测脚本
${SCRIPT}
/tmp/data/script
评测结果路径
${EVAL_RESULT}
/tmp/result/eval
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令:
python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt
- 内置指标评测:
- 创建内置BadCase判别:当类别选择“2D、3D目标检测”时,可选择创建BadCase判别;自定义和内置的BadCase判别只能选择其中一种。
- 推理启动命令:用户使用内置指标评测时需将数据推理结果存储在特定目录下,相关环境变量包括如下:
表3 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
推理结果路径
${INFER_RESULT}
/tmp/result/infer
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令:
python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt
- 评测参数项:根据用户选择的模型类别,动态生成评测所需的参数项,用户可参考前端提示填写。
- 评测指标项:根据用户选择的模型类别,动态生成的平台支持的内置指标项,用户单击选中对应指标项则可加入到待评测指标中。
- 自定义评测:
- 单击“创建”,在评测任务页面显示新创建的任务信息。
评测任务相关操作
在“评测任务”列表,可对任务进行以下操作。
任务 |
操作步骤 |
---|---|
查找任务 |
在搜索输入框中输入搜索条件,按回车键即可查询。 |
查看任务详情 |
单击任务名称,可在任务详情页查看该任务详情、参数信息、评测结果、任务日志和资源在占用情况。
|
删除任务 |
|
重建任务 |
单击操作栏内的“重建”,输入新任务名称(以“任务组名-自定义名称”的形式)和是否删除原任务选项,同时可重新选择需要修改的参数。 |
停止任务 |
单击操作栏的“停止”,停止评测任务。 |
继续任务 |
单击操作栏中的“继续”,继续执行任务。 |
对比任务 |
勾选2-4个任务(要求类别相同,且均为已完成状态),单击“对比”创建对比任务,具体步骤请参考评测对比。 |
作业状态 |
重建 |
删除 |
停止 |
继续 |
---|---|---|---|---|
排队中 |
- |
√ |
√ |
- |
等待中 |
- |
- |
√ |
- |
提交中 |
- |
- |
- |
- |
提交失败 |
√ |
√ |
- |
- |
运行中 |
- |
- |
√ |
- |
运行异常 |
√ |
√ |
- |
√ |
已完成 |
√ |
√ |
- |
- |
停止中 |
- |
- |
- |
- |
停止失败 |
- |
√ |
- |
- |
已停止 |
√ |
√ |
- |
√ |
删除中 |
- |
- |
- |
- |
删除失败 |
- |
√ |
- |
- |