评测任务
Octopus平台提供对评测任务的管理，包括创建、删除、停止评测任务的操作。在评测任务页面， 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后，触发任务。评测任务结束后会生成评测任务结果文件，详细展示模型的各项评测指标得分。
创建评测任务
评测任务与评测参数和数据集有关。具体步骤如下：
- 在左侧菜单栏中单击“训练服务 > 模型评测”。
- 选择“评测任务”页签，单击“新建评测任务”，填写基本信息。
图1 新建评测任务
- 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。
- 描述：简要描述任务，不包含“@#$%^&*< > \”，不得超过256个字符。
- 类别：可选择“内置”或“用户”，选择相对应的类别。
- 选择“内置”，支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”八个类别。
- 选择“用户”，则不允许选择内置评测项，仅可使用用户自定义评测。
- 资源规格：当前项目中可用的资源规格，资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。
- 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。
- 选择模型与数据集
图2 选择模型与数据集
- 选择模型：选择模型仓库和对应的模型版本，如果需要将模型对应的原始算法也挂载到用户评测容器中，可单击勾选“关联已有算法”，系统默认选择模型创建时的关联算法，用户也可手动更改选择其他算法文件。选择该项后，会自动添加算法路径环境变量${ALGORITHM}至容器中，并在“评测启动指令”文本框内输入环境变量提示信息。
- 选择数据集：如果选择内置评测选项，数据集不支持视图格式。选择数据集时无法预览到视图数据。
- 选择自定义评测和内置指标评测（“自定义评测”和“内置指标评测”至少选择一项）。
图3 选择自定义评测和内置指标评测
- 自定义评测：
评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路径挂载至容器内部，用户可使用${SCRIPT}进行引用。
评测启动指令：用户指定自定义评测的启动命令，根据用户选择注入以下环境变量：
表1 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
自定义评测脚本
${SCRIPT}
/tmp/data/script
评测结果路径
${EVAL_RESULT}
/tmp/result/eval
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令：
python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt - 内置指标评测：
推理启动命令：用户使用内置指标评测时需将数据推理结果存储在特定目录下，相关环境变量包括如下：
表2 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
推理结果路径
${INFER_RESULT}
/tmp/result/infer
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令：
python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt评测参数项：根据用户选择的模型类别，动态生成评测所需的参数项，用户可参考前端提示填写。
评测指标项：根据用户选择的模型类别，动态生成的平台支持的内置指标项，用户单击选中对应指标项则可加入到待评测指标中。
- 自定义评测：
- 单击“创建”，在评测任务页面显示新创建的任务信息。
评测任务相关操作
在“评测任务”列表，可对任务进行以下操作。
任务 |
操作步骤 |
|---|---|
查找任务 |
在搜索输入框中输入搜索条件，按回车键即可查询。 |
查看任务详情 |
单击任务名称，可在任务详情页查看该任务详情、参数信息、评测结果、任务日志和资源在占用情况。
|
删除任务 |
|
创建新任务 |
单击操作栏内的“创建新任务”，输入新任务名称（以“任务组名-自定义名称”的形式）和是否删除原有任务选项，同时可重新选择需要修改的参数。 |
停止任务 |
单击操作栏的“停止”，停止评测任务。 |
继续任务 |
单击操作栏中的“继续”，继续执行任务。 |
对比任务 |
勾选2-4个任务（要求类别相同，且均为已完成状态），单击“对比”创建对比任务，具体步骤请参考评测对比。 |
作业状态 |
创建新任务 |
删除 |
停止 |
继续 |
|---|---|---|---|---|
排队中 |
- |
√ |
√ |
- |
提交中 |
- |
- |
- |
- |
提交失败 |
√ |
√ |
- |
- |
运行中 |
- |
- |
√ |
- |
运行异常 |
√ |
√ |
- |
√ |
已完成 |
√ |
√ |
- |
- |
停止中 |
- |
- |
- |
- |
停止失败 |
- |
√ |
- |
- |
已停止 |
√ |
√ |
- |
√ |
删除中 |
- |
- |
- |
- |
删除失败 |
- |
√ |
- |
- |
