创建评测任务
评测任务与评测参数和数据集有关。具体步骤如下：
- 在左侧菜单栏中选择“训练服务 > 模型评测”。
- 选择“评测任务”页签，单击“新建评测任务”，填写如下信息。
表1 新建评测任务 参数
描述
名称
任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。
描述
简要描述任务，不包含“@^\#$%&*<>'|"/”，不得超过256个字符。
类别
分“内置”或“用户”，然后选择对应类别：
- 内置：支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”八个类别。
- 用户：不允许选择内置评测项，仅可使用自定义评测。
资源规格
选择当前项目中可用的资源用途为“模型评测”的资源规格。
优先级
设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。
关联已有算法
可选择关联已有的算法。
模型
选择模型仓库和对应的模型版本，如果需要将模型对应的原始算法也挂载到用户评测容器中，可选择“关联已有算法”，系统默认选择模型创建时的关联算法，用户也可手动更改选择其他算法文件。选择该项后，会自动添加算法路径环境变量${ALGORITHM}至容器中，并在“评测启动指令”文本框内输入环境变量提示信息。
数据集
选择普通数据集或缓存数据集。
评测配置
设置评测配置，详情请参考3。
- 选择自定义评测和内置指标评测（至少选择一项）。
- 自定义评测：
- 创建自定义BadCase判别：当类别选择“2D、3D目标检测”时，可选择创建BadCase判别；自定义和内置的BadCase判别只能选择其中一种。
- 评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路径挂载至容器内部，用户可使用${SCRIPT}进行引用。
- 评测启动指令：用户指定自定义评测的启动命令，根据用户选择注入以下环境变量：
表2 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
自定义评测脚本
${SCRIPT}
/tmp/data/script
评测结果路径
${EVAL_RESULT}
/tmp/result/eval
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令：
python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt
- 内置指标评测：
- 创建内置BadCase判别：当类别选择“2D、3D目标检测”时，可选择创建BadCase判别；自定义和内置的BadCase判别只能选择其中一种。
- 推理启动命令：用户使用内置指标评测时需将数据推理结果存储在特定目录下，相关环境变量包括如下：
表3 环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
推理结果路径
${INFER_RESULT}
/tmp/result/infer
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。
${BADCASE_RESULT}/records 用户保存坏例记录文件位置。
示例命令：
python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt - 评测参数项：根据用户选择的模型类别，动态生成评测所需的参数项，用户可参考前端提示填写。
- 评测指标项：根据用户选择的模型类别，动态生成的平台支持的内置指标项，用户单击选中对应指标项则可加入到待评测指标中。
- 自定义评测：
- 单击“创建”，在评测任务页面显示新创建的任务信息。
