创建评测任务
评测任务与评测参数和数据集有关。具体步骤如下：
- 在左侧菜单栏中单击“训练服务 > 模型评测”。
- 选择“评测任务”页签，单击“新建评测任务”，填写基本信息、选择资源规格。
图1 创建评测任务
- 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。
- 描述：简要描述任务，不包含“@#$%^&*< > \”，不得超过256个字符。
- 类别：可选择“内置”或“用户”，选择相对应的类别。
- 选择“内置”，支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”七个类别。
- 选择“用户”，则不允许选择内置评测项，仅可使用用户自定义评测。
- 资源规格：当前项目中可用的资源规格，资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。
- 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。
- 配置模型仓库与数据集
图2 选择模型与数据
- 选择模型：选择模型仓库和对应的模型版本，如果需要将模型对应的原始算法也挂载到用户评测容器中，可单击勾选“关联已有算法”，系统默认选择模型创建时的关联算法，用户也可手动更改选择其他算法文件。选择该项后，会自动添加算法路径环境变量${ALGORITHM}至容器中，并在“评测启动指令”文本框内输入环境变量提示信息。
- 选择数据：选择数据存储或数据缓存。选择数据存储后选择数据集，如果选择内置评测选项，数据集不支持视图格式，选择数据集时无法预览到视图数据。
- 选择自定义评测和内置指标评测（“自定义评测”和“内置指标评测”至少选择一项）。
图3 选择自定义评测和内置指标评测
- 自定义评测：
评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路径挂载至容器内部，用户可使用${SCRIPT}进行引用。
评测启动指令：用户指定自定义评测的启动命令，根据用户选择注入包括以下环境变量：
表1 自定义评测环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
自定义评测脚本
${SCRIPT}
/tmp/data/script
评测结果路径
${EVAL_RESULT}
/tmp/result/eval
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据
${BADCASE_RESULT}/records 用户保存坏例记录文件位置
示例命令：
python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt - 内置指标评测：
推理启动命令：用户使用内置指标评测时需将数据推理结果存储在特定目录下，相关的环境变量包括如下：
表2 内置指标评测环境变量 类型
启动命令
默认值
模型
${MODEL}
/tmp/data/model
算法
${ALGORITHM}
/tmp/data/algorithm
数据集
${DATASET}
/tmp/data/dataset/dataset-0
推理结果路径
${INFER_RESULT}
/tmp/result/infer
坏例判别路径
${BADCASE_RESULT}
/tmp/badcase
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据
${BADCASE_RESULT}/records 用户保存坏例记录文件位置
示例命令：
python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt评测参数项：根据用户选择的模型类别，动态生成评测所需的参数项，用户可参考前端提示填写。
评测指标项：根据用户选择的模型类别，动态生成的平台支持的内置指标项，用户单击选中对应指标项则可加入到待评测指标中。
- 自定义评测：
- 单击“创建”，在评测任务页面显示新创建的任务信息。
