创建任务

创建评测任务

评测任务与评测参数和数据集有关。具体步骤如下：

1. 在左侧菜单栏中单击“训练服务 > 模型评测”。
2. 选择“评测任务”页签，单击“新建评测任务”，填写基本信息。
   图1 新建评测任务

   

   • 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。
   • 描述：简要描述任务，不包含“@^\#$%&*<>'|"/”，不得超过256个字符。

     

3. 选择模型与数据集。
   图2 选择模型与数据集

   

   • 选择模型：选择模型仓库和对应的模型版本，如果需要将模型对应的原始算法也挂载到用户评测容器中，可单击勾选“关联已有算法”，系统默认选择模型创建时的关联算法，用户也可手动更改选择其他算法文件。选择该项后，会自动添加算法路径环境变量${ALGORITHM}至容器中，并在“评测启动指令”文本框内输入环境变量提示信息。
   • 选择数据集：用户选择评测使用的数据集。如果选择内置评测选项，数据集不支持视图格式。选择数据集时无法预览到视图数据。

4. 选择自定义评测或内置指标评测。
   图3 选择内置评测（上）或自定义评测（下）

   

   

   • 类别：可选择“内置”或“用户”，选择相对应的类别。
     

     • 选择“内置”，支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”八个类别。
     • 选择“用户”，则不允许选择内置评测项，仅可使用用户自定义评测。
   • 自定义评测：

     评测脚本：可选，如果用户有其他自定义评测脚本，可勾选该项将选择的脚本路径挂载至容器内部，用户可使用${SCRIPT}进行引用。

     评测启动指令：用户指定自定义评测的启动命令，根据用户选择注入以下环境变量：

     表1 环境变量

     类型	启动命令	默认值
     模型	${MODEL}	/tmp/data/model
     算法	${ALGORITHM}	/tmp/data/algorithm
     数据集	${DATASET}	/tmp/data/dataset/dataset-0
     自定义评测脚本	${SCRIPT}	/tmp/data/script
     评测结果路径	${EVAL_RESULT}	/tmp/result/eval
     坏例判别路径	${BADCASE_RESULT}	/tmp/badcase ${BADCASE_RESULT}/annotations用户提供坏例的标准Octopus标注数据。 ${BADCASE_RESULT}/records用户保存坏例记录文件位置。

     示例命令：

     python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt

   • 内置指标评测：

     推理启动命令：用户使用内置指标评测时需将数据推理结果存储在特定目录下，相关环境变量包括如下：

     表2 环境变量

     类型	启动命令	默认值
     模型	${MODEL}	/tmp/data/model
     算法	${ALGORITHM}	/tmp/data/algorithm
     数据集	${DATASET}	/tmp/data/dataset/dataset-0
     推理结果路径	${INFER_RESULT}	/tmp/result/infer
     坏例判别路径	${BADCASE_RESULT}	/tmp/badcase ${BADCASE_RESULT}/annotations用户提供坏例的标准Octopus标注数据。 ${BADCASE_RESULT}/records用户保存坏例记录文件位置。

     示例命令：

     python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt

     评测参数项：根据用户选择的模型类别，动态生成评测所需的参数项，用户可参考前端提示填写。

     评测指标项：根据用户选择的模型类别，动态生成的平台支持的内置指标项，用户单击选中对应指标项则可加入到待评测指标中。

5. 选择资源规格和任务优先级。

   

   • 资源规格：当前项目中可用的资源规格，资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。
   • 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。

6. 单击“创建”，在评测任务页面显示新创建的任务信息。

评测任务相关操作

在“评测任务”列表，可对任务进行以下操作。