更新时间:2025-02-20 GMT+08:00
分享

创建任务

Octopus平台提供对评测任务的管理,包括创建、删除、停止评测任务的操作。在评测任务页面, 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后,触发任务。评测任务结束后会生成评测任务结果文件,详细展示模型的各项评测指标得分。

创建评测任务

评测任务与评测参数和数据集有关。具体步骤如下:

  1. 在左侧菜单栏中选择“训练服务 > 模型评测”。
  2. 选择“评测任务”页签,单击“新建评测任务”,填写如下信息。

    表1 新建评测任务

    参数

    描述

    名称

    任务组名称,包含中英文、数字、“_”“-”,不得超过32个字符。

    描述

    简要描述任务,不包含“@^\#$%&*<>'|"/”,不得超过256个字符。

    类别

    分“内置”或“用户”,然后选择对应类别:

    • 内置:支持“分类”、“2D目标检测”、“3D目标检测”、“2D目标追踪”、“3D目标追踪”“2D语义分割”、“3D语义分割”、“车道线检测”八个类别。
    • 用户:不允许选择内置评测项,仅可使用自定义评测。

    资源规格

    选择当前项目中可用的资源用途为“模型评测”的资源规格,可参考资源管理创建资源规格。

    优先级

    设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。

    关联已有算法

    可选择关联已有的算法。

    模型

    选择模型仓库和对应的模型版本,如果需要将模型对应的原始算法也挂载到用户评测容器中,可选择“关联已有算法”,系统默认选择模型创建时的关联算法,用户也可手动更改选择其他算法文件。选择该项后,会自动添加算法路径环境变量${ALGORITHM}至容器中,并在“评测启动指令”文本框内输入环境变量提示信息。

    数据集

    选择普通数据集或缓存数据集。

    评测配置

    设置评测配置,详情请参考3

  3. 选择自定义评测和内置指标评测(至少选择一项)。

    • 自定义评测:
      • 创建自定义BadCase判别:当类别选择“2D、3D目标检测”时,可选择创建BadCase判别;自定义和内置的BadCase判别只能选择其中一种。
      • 评测脚本:可选,如果用户有其他自定义评测脚本,可勾选该项将选择的脚本路径挂载至容器内部,用户可使用${SCRIPT}进行引用。
      • 评测启动指令:用户指定自定义评测的启动命令,根据用户选择注入以下环境变量:
        表2 环境变量

        类型

        启动命令

        默认值

        模型

        ${MODEL}

        /tmp/data/model

        算法

        ${ALGORITHM}

        /tmp/data/algorithm

        数据集

        ${DATASET}

        /tmp/data/dataset/dataset-0

        自定义评测脚本

        ${SCRIPT}

        /tmp/data/script

        评测结果路径

        ${EVAL_RESULT}

        /tmp/result/eval

        坏例判别路径

        ${BADCASE_RESULT}

        /tmp/badcase

        ${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。

        ${BADCASE_RESULT}/records 用户保存坏例记录文件位置。

        示例命令:

        python ${SCRIPT}/eval.py --image ${DATASET} --output ${EVAL_RESULT} --model ${MODEL}/best.pt
    • 内置指标评测:
      • 创建内置BadCase判别:当类别选择“2D、3D目标检测”时,可选择创建BadCase判别;自定义和内置的BadCase判别只能选择其中一种。
      • 推理启动命令:用户使用内置指标评测时需将数据推理结果存储在特定目录下,相关环境变量包括如下:
        表3 环境变量

        类型

        启动命令

        默认值

        模型

        ${MODEL}

        /tmp/data/model

        算法

        ${ALGORITHM}

        /tmp/data/algorithm

        数据集

        ${DATASET}

        /tmp/data/dataset/dataset-0

        推理结果路径

        ${INFER_RESULT}

        /tmp/result/infer

        坏例判别路径

        ${BADCASE_RESULT}

        /tmp/badcase

        ${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。

        ${BADCASE_RESULT}/records 用户保存坏例记录文件位置。

        示例命令:

        python ${MODEL}/detect.py --image ${DATASET} --output ${INFER_RESULT} --model ${MODEL}/best.pt
      • 评测参数项:根据用户选择的模型类别,动态生成评测所需的参数项,用户可参考前端提示填写。
      • 评测指标项:根据用户选择的模型类别,动态生成的平台支持的内置指标项,用户单击选中对应指标项则可加入到待评测指标中。

  4. 单击“创建”,在评测任务页面显示新创建的任务信息。

评测任务相关操作

在“评测任务”列表,可对任务进行以下操作。

表4 评测任务相关操作

任务

操作步骤

查找任务

在搜索输入框中输入搜索条件,按回车键即可查询。

查看任务详情

单击任务名称,可在任务详情页查看该任务详情、参数信息、评测结果、任务日志和资源在占用情况。

  • 任务详情:任务ID、名称、描述、状态、资源类型等信息。
  • 任务视图:根据创建任务时选择不同的评测,显示不同的任务视图。
  • 评测结果:单击任务视图,可显示相对应的评测任务结果,详情请参考评测结果
  • 任务日志:单击任务视图,可显示相对应的任务运行过程中生成的日志信息,详情请查看评测任务日志查看与下载
  • 资源占用情况:单击任务视图,可显示相对应任务占用的CPU、内存、GPU显存利用率、占用率百分比的折线图,详情请查看资源占用情况

删除任务

  • 单击操作栏的“删除”,删除单个任务。
  • 勾选多个任务,单击列表上方的“删除”,可批量删除任务。

重建任务

单击操作栏内的“重建”,输入新任务名称(以“任务组名-自定义名称”的形式)和是否删除原任务选项,同时可重新选择需要修改的参数。

停止任务

单击操作栏的“停止”,停止评测任务。

继续任务

单击操作栏中的“继续”,继续执行任务。

对比任务

勾选2-4个任务(要求类别相同,且均为已完成状态),单击“对比”创建对比任务,具体步骤请参考评测对比

评测任务相关操作与任务所处状态约束关系请见下表。
表5 作业状态与操作约束关系

作业状态

重建

删除

停止

继续

排队中

-

-

等待中

-

-

-

提交中

-

-

-

-

提交失败

-

-

运行中

-

-

-

运行异常

-

已完成

-

-

停止中

-

-

-

-

停止失败

-

-

-

已停止

-

删除中

-

-

-

-

删除失败

-

-

-

相关文档