数据选择（难例）

算法概述

在实际业务场景中，模型维护是一个长期的过程，比如说按照每周、每月进行数据重训练，或者累计数据至一定量时进行定期的重训练。如果将全量的数据用于重训练，需要耗费较大的标注人力和训练耗时。为了提升模型维护效率，可以采用基于难例数据的重训练 。

​难例筛选算法对全量数据进行分析并筛选，仅输出全量数据中少部分对于模型维护有价值的数据。基于筛选后的数据进行重训练，可以有效减少标注人力和训练耗时。

难例筛选算法中融合了多种方法，要达到最佳效果，需要根据实际数据选择部分或全部方法，并调整其权重。

参数说明

输入要求

算子输入分为两种，“数据集”或“OBS目录”。

• 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
• 选择“OBS目录”，目录下需包含用于推理的原始图片以及推理结果文件

  其目录结构如下所示。

  input_path/
      --images/ # 文件夹名称必须为images
          ----1.jpg
          ----2.jpg
      --inference_results/  # 文件夹名称必须为inference_results
          ----1.jpg_result.txt
          ----2.jpg_result.txt

  其中，推理结果文件txt的内容需满足如下格式。如果使用ModelArts预置算法训练得到的模型进行推理，默认的推理结果已满足要求。

  • 图像分类

    {
        "predicted_label": "dog",
        "scores": [
            [
                "dog",
                "0.589"
            ],
            [
                "cat",
                "0.411"
            ]
        ]
    }

  • 物体检测

    {
        "detection_classes": [
            "cat",
            "cat"
            ],
        "detection_boxes": [
            [
                117.56356048583984,
                335.9902648925781,
                270.50848388671875,
                469.0136413574219
            ],
            [
                18.747316360473633,
                13.10757064819336,
                217.25146484375,
                108.3551025390625
            ]
        ],
        "detection_scores": [
                0.5179755091667175,
                0.46941104531288147
            ]
    }

输出说明

• 目标检测

  输出目录结构如下所示。

  output_path :
      --Data
          ----1.jpg
          ----1.xml      # 导出筛选结果至该目录下
      --output.manifest

  其中manifest文件示例如下所示。

  {"source":"/tmp/test_out/object_detection/images/be462ea9c5abc09f.jpg",
  "hard":"True",
  "hard-reasons":"0",  # 判定该样本为难例的原因，具体原因目前只在智能标注模块展示
  "hard-coefficient":"1.0", # 难例算法得到的难例系数，越大代表可能是难例的概率越大
  "annotation":[
  {"annotation-loc":"/tmp/test_out/object_detection/annotations/be462ea9c5abc09f.xml",
  "type":"modelarts/object_detection",
  "annotation-format":"PASCAL VOC",
  "annotated-by":"modelarts/hard_example_algo"}]}

• 图像分类

  输出目录结构如下所示。

  output_path :
      --Data
          ----class1
              ------1.jpg
          ----class2
              ------2.jpg
      --output.manifest

  其中manifest文件示例如下所示。

  {"source":"obs://obs_bucket_name/folder_name/catDog/5.jpg",
  "hard":true,
  "hard-reasons":"1-20-2-19-21-3",
  "hard-coefficient":1.0,
  "annotation":[
  {"name":"cat",
  "type":"modelarts/image_classification",
  "confidence":0.599,
  "annotated-by":"modelarts/hard_example_algo"}]}

日志文件说明

task_summary_file 为简化日志的输出文件路径，内容如下：

{
"task_status": 'SUCCEED', # 算法执行状态
"total_sample": integer,  # 输入样本总数
"hard_sample": integer    # 输出样本总数
}

或者是

{
"task_status": 'FAILED',
"error_message": 'xxxxxx' # 导致算法执行失败的异常信息
}