AI开发平台ModelArtsAI开发平台ModelArts

文档首页> AI开发平台ModelArts> AI工程师用户指南> 管理模型> 评估和诊断模型> 模型评估的优化建议> 物体检测模型的目标框堆叠敏感度分析以及相关的解决方法
更新时间:2021/08/06 GMT+08:00
分享

物体检测模型的目标框堆叠敏感度分析以及相关的解决方法

问题描述

在目标检测任务中,一张图片的的单个目标框可能会被其他目标框覆盖,目标框的堆叠度就是描述这种现象的指标,值越大表示被其他框覆盖的越多。检测模型对于具有不同堆叠度数据集的检测效果是不一样的,下图表示的是含有比较多重叠框的场景。建议参考如下相关算法和技术说明,了解如何降低模型对于堆叠度的敏感程度。

图1 多重叠框的场景示例

解决方法

NMS在模型推理阶段是利用物体之间的IoU以及相应的阈值进行处理,那么就会出现重叠度比较高的多个物体不能检测出来的问题,传统的检测模型中的NMS处理流程如下所示,其中B表示检测的框。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
  输入B={(Bi, Si )}_(i=1 to N), 其中Si是Bi的得分D=空集  
  Step 1    B中选择最大得分框M  
  Step 2    将M以及得分添加到D中同时在B中删掉M以及其得分  
  Step 3    for Bi in B:  
               if  IoU(M, Bi) >= NMS_threshold  
                  在B中去掉Bi以及其得分  
               end if  
             end for  
  Step 4 重复Step 1 ~ 3直至B=空集  
  输出D

传统的NMS的缺点有以下几个方面:

  1. 依据NMS的阈值暴力删除框,大于阈值的框全部去除,这种筛选规则比较严格,公式如下,其中si表示类别预测概率

  2. 关键的计算在于IoU,即两个框的重叠部分,两个框的其他位置关系没有考虑全面。

    Soft NMS采用一种更为平滑的筛选规则,修正传统的NMS的暴力去除机制如下:

    另外的一种高斯表达

    那么soft NMS就可以减小目标检测模型对于目标框堆叠度的敏感程度

实验验证

下面在开源水果数据集fruit上面进行验证,下表是使用soft NMS之前的目标框堆叠度敏感程度分析。

表1 使用soft NMS之前的目标框重叠的特征敏感度分析

特征值分布

Apple

Banana

Orange

0% - 20%

1

0

1

20% - 40%

1

0.8

0.9167

40% - 60%

1

1

1

60% - 80%

1

0.3333

1

80% - 100%

1

0.9091

1

标准差

0

0.3811

0.0333

其中特征值分布表示将整个数据集堆叠度按照百分比区间进行划分,而对应的值则是召回率。可以看见banana的敏感度在0.3811。

下面的图是使用了soft NMS之后,目标框堆叠度敏感程度的变化,可以看到banana类别对于目标框的堆叠度的敏感程度降低,从0.3811降到了0.2487,从而验证了该算法能够在目标框重叠方面优化模型。

表2 使用soft NMS之后的目标框重叠的特征敏感度分析

特征值分布

Apple

Banana

Orange

0% - 20%

1

1

1

20% - 40%

1

0.8

0.9167

40% - 60%

1

1

1

60% - 80%

1

0.3333

1

80% - 100%

1

0.9091

1

标准差

0

0.2487

0.0333

用户建议

在模型推理结果中,如果检测出来的类别对于目标框堆叠度的敏感程度比较大,推荐在训练以及推理的时候,使用soft NMS进行模型优化和加强。

分享:

    相关文档

    相关产品