平均精度均值(mAP)——目标检测模型性能统计量

博客园首页 William 95浏览 0评论

  在机器学习领域,对于大多数常见问题,通常会有多个模型可供选择。当然,每个模型会有自己的特性,并会受到不同因素的影响而表现不同。

  每个模型的好坏是通过评价它在某个数据集上的性能来判断的,这个数据集通常被叫做“验证/测试”数据集。这个性能由不同的统计量来度量,包括准确率( accuracy )、精确率( precision )、召回率( recall )等等。选择我们会根据某个特定的应用场景来选择相应的统计量。而对每个应用来说,找到一个可以客观地比较模型好坏的度量标准至关重要。

在本文,我们将会讨论目标检测问题中最常用的度量标准 — 平均精度均值(Mean Average Precision, mAP)。

  大多数情况下,这些度量标准都很容易理解和计算。例如,在二类分类问题中,精确率和召回率都是简单和直观的统计量。  

  而另一方面,目标检测则是一个相对不同且很有意思的问题。

  即使你的目标检测器检测到一张图片中有猫,但是如果你找不到这只猫在图片中的具体位置,那么这个检测器也是没有任何用处的。

  由于你现在需要预测一张图片中目标是否出现及其具体位置,那么我们如何计算这个度量就变得相当有意思了。

  首先,让我们定义目标检测问题,这样我们可以对问题有一个统一的认识。

▌目标检测问题

  对于“目标检测问题”,我的意思是,给定一张图片,找到图中的所有目标,确定他们的位置并对他们进行分类。

  目标检测模型通常是在给定的固定类别上进行训练的,因此模型在图中只能定位和分类这些已有的类别。

  此外,目标的位置通常是用边界矩形/边界框的形式来确定的。

  因此,目标检测包含了两个任务,确定图片中目标的位置,以及对目标进行分类。

图1- 几个比较有名的图像处理问题,图片来自斯坦福大学 CS231n 课程幻灯片(第8讲)

  如下文所说,平均精度均值 mAP 是预测目标位置以及类别的这一类算法的性能度量标准。因此,从图1我们可以看到, mAP 对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。

▌评估模型检测模型

  为什么选择 mAP?

  目标检测问题中,每张图片中可能会含有不同类别的不同目标。如前文所说,模型的分类和定位性能都需要被评估。

  因此,精确率,这个图像分类问题中使用的标准的评价度量,并不能直接用在这里。现在,是平均精度均值 mAP 发挥作用的时候了。我希望,读完本文之后你可以理解 mAP 的含义和意义。

  关于参考标准(Ground Truth)

  对于任何算法来说,度量的值总是把预测值和参考标准的信息进行比较之后计算得到的。我们只知道训练、验证和测试数据集的参考标准信息。

  在目标检测问题中,参考标准的信息包括图像,图像中目标的类别,以及每个目标的真实边界框。

  • 一个例子

  我们给定了真实图片(jpg, png 等格式)和其他解释性文字(边界框的坐标( x, y,宽度和高度)和类别),画在图片上的红色框和文本标签只是方便我们自己观看。

 

参考标准信息的可视化

  因此,对于这个特定的例子,我们的模型在训练期间得到的其实是这张图片:

实际图片

  以及三组定义了参考标准的数字(让我们假设这张图片的分辨率是 1000 x 800 像素,表中所有坐标的单位都是像素,坐标值大小是估计的)

  让我们实际操作一下,看看 mAP 是如何计算的。

  我会在另一篇文章介绍各种目标检测算法,包括它们的方法以及性能。现在,让我们假设我们手上已经有一个训练好的模型,而且我们将在验证数据集上评估它的结果。

▌计算 mAP

  让我们假设原始图片和参考标准的解释性文字如上文所述。训练数据和验证数据的所有图像以相同的方法进行了标注。

  训练好的模型会返回许多预测结果,但是这些预测结果中的大多数都会有非常低的置信度分数,因此我们只需考虑那些超过某个报告置信度分数的预测结果。

  我们用模型对原始图像进行处理,下面是目标检测模型在置信度阈值化之后返回的结果。

  带有边界框的图像:

来自我们模型的结果

  我们可以说这些检测结果是正确的,但是我们怎么量化呢?

  首先,我们需要知道每个检测结果的正确性。能够告诉我们一个给定的边界框的正确性的度量标准是“交并比”(Intersection over Union,  IoU)。这是一个非常简单的可视量。

  就文字而言,某些人可能会说这个量的名字本身就已经解释了自己的含义,但是我们需要更好的解释。我会简单地解释 IoU 的含义,对于那些很想深入了解 IoU 含义的读者,Adrian Rosebrock 有一篇写得非常好的文章,可以作为该内容的补充。

(https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/)

IoU

  交并比是预测边界框和参考边界框的交集和并集之间的比率。这个统计量也叫做 Jaccard 指数(Jaccard Index),是由 Paul Jaccard 在 20 世纪初首次提出的。

  要获得交集和并集的值,我们首先把预测边界框覆盖在参考边界框之上。(如图所示)

  现在对于每个类别,预测边界框和参考边界框的重叠部分叫做交集,而两个边界框跨越的所有区域叫做并集。

  我们仅以这匹马作为例子

  上图中类别为马的交集和并集区域看上去就像这样:

  这个例子中交集区域相当大

  交集覆盖的是边界框重合区域(蓝绿色区域),并集覆盖的是橙色和蓝绿色的所有区域。

  然后, IoU 可以像这样计算:

分辨正确检测结果和计算精确率

  利用 IoU ,我们现在要分辨检测结果是否正确。最常用的阈值是0.5:如果 IoU > 0.5,那么认为这是一个正确检测,否则认为这是一个错误检测。

  现在我们为模型生成的每一个检测框计算其 IoU 值(置信度阈值化之后)。利用该 IoU 值以及我们的 IoU 阈值(例如 0.5),我们为图片中的每一个类计算其正确检测的数量(A)。

  现在对于每一张图片,我们都有参考标准的数据,可以告诉我们在图片中某个特定类别的真实目标数量(B)。而且我们已经计算了正确预测的数量(A)(True Positives)。因此现在我们可以用这条公式计算模型对该类别的精确率(A/B)。

 

  给定的图片中类别 C 的精确率=图片中类别 C 的真正类数量/图片中类别 C 所有目标的数量

  对于一个给定的类别,让我们对验证集中的每张图片都计算它的精确率。假设我们的验证集中有 100 张图片,并且我们知道每张图片都包含了所有的类别(根据参考标准告诉我们的信息)。这样对于每个类别,我们会有 100 个精度率的值(每张图片一个值)。让我们对这些 100 个值进行平均。这个平均值叫做该类的平均精度(Average Precision)。

 

  某个类别(C)的平均精度=验证集中该类(C)的所有精确率的和/含有该类别(C)目标的图像数量

  现在,假设在我们整个数据集中有 20 个类别。对每一个类别,我们都会进行相同的操作:计算 IoU  -> 精确率(Precision)-> 平均精度(Average Precision)。所以我们会有 20 个不同的平均精度值。利用这些平均精度值,我们可以很轻松地判断我们的模型对任何给定的类别的性能。

  为了只用一个数字来表示一个模型的性能(一个度量解决所有问题),我们对所有类别的平均精度值计算其均值(average/mean)。这个新的值,就是我们的平均精度均值 mAP (Mean Average Precision)!!(我得说,这个命名非常有创意)

  平均精度均值=所有类别的平均精度值之和/所有类别的数目

  所以,平均精度均值即数据集中所有类别的平均精度的均值。

  当我们比较 mAP 值的时候要记得几个重要的点:

    • mAP 总是在固定的数据集上进行计算。

    • mAP 并不是量化模型输出的绝对度量,但它是一个不错的相对度量。当我们在流行的公开数据集上计算这个度量时,它可以很容易地被用来比较目标检测的新老方法的性能好坏,因此我们并不需要一个绝对度量。

    • 根据不同的类别在训练数据中的分布情况不同,平均精度值可能对于某些类别(这些类别有很好的训练数据)非常高,然后对于某些类别(这些类别有更少的数据或者坏数据)可能非常低。所以,你的 mAP 值可能看上去还不错,但是你的模型可能只对某些类别较好,而对某些类别的效果非常差。因此,当分析你的模型结果时,最好单独类别的平均精度值。这些值过低的话可能意味着需要添加更多的训练样本了。


注:www2014.aspxhtml.com转载自cnblogs,若看不到图片,请移步来源网址查看。
via:https://www.cnblogs.com/guoyaohua/p/9901614.html

转载请注明:AspxHtml学习分享网 » 平均精度均值(mAP)——目标检测模型性能统计量

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址