基于顶点距离与交并比多重优化目标检测器的方法与系统与流程

基于顶点距离与交并比多重优化目标检测器的方法与系统
[0001]
本申请是基于申请日为2020年09月17日、申请号为202010979797.x、发明名称为基于顶点距离与交并比多重优化目标检测器的方法与系统的发明专利申请而提出的分案申请。
技术领域
[0002]
本发明涉及图像处理技术领域，尤其是目标检测技术，具体而言涉及一种基于顶点距离与交并比多重优化目标检测器的方法与系统。


背景技术：

[0003]
在基于深度学习的图像处理中，比较棘手和难处理的问题在于控制目标检测的误检，所有的后续技术路线均需要立足于误检频率低的前提下。目前解决误检问题的常见技术方式有以下四种：增加更多的负样本训练数据集；基于在线难例挖掘方式的检测器训练优化；提高训练时正负样本界定的阈值以及retinanet提出的focal loss算法优化。
[0004]
ssd系列算法（例如ssd、retinanet、refinedet等）在行人、车辆等多宽高比的目标检测任务中，为了更好地匹配检测目标，通常会设置多种宽高比的锚anchor。常规的锚anchor匹配方式是计算其与标注框gt的iou，如果iou大于阈值即为正样本，且不计较哪些锚anchor与标注框gt更接近。这样会导致有些形状与gt差异较大，但iou较高的锚anchor会被界定为正样本；在模型测试中这些差异较大的标注框一旦分类置信度较高，在nms后会删除差异较小但分类置信度偏低的标注框，使得回归不准确，虽然与标注框gt有一定交集，但差异很大，容易导致误检出现。现有锚匹配机制流程包括计算每张图所有的锚与所有标注框gt之间的iou。每个锚保留最高iou以及此标注框gt的类别；如果最高iou为0，则该锚的类别为背景，该锚即为负样本。所有锚的最高iou大于训练设定的阈值时，保留此锚匹配的标注框gt类别，该锚即为正样本；小于或等于阈值时，将此锚匹配的标注框gt类别修改成背景，该锚即为负样本。将锚划分为正负样本后，再通过ohem等方式，取所有正样本并挖掘部分负样本难例，参与检测器分类训练。
[0005]
上述解决方式中，由于锚匹配机制中存在的问题，而前述四种常见方案都不涉及此，因此无法引导模型训练中解决这个问题。
[0006]
现有技术文献：专利文献1：cn111598175a 一种基于在线难例挖掘方式的检测器训练优化方法。


技术实现要素：

[0007]
本发明目的在于提供一种基于顶点距离与交并比多重优化目标检测器的方法与系统，通过结合与框的交并比iou和归一化的顶点距离系数来判别两者的差异，提升检测器的性能，同时使用两种参数界定正负样本，扩大两者的差异，使得检测器分类能力更强，减少误检。
[0008]
根据本发明目的的第一方面提出一种基于顶点距离与交并比多重优化目标检测
器的方法，包括：获取锚与标注框的交并比iou；基于锚与标注框对应的四个顶点之间的归一化距离系数distance，修正所述交并比iou，得到修正交并比p-iou；基于修正交并比p-iou重新界定正负样本；以及基于重新界定正负样本分类训练检测器。
[0009]
优选地，根据权利要求1所述的基于顶点距离与交并比多重优化目标检测器的方法，其特征在于，所述锚与标注框对应的四个顶点之间的归一化距离系数的获取包括以下过程：获取锚与标注框相对应的四个点的直线距离p1、p2、p3和p4，其中锚与标注框均在同一平面内；分别计算所有标注框的宽高平均值h_w；以及获取每个锚与标注框之间的归一化距离系数distance。
[0010]
优选地，根据归一化距离系数distance与交并比iou的乘积修正锚与所有标注框的交并比iou，得到修正交并比p-iou。
[0011]
优选地，基于修正交并比p-iou重新界定正负样本的处理包括以下过程：保留每个锚对应的修正交并比p-iou的最大值以及对应标注框的类别，并且如果修正交并比p-iou的最大值为0，则判定该锚类别为背景，该锚判定为负样本；将所有锚对应的修正交并比p-iou的最大值与训练预设的阈值进行比对，对于锚对应的修正交并比p-iou的最大值大于训练预设的阈值的，保留此锚匹配的标注框的类别，并判定该锚为正样本；对于锚对应的修正交并比p-iou的最大值小于或者等于训练预设的阈值的，将该锚匹配的标注框的类别修改成背景，判定该锚为负样本。
[0012]
根据本发明目的的第二方面还提出一种基于顶点距离与交并比多重优化目标检测器的装置，包括：用于获取锚与标注框的交并比iou的获取模块；用于基于锚与标注框对应的四个顶点之间的归一化距离系数distance，修正所述交并比iou，得到修正交并比p-iou的交并比修正模块；用于基于修正交并比p-iou重新界定正负样本的样本分类模块；以及用于基于重新界定正负样本分类训练检测器的训练模块。
[0013]
根据本发明目的的第三方面还提出一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括所述的基于顶点距离与交并比多重优化目标检测器的方法的过程。
[0014]
根据本发明目的的第四方面还提出一种服务器，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括所述的基于顶点距离与交并比多重优化目标检测器的方法的过程。
[0015]
根据本发明目的的第五方面还提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括所述的基于顶点距离与交并比多重优化目标检测器的方法的过程 本发明提出的方案中，通过优化匹配机制从而优化检测器分类性能，通过结合与标注框的交并比iou和归一化的顶点距离系数来判别两者的差异，在训练中，同时使用顶点距离与交并比多重优化界定正负样本，扩大两者的差异，使得检测器分类能力更强，从而控制减少误检。
[0016]
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
[0017]
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：图1是根据本发明示例性实施例的基于顶点距离与交并比多重优化目标检测器的方法的流程图。
[0018]
图2是根据本发明示例性实施例的锚与标注框gt的示意图。
[0019]
图3是本发明示例性的基于顶点距离与交并比多重优化目标检测器的装置的示意图。
[0020]
图4是本发明示例性的计算机系统的硬件原理框图。
具体实施方式
[0021]
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
[0022]
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0023]
根据本发明示例性实施例的基于顶点距离与交并比多重优化目标检测器的方法，旨在通过顶点距离与交并比多重优化，优化匹配机制从而优化检测器分类性能，从而控制误检。结合图1所示的流程示例性的表示基于顶点距离与交并比多重优化目标检测器的方法的过程，包括：获取锚与标注框gt的交并比iou；基于锚与标注框gt对应的四个顶点之间的归一化距离系数distance，修正所述交并比iou，得到修正交并比p-iou；基于修正交并比p-iou重新界定正负样本；以及基于重新界定正负样本分类训练检测器。
[0024]
如此，在检测器的训练过程中，使用顶点距离与交并比进行正负样本的重新界定，扩大两者的差异，使得检测器分类能力更强，使用中误检更少。
[0025]
下面结合具体的实施例来阐述上述过程的示例性实现。
[0026]
结合图示，本发明所使用的标注框gt为矩形标注框。
[0027]
在步骤s101中，锚与标注框gt间的交并比可采用现有的方式确定。
[0028]
结合图2所示，锚与标注框gt对应的四个顶点之间的归一化距离系数的获取包括以下过程：在步骤s102，获取锚与标注框gt相对应的四个点的直线距离p1、p2、p3和p4，其中锚与标注框gt均在同一平面内；分别计算所有标注框gt的宽高平均值h_w；以及获取每个锚与标注框gt之间的归一化距离系数distance，如步骤s103。
[0029]
图2中，两个实体线条部分构成的矩形框分别代表锚anchor和标注框gt，二者均在同一个平面内。
[0030]
更加优选地，归一化距离系数distance根据以下公式确定：。
[0031]
然后，在步骤s104，根据归一化距离系数distance与交并比iou的乘积修正锚与所有标注框gt的交并比iou，得到修正交并比p-iou。
[0032]
接下来，在步骤s105，基于修正交并比p-iou重新界定正负样本，具体包括以下过程：保留每个锚对应的修正交并比p-iou的最大值以及对应标注框gt的类别，并且如果修正交并比p-iou的最大值为0，则判定该锚类别为背景，该锚判定为负样本；将所有锚对应的修正交并比p-iou的最大值与训练预设的阈值进行比对，对于锚对应的修正交并比p-iou的最大值大于训练预设的阈值的，保留此锚匹配的标注框gt的类别，并判定该锚为正样本；对于锚对应的修正交并比p-iou的最大值小于或者等于训练预设的阈值的，将该锚匹配的标注框gt的类别修改成背景，判定该锚为负样本。
[0033]
最后，在步骤s106，以重新界定后的正样本和负样本作为训练集，基于ohem算法（online hard example mining）分类训练检测器。
[0034]
下面我们结合具体的训练进行测试，使用p-iou代替普通iou作为区分正负样本的方式，可使得训练的检测器误检更少，标注框回归更准，大幅提升检测器的性能。
[0035]
本实验使用21964张训练图片，共有17709个行人；测试集共3000张图片，其中包含29331个行人。实验中使用相同训练集和测试集，对比使用iou和p-iou训练行人检测器的结果。表中误检率fpr计算公式为，其中fp为当前出现的误检个数，测试图片总数即为3000；召回率tpr计算公式为，其中tp为当前检测到的正样本个数，正样本总数即为29331。
[0036]
实验结果如下表1所示，通过实验结果可以看出：1.在误检率较低如fpr低于0.01，即控制误检严格时，使用p-iou训练的模型召回率tpr明显更高；在误检率较高时，使用iou训练和p-iou训练的模型tpr差异较小。在实际任务中，由于高频使用检测器抓拍，需要对误检控制及其严苛，通常将误检率控制在0.001甚至更低，这时使用p-iou训练模型的优势突出体现。
[0037]
表1
因此，我们看到样本匹配时，仅使用iou区分正负样本存在一定的误差；在iou临界超过阈值时，某些形状、大小与gt差异较大的作为正样本参与训练，会使得检测器分类效果不佳。而本专利提出在样本匹配时引入归一化距离系数distance对iou进行修正，此方法能够明显区分间的差异，甚至能够区分同iou但形状、大小存在差异的。通过本专利的方法评判与gt间的相似性，使得训练的模型误检更少。
[0038]
结合图示以及本发明的以上实施例，本发明还可以以装置、系统、服务器以及计算机可读取介质的方式实施。
[0039]
基于顶点距离与交并比多重优化目标检测器的装置结合图3所示，基于顶点距离与交并比多重优化目标检测器的装置200，包括：用于获取锚与标注框gt的交并比iou的获取模块210；用于基于锚与标注框gt对应的四个顶点之间的归一化距离系数distance，修正所述交并比iou，得到修正交并比p-iou的交并比修正模块220；用于基于修正交并比p-iou重新界定正负样本的样本分类模块230；以及用于基于重新界定正负样本分类训练检测器的训练模块240。
[0040]
其中，所述交并比修正模块包括归一化距离系数获取模块以及修正模块，其中：所述归一化距离系数获取模块被设置成根据以下过程获取归一化距离系数：获取锚与标注框gt相对应的四个点的直线距离p1、p2、p3和p4，其中锚与标注框gt均在同一平面内；分别计算所有标注框gt的宽高平均值h_w；以及获取每个锚与标注框gt之间的归一化距离系数distance；所述修正模块用于根据归一化距离系数distance与交并比iou的乘积修正锚与所有标注框gt的交并比iou，得到修正交并比p-iou。
[0041]
其中，所述样本分类模块被设置以下述方式重新界定正负样本：保留每个锚对应的修正交并比p-iou的最大值以及对应标注框gt的类别，并且如果修正交并比p-iou的最大值为0，则判定该锚类别为背景，该锚判定为负样本；将所有锚对应的修正交并比p-iou的最大值与训练预设的阈值进行比对，对于锚对应的修正交并比p-iou的最大值大于训练预设的阈值的，保留此锚匹配的标注框gt的类别，并判定该锚为正样本；对于锚对应的修正交并比p-iou的最大值小于或者等于训练预设的阈值的，将该锚匹配的标注框gt的类别修改成背景，判定该锚为负样本。
[0042]
计算机系统一种计算机系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述实施例的基于顶点距离与交并比多重优化目标检测器的方法的过程，尤其是图1实施例所示的过程。
[0043]
图4示例性的表示了计算机系统的硬件原理示例，该计算机系统可以是至少一个
包括处理器和存储器的电子处理设备，例如pc电脑，不论是个人用pc电脑、商用pc电脑，或者图形处理用pc电脑、服务器级pc电脑。这些pc电脑通过具有数据接口和/或网络接口，实现有线和/或无线的数据传输，尤其是图像数据。
[0044]
在另一些实施例，该计算机系统还可以是服务器，尤其是云服务器，具有数据存储、处理以及网络通讯功能。
[0045]
结合图4所示的计算机系统300，包括由系统总线301连接的至少一个处理器302、存储器和网络模块310。网络模块310用于与其他设备/系统进行通信。
[0046]
处理器302用于提供系统的计算和控制。
[0047]
存储器包括非易失性存储器303和缓存304。
[0048]
非易失性存储器303通常具有海量存储能力，可以存储操作系统以及计算机程序，这些计算机程序可以包括可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器能够执行本发明以上实施例提出的基于p-iou进行目标检测器优化的过程。
[0049]
在可选的实施例中，图4所示计算机系统仅仅是示例性的框图。在需要或者合理的实现方式中，计算机系统，不论是pc设备或者服务器，还可以包括比图示中更多或者更少的部件，或者组合，或者采用不同的硬件、软件等不同部件或者不同的部署方式。
[0050]
服务器一种服务器，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述实施例的基于顶点距离与交并比多重优化目标检测器的方法的过程，尤其是图1实施例所示的过程。
[0051]
应当理解，本发明的服务器可以是本地端的服务器，还可以是位于云端的服务器或者服务器阵列，而不论他们是部署在本地端或者云端，服务器可以采用基于图4所示的原理的硬件实现。
[0052]
计算机可读取介质一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述实施例的基于顶点距离与交并比多重优化目标检测器的方法的过程，尤其是图1实施例所示的过程。
[0053]
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。