一种针对深、浅层特征的自适应匹配方法

本发明涉及深度目标检测模型，特别是一种针对深、浅层特征的自适应匹配方法。

背景技术：

1、在促进yolo模型对小目标的检测效果上，特征金字塔(feature pyramidnetwork，fpn)技术已经成为一种最主流的解决方案。考虑到深度神经网络的级联特性，fpn试图从网络浅层特征中获取小目标的语义信息，进而与终端特征相结合来实施检测。对比于单纯依赖终端特征的常规模型构造而言，这个分层采样的机制，为最终的检测提供了更丰富的特征信息。便于理解，图2(a)示意了fpn的工作原理。然而，不同层级特征间的刚性拼接往往不能够体现它们之间的协同性，进而限制了fpn在检测性能上的优势发挥。

技术实现思路

1、发明目的：本发明的目的是提供一种针对深、浅层特征的自适应匹配方法，从而有效协调不同层级特征对于终端预测的贡献度，对卷积特征展现更充分的利用效果。

2、技术方案：本发明所述的一种针对深、浅层特征的自适应匹配方法，包括以下步骤：

3、(1)数据描述：图像样例数据分为训练集合strain和测试集合stest；便于适应不同网络的输入型号，该步骤的预处理操作包括尺度缩放和归一化。

4、(2)模型选取：针对特定任务实例的需求，选取适宜的网络结构mθ作为基准模型；例如，在效率优先的原则上，可选取yolox-nano作为骨干检测结构。

5、(3)模型编辑：以骨干网络mθ为基准，将其内部fpn中的刚性拼接操作编辑为自适应加权的模式；实现方式是为模型mθ附加或并入一个即插即用的蒙版生成子模块，来为深、浅层特征生成空间权值，继而实现对不同层级特征的加权功能。图3给出了该子模块的流程示意图。便于理解，其主要原理分别叙述如下：

6、(3.1)虚线框外部：是传统的fpn拼接处理，即在获取浅层特征fl和深层特征fh后，fpn将两者进行了直接的拼接处理，来为后端提供更丰富的特征信息；

7、(3.2)虚线框内部：是本发明的所提的蒙版生成子模块；该模块的主要功能是依照浅层特征fl和深层特征fh中的内部信息作为输入，来自动为深、浅层特征生成相同尺度的空间蒙版；便于理解，以256通道的深、浅层特征为例，图3中的内部操作流程可描述为如下形式：

8、

9、如上式所示，深、浅层特征为蒙版生成子模块所依赖的特征输入，蒙版生成的终极目标是获取适宜两类特征的空间蒙版mh,ml；其中该流程分述如下：

10、(3.2.1)前端的分离式卷积层cl和ch及后续的公用卷积层cp：主要用来执行辅助降维功能，以便获取单通道的初始蒙版fl,fh；即该辅助降维流程的主要目的是为生成单通道的终端蒙版起到缓冲效果；

11、(3.2.2)终端的softmax操作：主要作用是调整深、浅层特征之间的贡献度，来获取具备区分性的终极蒙版mh,ml；该操作能够描述为如下形式：

12、

13、(3.3)自适应加权操作：将生成的蒙版ml,mh作用在各自的原始特征上；即对浅层特征fl和深层特征fh进行对应的蒙版加权操作；以图3中的示意为例，即执行如下操作：

14、

15、综上，依赖于初始的深、浅层特征，通过串行上述的蒙版生成操作和特征加权操作，完成了针对深、浅层特征的加权操作。蒙版生成子模块的生成依据是骨干网络前端所产出的特征fl和深层特征fh，因此，该发明所完成的加权操作是一种自适应的特征匹配技术。

16、(4)模型训练：依照训练数据strain，对整个网络模型执行模型训练处理；

17、(4.1)代价函数：训练所采用的总体损失函数如下所示：

18、ltotal＝lcls+lreg+lobj                  (4)

19、其中，lcls和lobj分别为分类损失和置信度损失，两者均采用了常规的二值交叉熵形式，描述如下：

20、

21、其中，yi在分类损失中表示类别概率，在置信度损失中表示物体存在该预测框内的概率；此外，lreg为相关于目标对象位置信息的回归损失，采用常用的1-iou描述形式，能够形式化为如下式子：

22、

23、其中，iou为预测框和真实框之间的重叠度，即交并比，a表示预测框的区域；b表示真实边界框的区域；

24、(4.2)训练设置：对训练进行初始预设值，包括训练的迭代步数、学习率调节及正则化参数设置。

25、(5)模型评估：将训练好的模型mθ在测试样本集合stest上进行性能验证，来评估检测效果。具体来说，依照当前的目标检测文献，本发明采用了衡量预测框与真实框之间重叠度的平均精确度指标，即map(iou@50)。

26、一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种针对深、浅层特征的自适应匹配方法。

27、一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种针对深、浅层特征的自适应匹配方法。

28、有益效果：与现有技术相比，本发明具有如下优点：

29、1、本发明所提的自适应特征匹配技术，有效协调了不同层级特征对于终端预测的贡献度，对卷积特征展现了更充分的利用效果。相较于原始模型，在性能上获得了较大增益。实施例中的展现了该发明的效用，例如，该发明可以应对原始模型对于小目标的误检和漏检问题；

30、2、本发明提出的特征匹配技术，采用一个即插即用的模块即可简单实现；

31、3、本发明不涉及特定的网络构造，其技术模块能够适应不同的网络结构，对采用fpn技术检测模型具有广泛的适应性。

技术特征：

1.一种针对深、浅层特征的自适应匹配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种针对深、浅层特征的自适应匹配方法，其特征在于，所述步骤(1)的预处理操作包括尺度缩放和归一化。

3.根据权利要求1所述的一种针对深、浅层特征的自适应匹配方法，其特征在于，所述步骤(3)具体为：

4.根据权利要求1所述的一种针对深、浅层特征的自适应匹配方法，其特征在于，所述步骤(4)具体为：

5.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种针对深、浅层特征的自适应匹配方法。

6.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种针对深、浅层特征的自适应匹配方法。

技术总结
本发明公开了一种针对深、浅层特征的自适应匹配方法，步骤如下：数据预处理，将数据集转化为网络模型可操作的格式；模型选取，选取恰当的单阶段目标检测检测网络；模型编辑，通过在模型FPN结构中加入深、浅层特征匹配模块，利用差异性蒙版对深、浅层特征进行加权，协调不同层级特征对于终端预测模型的贡献度；模型训练，使用二值交叉熵损失和IOU损失对模型进行优化；模型评估，使用训练好的模型对测试样本进行类别和位置预测。本发明检测目标精度更高，漏检率更低，能够有效解决单阶段目标检测模型对小目标检测精度不足的问题。

技术研发人员：邵长斌,王明正,吴仕祺,解志斌,于化龙
受保护的技术使用者：江苏科技大学
技术研发日：
技术公布日：2024/1/15