一种基于小样本学习的X光图像违禁物品检测方法与流程

本发明涉及计算机视觉和模式识别领域，更具体地说，涉及一种基于小样本学习的x光图像违禁物品检测方法。

背景技术：

x光安检是维护公共安全的重要手段，现已广泛应用于交通出行、物流运输等行业。目前，x光图像违禁物品筛查主要由人工完成。安检员在工作时必须长时间集中注意力，避免精神疲倦、情绪变化造成漏检、误检。由于图像中的物体常有透视重叠、不同形态等问题，即使是有经验的安检员也无法保证高准确率、低误检率。随着安检效率要求的提高，自动化x光图像分析技术是必不可少的。

近年来，随着模式识别技术的发展，越来越多的基于深度学习的x光违禁物品检测方法被提出，并取得了不错的检测效果。但这些基于深度学习的违禁物品检测方法在数据集上完成训练后无法用于检测新的类别。违禁品的定义常随不同场景变化，当需要检测新的类别时，现有方法必须重新训练。其次，不同类别的违禁品出现概率不同，数据集将产生类别数量不平衡的问题。使用不平衡的数据集训练深度学习模型会影响方法的准确性。因此，还需对现有方法进行改进，从而使其更好地适应不同安检场景和违禁品类别。

技术实现要素：

针对上述关键技术问题，本发明的目的是提供一种基于小样本学习的x光图像违禁物品检测方法，可以有效的实现对x光图像中违禁物品的识别和检测，降低对训练数据数量的需求，训练完成后可以检测任意的新增违禁品类别而不需要重新训练。

实现本发明目的的具体技术方案是：

一种基于小样本学习的x光图像违禁物品检测方法，特点是该方法包括以下步骤：

接收待测图像和参考图像；

提取所述待测图像和参考图像的特征，使用底层特征增强中层特征的颜色及边缘信息；

对待测图像特征和参考图像特征进行双路比较，即同时度量待测图像与参考图像的像素级相似度与区域级相似度；

度量像素级相似度时，依据参考图像的标注信息，分离出参考图像的前景特征s′，计算待测图像特征q的转置q^t与参考图像的前景特征s′的逐像素对的显式相似度ps,计算方式如下:

度量区域级相似度时，依据参考图像的标注信息，分离参考图像的前景特征及背景特征，采用通道拼接与特征卷积的方式计算待测图像特征与参考图像的前景特征及背景特征的隐式区域级相似度；

依据相似度信息激活待测图像特征；

使用特征解码器计算待测图像的违禁品分割图；

根据分割图计算待测图像的违禁品目标检测框。

提取所述待测图像和参考图像的特征，使用底层特征增强中层特征的颜色及边缘信息，具体包括以下步骤：

提取所述待测图像和参考图像的特征均使用基于drn网络的特征提取模型；

使用drn网络的初始两个卷积块提取图像的底层特征flower；

使用drn网络的第三到第五个卷积块提取图像的中层特征fmiddle；

通过最大池化maxpool与特征相加的方式融合图像的底层特征与中层特征并得到输出图像特征foutput，实现增强x光安检图像特征的颜色及边缘信息：

foutput＝fmiddle+maxpool(flower)。

所述使用特征解码器生成待测图像的违禁品分割图，具体包括以下步骤：

对双路比较后输出的待测图像特征双线性插值，将特征尺度放大一倍；

将插值后的特征与待测图像的底层特征融合，增强底层信息并降低特征提取时的信息损失；

对融合后的待测图像特征双线性插值，将特征的尺度放大两倍；

对插值后的特征使用1x1的卷积操作与sigmoid激活函数，生成待测图像的违禁物品分割图。

所述根据分割图计算待测图像的违禁品目标检测框，具体包括以下步骤：

计算待测图像的分割图的连通元；

计算每个连通元的外接矩形，得到待测图像的违禁品目标检测框。

本发明提出的x光图像违禁物品检测方法采用小样本学习方式，以至少一张参考图像所包含的违禁物品的特征为模板，检测待测图像。该方法可以避免当目标违禁物品集合变化时需要重新训练模型的问题，降低方法对大量标注数据的依赖，提升方法的可扩展性与实用性。

附图说明

图1为本发明方法流程示意图；

图2为本发明提取x光图像特征流程示意图；

图3为本发明特征双路比较流程示意图；

图4为本发明双路比较中像素级相似度度量流程示意图；

图5为本发明双路比较中区域级相似度度量流程示意图；

图6为本发明采用的特征解码器流程示意图；

图7为本发明生成违禁品的目标检测框流程示意图。

具体实施方式

为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。

参阅图1，图1示出了一种基于小样本学习的x光图像违禁物品检测方法的流程示意图，具体包括以下步骤：

s10，开始该处理流程。

s11，接收待测图像和参考图像；

待测图像即为待检测违禁品的x光安检图像，参考图像为只含有一类违禁品目标的x光安检图像。

s12，计算所述待测图像的特征q和参考图像的特征s；

在x光图像特征提取过程中，如果直接用通用的深度学习特征提取模型，会造成噪声过多的问题。而且相比于自然场景图像，x光图像常包含透视重叠、多视角等问题。因此本发明实现中对标准的drn-c-42特征提取器改进，添加底层特征与中层特征的融合通路，提升模块在x光图像上特征提取的质量。

具体请参阅图2所示的流程。

s13，对所述待测特征q和参考特征s进行双路比较，获得激活的待测图像特征q′。

具体请参阅图3所示的流程。

s14，依据待测图像与参考图像的相似度信息，获得待测图像关于参考图像提供的违禁品类别的二值分割图。

具体请参阅图6所示的流程。

s15，依据待测图像的二值分割图，生成待测图像中违禁品的目标检测框的坐标。

具体请参阅图7所示的流程。

s16，结束此流程。

请参阅图2，图2示出了提取x光安检图像特征的流程示意图，具体包括以下步骤：

s20，开始该处理流程。

s21，对待测图像使用drn网络的前两个卷积模块提取图像底层特征qlower。

s22，使用drn网络的第三个、第四个、第五个卷积模块提取图像中层特征qmiddle。

s23，将底层特征经过最大池化maxpool调整分辨率后与中层特征相加，增强中层特征的颜色及边缘信息,得到待测图像特征q，计算方法如下：

q＝qlower+maxpool(qmiddle)#(2-1)

使用相同的网络结构与参数，重复以上操作以提取参考图像特征s。

s24，结束此流程。

请参阅图3，图3示出了特征双路比较的流程示意图，具体包括以下步骤：

s30，开始该处理流程。

s31，接收来自前一步提取的待测图像特征q和参考图像特征s。

s32，执行像素比较子模块，度量待测图像特征q与参考图像特征s的像素级相似度，并得到激活的待测图像特征q′p。

具体请参阅图4所示的流程。

s33，执行区域比较子模块，度量待测图像特征q与参考图像特征s的区域级相似度，并得到激活的待测图像特征q′r。

具体请参阅图5所示的流程。

s34，将像素比较子模块输出的待测图像特征q′p与区域比较子模块输出的待测图像特征q′r按通道拼接，对其进行卷积核为3x3像素，步长为1像素，边界填充为1像素，总共有256个卷积核的卷积操作，得到双路比较的输出特征q′。

s35，结束此流程。

请参阅图4，图4示出了双路比较中像素级相似度度量的示意图，具体包括以下步骤:

s40，开始该处理流程。

s41，接收待测图像特征q与参考图像特征s。

s42，使用参考图像的二值标注图m去除参考图像特征s的背景区域；

对于任意的参考图像，其标注信息可表示为具有与该图像相同尺度的二值图m，其中值为0代表背景，值为1代表前景。

去除参考图像特征s的背景区域，仅保留参考图像的前景特征s′：

s′＝s·m#(4-1)

s43，计算待测图像与参考图像前景特征的逐像素对的相似度矩阵ps；

对待测图像特征q的任意一点的特征qi与参考图像前景点的特征s′j，相似度值psi计算方法如下：

softmax函数将归一化待测图像的特征点qi与参考图像特征s′的相似度向量

函数f度量待测图像特征的一点qi的转置与参考图像前景特征点s′j的显式相似度，计算方法如下：

s44，使用相似度矩阵ps激活待测图像特征，增强待测图像特征q中与参考图像前景特征s′相似的特征；

激活待测图像特征q的计算方法如下：

q′p＝q×ps#(4-4)

使用待测图像特征q与像素级相似度矩阵ps做矩阵乘法，得到激活的待测图像特征q′p，其中与参考图像前景特征相似的待测图像特征被增强，相似度较低的特征被抑制。

s45，结束此流程。

如图5所示，图5示出双路比较中区域级相似度度量的示意图，具体包括以下步骤：

s50，开始该处理流程。

s51，接收待测图像特征q与参考图像特征s。

s52，使用参考图像的二值标注图m分离参考图像特征的前景区域sf与背景区域sb；

对于任意的参考图像，其标注信息可表示为具有与该图像相同尺度的二值图m，其中值为0代表背景，值为1代表前景。

去除参考图像特征的背景区域sb，仅保留参考图像的前景特征sf：

sf＝s·m#(5-1)

去除参考图像特征的前景区域sf，仅保留参考图像的背景特征sb：

sb＝s·(1-m)#(5-2)

s53，分别计算待测图像特征q与参考图像前景特征sf、参考图像背景特征sb的隐式区域相似度及激活的待测图像特征；

激活的前景待测图像特征的计算过程如下：

使用掩膜平均池化map将参考图像前景特征sf压缩，得到1x1的参考图像前景向量vf,其中map操作如下所示，函数1{}是狄利克雷函数；

将参考图像前景向量vf,堆叠至待测图像特征q的尺度，得到s′f；

将待测图像特征q与堆叠的参考图像特征s′f按通道拼接，对其进行卷积核为3x3像素，步长为1像素，边界填充为1像素，总共有256个卷积核的卷积操作，隐式得度量待测图像特征q与参考图像前景特征sf的相似度rsf，并得到激活的前景待测图像特征q′rf；

重复以上步骤，使用参考图像背景特征sb，与其标注1-m，度量待测图像特征q与参考图像背景区域特征sb的隐式相似度rsb，并得到激活的背景待测图像特征q′rb；

s54，计算激活的待测图像特征q′r＝q′rf-q′rb；

s55，结束此流程。

请参阅图6，图6示出采用的特征解码器的结构示意图，具体包括以下步骤：

s60，开始该处理流程。

s61，使用双线性插值上采样激活的待测图像特征q′，将其特征尺寸放大一倍。

s62，将上采样后的待测图像特征q′与特征编码器第二个卷积块输出的底层待测图像特征qlower融合，具体包括以下步骤：

将待测图像特征q′与底层待测图像特征qlower按通道拼接，并对其进行卷积核为1x1像素，步长为1像素，边界填充为0像素，总共有128个卷积核的卷积操作，得到融合底层信息的待测图像特征。

s63，使用两次双线性插值将融合的待测图像特征上采样至原始待测图像大小。

s64，生成待测图像的二值分割图，具体包括以下步骤：

对其进行卷积核为1x1像素，步长为1像素，边界填充为0像素，总共有1个卷积核的卷积操作，得到单通道的分割特征图；

对单通道的特征分割图使用sigmoid激活函数，将特征值映射至(0,1)区间。sigmoid激活函数的形式为：

将特征图以0.5为阈值二值化，得到违禁品的二值分割图。

s65，结束此流程。

请参阅图7，图7示出生成违禁品的目标检测框示意图，具体包括以下步骤：

s70，开始该处理流程。

s71，使用深度优先搜索计算二值图像的连通元，具体包括以下步骤：

初始化辅助数组visietd为空，用于记录已访问的像素坐标；

初始化连通元字典ce为空，用于记录连通元坐标；

初始化连通元计数标志c为0，用于记录连通元数量；

从二值图的左上角开始按行遍历；

如果像素值为0，则跳过；

如果像素值为1，且该坐标不在visited数组时，计数标志c自增1，将像素坐标加入visited，连通元字典ce新建以c为键值的记录，将像素坐标加入字典ce键值为c的记录中；保持c不变，对其8邻域内的点递归判断，如果符合条件，则将像素坐标加入visited，字典ce键值为c的记录中；

重复以上操作，直至所有像素坐标都已访问或已遍历至二值图像的右下角。

s72，计算连通区域的目标检测框坐标(x1,y1,x2,y2)

遍历连通元字典ce，对于每一组键值为c的连通元坐标记录，计算坐标：

s73,结束此流程。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。