基于知识引导的小样本目标检测识别方法

本发明属于图像处理，具体涉及一种基于知识引导的小样本目标检测识别方法。

背景技术：

1、近年来，计算机技术迅速发展，人工智能技术也得到了不断进步，且深度学习模型和大规模的数据集具有强大的表达能力，所以，基于深度学习的目标检测识别技术显示出空前未有的优势，并且取得了令人鼓舞的性能，因此，目标检测技术在生产、生活以及军事中得到了普遍而又有效的运用。但是在实际的应用之中，由于数据的难以获取且需要耗费大量的人力和资源，或者由于某些领域的限制，我们无法获得大量的数据集，所以，弱小目标检测问题在实际应用中更为常见。当前，对于弱小目标识别问题，主要有两种解决的思路：一种是基于数据的调整，即对数据进行增强，扩大数据集，避免过拟合；另一种是对模型进行调整，在已有的模型上，引入有效模块，删减无用模块，利于提取图像信息，提高识别准确率。目前，国内外对弱小目标的识别均是基于以上两个思路进行的。

2、现有技术的专利文献“一种基于深度神经网络的弱小目标识别方法”(申请号：cn201711369730.9，申请公布号：cn108122003a，公布日期：2018.06.05)提出了一种注重于弱小目标特征提取，增加图像数据深度的新型深度神经网络结构。该方法的主要包括以下几个步骤：(1)获取深度神经网络训练数据,根据现有弱小目标相关数据信息,构建弱小目标图像样本数据库；(2)搭建深度神经网络,并采用梯度下降和反向传播算法训练深度神经网络模型；(3)利用高斯金字塔和滑动窗口搜索方式识别图像中的弱小目标。该方法仍存在不足之处：需要构建与识别目标相似的数据集以实现图像数据的增强，对于难以获取公开数据集的目标识别有很大的局限性。

3、杨文涛等人在其发表的论文“基于改进yolov5m的弱小目标识别方法”(计算机测量与控制：1-9[2022-11-03]，公开日期：2022.8.18)中提出了一种改进型yolov5m网络的多目标识别检测方法。该方法的主要步骤为：(1)对输入图像进行mosaic数据增强以丰富图像检测识别目标的背景；(2)基于自适应锚框得到最合适的anchor尺寸，将目标进行框选出来，并将处理之后的图像放入focus模块进行切片处理；(3)对fpn+pan的特征融合网络进行改进，让模型学到更多的学习特征；(4)增加一个小目标检测层，将浅特征层图和深特征层图结合起来进行检测。但是，此方法仍存在不足之处：对特征融合网络的改进以及增加小目标检测层使网络的复杂度变高，检测识别所花费的时间也相应增加。

4、现有技术的专利文献“一种弱小目标检测方法”(申请号：201910685093.9，申请公布号：cn110414600 a，公布日期：2019.11.05)提出了一种识别准确率高的基于迁移学习的空间目标小样本识别方法。该方法的主要步骤为：(1)建立辅助样本空间目标数据集；(2)构建端到端的深度最近邻网络；(3)将辅助数据集送入深度最近邻网络进行训练；(4)构建空间目标数据集；(5)将目标数据集送入深度最近邻网络进行识别。但是此方法仍存在不足：深度最近邻网络中的网络层数较多，弱小目标的像素点较少，在网络嵌入过程中会存在信息丢失。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于知识引导的小样本目标检测识别方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于知识引导的小样本目标检测识别方法包括：

3、步骤1：获取待分类的目标图像；

4、步骤2：基于先验知识，预先规划出所有能表示目标图像中目标的高级语义特征的基础基元，从而构成目标整体的基元空间；

5、步骤3：利用所述基元空间中的基础基元指导每张目标图像在语义层面上的实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元；

6、步骤4：将目标图像的实景基元通过预设的残差神经网络进行特征提取，取出所述残差神经网路输出层的前一层的特征向量，将该特征向量作为实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；

7、步骤5：根据基础基元与语义信息的先验知识以及基础基元之间的逻辑关联的先验知识，进行语义与基础基元的逻辑关联图谱建立过程，获得知识图谱；

8、步骤6：利用知识图谱以及每个目标图像的特征矩阵，通过训练好的图卷积网络对该目标图像对应的特征矩阵进行类别的推理预测，获得目标图像的分类结果。

9、本发明的有益效果：

10、第一，由于本发明利用实例分割，将图像分割为可以表示高级语义特征的超像素块，将人脑感知信息与计算机信息结合起来，产生语义基元，使得本发明具有人机结合的特点。

11、第二，由于本发明利用语义基元的特征信息以及先验的逻辑知识建立知识图谱，利用知识引导目标识别，避免了深度学习中的黑盒子问题，使得本发明在弱小目标识别中具有可解释性。

12、第三，由于本发明使用图卷积网络，利用知识图谱构建图结构，进而将知识嵌入到网络之中，降低了普通网络对于数据集的依赖，使得本发明在弱小目标识别中的准确率有了极大的提高。

13、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于知识引导的小样本目标检测识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤3包括：

3.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤4包括：

4.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤5包括：

5.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤6包括：

6.根据权利要求5所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，图卷积网络层与层之间的传播公式可以表示为：

7.根据权利要求6所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤63包括：

技术总结
本发明提供了一种基于知识引导的小样本目标检测识别方法，通过获取待分类目标的图像训练集；对每张目标图像进行语义层面上的实例分割，作为实景基元，通过预设的残差神经网络进行特征提取得到实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；根据基础基元与语义信息的先验知识以及实景基元之间的先验知识，将先验的逻辑知识和语义信息以知识图谱的形式进行推理；本发明通过关联图像特征与语义基元，构建了知识驱动的知识图谱，有效缓解模型对于数据的依赖，极大地提高了小样本场景下的准确性，可以解决现有技术依赖于大量精准标注的数据，在小样本条件下其性能往往损失明显的问题。

技术研发人员：吴金建,章延赫,陈璐
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/13