可见光图像和红外图像结合分析的图像识别方法及系统与流程

本发明属于图像识别，尤其涉及一种可见光图像和红外图像结合分析的图像识别方法及系统。

背景技术：

1、在实时监控识别场景中，由于室外光照变化或室内低光环境，使用可见光摄像常面临色彩失真、目标遮挡等问题，导致识别效果不佳。而使用红外成像虽然可以在复杂光照下识别目标，但失去颜色和细节特征。一般的解决方法是将两者结合，充分发挥各自优势。

2、但是，现有将可见光图像和红外图像融合的方法，全局融合整幅图像通常需要进行多尺度分解、图像配准等运算量较大的过程，难以满足实时监控的效率要求，如果只进行简单的像素级或特征级全局融合，会使得可见光图像原有的背景结构发生扭曲，或是直接将红外灰度图像与可见光彩色图像进行融合，也会严重减弱可见光图像原有的色彩还原效果。

技术实现思路

1、本发明提供一种可见光图像和红外图像结合分析的图像识别方法及系统，用于解决只进行简单的像素级或特征级全局融合，会使得可见光图像原有的背景结构发生扭曲的技术问题。

2、第一方面，本发明提供一种可见光图像和红外图像结合分析的图像识别方法，包括：

3、获取所述可见光图像的待处理区域，并基于预设的滑动窗口在所述待处理区域的边缘进行滑动，选取出与所述待处理区域相衔接的目标过渡区域；

4、对所述红外图像中与所述可见光图像的待处理区域和目标过渡区域相对应的目标区域进行截取，得到红外子图像；

5、根据所述可见光图像中目标过渡区域的特征点与所述红外子图像中的特征点的匹配结果将所述红外子图像嵌入所述可见光图像中，并对嵌入所述红外子图像后的可见光图像的待处理区域进行特征融合，得到目标可见光图像；

6、将所述目标可见光图像输入至预设的图像识别模型中，使所述图像识别模型输出与所述目标可见光图像相对应的图像类型，其中，所述图像识别模型基于卷积神经网络训练得到。

7、第二方面，本发明提供一种可见光图像和红外图像结合分析的图像识别系统，包括：

8、获取模块，配置为获取所述可见光图像的待处理区域，并基于预设的滑动窗口在所述待处理区域的边缘进行滑动，选取出与所述待处理区域相衔接的目标过渡区域；

9、截取模块，配置为对所述红外图像中与所述可见光图像的待处理区域和目标过渡区域相对应的目标区域进行截取，得到红外子图像；

10、融合模块，配置为根据所述可见光图像中目标过渡区域的特征点与所述红外子图像中的特征点的匹配结果将所述红外子图像嵌入所述可见光图像中，并对嵌入所述红外子图像后的可见光图像的待处理区域进行特征融合，得到目标可见光图像；

11、输出模块，配置为将所述目标可见光图像输入至预设的图像识别模型中，使所述图像识别模型输出与所述目标可见光图像相对应的图像类型，其中，所述图像识别模型基于卷积神经网络训练得到。

12、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的可见光图像和红外图像结合分析的图像识别方法的步骤。

13、第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的可见光图像和红外图像结合分析的图像识别方法的步骤。

14、本申请的可见光图像和红外图像结合分析的图像识别方法及系统，具有以下有益效果：

15、1、只在可见光图像的局部阴影区域或感兴趣的目标区域进行融合，范围更小，避免不必要的计算量，可选择性地提升效果；

16、2、可见光图像的纹理特征可以大面积保留，红外图像提供补充提升，可以保持可见光图像的整体视觉效果，更好地结合两者优势，既发挥可见光图像的整体效应，也发挥红外图像对阴影和遮挡的增强作用。

技术特征：

1.一种可见光图像和红外图像结合分析的图像识别方法，其特征在于，包括：

2.根据权利要求1所述的一种可见光图像和红外图像结合分析的图像识别方法，其特征在于，所述基于预设的滑动窗口在所述待处理区域的边缘进行滑动，选取出与所述待处理区域相衔接的目标过渡区域包括：

3.根据权利要求1所述的一种可见光图像和红外图像结合分析的图像识别方法，其特征在于，所述对所述红外图像中与所述可见光图像的待处理区域和目标过渡区域相对应的目标区域进行截取，得到红外子图像包括：

4.根据权利要求1所述的一种可见光图像和红外图像结合分析的图像识别方法，其特征在于，所述对嵌入所述红外子图像后的可见光图像的待处理区域进行特征融合，得到目标可见光图像包括：

5.根据权利要求1所述的一种可见光图像和红外图像结合分析的图像识别方法，其特征在于，在将所述目标可见光图像输入至预设的图像识别模型中，使所述图像识别模型输出与所述目标可见光图像相对应的图像类型之前，所述方法还包括：

6.一种可见光图像和红外图像结合分析的图像识别系统，其特征在于，包括：

7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的方法。

技术总结
本发明公开了一种可见光图像和红外图像结合分析的图像识别方法及系统，方法包括：获取可见光图像的待处理区域，并基于预设的滑动窗口在待处理区域的边缘进行滑动，选取出与待处理区域相衔接的目标过渡区域；对红外图像中与可见光图像的待处理区域和目标过渡区域相对应的目标区域进行截取，得到红外子图像；根据可见光图像中目标过渡区域的特征点与红外子图像中的特征点的匹配结果将红外子图像嵌入可见光图像中，并对嵌入红外子图像后的可见光图像的待处理区域进行特征融合，得到目标可见光图像；将目标可见光图像输入至预设的图像识别模型中，输出与目标可见光图像相对应的图像类型。避免不必要的计算量，可选择性地提升效果。

技术研发人员：彭靖元,施建盛,朱小虎,万川
受保护的技术使用者：江西联创特种微电子有限公司
技术研发日：
技术公布日：2024/1/15