多波段图像检测物体的方法、系统、电子设备和存储介质

1.本技术属于图像检测领域，尤其涉及多波段图像检测物体的方法、系统、电子设备和存储介质。


背景技术：

2.计算机视觉在现实生活中有着广泛的应用，日常生活中使用的rgb相机只能获取视野的色彩信息，而rgb-d相机在提供常用的rgb图像的同时，还可以提供对应的深度信息，但通过视差计算深度存在误差，且依赖于计算机计算每个像素点的匹配像素，算力消耗巨大。
3.图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能一等的新兴技术，近年来已成为种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。
4.随着红外成像技术应用领域的扩展，单个波段的图像传感器逐渐显露出不能完整地反映出目标真实信息的局限性。


技术实现要素：

5.本发明实施例的主要目的在于提供多波段图像检测物体的方法、系统、电子设备和存储介质，使得融合图像中的待检测物体包含其在不同红外下的所有特征，增大了待检测物体被检测到的概率。
6.第一方面，提供了多波段图像检测物体的方法，所述方法包括：
7.在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
8.通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
9.通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体；
10.获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
11.在一个可能的实现方式中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
12.通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
13.通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
14.在另一个可能的实现方式中，所述通过预设的卷积神经网络将所述多张红外图像
融合为包含所述多张红外图像的红外特征的融合图像，包括：
15.通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
16.将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
17.在另一个可能的实现方式中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
18.通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
19.第二方面，提供了一种多波段图像检测物体的系统，所述系统包括：
20.多张图像获取模块，用于在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
21.融合图像获取模块，用于通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
22.检测模块，用于通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体；
23.待检测物体获取模块，用于获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
24.在一个可能的实现方式中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
25.通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
26.通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
27.在另一个可能的实现方式中，所述融合图像获取模块，包括：
28.多个不同特征提取单元，用于通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
29.融合单元，用于将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
30.在另一个可能的实现方式中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
31.通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
32.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的多波段图像检测物体的方法。
33.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的多波段图像检测物体的方法。
附图说明
34.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
35.图1为本发明一个实施例提供的多波段图像检测物体的方法的流程图；
36.图2为本发明再一个实施例提供的多波段图像检测物体的方法的流程图；
37.图3为本发明一个实施例提供的多波段图像检测物体的系统的结构图；
38.图4为本发明再一个实施例提供的多波段图像检测物体的系统的结构图；
39.图5为本发明一种电子设备的实体结构示意图；
40.图6为本发明提供的获取不同波段的多个图像的流程示意图；
41.图7为本发明提供的卷积神经网络融合图像的流程示意图；
42.图8为本发明提供的yolo检测模型检测目标的流程示意图。
43.具体实现方式
44.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
45.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
46.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
47.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
48.如图1所示为本发明一个实施例提供的多波段图像检测物体的方法的流程图，所述方法包括：
49.步骤101，在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
50.步骤102，通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
51.步骤103，通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体；
52.步骤104，获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
53.在本发明实施例中，拍摄设备在不同的红外波段下对待检测物体进行拍摄，获取包含待检测物体的图像，而每一种红外波段都对应一种图像。将多个不同红外波段下的图
像通过预设的卷积神经网络进行融合，获取融合后的图像，即融合图像。通过预设的yolo检测模型对融合图像进行检测，从融合图像中检测出待检测物体。对于从红外图像中检测出的物体，其只能在红外图像中进行显示，而红外图像并不能真实的反映出待检测物体，因此可通过一预设的坐标转换矩阵将已检测出的物体的红外坐标转换为可见光坐标，通过可见光坐标在可见光图像中获取待检测物体。
54.将通过yolo检测模型对融合图像进行检测设置为一个回归问题。进行检测时，在融合图像上运行神经网络以预测检测的结果，具体的：将融合图像调整为448
×
448，在调整后的融合图像上运行单个卷积神经网络，单个卷积神经网络可同时预测多个边界框和这些边界框的类概率，最后根据模型的置信度对结果检测进行阈值设置，就可以检测并标记出待检测目标。
55.其中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
56.通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
57.通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
58.在本发明实施例中，可以通过多个设备对待检测物体进行拍摄，该多个设备之间可使用的红外波段均不相同，也可以是单一拍摄设备，通过该单一拍摄设备的不同红外波段进行拍摄。使得图像拍摄的方法丰富多样。
59.本发明实施例，通过多个不同的红外波段对待检测物体进行拍摄，获取所述拍摄的多个图像；通过预设的卷积神经网络将所述多个图像融合为包含所述多个图像的红外特征的融合图像；通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体。使得融合图像中的待检测物体包含其在不同红外下的所有特征，增大了待检测物体被检测到的概率。
60.如图2所示为本发明再一个实施例提供的多波段图像检测物体的方法的流程图，所述通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像，包括：
61.步骤201，通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
62.步骤202，将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
63.在本发明实施例中，卷积神经网络采用编码器-解码器的形式进行图像的融合。在融合过程中，编码器用于提取多个图像的多个不同特征，将提取的多个不同特征发送到解码器，由解码器将这多个不同特征融合到一张新的包含待检测物体的图像上，即融合图像。
64.其中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
65.通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
66.在本发明实施例中，卷积层主要用于提取源图像的粗糙特征，因此通过在密集块中设置多个卷积层对源图像进行多次提取粗糙特征，使得提取的特征尽可能精准。同时，密集块可以在编码网络中尽可能的保留深层特征，使得大量的有效信息被保留下来，这样可
以确保所有的有效信息都可以用于融合策略。
67.其中，可以将编码器中用于卷积运算的滤波器的大小和步长分别设置为3
×
3和1，使得输入的图像可以为任意大小。
68.如图3所示为本发明一个实施例提供的多波段图像检测物体的系统的结构图，所述系统包括：
69.多张图像获取模块301，用于多张图像获取模块，用于在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
70.融合图像获取模块302，用于通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
71.检测模块303，用于通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体；
72.待检测物体获取模块304，用于获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
73.在本发明实施例中，拍摄设备在不同的红外波段下对待检测物体进行拍摄，获取包含待检测物体的图像，而每一种红外波段都对应一种图像。将多个不同红外波段下的图像通过预设的卷积神经网络进行融合，获取融合后的图像，即融合图像。通过预设的yolo检测模型对融合图像进行检测，从融合图像中检测出待检测物体。对于从红外图像中检测出的物体，其只能在红外图像中进行显示，而红外图像并不能真实的反映出待检测物体，因此可通过一预设的坐标转换矩阵将已检测出的物体的红外坐标转换为可见光坐标，通过可见光坐标在可见光图像中获取待检测物体。
74.将通过yolo检测模型对融合图像进行检测设置为一个回归问题。进行检测时，在融合图像上运行神经网络以预测检测的结果，具体的：将融合图像调整为448
×
448，在调整后的融合图像上运行单个卷积神经网络，单个卷积神经网络可同时预测多个边界框和这些边界框的类概率，最后根据模型的置信度对结果检测进行阈值设置，就可以检测并标记出待检测目标。
75.其中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
76.通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
77.通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
78.在本发明实施例中，可以通过多个设备对待检测物体进行拍摄，该多个设备之间可使用的红外波段均不相同，也可以是单一拍摄设备，通过该单一拍摄设备的不同红外波段进行拍摄。使得图像拍摄的方法丰富多样。
79.本发明实施例，通过多个不同的红外波段对待检测物体进行拍摄，获取所述拍摄的多个图像；通过预设的卷积神经网络将所述多个图像融合为包含所述多个图像的红外特征的融合图像；通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体。使得融合图像中的待检测物体包含其在不同红外下的所有特征，增大了待检测物体被检测到的
概率。
80.如图4所示为本发明再一个实施例提供的多波段图像检测物体的系统的结构图，所述融合图像获取模块302，包括：
81.多个不同特征提取单元401，用于通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
82.融合单元402，用于将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
83.在本发明实施例中，卷积神经网络采用编码器-解码器的形式进行图像的融合。在融合过程中，编码器用于提取多个图像的多个不同特征，将提取的多个不同特征发送到解码器，由解码器将这多个不同特征融合到一张新的包含待检测物体的图像上，即融合图像。
84.其中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
85.通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
86.在本发明实施例中，卷积层主要用于提取源图像的粗糙特征，因此通过在密集块中设置多个卷积层对源图像进行多次提取粗糙特征，使得提取的特征尽可能精准。同时，密集块可以在编码网络中尽可能的保留深层特征，使得大量的有效信息被保留下来，这样可以确保所有的有效信息都可以用于融合策略。
87.其中，可以将编码器中用于卷积运算的滤波器的大小和步长分别设置为3
×
3和1，使得输入的图像可以为任意大小。
88.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行多波段图像检测物体的方法，该方法包括：通过多个不同的红外波段对待检测物体进行拍摄，获取所述拍摄的多个图像；通过预设的卷积神经网络将所述多个图像融合为包含所述多个图像的红外特征的融合图像；通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体。
89.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
90.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多波段图像检测物体的方法，该方法包括：通过多个不同的红外波段对待检测物体进行拍摄，获取所述拍摄
的多个图像；通过预设的卷积神经网络将所述多个图像融合为包含所述多个图像的红外特征的融合图像；通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体。
91.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的多波段图像检测物体的方法，该方法包括：通过多个不同的红外波段对待检测物体进行拍摄，获取所述拍摄的多个图像；通过预设的卷积神经网络将所述多个图像融合为包含所述多个图像的红外特征的融合图像；通过预设的yolo检测模型从所述融合图像中检测出所述待检测物体。
92.如图6所示为本发明提供的获取不同波段的多个图像的流程示意图。
93.如图7所示为本发明提供的卷积神经网络融合图像的流程示意图。
94.如图8所示为本发明提供的yolo检测模型检测目标的流程示意图。
95.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
96.以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。