基于双光融合的红外图像的异常监测方法、装置、设备与流程

本申请涉及图像检测技术领域，特别是涉及一种基于双光融合的红外图像的异常监测方法、装置、设备及系统。

背景技术：

红外成像技术是根据物体的红外辐射差异成像的，由于不同物体或同一物体的不同部位通常具有不同的热辐射特性，如温差、发射率等，在进行热红外成像后，红外图像中的物体因为其热辐射的差异而区别开来。

目前，根据红外图像对红外图像中的目标物体进行监测时，主要是通过对预先设定的监测区域(红外图像中温度最高的区域)进行监控。热像仪搜索并标记当前红外图像中温度最高的区域，将该区域设为监测区域，当监测到该区域的温度升高时，表明该区域的目标物体出现异常，对于监测区域以外的区域并不能起到监测的作用，也就无法及时发现红外图像中其他区域的异常情况。

因此，如何实现对红外图像中的所有区域进行监测是本领与技术人员应重点关注的。

技术实现要素：

本申请的目的是提供一种基于双光融合的红外图像的异常监测方法、装置、设备及系统，以实现对红外图像中的所有区域进行监测。

为解决上述技术问题，本申请提供一种基于双光融合的红外图像的异常监测方法，包括：

获取图像显示内容一致且同步采集的可见光图像和红外图像；

将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；

分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；

判断所述灰度差值是否大于预设阈值；

若是，确定所述灰度差值对应的区域存在异常。

可选的，所述获取图像显示内容一致且同步采集的可见光图像和红外图像包括：

获取同步采集的初始可见光图像和初始红外图像；

设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；

以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。

可选的，所述对所述待配准图像中的显示内容进行配准包括：

利用sift算法确定所述标准图像中的特征点，并根据所述特征点对所述待配准图像中的显示内容进行配准。

可选的，在所述确定所述灰度差值对应的区域存在异常之后，还包括：

发送报警信息至预设终端。

可选的，所述报警信息为声音报警信息和/或文字报警信息。

本申请还提供一种基于双光融合的红外图像的异常监测装置，包括：

第一获取模块，用于获取图像显示内容一致且同步采集的可见光图像和红外图像；

转化模块，用于将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；

第二获取模块，用于分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；

判断模块，用于判断所述灰度差值是否大于预设阈值；

确定模块，用于当所述灰度差值大于所述预设阈值时，确定所述灰度差值对应的区域存在异常。

可选的，所述第一获取模块具体包括：

获取单元，用于获取同步采集的初始可见光图像和初始红外图像；

设定单元，用于设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；

配准单元，用于以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。

可选的，还包括：

发送模块，用于发送报警信息至预设终端。

本申请还提供一种基于双光融合的红外图像的异常监测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种所述基于双光融合的红外图像的异常监测方法的步骤。

本申请还提供一种基于双光融合的红外图像的异常监测系统，包括：

图像采集设备，用于采集可见光图像；

红外热像仪，用于采集红外图像；

上述所述的基于双光融合的红外图像的异常监测设备。

本申请所提供的基于双光融合的红外图像的异常监测方法，包括：获取图像显示内容一致且同步采集的可见光图像和红外图像；将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；判断所述灰度差值是否大于预设阈值；若是，确定所述灰度差值对应的区域存在异常。

可见，本申请中的异常监测方法，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，可以更有效地检测出出现异常的区域。此外，本申请还提供一种具有上述优点的异常监测装置、设备及系统。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种基于双光融合的红外图像的异常监测方法的流程图；

图2为本申请实施例所提供的另一种基于双光融合的红外图像的异常监测方法的流程图；

图3为本申请实施例提供的基于双光融合的红外图像的异常监测装置的结构框图；

图4为本申请实施例提供的基于双光融合的红外图像的异常监测设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

正如背景技术部分所述，目前根据红外图像对红外图像中的目标物体进行监测时，主要是通过对预先设定的监测区域进行监控。热像仪搜索并标记当前红外图像中温度最高的区域，将该区域设为监测区域，当监测到该区域的温度升高时，表明该区域的目标物体出现异常，对于监测区域以外的区域并不能起到监测的作用，也就无法及时发现红外图像中其他区域的异常情况。

有鉴于此，本申请提供了一种基于双光融合的红外图像的异常监测方法，请参考图1，图1为本申请实施例所提供的一种基于双光融合的红外图像的异常监测方法的流程图，该方法包括：

步骤s101：获取图像显示内容一致且同步采集的可见光图像和红外图像。

需要说明的是，可见光图像和红外图像两幅图像的图像显示内容一致指的是两幅图像中显示的画面一模一样，区别点只是一幅是可见光图像，一幅是红外图像。红外图像可以显示出红外图像中不同区域中物体的温度信息，可见光图像中并不包含温度信息。

步骤s102：将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像。

具体的，预先训练好的神经网络是将预先准备好的图像显示内容一致且同步采集的可见光图像和红外图像作为训练样本图像，其中训练样本图像包括自己采集得到的图像和从网上搜集到的图像，利用深度学习的方式训练出神经网络。通过把转化后红外图像和对应的红外图像进行对比，并通过训练神经网络的参数，逐步减小转化后红外图像和红外图像之间的误差。神经网络的具体的训练过程已为本领域技术人员所熟知，此处不再详细阐述。

步骤s103：分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值。

需要指出的是，灰度差值为转化后红外图像与红外图像中同一区域的灰度值之差，是一个大于等于零的正数。

可以理解的是，红外图像中显示不同区域的温度信息，某个区域的温度越高，该区域显示越亮，不同温度区域的灰度值不同；转化后红外图像是由可见光图像转换而来，由于可见光图像中不包含温度信息，转化后红外图像中也就不包含温度信息，转化后红外图像中灰度值不会随温度变化而发生变化，因此，可以根据转化后红外图像与红外图像中同一区域的灰度差值表示温度的差异。

进一步地，由于灰度差值表示温度的差异，本实施例中不仅局限于对温度升高的区域进行有效检测，当某个区域的温度值降低时，同样可以被监测到。

具体的，红外图像中不同区域表示不同的监测范围，通过分别获取转化后红外图像与红外图像中同一区域的灰度差值，使红外图像中显示的所有区域均被监测。

步骤s104：判断所述灰度差值是否大于预设阈值。

需要说明的是，本实施例中对预设阈值不做具体限定，视情况而定，例如，预设阈值可以为10，或者20等。

步骤s105：若是，确定所述灰度差值对应的区域存在异常。

具体的，当灰度差值大于预设阈值时，表示该灰度差值对应的区域的温度升高或者降低的幅度超过正常幅度，出现异常。

可以理解的是，当灰度差值不大于预设阈值时，表示该灰度差值对应的区域的温度变化正常。

本实施例中的异常监测方法，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。

请参考图2，图2为本申请实施例所提供的另一种基于双光融合的红外图像的异常监测方法的流程图，该方法包括：

步骤s201：获取同步采集的初始可见光图像和初始红外图像；

具体的，在本实施例中，初始可见光图像和初始红外图像两幅图像中显示内容并不一致。

步骤s202：设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像。

具体的，当初始红外图像为标准图像时，则初始可见光图像为待配准图像；当初始可见光图像为标准图像时，则初始红外图像为待配准图像。

步骤s203：以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。

步骤s204：将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像。

步骤s205：分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值。

步骤s206：判断所述灰度差值是否大于预设阈值。

步骤s207：若是，确定所述灰度差值对应的区域存在异常。

步骤s204至步骤s207此处不再详细赘述，具体请参考上述实施例。

可选的，在本申请的一个实施例中，所述对所述待配准图像中的显示内容进行配准包括：利用sift(scaleinvariantfeaturetransform，尺度不变特征变换)算法确定所述标准图像中的特征点，并根据所述特征点对所述待配准图像中的显示内容进行配准。但是，本申请对此并不做具体限定，在本申请的其他实施例中，还可以利用人工标记特征点的方式进行配准，选择在初始可见光图像和初始红外图像中都比较明显的位置，比如一个物体拐角的位置等进行配准。具体的配准过程已为本领域技术人员所熟知，此处不再详细赘述。

可以理解的是，在图像采集设备中可见光和红外传感器的参数、位置和镜头等都是固定的，对这些参数进行调整，进行一次人工配准之后，以后采集到的图像都可以用这一套参数进行初始可见光图像和初始红外图像两幅图像的配准。

在上述任一实施例的基础上，在本申请的一个实施例中，在所述确定所述灰度差值对应的区域存在异常之后，还包括：

发送报警信息至预设终端，以便于工作人员技术了解到异常情况的出现。

需要指出的是，本实施例中对预设终端不做具体限定，可自行设置。例如，预设终端可以为电脑、手机、ipad等。

还需要指出的是，本实施例中对报警信息也不做具体限定，可自行设置。例如，所述报警信息为声音报警信息和/或文字报警信息。

下面对本申请实施例提供的基于双光融合的红外图像的异常监测装置进行介绍，下文描述的基于双光融合的红外图像的异常监测装置与上文描述的基于双光融合的红外图像的异常监测方法可相互对应参照。

图3为本申请实施例提供的基于双光融合的红外图像的异常监测装置的结构框图，参照图3基于双光融合的红外图像的异常监测装置可以包括：

第一获取模块100，用于获取图像显示内容一致且同步采集的可见光图像和红外图像；

转化模块200，用于将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；

第二获取模块300，用于分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；

判断模块400，用于判断所述灰度差值是否大于预设阈值；

确定模块500，用于当所述灰度差值大于所述预设阈值时，确定所述灰度差值对应的区域存在异常。

本实施例的基于双光融合的红外图像的异常监测装置用于实现前述的基于双光融合的红外图像的异常监测方法，因此基于双光融合的红外图像的异常监测装置中的具体实施方式可见前文中的基于双光融合的红外图像的异常监测方法的实施例部分，例如，第一获取模块100，转化模块200，第二获取模块300，判断模块400，确定模块500分别用于实现上述基于双光融合的红外图像的异常监测方法中步骤s101，s102，s103，s104和s105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本实施例中的异常监测装置，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。

在本申请的一个实施例中，所述第一获取模块100具体包括：

获取单元，用于获取同步采集的初始可见光图像和初始红外图像；

设定单元，用于设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；

配准单元，用于以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。

在上述任一实施例的基础上，在本申请的一个实施例中，基于双光融合的红外图像的异常监测装置还包括：

发送模块，用于发送报警信息至预设终端。

下面对本申请实施例提供的基于双光融合的红外图像的异常监测设备进行介绍，下文描述的基于双光融合的红外图像的异常监测设备与上文描述的基于双光融合的红外图像的异常监测方法可相互对应参照。

图4为本申请实施例提供的基于双光融合的红外图像的异常监测设备的结构框图，该设备包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任一种所述基于双光融合的红外图像的异常监测方法的步骤。

本实施例中的异常监测设备，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。

本申请还提供一种基于双光融合的红外图像的异常监测系统，该系统包括：

图像采集设备，用于采集可见光图像；

红外热像仪，用于采集红外图像；

上述基于双光融合的红外图像的异常监测设备。

需要说明的是，本实施例中对图像采设备的种类并不做具体限定，可视情况而定。例如，图像采集设备可为ccd(charge-coupleddevice，电荷耦合元件)图像采集设备，或者cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)图像采集设备。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的基于双光融合的红外图像的异常监测方法、装置、设备及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。