目标对象检测方法和装置、存储介质及电子装置与流程

本发明涉及计算机领域，具体而言，涉及一种目标对象检测方法和装置、存储介质及电子装置。

背景技术：

目前，在一些公共场所和办公室中，通常采用标语式的“禁止吸烟”进行提醒，或者，采用基于烟雾检测的检测装置(例如，语音提醒器)，通过对周围环境的烟雾情况进行检测而进行语音提醒。

然而，采用“禁止吸烟”标识的方式依赖于吸烟人群的自觉性，提醒效果无法保证。采用基于烟雾检测的检测装置的方式只有在探测器可探测到的范围内且烟雾浓度高的时候才能准确检测，对微小颗粒探测能力差，长时间使用会使探测器的敏感度降低，从而不能准确探测出是否有人吸烟。

因此，相关技术中存在由于探测器对微小颗粒探测能力差导致的目标对象检测结果不准确的问题。

技术实现要素：

本发明实施例提供了一种目标对象检测方法和装置、存储介质及电子装置，以至少解决相关技术中存在由于探测器对微小颗粒探测能力差导致的目标对象检测结果不准确的技术问题。

根据本发明实施例的一个方面，提供了一种目标对象检测方法，包括：在从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象的情况下，获取第一对象所在的第一区域和第一对象的第一尺寸，其中，第一图像为红外探测器对目标区域拍摄得到的图像；在从第二图像中检测到第二对象的情况下，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸，其中，第二图像为与第一图像对应的可视化图像，第二对象为具有预定姿势的人形对象；在第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，确定第一对象为目标对象。

根据本发明实施例的另一方面，还提供了一种目标对象检测装置，包括：第一获取单元，用于在从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象的情况下，获取第一对象所在的第一区域和第一对象的第一尺寸，其中，第一图像为红外探测器对目标区域拍摄得到的图像；第二获取单元，用于在从第二图像中检测到第二对象的情况下，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸，其中，第二图像为与第一图像对应的可视化图像，第二对象为具有预定姿势的人形对象；第一确定单元，用于在第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，确定第一对象为目标对象。

根据本发明实施例的又一方面，还提供了一种存储介质，上述存储介质存储有计算机程序，上述计算机程序被设置为运行时执行上述的方法。

根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的方法。

在本发明实施例中，通过在温感图像(第一图像)中检测到温度超过第一阈值、且具有预定形状的第一对象时，获取第一对象所在的第一区域和第一对象的第一尺寸，在可视化图像(第二图像)中检测到具有预定姿势的人形对象时，获取该人形对象的目标部位(例如，人头或人脸)所在的第二区域和目标部位的第二尺寸，并根据第一区域和第二区域的位置关系，以及第一尺寸和第二尺寸的尺寸关系，确定第一对象是否为目标对象(燃烧的香烟)，由于结合燃烧的香烟自身的特征和抽烟时人的特定姿势，可以去除非烟头的高温误报源的干扰，提高目标对象检测的准确度，进而解决了相关技术中存在由于探测器对微小颗粒探测能力差导致的目标对象检测结果不准确的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种目标对象检测方法的检测设备的硬件结构框图；

图2是本发明实施例的一种目标对象检测方法的网络架构的示意图；

图3是本发明实施例的一种可选的目标对象检测方法的流程示意图；

图4是本发明实施例的一种可选的形状检测方法的流程示意图；

图5是本发明实施例的另一种可选的形状检测方法的流程示意图；

图6是本发明实施例的一种可选的形状检测方法的示意图；

图7是本发明实施例的另一种可选的形状检测方法的示意图；

图8是本发明实施例的另一种可选的目标对象检测方法的流程示意图；

图9是本发明实施例的又一种可选的目标对象检测方法的流程示意图；

图10是本发明实施例的又一种可选的多光谱无训练数据下的检测方法的流程示意图；

图11是本发明实施例的又一种可选的目标对象检测方法的流程示意图；

图12是本发明实施例的又一种可选的目标对象检测方法的流程示意图；以及，

图13是根据本发明实施例的一种可选的目标对象检测装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

根据本发明实施例的一个方面，提供了一种目标对象检测方法。上述方法可以在检测设备、计算机终端或者类似的显示装置中执行。以运行在检测设备为例，图1是本发明实施例的一种目标对象检测方法的检测设备的硬件结构框图。如图1所示，检测设备10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述检测设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述检测设备的结构造成限定。例如，检测设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至检测设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括检测设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个nic(networkinterfacecontroller，网络适配器)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为rf(radiofrequency，射频)模块，其用于通过无线方式与互联网进行通讯。

本申请实施例可以运行于图2所示的网络架构上，如图2所示，该网络架构包括：采集设备(用于采集第一图像和/或第二图像)、检测设备(用于检测目标对象)、告警设备，其中，检测设备可以与采集设备和告警设备进行交互(例如，通过网络)。

可选地，采集设备可以向检测设备提供采集的第一图像和第二图像，检测设备在接收到第一图像和第二图像之后，可以通过对第一图像和第二图像进行检测，并确定第一图像和第二图像中是否有目标对象(燃烧的香烟)，并在检测到目标对象的情况下，向告警设备发出告警。

根据本发明实施例，提供了一种目标对象检测方法，该方法可以应用于如图2所示的检测设备、或者，采集设备、检测设备与告警设备的组合。如图3所示，该方法包括：

步骤s302，在从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象的情况下，获取第一对象所在的第一区域和第一对象的第一尺寸，其中，第一图像为红外探测器对目标区域拍摄得到的图像；

步骤s304，在从第二图像中检测到第二对象的情况下，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸，其中，第二图像为与第一图像对应的可视化图像，第二对象为具有预定姿势的人形对象；

步骤s306，在第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，确定第一对象为目标对象。

通过上述步骤，通过在温感图像(第一图像)中检测到温度超过第一阈值、且具有预定形状的第一对象时，获取第一对象所在的第一区域和第一对象的第一尺寸，在可视化图像(第二图像)中检测到具有预定姿势的人形对象时，获取该人形对象的目标部位(例如，人头或人脸)所在的第二区域和目标部位的第二尺寸，并根据第一区域和第二区域的位置关系，以及第一尺寸和第二尺寸的尺寸关系，确定第一对象是否为目标对象(燃烧的香烟)，解决了相关技术中存在由于探测器对微小颗粒探测能力差导致的目标对象检测结果不准确的技术问题，提高了目标对象检测的准确度。

可选地，上述步骤的执行主体可以为检测设备等，但不限于此。

可选地，上述目标对象检测方法可以应用于目标场景中的目标对象检测过程中，例如，可以应用于如商场、展厅、会议室、交通控制中心等多种场景的燃烧的香烟的检测过程中。

在步骤s302中，在从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象的情况下，检测设备获取第一对象所在的第一区域和第一对象的第一尺寸，其中，第一图像为红外探测器对目标区域拍摄得到的图像。

第一图像可以是红外探测器对目标区域拍摄得到的图像。第一图像可以是采集设备实时采集的一帧图像，也可以是从存储有采集设备采集的一帧或多帧图像中缓存队列中获取的一帧图像。第一图像的获取方式可以根据需要进行设定，本实施例中对此不做赘述。

可选地，在本实施例中，在获取第一对象所在的第一区域和第一对象的第一尺寸前，可以获取由红外探测器对目标区域拍摄得到的第一图像；从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象。

在获取第一对象所在的第一区域和第一对象的第一尺寸之前，可以获取一帧红外raw数据(一帧红外图像，第一图像)。

在获取到第一图像之后，可以检测第一图像的画面中是否有高温目标，如果没有，则重新执行获取第一图像的步骤；如果有，则可以检测高温目标的形状是否为预设形状(比如，类圆形)，如果不是，则重新执行获取第一图像的步骤，如果是，则获取高温目标(第一对象)的位置(第一对象所在的第一区域)和大小(第一对象的第一尺寸)。

可选地，在本实施例中，从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象可以包括：从第一图像中检测到温度超过第一阈值的参考对象；在参考对象的最高温度有波动、且参考对象的形状为预定形状的情况下，将参考对象确定为第一对象，其中，参考对象的最高温度有波动是指：参考对象在连续的多帧图像中的最高温度不完全相同，多帧图像中的最高温度的标准差和均值比大于或者等于预定阈值，多帧图像包括第一图像。

鉴于单高温目标检测还是有可能误报，为了减少误报，可以燃烧的烟头的温度波动特征进行判断。由于吸烟时，烟头的温度会波动的，因为人吸入烟时，烟头会由于供氧更充分，温度会更高，因此可以利用此波动特征减少误报。

检测高温目标最高温波动需要统计多帧数据的最高温度，然后计算均值和标准差，利用标准差和均值的比值来判断波动是否超过阈值，进而判断最高温是否有波动。

通过本实施例，利用目标对象的温度波动特征判断参考对象是否为第一对象，可以减少目标对象的误报率。

可选地，预设形状检测的方式可以有多种，例如，用尺寸不变特征变换(scale-invariantfeaturetransform，简称为sift)或加速稳健特征(speed-uprobustfeature，简称为surf)算法进行特征提取，然后特征匹配，检测流程可以如图4所示，如图4所示，该流程包括以下步骤：

步骤s402，初始化。

步骤s404，过滤掉低温物体的二值化图像。

步骤s406，使用目标算法(例如，sift算法，surf算法)提取预设形状特征。

步骤s408，使用目标算法提取待检测目标形状特征。

步骤s410，将预设形状特征和待测目标形状特征进行匹配。

步骤s412，判断图像中是否有预设目标，如果是，执行步骤s414，否则，获取下一帧图像重新执行检测流程。

步骤s414，输出检测结果。

在预设形状为类圆形的情况下，类圆形的检测方式可以有多种，比如，hough变换法，重心法或最小二乘法，类圆形的检测流程可以如图5所示，如图5所示，该流程包括以下步骤：

步骤s502，初始化。

步骤s504，过滤掉低温物体的二值化图像。

步骤s506，对二值化图像进行边缘检测。

步骤s508，使用圆形检测算法(例如，重心法，hough变换法)处理图像。

步骤s510，判断处理后的图像是否有圆形，如果是，执行步骤s512，否则，获取下一帧图像重新执行检测流程。

步骤s512，输出检测结果。

通过本实施例，通过从红外传感器对目标区域拍摄得到的第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象，可以用高温特征预过滤很多场景数据(不用计算)，节省计算资源；预定形状(类圆形或其他指定形状特征)可以过滤很多非烟头的高温误报源，提高目标对象检测效率。

获取第一对象所在的第一区域和第一对象的第一尺寸可以是基于训练数据的。可选地，在本实施例中，获取第一对象所在的第一区域和第一对象的第一尺寸可以包括：获取第一对象所在的第一区域、第一对象的第一尺寸、以及第一可信度，其中，第一可信度用于表示第一对象的形状与预定形状的相似程度。

获取第一对象所在的第一区域和第一对象的第一尺寸可以是将第一图像输入到第一目标模型，由第一目标模型从第一图像中提取出第一对象所在的区域和尺寸，以及，第一对象的形状与目标预定形状的形状相似度。

可选地，在步骤s302之前，可以将第一训练图像集合中的各第一训练图像输入到第一训练模型，并使用各第一训练图像的标注信息(用于标注目标对象以及目标对象的预定形状)调整第一训练模型的模型参数，以使输出结果与标注信息之间的相关度(例如，相似程度)超过第一阈值(满足目标函数)。

通过本实施例，使用第一目标模型获取第一图像中的第一对象的位置和形状以及与预定形状的形状相似度，可以提高目标对象判断的准确性，减少误报率和漏报率。

可选地，在步骤s304中，检测设备可以在从第二图像中检测到第二对象的情况下，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸，其中，第二图像为与第一图像对应的可视化图像，第二对象为具有预定姿势的人形对象。

第一图像和第二图像可以是不同类型的图像。第一图像为温感图像，第二图像为可视化图像。第二图像可以是独立的图像，也可以是由第一图像转化来的图像。相应地，上述红外探测器可以位于红外相机。上述红外相机可以是单红外相机，也可以用于红外及可见光的多光谱相机。

作为一种可选的实施方式，在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，可以将第一图像转换为可视化图像，得到第二图像。

例如，可以将一帧红外raw数据转化为8bit可视化图像。

通过本实施例，通过使用单红外相机进行红外图像获取，并转换为可视化图像，可以全天时全天候进行检测，提高检测的时间宽度。

作为另一种可选的实施方式，在红外相机为多光谱相机的情况下，在获取第一对象所在的第一区域和第一对象的第一尺寸之前，可以在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，可以获取由多光谱相机拍摄的第二图像，其中，多光谱相机包括红外探测器，第一图像和第二图像分别为多光谱相机同一时刻对目标区域拍摄得到的红外图像和可见光图像。

例如，多光谱相机可以在同一时刻对目标区域进行拍摄，得到该时刻对应的红外图像和可见光图像，并对红外图像和可见光图像配准，得到红外图像和与其对应的可见光图像。

通过本实施例，通过使用多光谱相机进行可见光图像的获取，可以采集到可见光图像，保留证据，提高目标对象检测的准确性和可信度。

需要说明的是，针对单红外相机和多光谱相机可以分为：单红外图像检测及红外可见光多光谱图像检测。单红外方案无法抓可见光图像，可以全天时全天候检测；多光谱方案不能全天时全天候检测，可以抓可见光图像，保留证据；多光谱设备可以在白天使用多光谱方案，在夜晚可以切换成单红外方案。当然，多光谱方案也可以通过增加白光灯的方法用于夜晚。

可选地，在本实施例中，在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，在检测到第二图像中包含目标特征的情况下，可以确定第二图像中包含人形对象，其中，目标特征用于表示目标部位；确定人形对象的姿势与预定姿势匹配的情况下，确定从第二图像检测到第二对象。

在获取到第二图像之后，可以检测第二图像中是否包含目标特征，该目标特征用于表示目标部位(例如，目标部位可以为人头或人脸)，并在检测到目标特征时，确定第二图像中包含人形对象。对于检测到的人形对象，也可以将该人形对象的姿势与预定姿势进行匹配，并在两者匹配的情况下，确定从第二图像中检测到第二对象。除了目标特征外，根据预定姿势的不同，还可以从第二图像中检测与该目标特征对应的其他特征(例如，用于表示手部、肩部的特征，预定姿势可以用于表示人头或人脸、手部及肩部所形成的姿势)。

需要说明的是，目标特征可以用于表示人脸，而结合人脸的特点，上述目标特征可以包括以下至少之一：用于表示眼睛的特征，用于表示鼻子的特征，用于表示嘴巴的特征，用于表示人脸的尺寸或者相对尺寸(与对应的身体尺寸之间的关系)的特征等等，目标特征可以根据需要进行设定，本实施例对此不作具体限定。

对于第二图像，人可以通过人脸检测或人体检测等方式来检测，可以用可见光图像或红外图像检测人脸、人头、人体等。同时吸烟时，人头或人脸和手部及肩部会形成一个特定的姿势，这个姿势也能用于吸烟检测。

需要说明的是，检测画面中人脸、肩部和手是否符合吸烟姿势的方式有很多，比如用sift或surf算法对样本图片和待检测图片进行特征提取，然后特征匹配。检测方式与预设形状的检测方式类似，在此不作赘述。

通过本实施例，可以通过将人形对象的姿势与预设姿势进行匹配的方式辅助进行目标对象的判断，可以提高目标对象判断的准确性。

获取第二对象的目标部位所在的第二区域和第二对象的第二尺寸可以是基于训练数据的。可选地，在本实施例中，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸包括：获取第二对象的目标部位所在的第二区域、目标部位的第二尺寸、第二可信度和第三可信度，其中，第二可信度用于表示第二对象为人形对象的可信程度，第三可信度为第二对象的姿势与预定姿势的相似程度。

获取第二对象的目标部位所在的第二区域和第二对象的第二尺寸可以是将第二图像输入到第二目标模型，由第二目标模型从第二图像中提取出第二对象的目标部位所在的区域和尺寸，以及，检测可信度。检测可信度可以包括用于表示第二对象为人形对象的可信程度(或者，也可以表示目标部位的位置和大小为第二区域和第二尺寸的可信程度)的第二可信度。此外，第二目标模型还可以输出用于表示第二对象的姿势与预定姿势的相似程度的第三可信度。

可选地，在步骤s302之前，可以将第二训练图像集合中的各第二训练图像输入到第二训练模型，并使用各第二训练图像的标注信息(用于标注各第二训练图像中的人形对象的位置和大小)调整第二训练模型的模型参数，得到第二目标模型中的第一子模型，以使输出结果与标注信息之间的相关度(例如，相似程度)超过第一阈值(满足目标函数)。

第二目标模型中的第二子模型用于获取第二对象的姿势与预定姿势的相似程度。第二子模型的训练过程与第一子模型类似，在此不做赘述。

通过本实施例，使用第二目标模型获取第二图像中第二对象的目标部位的位置和大小及可信度，以及，第二对象的姿势与预设姿势的相似程度，可以提高目标对象判断的准确性，减少误报率和漏报率。

可选地，在步骤s306之前，可以根据第一区域与目标区域的位置关系，确定出第四可信度，其中，第四可信度用于表示与位置关系匹配的、第一对象为目标对象的可信程度；根据第一尺寸与第二尺寸的大小比例，确定出第五可信度，其中，第五可信度用于表示与大小比例匹配的、第一对象为目标对象的可信程度。

在确定第二区域之后，可以根据第二区域所在范围，确定包含该范围的目标区域，目标区域可以根据预设参数进行确定，上述预设参数可以预先设置，可以包括一个或多个参数，例如，以第二区域为中心的正方形区域，正方形各边的方向平行于上下左右四个方向，正方形的边长为第二区域的最远边界的距离的预定倍数(例如，1.2)。再例如，以第二区域为中心的长方形区域，长方形各边的方向平行于上下左右四个方向，第二区域的中心距离各边的距离为：第二区域的中心距离各个方向的最远距离的预定倍数(例如，1.2)。又例如，第二区域整体向外膨胀预定倍数。

上述一个或多个参数可以根据经验值进行设定，也可以使用已标注了人形对象以及燃烧的香烟的第三训练图像集合对第三训练模型进行训练，得到第三目标模型(一个或多个参数可以为模型参数)。使用训练得到的第三目标模型对第二图像进行处理，得到目标区域。

人和燃烧的香烟之间存在位置和大小的相对固定的关系，即吸烟的时候燃烧的香烟一般在人脸附近，如图6所示，其中，图6(a)为高温目标位于合理范围内的情况，图6(b)为高温目标位于合理范围外的情况。且燃烧的香烟和人脸之间的大小比例一般在某个合理的范围内，如图7所示，其中，图7(a)为高温目标面积合适的情况，图7(b)为高温目标面积偏小的情况，图7(c)为高温目标面积偏大的情况。用这种方式可以排除很多干扰，比如人拿着热水杯，水杯和人的相对大小明显超过烟头和人的相对大小。

可以根据第一区域与目标区域的位置关系，确定用于表示与位置关系匹配的、第一对象为目标对象的可信程度的第四可信度。可以根据第一尺寸与第二尺寸的大小比例，确定用于表示与大小比例匹配的、第一对象为目标对象的可信程度的第五可信度。

第四可信度和第五可信度的确定与前述第一可信度、第二可信度和第三可信度的确定过程类似，只是训练得到的模型输出的是第四可信度和/或第五可信度。

在获取到第一可信度、第二可信度、第三可信度、第四可信度和第五可信度之后，可以获取目标可信度，其中，目标可信度为第一可信度、第二可信度、第三可信度、第四可信度、以及第五可信度的加权和。

计算吸烟检测的总可信度p＝w1*p1+w2*p2+w3*p3+w4*p4+w5*p5，其中，p1、p2、p3、p4和p5分别表示第一可信度、第二可信度、第三可信度、第四可信度和第五可信度，w1、w2、w3、w4和w5为各个可信度的加权值。

系数w1、w2、w3、w4、w5可以使用有人吸烟的红外图像数据，通过机器学习的方法训练得到，训练方法可以参考相关技术，在此不再赘述。

通过本实施例，通过使用有训练数据计算图片中包含目标对象的总的可信度，可以提高目标对象判断的准确性，减少误报率和漏报率。

可选地，在步骤s306中，在第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，确定第一对象为目标对象。

若第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，可以确定第一对象为目标对象。将第一对象确定为目标对象可以是：直接将第一对象确定为目标对象，也可以是将第一对象确定为目标对象的概率(可信度)。

可选地，在本实施例中，确定第一对象为目标对象包括：在目标可信度大于或者等于第二阈值的情况下，确定第一对象为目标对象。

在获取到目标可信度之后，可以基于设定的第二阈值确定第一对象为目标对象的可信程度，并在目标可信度大于或者等于第二阈值的情况下，确定出第一对象为目标对象。

可选地，在确定第一对象为目标对象之后，检测设备可以向告警设备发出用于表示在目标区域内检测到目标对象的告警信息；控制目标图像采集设备对目标区域拍摄或录像，得到目标图像或者目标录像。

检测设备在确定出目标区域中检测到目标对象之后，可以发出报警，并触发热成像抓图或录像动作。

通过本实施例，在检测到目标对象之后触发告警，可以对目标对象进行告警，提高告警的及时性；通过触发对目标区域进行拍摄或者录像，可以提高取证的效率，避免确定目标对象对应主体时可能的纠纷。

下面结合可选示例对上述目标对象检测方法进行说明。对于吸烟行为，其主要包括两个重要要素：人和燃烧的香烟。本示例中的目标对象检测方法利用了燃烧香烟的高温特征、吸烟行为必须有人的特征，以及二者之间的位置和大小关系特征。

对于有训练数据和无训练数据两种情况，在无训练数据的情况下，可以利用少量的测试数据人工总结出经验阈值(经验阈值)来进行判别，此方式的优点是：无需大数据，可以最快速度集成产品。在有训练数据的情况下，可以利用大数据训练出合适的模型和参数，此方式的优点是：误报率和漏报率更低。

根据是否有训练数据，以及是单红外相机还是多光谱相机，可以有四种目标对象检测方法：单红外无训练数据的检测方法、单红外有训练数据的检测方法、多光谱无训练数据的检测方法和多光谱有训练数据的检测方法。此外，为了减少误报率，还提供了一种基于燃烧的香烟的温度波动特征的检测方法。下面结合可选示例进行说明。

可选示例1

本可选示例中提供了一种单红外无训练数据下的检测方法，如图8所示，该方法包括以下流程步骤：

步骤1，获取一帧红外raw数据；

步骤2，检测画面中是否有高温目标，如果有，进入步骤3，否则，回到步骤1；

步骤3，检测高温目标的形状是否为预设形状(比如，类圆形)，如果是，记录高温目标的位置和大小，进入步骤4，否则回到步骤1；

步骤4，将步骤1中的raw数据转化为8bit可视化图像；

步骤5，检测步骤4生成图像画面中是否有人头或人脸，如果有，记录人头或人脸的位置和大小，进入步骤6，否则，回到步骤1；

步骤6，检测步骤4生成图像画面中人头或人脸、肩部和手是否符合吸烟姿势，如果是，记录进入步骤7，否则，回到步骤1；

步骤7，判断类高温目标和最近的人头或人脸的位置关系是否在合理的范围内，如果是，进入步骤8，否则，回到步骤1；

步骤8，判断类高温目标和最近的人头或人脸的相对大小是否在合理的范围内，如果是，进入步骤9，否则，回到步骤1；

步骤9，认为场景内有吸烟行为；

步骤10，发出报警，并触发热成像抓图或录像动作。

可选示例2

本可选示例中提供了一种单红外有训练数据下的检测方法，如图9所示，该方法包括以下流程步骤：

步骤1，获取一帧红外raw数据；

步骤2，检测画面中是否有高温目标，如果有，进入步骤3，否则，回到步骤1；

步骤3，检测高温目标的形状是否为预设形状(比如，类圆形)，如果是，记录高温目标的位置大小及形状相似度p1，进入步骤4，否则回到步骤1；

步骤4，将步骤1中的raw数据转化为8bit可视化图像；

步骤5，检测步骤4生成图像画面中是否有人头或人脸，如果有，记录人头或人脸的位置大小及检测可信度p2，进入步骤6，否则回到步骤1；

步骤6，检测步骤4生成图像画面中人头或人脸、肩部和手是否符合吸烟姿势，如果是，记录吸烟姿势相似度p3，进入步骤7，否则回到步骤1；

步骤7，计算类高温目标和最近的人头或人脸的位置关系系数p4；

步骤8，计算类高温目标和最近的人头或人脸的大小比例系数p5；

步骤9，计算吸烟检测的总可信度p＝p1*w1+p2*w2+p3*w3+p4*w4+p5*w5；

步骤10，判断总可信度p是否大于阈值p0，如果大于，认为场景内有吸烟行为，进入步骤11，否则回到步骤1；

步骤11，发出报警，并触发热成像抓图或录像动作。

其中，步骤9中的系数w1、w2、w3、w4、w5及阈值p0是使用有人吸烟的红外图像数据，通过机器学习的方法训练得到。

可选示例3

本可选示例中提供了一种多光谱无训练数据下的检测方法，如图10所示，该方法包括以下流程步骤：

步骤1，将红外图像和可见光图像配准；

步骤2，获取一帧红外raw数据；

步骤3，检测画面中是否有高温目标，如果有，进入步骤4，否则，回到步骤2；

步骤4，检测高温目标的形状是否为预设形状(比如类圆形)，如果是，记录高温目标的位置和大小，进入步骤5，否则，回到步骤2；

步骤5，获取一帧可见光图像；

步骤6，检测步骤5中的可见光图像画面中是否有人头或人脸，如果有，记录人头或人脸的位置和大小，进入步骤7，否则，回到步骤2；

步骤7，检测步骤5中的可见光图像画面中人头或人脸、肩部和手是否符合吸烟姿势，如果是，进入步骤8，否则，回到步骤2；

步骤8，根据配置参数将步骤6中检测到的人头或人脸坐标换算成红外图像中的坐标，并获取其在红外图像中的位置和大小；

步骤9，判断红外图像中高温目标和最近的人头或人脸的位置关系是否在合理的范围内，如果是，进入步骤10，否则，回到步骤2；

步骤10，判断高温目标和最近的人头或人脸的相对大小是否在合理的范围内，如果是进入步骤11，否则，回到步骤2；

步骤11，认为场景内有吸烟行为；

步骤12，发出报警，并触发可见光抓图或录像动作。

可选示例4

本可选示例中提供了一种多光谱有训练数据下的检测方法，如图11所示，该方法包括以下流程步骤：

步骤1，将红外图像和可见光图像配准；

步骤2，获取一帧红外raw数据；

步骤3，检测画面中是否有高温目标，如果有，进入步骤4，否则，回到步骤2；

步骤4，检测高温目标的形状是否为预设形状(比如，类圆形)，如果是，记录高温目标的位置大小及形状相似度p1，进入步骤5，否则，回到步骤2；

步骤5，获取一帧可见光图像；

步骤6，检测步骤5中的可见光图像画面中是否有人头或人脸，如果有，记录人头或人脸的位置和大小及检测可信度p2，进入步骤7，否则，回到步骤2；

步骤7，检测步骤5中的可见光图像画面中人头或人脸、肩部和手是否符合吸烟姿势，如果是，记录吸烟姿势相似度p3，进入步骤8，否则，回到步骤2；

步骤8，根据配置参数将步骤6中检测到的人头或人脸坐标换算成红外图像中的坐标，并获取其在红外图像中的位置和大小；

步骤9，计算高温目标和最近的人头或人脸的位置关系系数p4；

步骤10，计算高温目标和最近的人头或人脸的大小比例系数p5；

步骤11，计算吸烟检测的总可信度p＝p1*w1+p2*w2+p3*w3+p4*w4+p5*w5；

步骤12，判断总可信度p是否大于阈值p0，如果大于，则认为场景内有吸烟行为，进入步骤13，否则，回到步骤2；

步骤13，发出报警，并触发可见光抓图或录像动作。

其中，步骤11中的系数w1、w2、w3、w4、w5及阈值p0是使用有人吸烟的红外图像数据，通过机器学习的方法训练得到。

可选示例5

本可选示例中提供了一种基于燃烧的香烟的温度波动特征的检测方法，如图12所示，该方法包括以下流程步骤：

步骤1，获取一帧红外raw数据；

步骤2，检测画面中是否有高温目标，如果有，进入步骤3，否则，回到步骤1；

步骤3，检测画面中的高温目标最高温度是否波动，如果有波动，进入步骤4，否则，回到步骤1；

步骤4，检测高温目标的形状是否为预设形状(比如类圆形)，如果是，记录高温目标的位置和大小，进入步骤5，否则，回到步骤1；

步骤5，将步骤1中的raw数据转化为8bit可视化图像；

步骤6，检测步骤5生成图像画面中是否有人头或人脸，如果有，记录人头或人脸的位置和大小，进入步骤7，否则，回到步骤1；

步骤7，检测步骤5生成图像画面中人头或人脸、肩部和手是否符合吸烟姿势，如果是，记录进入步骤8，否则，回到步骤1；

步骤8，判断类高温目标和最近的人头或人脸的位置关系是否在合理的范围内，如果是，进入步骤9，否则，回到步骤1；

步骤9，判断类高温目标和最近的人头或人脸的相对大小是否在合理的范围内，如果是，进入步骤10，否则，回到步骤1；

步骤10，认为场景内有吸烟行为；

步骤11，发出报警，并触发热成像抓图或录像动作。

其中，步骤3中，检测高温目标最高温波动需要统计多帧数据的最高温，然后计算均值和标准差，利用标准差和均值的比值来判断波动是否超过阈值，进而判断最高温是否有波动。

通过本示例，结合燃烧香烟的温度特征、香烟的形状特征、吸烟人的动作特征，以及吸烟人与香烟的位置关系，进行吸烟行为检测；根据是否有训练数据，以及是单红外还是多光谱方案，提供了四种检测方案；在检测出有高温目标时，进一步检测该高温目标的最高温度是否有波动，利用香烟燃烧时的温度波动特征减少误检测；具有检测速度快、准确率高、覆盖范围广，能检测无烟或少烟的吸烟行为，适用于全天时全天候的室内和室外吸烟监控。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

根据本申请实施例的另一个方面，还提供了一种目标对象检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图13是根据本发明实施例的一种可选的目标对象检测装置的结构框图，如图13所示，该装置包括：

(1)第一获取单元1302，用于在从第一图像中检测到温度超过第一阈值、且具有预定形状的第一对象的情况下，获取第一对象所在的第一区域和第一对象的第一尺寸，其中，第一图像为红外探测器对目标区域拍摄得到的图像；

(2)第二获取单元1304，用于在从第二图像中检测到第二对象的情况下，获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸，其中，第二图像为与第一图像对应的可视化图像，第二对象为具有预定姿势的人形对象；

(3)第一确定单元1306，用于在第一区域与第二区域的距离小于目标距离阈值，且第一尺寸和第二尺寸的比值处于目标比值范围内的情况下，确定第一对象为目标对象。

可选地，上述目标对象检测装置可以是检测设备，也可以设置在检测设备中。

在一个可选的实施例中，上述装置还包括：

(1)第三获取单元，用于在获取第一对象所在的第一区域和第一对象的第一尺寸之前，获取由红外探测器对目标区域拍摄得到的第一图像；

(2)第一检测单元，用于从第一图像中检测到温度超过第一阈值的参考对象；

(3)第二确定单元，用于在参考对象的最高温度有波动、且参考对象的形状为预定形状的情况下，将参考对象确定为第一对象，其中，参考对象的最高温度有波动是指：参考对象在连续的多帧图像中的最高温度不完全相同，多帧图像中的最高温度的标准差和均值比大于或者等于预定阈值，多帧图像包括第一图像。

在一个可选的实施例中，上述装置还包括以下之一：

(1)转化单元，用于在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，将第一图像转换为可视化图像，得到第二图像；

(2)第四获取单元，用于在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，获取由多光谱相机拍摄的第二图像，其中，多光谱相机包括红外探测器，第一图像和第二图像分别为多光谱相机同一时刻对目标区域拍摄得到的红外图像和可见光图像。

在一个可选的实施例中，上述装置还包括：

(1)第三确定单元，用于在获取第二对象的目标部位所在的第二区域和目标部位的第二尺寸之前，在检测到第二图像中包含目标特征的情况下，确定第二图像中包含人形对象，其中，目标特征用于表示目标部位；

(2)第四确定单元，用于在人形对象的姿势与预定姿势匹配的情况下，确定从第二图像检测到第二对象。

在一个可选的实施例中，上述装置还包括：第五确定单元，第六确定单元，第四获取单元，第一获取单元1302包括：第一获取模块，第二获取单元1304包括：第二获取模块，第一确定单元1306包括：确定模块，其中，

(1)第一获取模块，用于获取第一对象所在的第一区域、第一对象的第一尺寸、以及第一可信度，其中，第一可信度用于表示第一对象的形状与预定形状的相似程度；

(2)第二获取模块，用于获取第二对象的目标部位所在的第二区域、目标部位的第二尺寸、第二可信度和第三可信度，其中，第二可信度用于表示第二对象为人形对象的可信程度，第三可信度为第二对象的姿势与预定姿势的相似程度；

(3)第五确定单元，用于在确定第一对象为目标对象之前，根据第一区域与第二区域的位置关系，确定出第四可信度，其中，第四可信度用于表示与位置关系匹配的、第一对象为目标对象的可信程度；

(4)第六确定单元，用于根据第一尺寸与第二尺寸的大小比例，确定出第五可信度，其中，第五可信度用于表示与大小比例匹配的、第一对象为目标对象的可信程度；

(5)第四获取单元，用于获取目标可信度，其中，目标可信度为第一可信度、第二可信度、第三可信度、第四可信度、以及第五可信度的加权和；

(6)确定模块，用于在目标可信度大于或者等于第二阈值的情况下，确定第一对象为目标对象。

在一个可选的实施例中，上述装置还包括：

(1)发送单元，用于在确定第一对象为目标对象之后，向告警设备发出告警信息，其中，告警信息用于表示在目标区域内检测到目标对象；

(2)控制单元，用于控制目标图像采集设备对目标区域拍摄或录像，得到目标图像或者目标录像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

根据本申请实施例的又一个方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

根据本申请实施例的又一个方面，还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。