监控对象的进出控制方法、装置、设备及存储介质与流程

1.本说明书涉及人工智能技术领域，特别地，涉及一种监控对象的进出控制方法、装置、设备及存储介质。


背景技术：

2.大量场所需要对进出人员的体温及进出量进行管控。目前，进出人员的体温监测及进出量控制多依靠人工完成，但对于人员进出较为密集的情境下，依靠人工的方式无疑会造成进出人员的等候，大概率会引起人员聚集。
3.目前，部分场所已经设置有体温监测或人员进出量统计设备，但一般是通过两个设备分别进行体温监测及人员进出量统计；即使集成两个功能在一个设备中，也多是在设备中配置可见光图像采集及红外图像采集两种摄像头，以分别进行人员进出量统计及体温监测。使得上述体温监测及人员进出量统计设备布设方式复杂，成本较高，且后期数据处理量较大，不利于在小型场所中布设。因此，目前亟需一种更加简单方便的体温监测及人员进出量统计方法。


技术实现要素：

4.本说明书实施例的目的在于提供一种监控对象的进出控制方法、装置、设备及存储介质，可以进一步提高监控对象的进出控制的便捷性。
5.本说明书提供一种监控对象的进出控制方法、装置、设备及存储介质是包括如下方式实现的：
6.一种监控对象的进出控制方法，应用于布设在指定场所中的监控设备，所述监控设备包括红外摄像头，所述方法包括：接收红外摄像头采集的当前帧红外图像；对所述当前帧红外图像至少进行灰度处理及锐化处理，得到检测图像；对所述检测图像进行监控对象检测，定位出所述当前帧红外图像中的至少一个监控对象；对于定位出的任一监控对象，在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温满足指定体温要求的情况下，将相应监控对象作为目标监控对象；对所述目标监控对象进行轨迹跟踪，以基于对所述目标监控对象的轨迹跟踪结果对所述指定场所的监控对象进行进出控制。
7.另一方面，本说明书实施例还提供一种监控对象的进出控制装置，应用于布设在指定场所中的监控设备，所述监控设备包括红外摄像头，所述装置包括：接收模块，用于接收红外摄像头采集的当前帧红外图像；预处理模块，用于对所述当前帧红外图像至少进行灰度处理及锐化处理，得到检测图像；检测模块，用于对所述检测图像进行监控对象检测，定位出所述当前帧红外图像中的至少一个监控对象；温度控制模块，用于对于定位出的任一监控对象，在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温满足指定体温要求的情况下，将相应监控对象作为目标监控对象；轨迹控制模块，用于对所述目标监控对象进行轨迹跟踪，以基于对所述目标监控对象的轨迹跟踪结果对所述指定场所的监控对象进行进出控制。
8.另一方面，本说明书实施例还提供一种监控对象的进出控制设备，所述设备包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现上述任意一个或多个实施例所述方法的步骤；
9.另一方面，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意一个或多个实施例所述方法的步骤。
10.本说明书一个或多个实施例提供的监控对象的进出控制方法、装置、设备及存储介质，可以实现仅基于红外图像即可实现对监控对象的实时温度检测及轨迹跟踪，大幅降低指定场所人员管控的设备布设难度及成本。同时根据预先配置的监控对象运动轨迹跟踪方法，还可以大幅提高监控对象跟踪的准确性及效率，进而提高监控对象管控的有效性。
附图说明
11.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
12.图1为本说明书提供的一种监控对象的进出控制流程示意图；
13.图2为本说明书提供的监控对象检测处理流程示意图；
14.图3为本说明书提供的检测框初始化流程示意图；
15.图4为本说明书提供的基于yolo算法的监控对象检测输入及输出示意图；
16.图5为本说明书提供的监控对象检测的算法网络架构示意图；
17.图6为本说明书提供的监控对象的轨迹跟踪流程示意图；
18.图7为本说明书提供的监控对象的进出控制流程示意图；
19.图8为本说明书提供的一种监控对象的进出控制方法的实施流程示意图；
20.图9为本说明书提供的一种监控对象的进出控制装置的模块结构示意图。
具体实施方式
21.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
22.本说明书的一个应用场景示例中，所述监控对象的进出控制方法可以应用于预先设置在指定场所中的监控设备，所述监控设备至少配置有红外摄像头。所述红外摄像头用于采集红外图像。所述红外摄像头的数目不做限定。所述监控设备还可以配置有存储器、处理器以及通信模块等。所述监控对象可以是指经过所述指定场所的人。
23.如图1所示，所述红外摄像头在采集红外图像后，可以先基于采集的红外图像进行监控对象的检测，并根据检测结果进行监控对象的运动轨迹跟踪，以控制进出所述指定场所的人员数量。或者，还可以基于监控对象在红外图像中所表现的温度值确定监控对象是否存在温度异常，若存在温度超过阈值的情况，则进行体温较高报警，以预先基于体温控制
行人进出所述指定场所。当然，也可以在监控对象的体温正常的情况下，再进一步对监控对象进行行动轨迹跟踪，以基于人流量或人密度对进出所述指定场所的人进行管控。
24.对于任一帧待监控对象检测的红外图像，可以作为当前帧红外图像。由于红外热成像将物体热辐射的红外波段信号转换为可供人类视觉分辨的图像和图形，使得红外图像的每个像素都是温度值的表征形式。在进行监控对象检测之前，可以先对当前帧红外图像进行预处理。如图2所示，优选的，可以先将当前帧红外图像进行灰度化处理以及锐化处理。如可以基于当前帧红外图像中各像素点的三分量的亮度确定相应像素点的灰度值，如可以取三分量的亮度的均值或最大值等。然后，可以对灰度图像进行锐化操作，以减少图像中的模糊区域，同时增强图像边缘，提高监控对象检测的准确性。为了便于表述，可以将预处理后的图像作为检测图像。
25.在基于检测图像进行监控对象检测之前，可以先提取所述当前帧红外图像中温度在指定温度区间的固定区域。所述指定温度区间可以为人头部区域所对应的温度区间。所述人头部区域对应的温度区间通常在35度至40度之间。在红外热成像中，对于有人体进成像区的情况下，通常人体的头部区域是完全暴露的，并与环境温度相差较大，这里可以基于人头部区域的温度区间预先选取红外图像中的固定区域(头部)，并提取该固定区域的中心点坐标(xhead,yhead,whead,head)。
26.然后，可以基于所述固定区域与监控对象的预设比例及所述固定区域的中心坐标，确定所述检测图像中的检测框的初始中心坐标，以基于确定的所述检测框的初始中心坐标，利用监控对象检测算法从所述检测图像中定位出监控对象。如图3所示，对于亚洲人，由于亚洲许多地区的人是7头身，可以基于该预设比例将头部的中心坐标转换，得到人体的中心坐标(xhead,yhead
‑
3head,wbbox,hbbox)。可以基于该人体的中心坐标初步定位检测图像中的检测框位置。如可以将得到的该中心坐标作为检测图像中的检测框的初始中心坐标。通过上述方式预先定位检测框的初始中心坐标，再基于该初始中心坐标进行监控对象的检测，可以使得检测结果更准确，增加检测框的置信度，并增加训练速度以及对图像的适应度，对于红外热成像图像有更好的检测效果。
27.优选的，可以利用yolo算法进行监控对象检测。yolo算法可以在一次处理图像中就直接输出可能的监控对象的检测框与位置。如图4所示，可以将检测图像缩放到448*448的大小，作为yolo算法的输入。yolo算法把输入图像分成7*7的格子(cell)，每个格子预测两个bounding box(bbox，检测框)，因此整张图片被分成了49个cell，跑一次网络会产生98个bbox。每个bbox会输出此bbox中心点的坐标、此bbox的宽高(x,y,w,h)与置信度(confidence)。之后可以选择有意义的cell作为监控对象的预测，每个cell的有意义程度根据每个cell中预测的两个bbox的置信度大小来确定，cell的置信度取bbox中置信度较大的那个。置信度confidence的公式定义如下：
[0028][0029]
其中，p为该cell中存在监控对象的概率，iou为检测框与标记的交并比。其中，所述标记为对图像中的监控对象进行标注的信息。若该cell中存在监控对象，则p为1，否则为0。即若不存在监控对象，这个cell是无意义的，若存在监控对象，则confidence取决于相应的检测框与真实监控对象区域之间的iou(交并比)。如图5所示，整个算法模型的网络共24
个卷积层+2个全连接层，最终的输出为一个7*7*11(5+5+1)的向量，可以根据此向量来预测最终的检测结果。
[0030]
本场景实例中所述监控对象为人，相应的，在损失函数的设置中，可以将损失函数(loss)设为只预测person(人)类别的loss。作为监督学习，可以首先构造好训练样本，让模型从中学习，提取大量红外热像进行上述预处理并且标记，使用标记好的预处理后的红外热像与pascal voc 2007和2012训练集对网络进行训练，为防止过拟合，采用dropout技术，比率为0.5和数据增强技术，以得到优良的网络。
[0031]
当然，也可以采用其他算法进行监控对象的检测，这里不做限定。
[0032]
可以将任意待监控对象检测的红外图像作为当前帧红外图像，并对当前帧红外图像进行预处理，并输入网络进行预测，最后对预测输出结果采用非极大值抑制法得到最终的监控对象检测结果。
[0033]
对于定位出的任一监控对象，可以基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温，如果体温太高，不满足指定体温要求，则可以发出体温较高预警，以对相应的监控对象进出所述指定场所进行管控。如可以在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温大于等于指定温度阈值的情况下，发出禁止相应监控对象通行的指令。如果监控对象的体温满足指定体温要求，则可以将相应监控对象作为目标监控对象，以对所述目标监控对象进行轨迹跟踪。所述指定体温要求如可以为监控对象的体温值低于37度，相应的，指定温度阈值为37度。
[0034]
如图6所示，在对目标监控对象进行轨迹跟踪的过程中，可以利用卡尔曼滤波预测所述目标监控对象从当前帧行进至下一帧的运动轨迹，作为预测运动轨迹；并计算各所述预测运动轨迹对应的下一帧红外图像中的所述目标监控对象与所述当前帧红外图像中的所述目标监控对象之间的关联度，以利用关联度满足预设关联条件的所述预测运动轨迹，更新所述目标监控对象的运动轨迹。基于前后帧图像中目标监控对象的关联度进行轨迹跟踪，可以大幅提高监控对象轨迹跟踪的准确性。
[0035]
在关联度均不满足预设关联条件的情况下，则可以提取任意方向下所述当前帧之后的连续三帧红外图像；在所述连续三帧红外图像中的所述目标监控对象与所述当前帧红外图像中的所述目标监控对象的关联度均满足预设关联条件的情况下，基于该满足预设关联条件的连续三帧红外图像所对应的轨迹延伸方向更新所述目标监控对象的运动轨迹。在轨迹跟踪丢失的情况下，通过上述方式，可以大幅提高轨迹重新跟踪的准确性。
[0036]
如可以使用deepsort多目标跟踪算法对目标进行跟踪，deepsort算法进一步添加了目标监控对象的外观特征及运动特征来表征目标监控对象在不同帧图像下的关联度。如可以利用马氏距离来评测第j个检测框的状态与预测的卡尔曼状态的第i条轨迹之间的运动匹配度，来表征目标监控对象的运动特征。并可以使用cnn网络对目标进行特征提取，得到目标监控对象的外观特征。通过进一步结合目标监控对象的外观特征及运动特征来表征目标监控对象在不同帧图像下的关联度，可以大幅提高目标监控对象在不同帧下的检测一致性，进而提高目标监控对象轨迹跟踪的准确性。
[0037]
可以基于上述跟踪轨迹进一步对进出所述指定场所的监控对象进行管控。如可以设定基准线，基于目标监控对象更新后的运动轨迹，判断相应目标监控对象相对于当前帧红外图像的第一位置与相对于前一帧红外图像的第二位置是否在基准线两侧；如果在基准
线两侧，判断目标监控对象更新后的运动轨迹的延伸方向是否与指定方向一致，并基于判断结果更新进出所述指定场所的监控对象数量。所述指定方向如可以为进入指定场所的方向，也可以为从指定场所出去的方向。在更新后的监控对象数量达到预警条件的情况下，发出禁止监控对象通行的指令。所述预警条件如可以为指定场所中的人密度达到指定密度阈值或指定时间区间内通过所述基准线的人流量达到指定流量阈值等。
[0038]
如图7所述，如所述指定方向为进入所述指定场所的方向，以管控进入所述指定场所的人员密度。对于某目标监控对象a，可以基于目标监控对象a的最新运动轨迹，提取该目标监控对象a对应于最新一帧红外图像(即当前帧红外图像)的第一位置，以及对应于当前帧的前一帧红外图像的第二位置，并判断第一位置与第二位置是否位于基准线两侧。所述第一位置与第二位置是指目标监控对象a在最新运动轨迹中的位置信息。若位于同侧则不记录；若位于两侧，则判断运动轨迹的延伸方向是否与指定方向一致，以确定该目标监控对象a是进入指定场所，还是从指定场所出去。如方向一致，则人员数加一，如果方向不一致，则人员数减1。若人员密度到达上限，则提醒后续进入人员稍后再进入。
[0039]
上述场景示例提供的方案，可以实现仅基于红外图像即可实现对监控对象的实时温度检测及轨迹跟踪，大幅降低指定场所人员管控的设备布设难度及成本。同时根据上述预先配置的监控对象运动轨迹跟踪方法，还可以大幅提高监控对象跟踪的准确性及效率，进而提高监控对象管控的有效性。
[0040]
基于上述场景示例，本说明书还提供一种监控对象的进出控制方法。图8是本说明书提供的所述监控对象的进出控制方法实施例流程示意图。如图8所示，本说明书提供的监控对象的进出控制方法的一个实施例中，所述方法可以应用于布设在指定场所中的监控设备，所述监控设备包括红外摄像头。所述方法可以包括如下步骤：
[0041]
s80：接收红外摄像头采集的当前帧红外图像。
[0042]
s82：对所述当前帧红外图像至少进行灰度处理及锐化处理，得到检测图像。
[0043]
s84：对所述检测图像进行监控对象检测，定位出所述当前帧红外图像中的至少一个监控对象。
[0044]
s86：对于定位出的任一监控对象，在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温满足指定体温要求的情况下，将相应监控对象作为目标监控对象。
[0045]
s88：对所述目标监控对象进行轨迹跟踪，以基于对所述目标监控对象的轨迹跟踪结果对所述指定场所的监控对象进行进出控制。
[0046]
另一些实施例中，所述对所述检测图像进行监控对象检测，包括：提取所述当前帧红外图像中温度在指定温度区间的固定区域；并基于所述固定区域与监控对象的预设比例及所述固定区域的中心坐标，确定所述检测图像中的检测框的初始中心坐标；以及基于确定的所述检测框的初始中心坐标，利用监控对象检测算法从所述检测图像中定位出监控对象。
[0047]
另一些实施例中，所述对所述目标监控对象进行轨迹跟踪，包括：利用卡尔曼滤波预测所述目标监控对象从当前帧行进至下一帧的运动轨迹，作为预测运动轨迹；计算各所述预测运动轨迹对应的下一帧红外图像中的所述目标监控对象与所述当前帧红外图像中的所述目标监控对象之间的关联度；利用关联度满足预设关联条件的所述预测运动轨迹，
更新所述目标监控对象的运动轨迹。
[0048]
另一些实施例中，所述方法还包括：在关联度均不满足预设关联条件的情况下，提取任意方向下所述当前帧之后的连续三帧红外图像；在所述连续三帧红外图像中的所述目标监控对象与所述当前帧红外图像中的所述目标监控对象的关联度均满足预设关联条件的情况下，基于该满足预设关联条件的连续三帧红外图像所对应的轨迹延伸方向更新所述目标监控对象的运动轨迹。
[0049]
另一些实施例中，所述关联度至少利用所述目标监控对象的外观特征及运动特征表征。
[0050]
另一些实施例中，所述基于对所述目标监控对象的轨迹跟踪结果对所述指定场所的监控对象进行进出控制，包括：基于目标监控对象更新后的运动轨迹，判断相应目标监控对象对应于当前帧红外图像的第一位置与对应于前一帧红外图像的第二位置是否在基准线两侧；如果在基准线两侧，判断目标监控对象更新后的运动轨迹的延伸方向是否与指定方向一致，并基于判断结果更新进出所述指定场所的监控对象数量。
[0051]
另一些实施例中，所述方法还包括：在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温大于等于指定温度阈值的情况下，发出禁止相应监控对象通行的指令。
[0052]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
[0053]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0054]
基于上述所述的监控对象的进出控制方法，本说明书一个或多个实施例还提供一种监控对象的进出控制装置。具体的，图9表示说明书提供的一种监控对象的进出控制装置实施例的模块结构示意图，如图9所示，应用于布设在指定场所中的监控设备，所述监控设备包括红外摄像头，所述装置可以包括：接收模块90，用于接收红外摄像头采集的当前帧红外图像；预处理模块92，用于对所述当前帧红外图像至少进行灰度处理及锐化处理，得到检测图像；检测模块94，用于对所述检测图像进行监控对象检测，定位出所述当前帧红外图像中的至少一个监控对象；温度控制模块96，用于对于定位出的任一监控对象，在基于监控对象在所述当前帧红外图像中的红外信息确定相应监控对象的体温满足指定体温要求的情况下，将相应监控对象作为目标监控对象；轨迹控制模块98，用于对所述目标监控对象进行轨迹跟踪，以基于对所述目标监控对象的轨迹跟踪结果对所述指定场所的监控对象进行进出控制。
[0055]
需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
[0056]
本说明书还提供一种监控对象的进出控制设备，所述设备可以应用在多种计算机数据处理系统中。所述的系统可以为单独的服务器，也可以包括使用了本说明书的一个或
多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。一些实施例中，所述设备可以包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现上述任意一个或多个实施例所述方法的步骤；
[0057]
所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。相应的，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令可以被执行时实现上述任意一个或多个实施例所述方法的步骤。
[0058]
本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。
[0059]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0060]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。