目标检测方法及相关设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种目标检测方法及相关设备。


背景技术：

2.当今社会大力建设文明城市，然而不规范的游摊小贩还会不时出现在人们的视野中，目前治理游摊小贩的方案主要为通过摄像头采集图像，在图像中检测出预警区域，然后再由监管人员现场确认驱离罚款等，但是这种方案人工监督成本过高。此外，现有技术中在检测图像中的预警区域时，存在检测精度低的问题，导致实际上有游摊小贩，但没有检测出来；或者实际上没有游摊小贩，却检测出有游摊小贩，导致监管人员到现场确认时，发现没有游摊小贩。


技术实现要素：

3.本技术实施例公开了一种目标检测方法及相关设备，有利于提高目标检测的精度。
4.本技术实施例第一方面公开了一种目标检测方法，所述方法包括：对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，其中，所述rgb图像和ir图像通过对同一图像采集区域进行图像采集得到；将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图；根据所述融合特征图检测所述图像采集区域是否存在目标。
5.在本技术实施例中，将监控区域作为图像采集区域，对该图像采集区域进行rgb图像采集和ir图像采集，得到该监控区域的rgb图像和ir图像，对该rgb图像进行特征提取以得到rgb特征图，以及对该ir图像进行特征提取以得到ir特征图；然后将该rgb特征图和该ir特征图进行融合，以得到融合特征图；再根据该融合特征图检测该监控区域是否存在目标。由于rgb图像具有分辨率高、包含丰富的颜色纹理信息等特点，ir图像具有对光照不敏感的特点，因此rgb特征图和ir特征图融合得到的融合特征图同时具备了rgb图像和ir图像的特点；本技术实施例采用融合特征图进行是目标检测，可以提高目标检测的精度，得到更加准确的检测结果。
6.在一种可能的实现方式中，所述将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图，包括：将所述ir特征图的每个点的第一像素值映射到0至1之间，以得到所述ir特征图的每个点的第二像素值；将所述ir特征图的每个点的第二像素值与所述rgb特征图对应位置点的第三像素值相乘，以得到多个第四像素值；根据所述多个第四像素值组合得到所述融合特征图。
7.在本实现方式中，ir特征图的每个点的第一像素值映射到0至1之间，作为rgb特征图中对应点的权重，由于ir图像不受光照等因素影响，所以ir特征图的特征集中于目标上，可以忽略图像中的背景等不重要的因素；rgb特征图的每个点乘上权重后，也即rgb特征图的每个点乘上映射到0至1之间的ir特征图的第二像素值后，就过滤掉了不重要的像素点，
突出了目标，从而得到的融合特征图是滤掉不重要的像素点、突出目标的特征图，采用该融合特征图进行是目标检测，可以提高目标检测的精度。此外，将ir特征图的每个点的第一像素值映射到0至1之间后，再作为rgb特征图中对应点的权重，可以减少计算量，加快特征融合速度。
8.在一种可能的实现方式中，所述对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，包括：在所述rgb图像中标注预测框，以及在所述ir图像中标注所述预测框，其中，所述预测框用于框定候选对象；对所述预测框框定的区域rgb图像进行特征提取以得到所述rgb特征图，以及对所述预测框框定的区域ir图像进行特征提取以得到所述ir特征图。
9.在本实现方式中，rgb图像和ir图像是包括整个监控区域的图像，而目标出现在监控区域的某个位置上，分别在rgb图像和ir图像中标注预测框，用预测框框定候选对象，该框定的候选对象也即可能为目标的的候选对象；然后分别在rgb图像和ir图像的预测框内提取特征，得到rgb特征图和ir特征图；由于从rgb图像中提取得到的rgb特征图是rgb图像中包括候选对象的区域图像的特征，从ir图像中提取的ir特征图是ir图像中包括候选对象的区域图像的特征，因此rgb特征图和ir特征图中的特征集中在候选对象上，从而有利于提高目标检测的精度；且相比于直接在整张rgb图像中提取rgb特征图，以及直接在整张ir图像种提取ir特征图，采用本实现方式提取得到的rgb特征图和ir特征图的特征总数较少，可以减少运算量，从而有利于提高目标检测的速度。
10.在一种可能的实现方式中，所述根据所述融合特征图检测所述图像采集区域是否存在目标，包括：对所述融合特征图的每个点进行类别预测，以得到所述融合特征图的每个点的类别和分类置信度，其中，所述类别包括目标类别和非目标类别，所述目标类别为目标所属的类别，所述非目标类别为非目标所属的类别；统计所述融合特征图中被预测为目标类别的点的数量，以及统计所述融合特征图中被预测为非目标类别的点的数量；根据所述被预测为目标类别的点的数量和每个所述被预测为目标类别的点的分类置信度计算第一平均分类置信度，以及根据所述被预测为非目标类别的点的数量和每个所述被预测为非目标类别的点的分类置信度计算第二平均分类置信度；若所述被预测为目标类别的点的数量大于所述被预测为非目标类别的点的数量，且所述第一平均分类置信度大于所述第二平均分类置信度，则确定所述候选对象是目标；否则，确定所述候选对象为非目标。
11.在本实现方式中，对融合特征图的每个点进行类别预测，得到融合特征图的每个点的类别和分类置信度，其中，类别包括目标类别和非目标类别，目标类别为目标所属的类别，非目标类别为非目标所属的类别；然后计算归类为目标类别的点的第一平均分类置信度，以及计算归类为非目标类别的点的第二平均分类置信度，若第一平均分类置信度大于第二平均分类置信度，则确定候选对象是目标；若被预测为目标类别的点的数量大于被预测为非目标类别的点的数量，且第一平均分类置信度不大于第二平均分类置信度，则确定候选对象为非目标；否则，确定候选对象为非目标；由于仅在融合特征图中目标占的比例大于非目标占的比例，且目标的平均分类置信度大于非目标的平均分类置信度的情况下才认定候选对象为目标，从而有利于提高目标检测的精度。
12.在一种可能的实现方式中，若所述图像采集区域存在目标，所述方法还包括：对所述rgb图像进行人脸图像提取，以得到目标人脸图像；将所述目标人脸图像与预存的多张模
板人脸图像进行比对；若比对成功，则获取目标模板人脸图像对应的身份信息，并根据所述身份信息执行预设操作，其中，所述目标模板人脸图像为与所述目标人脸图像比对成功的模板人脸图像。
13.在本实现方式中，在确定图像采集区域存在目标后，也即确定监控区域存在目标后，从rgb图像中提取目标人脸图像，并将提取到的目标人脸图像与预存的多张模板人脸图像进行比对；然后获取与目标人脸图像比对成功的目标模板人脸图像对应的身份信息，并根据该身份信息执行预设操作，从而对该目标进行自动监管，无需监管人员去监控区域现场管理，减少监控成本。
14.在一种可能的实现方式中，若比对失败，所述方法还包括：向手持终端发送提示消息，所述提示消息包括所述rgb图像，所述提示消息用于指示对所述目标进行处理，所述手持终端为监管人员手持的终端。
15.在本实现方式中，如果目标人脸图像与预存的多张模板人脸图像都没有比对成功，则无法自动监管，则向监管人员手持的终端手发送该包括rgb图像的提示消息，指示监管人员对目标进行处理，从而确保能监管到该目标。
16.本技术实施例第二方面公开了一种目标检测装置，所述装置包括：提取单元，用于对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，其中，所述rgb图像和ir图像通过对同一图像采集区域进行图像采集得到；融合单元，用于将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图；检测单元，用于根据所述融合特征图检测所述图像采集区域是否存在目标。
17.在一种可能的实现方式中，所述融合单元，具体用于：将所述ir特征图的每个点的第一像素值映射到0至1之间，以得到所述ir特征图的每个点的第二像素值；将所述ir特征图的每个点的第二像素值与所述rgb特征图对应位置点的第三像素值相乘，以得到多个第四像素值；根据所述多个第四像素值组合得到所述融合特征图。
18.在一种可能的实现方式中，在所述对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图方面，所述提取单元，具体用于：在所述rgb图像中标注预测框，以及在所述ir图像中标注所述预测框，其中，所述预测框用于框定候选对象；对所述预测框框定的区域rgb图像进行特征提取以得到所述rgb特征图，以及对所述预测框框定的区域ir图像进行特征提取以得到所述ir特征图。
19.在一种可能的实现方式中，在所述根据所述融合特征图检测所述图像采集区域是否存在目标方面，所述检测单元，具体用于：对所述融合特征图的每个点进行类别预测，以得到所述融合特征图的每个点的类别和分类置信度，其中，所述类别包括目标类别和非目标类别，所述目标类别为目标所属的类别，所述非目标类别为非目标所属的类别；统计所述融合特征图中被预测为目标类别的点的数量，以及统计所述融合特征图中被预测为非目标类别的点的数量；根据所述被预测为目标类别的点的数量和每个所述被预测为目标类别的点的分类置信度计算第一平均分类置信度，以及根据所述被预测为非目标类别的点的数量和每个所述被预测为非目标类别的点的分类置信度计算第二平均分类置信度；若所述被预测为目标类别的点的数量大于所述被预测为非目标类别的点的数量，且所述第一平均分类置信度大于所述第二平均分类置信度，则确定所述候选对象是目标；否则，确定所述候选对象为非目标。
20.在一种可能的实现方式中，若所述图像采集区域存在目标，所述检测单元，还用于：对所述rgb图像进行人脸图像提取，以得到目标人脸图像；将所述目标人脸图像与预存的多张模板人脸图像进行比对；若比对成功，则获取目标模板人脸图像对应的身份信息，并根据所述身份信息执行预设操作，其中，所述目标模板人脸图像为与所述目标人脸图像比对成功的模板人脸图像。
21.在一种可能的实现方式中，若比对失败，所述检测单元，还用于：向手持终端发送提示消息，所述提示消息包括所述rgb图像，所述提示消息用于指示对所述目标进行处理，所述手持终端为监管人员手持的终端。
22.本技术实施例第三方面公开了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本技术实施例第一方面中任一项所述的方法中的步骤的指令。
23.本技术实施例第四方面公开了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本技术实施例第一方面中任一项所述的方法。
24.本技术实施例第五方面公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本技术实施例第一方面中任一项所述的方法。
25.本技术实施例第六方面公开了一种计算机程序产品，所述计算机程序产品使得计算机执行如本技术实施例第一方面中任一项所述的方法。
附图说明
26.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本技术实施例提供的一种目标检测方法的流程示意图。
28.图2是本技术实施例提供的一种目标检测模型的结构示意图。
29.图3是本技术实施例提供的一种特征图融合模块的结构示意图。
30.图4是本技术实施例提供的一种目标检测装置的结构示意图。
31.图5是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
32.下面结合本技术实施例中的附图对本技术实施例进行描述。
33.请参阅图1，图1是本技术实施例提供的一种目标检测方法的流程示意图，该目标检测方法可应用于电子设备，该目标检测方法包括但不限于以下步骤。
34.步骤101、对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，其中，所述rgb图像和ir图像通过对同一图像采集区域进行图像采集得到。
35.本技术实施例可以应用于“新治理”道路监控场景，监控占用道路资源的游摊小贩场景。例如，确定小摊贩位置，同时截取小贩人脸，上报到相关管理机构。
36.其中，该rgb图像和该ir图像是对齐的，也即该rgb图像和该ir图像中的画面是一致的；图像采集区域可以为监控区域；该rgb图像和该ir图像可以是同一硬件同步采集得到，或者由不同硬件同步采集得到。具体地，该电子设备包括ir-rgb双目摄像头，该电子设备通过该ir-rgb双目摄像头对该监控区域进行图像采集，从而得到该rgb图像和该ir图像；或者，该电子设备包括ir摄像头和rgb摄像头，该电子设备通过该ir摄像头对该监控区域进行图像采集，从而得到该ir图像，并且该电子设备同步通过该rgb摄像头对该监控区域进行图像采集，从而得到该rgb图像；又或者，该rgb图像和该ir图像由其他设备采集得到，发送给该电子设备处理，且该其他设备是同步采集到该rgb图像和该ir图像的。
37.本技术实施例同步采集监控区域的rgb图像和ir图像，ir图像的优势在于可以在夜晚等场景使用，但是分辨率相对rgb图像略低，无法用于人脸识别；而rgb图像包含更加丰富的颜色纹理信息，可以使用rgb图像抓取人脸进行id的匹配等；如果联合rgb图像和ir图像进行目标检测，可以得到更加准确的检测结果。
38.在一种可能的实现方式中，所述对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，包括：在所述rgb图像中标注预测框，以及在所述ir图像中标注所述预测框，其中，所述预测框用于框定候选对象；对所述预测框框定的区域rgb图像进行特征提取以得到所述rgb特征图，以及对所述预测框框定的区域ir图像进行特征提取以得到所述ir特征图。
39.其中，监控区域是个较大的区域，需要监控的目标可能仅占该监控区域的极小面积，因此目标在拍摄得到的图像中也是占该图像的极小面积；由于图像中的背景区域太多，如果对拍摄得到的整个图像进行特征提取，提取到的有效特征占总特征数的比例很小，故有效特征不突出，不利于提高目标检测的精度。因此，可以在拍摄得到的图像中标注预测框，用预测框来框选候选对象，候选对象可能是需要监控的目标，然后在预测框中提取特征，由于预测框中的背景区域较少，从而从预测框中提取得到的有效特征较多，有利于提高目标检测的精度。
40.具体地，在rgb图像和ir图像都标注预测框，从rgb图像中的预测框中提取得到rgb特征图，从ir图像中的预测框中提取得到ir特征图。其中，rgb图像中的预测框和ir图像中的预测框框定的图像内容或图像画面是相同的。此外，目标可以为游摊小贩，游摊小贩包括餐车、摊位、人等。
41.在本实现方式中，rgb图像和ir图像是包括整个监控区域的图像，而目标出现在监控区域的某个位置上，分别在rgb图像和ir图像中标注预测框，用预测框框定候选对象，该框定的候选对象也即可能为目标的的候选对象；然后分别在rgb图像和ir图像的预测框内提取特征，得到rgb特征图和ir特征图；由于从rgb图像中提取得到的rgb特征图是rgb图像中包括候选对象的区域图像的特征，从ir图像中提取的ir特征图是ir图像中包括候选对象的区域图像的特征，因此rgb特征图和ir特征图中的特征集中在候选对象上，从而有利于提高目标检测的精度；且相比于直接在整张rgb图像中提取rgb特征图，以及直接在整张ir图像种提取ir特征图，采用本实现方式提取得到的rgb特征图和ir特征图的特征总数较少，可以减少运算量，从而有利于提高目标检测的速度。
42.步骤102、将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图。
43.在一种可能的实现方式中，所述将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图，包括：将所述ir特征图的每个点的第一像素值映射到0至1之间，以得到所述ir特征图的每个点的第二像素值；将所述ir特征图的每个点的第二像素值与所述rgb特征图对应位置点的第三像素值相乘，以得到多个第四像素值；根据所述多个第四像素值组合得到所述融合特征图。
44.其中，将rgb特征图和ir特征图进行融合，也即使用归一化后的ir特征图作为权重与rgb特征图相乘进行融合，从而通过多模态(rgb、ir为两种模态)来实现注意力机制。具体地，ir特征图的每个点的第一像素值限制到0-1之间，作为rgb特征图对应点的权重，由于ir图像本身不受光照等因素影响，所以提取的特征图的特征集中于餐车、摊位、人的像素上，忽略了背景等不重要的因素；rgb特征图乘上这种权重后，就过滤掉了不重要的像素点而突出了主体，也就是目标检测的注意力区域。
45.其中，将ir特征图的每个点的第一像素值限制到0-1之间，目的在于方便计算，提高运算速率；且原始ir特征图的像素值可能很大或者很小，乘rgb特征图后，导致得到的融合特征图像的像素值很大或者很小，可能会导致后续计算溢出的后果。
46.在本实现方式中，ir特征图的每个点的第一像素值映射到0至1之间，作为rgb特征图中对应点的权重，由于ir图像不受光照等因素影响，所以ir特征图的特征集中于目标上，可以忽略图像中的背景等不重要的因素；rgb特征图的每个点乘上权重后，也即rgb特征图的每个点乘上映射到0至1之间的ir特征图的第二像素值后，就过滤掉了不重要的像素点，突出了目标，从而得到的融合特征图是滤掉不重要的像素点、突出目标的特征图，采用该融合特征图进行是目标检测，可以提高目标检测的精度。此外，将ir特征图的每个点的第一像素值映射到0至1之间后，再作为rgb特征图中对应点的权重，可以减少计算量，加快特征融合速度。
47.步骤103、根据所述融合特征图检测所述图像采集区域是否存在目标。
48.在一种可能的实现方式中，所述根据所述融合特征图检测所述图像采集区域是否存在目标，包括：对所述融合特征图的每个点进行类别预测，以得到所述融合特征图的每个点的类别和分类置信度，其中，所述类别包括目标类别和非目标类别，所述目标类别为目标所属的类别，所述非目标类别为非目标所属的类别；统计所述融合特征图中被预测为目标类别的点的数量，以及统计所述融合特征图中被预测为非目标类别的点的数量；根据所述被预测为目标类别的点的数量和每个所述被预测为目标类别的点的分类置信度计算第一平均分类置信度，以及根据所述被预测为非目标类别的点的数量和每个所述被预测为非目标类别的点的分类置信度计算第二平均分类置信度；若所述被预测为目标类别的点的数量大于所述被预测为非目标类别的点的数量，且所述第一平均分类置信度大于所述第二平均分类置信度，则确定所述候选对象是目标；否则，确定所述候选对象为非目标。
49.其中，目标可以为游摊小贩，目标类别可以为餐车、摊位、人等；而非目标为除目标之外的对象，例如除游摊小贩之外的对象，目标类别为除目标类别之外的类别。
50.在本实现方式中，对融合特征图的每个点进行类别预测，得到融合特征图的每个点的类别和分类置信度，其中，类别包括目标类别和非目标类别，目标类别为目标所属的类别，非目标类别为非目标所属的类别；然后计算归类为目标类别的点的第一平均分类置信
度，以及计算归类为非目标类别的点的第二平均分类置信度，若第一平均分类置信度大于第二平均分类置信度，则确定候选对象是目标；若被预测为目标类别的点的数量大于被预测为非目标类别的点的数量，且第一平均分类置信度不大于第二平均分类置信度，则确定候选对象为非目标；否则，确定候选对象为非目标；由于仅在融合特征图中目标占的比例大于非目标占的比例，且目标的平均分类置信度大于非目标的平均分类置信度的情况下才认定候选对象为目标，从而有利于提高目标检测的精度。
51.其中，上述步骤101至步骤103可以通过目标检测模型实现，也即通过预先训练好的目标检测模型检测对监控区域进行目标检测，例如通过预先训练好的游摊小贩检测模型检测出游摊小贩的餐车、摊位和人，确定游摊小贩区域。
52.请参阅图2，图2是本技术实施例提供的一种目标检测模型的结构示意图。如图2所示，该目标检测模型包括两个主干网络(nn backbone)、特征图融合模块和yolov3网络；具体地，目标检测模型，在yolov3网络基础上，使用两个主干网络分别对ir图像和rgb图像进行特征提取，以分别获取ir特征图和rgb特征图；其中，该主干网络可以为resnet50(残差网络)，resnet50有short cut和bottleneck结构，short-cut可以使模型更深，bottleneck结构可以提升模型的运行速度，两者结合可以更好的提取特征；使用特征图融合模块将ir特征图和rgb特征图进行融合，以得到融合特征图；然后再经过yolov3将融合特征图向最终的目标检测结果进行映射，具体采用yolov3中的yolo layer将融合特征图向最终的目标检测结果进行映射；其中，最终的目标检测结果主要包括检测框的坐标点和检测框的分类置信度，也即最终的目标检测结果包括在rgb图像和/或ir图像中标注的检测框，检测框框定有目标，以及最终的目标检测结果还包括检测框框定的对象为目标的分类置信度。
53.其中，输入目标检测模型的rgb图像和ir图像是对齐的，且标注有预测框的；例如，收集监控场景下的游摊小贩的对齐的ir图像和rgb图像，且ir图像和rgb图像中标注有框定对象可能为游摊小贩的预测框。
54.请参阅图3，图3是本技术实施例提供的一种特征图融合模块的结构示意图。如图3所示，该特征图融合模块对特征图进行融合的过程为：将ir特征图的每个点进行sigmoid运算，从而将ir特征图的每个点的像素值限定在0-1之间，然后将限定在0-1之间的ir特征图的每个点的像素值与rgb特征图对应点的像素值相乘，得到融合特征图。
55.其中，将ir特征图和rgb特征图融合的好处在于：通过不受光照影响的ir特征图获取rgb特征图的注意力区域，从而提高检测准确率；由于ir对于光照不敏感，从而目标检测可以在夜晚等场景稳定使用。
56.其中，目标检测模型基于以下公式计算损失(loss)，使用批随机梯度下降算法进行模型训练：
[0057][0058]
其中，网格一共是s
×
s个，也即将输入到目标检测模型的网络的图像分成s
×
s个网格；每个网格产生b个预测框(anchor box)，经过该网络每个预测框会最终得到相应的检测框(bounding box)，最终会得到s
×s×
b个检测框。表示第i个网格的第j个预测框是否负责某个目标(object)，如果负责那么否则所谓负责，也即在第i个网格的b个预测框与该目标的真实标注的框(ground truth box)的交并比(iou)中，第i个网格的第j个预测框与该目标的真实标注的框的交并比是最大的时，第i个网格的第j个预测框负责该目标；由于第i个网格的第j个预测框的形状、尺寸最符合该目标，此时框负责该目标；由于第i个网格的第j个预测框的形状、尺寸最符合该目标，此时表示第i个网格的第j个预测框不负责该目标。λ
coord
和λ
noobj
为权重参数，默认设置都为1。xi表示检测框的左上角坐标点的x值。表示预测框的左上角坐标点的x值。yi表示检测框的左上角坐标点的y值。表示预测框的左上角坐标点的y值。wi表示检测框的宽度。表示预测框的宽度。hi表示检测框的高度。表示预测框的高度。表示参数置信度。表示预测的参数置信度。表示真实的第i个框属于第j类的概率(0或1)。表示预测的第i个框属于第j类的概率。c表示：class，即有多少类的框，就有多少个c。
[0059]
在本技术实施例中，将监控区域作为图像采集区域，对该图像采集区域进行rgb图像采集和ir图像采集，得到该监控区域的rgb图像和ir图像，对该rgb图像进行特征提取以得到rgb特征图，以及对该ir图像进行特征提取以得到ir特征图；然后将该rgb特征图和该ir特征图进行融合，以得到融合特征图；再根据该融合特征图检测该监控区域是否存在目标。由于rgb图像具有分辨率高、包含丰富的颜色纹理信息等特点，ir图像具有对光照不敏感的特点，因此rgb特征图和ir特征图融合得到的融合特征图同时具备了rgb图像和ir图像的特点；本技术实施例采用融合特征图进行是目标检测，可以提高目标检测的精度，得到更加准确的检测结果。
[0060]
在一种可能的实现方式中，若所述图像采集区域存在目标，所述方法还包括：对所述rgb图像进行人脸图像提取，以得到目标人脸图像；将所述目标人脸图像与预存的多张模板人脸图像进行比对；若比对成功，则获取目标模板人脸图像对应的身份信息，并根据所述身份信息执行预设操作，其中，所述目标模板人脸图像为与所述目标人脸图像比对成功的
模板人脸图像。
[0061]
其中，目标人脸图像还可以通过对rgb特征图或融合特征图进行人脸提取得到。目标人脸图像提取以及比对可以通过人脸识别模型实现，预存的多张模板人脸图像为存储的底库为人员id照。举例来说，通过人脸识别模型识别游摊小贩的经营人，自动化的识别出经营人的id信息，上传到相关监管网站，进而实现自动化的监管。当检测到游摊小贩时，获取目标人脸图输入人脸识别模型获取人脸特征，然后将人脸特征跟底库人员id照的人脸特征进行比对，如果比对成功，则说明找到了游摊小贩行为人对应的id信息。
[0062]
在本实现方式中，在确定图像采集区域存在目标后，也即确定监控区域存在目标后，从rgb图像中提取目标人脸图像，并将提取到的目标人脸图像与预存的多张模板人脸图像进行比对；然后获取与目标人脸图像比对成功的目标模板人脸图像对应的身份信息，并根据该身份信息执行预设操作，从而对该目标进行自动监管，无需监管人员去监控区域现场管理，减少监控成本。
[0063]
在一种可能的实现方式中，若比对失败，所述方法还包括：向手持终端发送提示消息，所述提示消息包括所述rgb图像，所述提示消息用于指示对所述目标进行处理，所述手持终端为监管人员手持的终端。
[0064]
在本实现方式中，如果目标人脸图像与预存的多张模板人脸图像都没有比对成功，则无法自动监管，则向监管人员手持的终端手发送该包括rgb图像的提示消息，指示监管人员对目标进行处理，从而确保能监管到该目标。
[0065]
综上可知，本技术实施例采用ir图像和rgb图像融合进行目标检测，具有抵御光照影响，可以在夜晚等光照条件不好，但检测识别精度需求非常大的场景下，实现非常稳定的检测识别精度。
[0066]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
[0067]
请参见图4，图4是本技术实施例提供的一种目标检测装置400的结构示意图，该目标检测装置可以应用于电子设备，该目标检测装置400可以包括提取单元401、融合单元402和检测单元403，其中，各个单元的详细描述如下：
[0068]
提取单元401，用于对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图，其中，所述rgb图像和ir图像通过对同一图像采集区域进行图像采集得到；
[0069]
融合单元402，用于将所述rgb特征图和所述ir特征图进行融合，以得到融合特征图；
[0070]
检测单元403，用于根据所述融合特征图检测所述图像采集区域是否存在目标。
[0071]
在一种可能的实现方式中，所述融合单元402，具体用于：将所述ir特征图的每个点的第一像素值映射到0至1之间，以得到所述ir特征图的每个点的第二像素值；将所述ir特征图的每个点的第二像素值与所述rgb特征图对应位置点的第三像素值相乘，以得到多个第四像素值；根据所述多个第四像素值组合得到所述融合特征图。
[0072]
在一种可能的实现方式中，在所述对rgb图像进行特征提取以得到rgb特征图，以及对ir图像进行特征提取以得到ir特征图方面，所述提取单元401，具体用于：在所述rgb图像中标注预测框，以及在所述ir图像中标注所述预测框，其中，所述预测框用于框定候选对象；对所述预测框框定的区域rgb图像进行特征提取以得到所述rgb特征图，以及对所述预
测框框定的区域ir图像进行特征提取以得到所述ir特征图。
[0073]
在一种可能的实现方式中，在所述根据所述融合特征图检测所述图像采集区域是否存在目标方面，所述检测单元403，具体用于：对所述融合特征图的每个点进行类别预测，以得到所述融合特征图的每个点的类别和分类置信度，其中，所述类别包括目标类别和非目标类别，所述目标类别为目标所属的类别，所述非目标类别为非目标所属的类别；统计所述融合特征图中被预测为目标类别的点的数量，以及统计所述融合特征图中被预测为非目标类别的点的数量；根据所述被预测为目标类别的点的数量和每个所述被预测为目标类别的点的分类置信度计算第一平均分类置信度，以及根据所述被预测为非目标类别的点的数量和每个所述被预测为非目标类别的点的分类置信度计算第二平均分类置信度；若所述被预测为目标类别的点的数量大于所述被预测为非目标类别的点的数量，且所述第一平均分类置信度大于所述第二平均分类置信度，则确定所述候选对象是目标；否则，确定所述候选对象为非目标。
[0074]
在一种可能的实现方式中，若所述图像采集区域存在目标，所述检测单元403，还用于：对所述rgb图像进行人脸图像提取，以得到目标人脸图像；将所述目标人脸图像与预存的多张模板人脸图像进行比对；若比对成功，则获取目标模板人脸图像对应的身份信息，并根据所述身份信息执行预设操作，其中，所述目标模板人脸图像为与所述目标人脸图像比对成功的模板人脸图像。
[0075]
在一种可能的实现方式中，若比对失败，所述检测单元403，还用于：向手持终端发送提示消息，所述提示消息包括所述rgb图像，所述提示消息用于指示对所述目标进行处理，所述手持终端为监管人员手持的终端。
[0076]
需要说明的是，各个单元的实现还可以对应参照图1所示的方法实施例的相应描述。当然，本技术实施例提供的目标检测装置400包括但不限于上述单元模块，例如：该目标检测装置400还可以包括存储单元404，存储单元404可以用于存储该目标检测装置400的程序代码和数据。
[0077]
在图4所描述的目标检测装置400中，将监控区域作为图像采集区域，对该图像采集区域进行rgb图像采集和ir图像采集，得到该监控区域的rgb图像和ir图像，对该rgb图像进行特征提取以得到rgb特征图，以及对该ir图像进行特征提取以得到ir特征图；然后将该rgb特征图和该ir特征图进行融合，以得到融合特征图；再根据该融合特征图检测该监控区域是否存在目标。由于rgb图像具有分辨率高、包含丰富的颜色纹理信息等特点，ir图像具有对光照不敏感的特点，因此rgb特征图和ir特征图融合得到的融合特征图同时具备了rgb图像和ir图像的特点；本技术实施例采用融合特征图进行是目标检测，可以提高目标检测的精度，得到更加准确的检测结果。
[0078]
请参见图5，图5是本技术实施例提供的一种电子设备510的结构示意图，该电子设备510包括处理器511、存储器512和通信接口513，上述处理器511、存储器512和通信接口513通过总线514相互连接。
[0079]
存储器512包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器512用于相关计算机程序及数据。通信接口513用于接收和发送数据。
[0080]
处理器511可以是一个或多个中央处理器(central processing unit，cpu)，在处理器511是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。
[0081]
该电子设备510中的处理器511用于读取上述存储器512中存储的计算机程序代码，执行图1所示的方法。
[0082]
需要说明的是，各个操作的实现还可以对应参照图1所示的方法实施例的相应描述。
[0083]
在图5所描述的电子设备510中，将监控区域作为图像采集区域，对该图像采集区域进行rgb图像采集和ir图像采集，得到该监控区域的rgb图像和ir图像，对该rgb图像进行特征提取以得到rgb特征图，以及对该ir图像进行特征提取以得到ir特征图；然后将该rgb特征图和该ir特征图进行融合，以得到融合特征图；再根据该融合特征图检测该监控区域是否存在目标。由于rgb图像具有分辨率高、包含丰富的颜色纹理信息等特点，ir图像具有对光照不敏感的特点，因此rgb特征图和ir特征图融合得到的融合特征图同时具备了rgb图像和ir图像的特点；本技术实施例采用融合特征图进行是目标检测，可以提高目标检测的精度，得到更加准确的检测结果。
[0084]
本技术实施例还提供一种芯片，上述芯片包括至少一个处理器，存储器和接口电路，上述存储器、上述收发器和上述至少一个处理器通过线路互联，上述至少一个存储器中存储有计算机程序；上述计算机程序被上述处理器执行时，图1所示的方法流程得以实现。
[0085]
本技术实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，图1所示的方法流程得以实现。
[0086]
本技术实施例还提供一种计算机程序产品，当上述计算机程序产品在计算机上运行时，图1所示的方法流程得以实现。
[0087]
其中，本技术实施例中提及的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0088]
还其中，本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0089]
需要说明的是，当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器
件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
[0090]
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0091]
还其中，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本技术的范围。
[0092]
其中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0093]
其中，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0094]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0095]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0096]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0097]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0098]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0099]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所示方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0100]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0101]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0102]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。