一种视频中对象的确定方法及装置与流程

本发明涉及视频处理技术领域，尤其涉及一种视频中对象的确定方法及装置。

背景技术：

当今社会中，出于安防管理的需要，监控设备布满了街道、社区、楼宇等各种公共场合。在发生警情时，先从监控设备采集的图像数据中确定出嫌疑人或嫌疑车辆的图像，然后由警务人员根据嫌疑人或嫌疑车辆的图像搜捕嫌疑人或嫌疑车辆。

现有技术中，监控设备采集图像后，多需要对图像进行检测和识别，确定图像中的人脸或车辆等对象。在这一过程中，当某个对象中包含其它对象的部分元素时，容易出现误判，进到导致对象识别的错误。

技术实现要素：

本发明实施例提供一种视频中对象的确定方法及装置，以解决现有技术中当某个对象中包含其它对象的部分元素时，容易出现误判，进到导致对象识别的错误的技术问题。

本发明实施例提供一种视频中对象的确定方法，所述方法包括：

对检测帧图像进行对象检测，若确定所述检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第一初始识别对象覆盖所述第二初始识别对象，则确定所述第一初始识别对象与所述第二初始识别对象的重叠区域面积；所述第一初始识别对象与所述第二初始识别对象为不同类型的初始识别对象；

根据所述重叠区域面积及所述第一初始识别对象的面积，确定所述第一初始识别对象与所述第二初始识别对象对应的识别对象；

确定所述识别对象的检测图像信息。

当图像中检测到第一初始识别对象与第二初始识别对象重叠的现象时，则有可能是由于检测误差，将第一初始识别对象中的部分图像误判为第二初始识别对象，为了避免出现上述误判的情况，本发明实施例中，对于检测帧图像，如果检测到图像中存在第一初始识别对象与第二初始识别对象重叠，则可以进一步判断第一初始识别对象是否覆盖第二初始识别对象，如果覆盖，则可以根据重叠区域面积来确定最终的识别对象的检测图像信息。采用这种方法，当检测帧图像中出现两个或两个以上的识别对象在画面中重叠时，则可以通过判断重叠区域面积及第二初始识别对象的面积，来确定最终的识别图像，从而提高识别对象的识别图像的精度，进一步提高后续使用识别对象的识别图像进行归档的准确性。

在一种可能的实现方式中，根据所述重叠区域面积及所述第一初始识别对象的面积，确定所述第一初始识别对象与所述第二初始识别对象对应的识别对象，包括：

若确定所述重叠区域面积与所述第一初始识别对象的面积满足设定关系，则确定所述识别对象为所述第一初始识别对象；

确定所述识别对象的检测图像信息，包括：

将所述第一初始识别对象对应的图像信息确定为所述识别对象的检测图像信息。

在一种可能的实现方式中，根据所述重叠区域面积及所述第一初始识别对象的面积，确定所述第一初始识别对象与所述第二初始识别对象对应的识别对象，包括：

若确定所述重叠区域面积与所述第一初始识别对象的面积不满足设定关系，则确定所述第一初始识别对象为第一识别对象，所述第二初始识别对象为第二识别对象；

确定所述识别对象的检测图像信息，包括：

将所述第一初始识别对象对应的图像信息确定为所述第一识别对象的检测图像信息；

将所述第二初始识别对象对应的图像信息确定为所述第二识别对象的检测图像信息。

在一种可能的实现方式中，所述第一初始识别对象覆盖所述第二初始识别对象通过以下方式确定：

分别从所述检测帧图像中获取所述第一初始识别对象和所述第二初始识别对象的关键点信息；

若所述第一初始识别对象的关键点信息完整，而所述第二初始识别对象的关键点信息不完整，则确定所述第一初始识别对象覆盖所述第二初始识别对象。

在一种可能的实现方式中，所述第一初始识别对象的类型为行驶中的非机动车，所述第二初始识别对象的类型为行人。

在一种可能的实现方式中，还包括：

若确定检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第二初始识别对象覆盖所述第一初始识别对象，则删除所述第一初始识别对象。

本发明实施例提供一种视频中对象的确定装置，所述装置包括：

检测单元，用于对检测帧图像进行对象检测，若确定所述检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第一初始识别对象覆盖所述第二初始识别对象，则确定所述第一初始识别对象与所述第二初始识别对象的重叠区域面积；所述第一初始识别对象与所述第二初始识别对象为不同类型的初始识别对象；

处理单元，用于根据所述重叠区域面积及所述第一初始识别对象的面积，确定所述第一初始识别对象与所述第二初始识别对象对应的识别对象；

所述处理单元，还用于确定所述识别对象的检测图像信息。

在一种可能的实现方式中，所述处理单元具体用于：

若确定所述重叠区域面积与所述第一初始识别对象的面积满足设定关系，则确定所述识别对象为所述第一初始识别对象；以及将所述第一初始识别对象对应的图像信息确定为所述识别对象的检测图像信息。

在一种可能的实现方式中，所述处理单元具体用于：

若确定所述重叠区域面积与所述第一初始识别对象的面积不满足设定关系，则确定所述第一初始识别对象为第一识别对象，所述第二初始识别对象为第二识别对象；以及将所述第一初始识别对象对应的图像信息确定为所述第一识别对象的检测图像信息；将所述第二初始识别对象对应的图像信息确定为所述第二识别对象的检测图像信息。

在一种可能的实现方式中，所述第一初始识别对象覆盖所述第二初始识别对象通过以下方式确定：

分别从所述检测帧图像中获取所述第一初始识别对象和所述第二初始识别对象的关键点信息；

若所述第一初始识别对象的关键点信息完整，而所述第二初始识别对象的关键点信息不完整，则确定所述第一初始识别对象覆盖所述第二初始识别对象。

在一种可能的实现方式中，所述第一初始识别对象的类型为行驶中的非机动车，所述第二初始识别对象的类型为行人。

在一种可能的实现方式中，所述处理单元还用于：

若确定检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第二初始识别对象覆盖所述第一初始识别对象，则删除所述第一初始识别对象。

本发明实施例还提供一种装置，所述装置可以为设备或服务器，所述装置包括：

存储器，用于存储软件程序；

处理器，用于读取所述存储器中的软件程序并执行上述各种可能的实现方式中所描述的视频中对象的确定方法。

本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的视频中对象的确定方法。

本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的视频中对象的确定方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。

图1为本发明实施例适用的系统架构的示意图；

图2为本发明实施例提供的一种视频中对象的确定方法所对应的流程示意图；

图3为本发明实施例提供的一种视频中对象的确定装置的结构示意图。

具体实施方式

下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例中。

图1示例性示出了本发明实施例适用的系统架构的示意图，在该系统架构中包括监控设备101、服务器102。监控设备101实时采集视频流，然后将采集的视频流发送至服务器102，服务器102中包括视频中对象的确定装置，服务器102从视频流中获取图像，然后确定图像中的对象对应的图像区域。监控设备101通过无线网络与服务器102连接，监控设备是具备采集图像功能的电子设备，比如摄像头、摄像机、录像机等。服务器102是一台服务器或若干台服务器组成的服务器集群或云计算中心。

基于图1所示的系统架构，图2示例性示出了本发明实施例提供的一种视频中对象的确定方法所对应的流程示意图，该方法的流程可以由视频中对象的确定装置执行，视频中对象的确定装置可以是图1所示的服务器102，如图2所示，具体包括以下步骤：

步骤201，对检测帧图像进行对象检测，若确定检测帧图像中第一初始识别对象与第二初始识别对象重叠，且第一初始识别对象覆盖第二初始识别对象，则确定第一初始识别对象与第二初始识别对象的重叠区域面积。

步骤202，根据重叠区域面积及第二初始识别对象的面积，确定第一初始识别对象与第二初始识别对象对应的识别对象。

步骤203，确定识别对象的检测图像信息。

当图像中检测到第一初始识别对象与第二初始识别对象重叠的现象时，则有可能是由于检测误差，将第一初始识别对象中的部分图像误判为第二初始识别对象，为了避免出现上述误判的情况，本发明实施例中，对于检测帧图像，如果检测到图像中存在第一初始识别对象与第二初始识别对象重叠，则可以进一步判断第一初始识别对象是否覆盖第二初始识别对象，如果覆盖，则可以根据重叠区域面积来确定最终的识别对象的检测图像信息。采用这种方法，当检测帧图像中出现两个或两个以上的识别对象在画面中重叠时，则可以通过判断重叠区域面积及第二初始识别对象的面积，来确定最终的识别图像，从而提高识别对象的识别图像的精度，进一步提高后续使用识别对象的识别图像进行归档的准确性。

在执行步骤201之前，需要获取检测帧图像，而检测帧图像的获取方式有多种。比如，可以获取监控设备拍摄得到的视频，该视频可以包括n帧图像；n大于等于2，可以将n帧图像中任一帧图像作为检测帧图像。又比如，可以获取照相机拍摄得到的图像，作为检测帧图像。

步骤201中，对检测帧图像进行对象检测后，可以确定检测帧图像中各初始识别对象对应的图像信息。例如，对检测帧图像进行对象检测后，可以确定检测帧图像中第一初始识别对象对应的图像信息和第二初始识别对象对应的图像信息。其中，第一初始识别对象与第二初始识别对象为不同类型的初始识别对象。

进一步地，第一初始识别对象的类型为行驶中的非机动车，第二初始识别对象的类型为行人。如此，对检测帧图像进行对象检测后，可以确定检测帧图像中行驶中的非机动车对应的图像信息和行人应的图像信息。

在其它可能的实现方式中，第一初始识别对象和第二初始识别对象还可以为其它类型，比如，第一初始识别对象的类型为抱孩子的行人，第二初始识别对象的类型为行人，具体不做限定。

进一步地，可以先对检测帧图像进行对象检测，确定检测帧图像中各初始识别对象对应的检测图像区域，进而可以确定各检测帧识别对象对应的检测图像区域中的图像信息，即各检测帧识别对象对应的图像信息。其中，图像区域可以是具有规则形状的图像框，或者不具有规则形状的图像框。

本发明实施例中，第一初始识别对象覆盖第二初始识别对象的确定方式有多种，一种可能的实现方式为，分别从检测帧图像中获取第一初始识别对象和第二初始识别对象的关键点信息；若第一初始识别对象的关键点信息完整，而第二初始识别对象的关键点信息不完整，则确定第一初始识别对象覆盖第二初始识别对象。

具体地，初始识别对象的关键点信息是用于识别初始识别对象的关键点，比如，初始识别对象为行人时，行人的关键点可以包括头部、四肢、上半身、下半身等；又比如，初始识别对象为行驶中的非机动车时，行驶中的非机动车的关键点可以包括车轮、车把手、车身、车灯等。

举个例子，设定行人的关键点信息完整是指关键点信息中包括的关键点的数目大于预设阈值，比如，完整的行人的关键点包括头部、四肢、上半身、下半身这四项，可以设定当检测到的行人的关键点信息包括以上任意三项或三项以上，即可认为检测到的行人完整。

另一种可能的实现方式为，分别从检测帧图像中获取第一初始识别对象和第二初始识别对象的图层，若第一初始识别对象的图层位于第二初始识别对象的图层上方，则确定第一初始识别对象覆盖第二初始识别对象。

在其它可能的实现方式中，本领域技术人员可以根据经验和实际情况来判断第一初始识别对象是否覆盖第二初始识别对象，具体不做限定。

步骤202和步骤203中，可以通过判断重叠区域面积与第二初始识别对象的面积是否满足设定关系，如果重叠区域面积与第二初始识别对象的面积是否满足设定关系，则可以确定识别对象为第一初始识别对象，进而可以将第一初始识别对象对应的图像信息确定为识别对象的检测图像信息；如果重叠区域面积与第二初始识别对象的面积不满足设定关系，则可以确定第一初始识别对象为第一识别对象，第二初始识别对象为第二识别对象，进而可以将第一初始识别对象对应的图像信息确定为第一识别对象的检测图像信息，将第二初始识别对象对应的图像信息确定为第二识别对象的检测图像信息。

其中，设定关系可以是本领域技术人员根据经验和实际情况确定的，本发明实施例提供两种设定关系的示例，具体如下。

一个示例中，设定关系可以是重叠区域面积与第二初始识别对象的面积的比值大于或等于第一阈值。如此，若确定重叠区域面积与第二初始识别对象的面积的比值大于或等于第一阈值，则可以确定识别对象为第一初始识别对象，进而可以将第一初始识别对象对应的图像信息确定为识别对象的检测图像信息；若确定重叠区域面积与第二初始识别对象的面积的比值小于第一阈值，则可以确定第一初始识别对象为第一识别对象，第二初始识别对象为第二识别对象，进而可以将第一初始识别对象对应的图像信息确定为第一识别对象的检测图像信息，将第二初始识别对象对应的图像信息确定为第二识别对象的检测图像信息。

举个例子，若确定检测帧图像中行人与行驶中的非机动车重叠，且行驶中的非机动车覆盖行人，进而可以判断重叠区域面积和行驶中的非机动车的面积的比值是否大于或等于第一阈值，如果是，则表明将非机动车的驾驶员误判为行人，进而可以确定识别对象为行驶中的非机动车；如果不是，则表明并未将非机动车的驾驶员误判为行人，进而可以确定识别对象为行人与行驶中的非机动车。

另一个示例中，设定关系可以是重叠区域面积与第二初始识别对象的面积的差值大于或等于第二阈值。如此，若确定重叠区域面积与第二初始识别对象的面积的差值大于或等于第二阈值，则可以确定识别对象为第一初始识别对象，进而可以将第一初始识别对象对应的图像信息确定为识别对象的检测图像信息；若确定重叠区域面积与第二初始识别对象的面积的差值小于第二阈值，则可以确定第一初始识别对象为第一识别对象，第二初始识别对象为第二识别对象，进而可以将第一初始识别对象对应的图像信息确定为第一识别对象的检测图像信息，将第二初始识别对象对应的图像信息确定为第二识别对象的检测图像信息。

可选地，本发明实施例中，若确定检测帧图像中第一初始识别对象与第二初始识别对象重叠，且第二初始识别对象覆盖第一初始识别对象，则可以删除第一初始识别对象。举个例子，若确定检测帧图像中行人与行驶中的非机动车重叠，且行驶中的非机动车覆盖行人，则可以删除行人。删除行人的目的是考虑到行驶中的非机动车的驾驶员由于与行人关键点比较相似(同样具有头部、四肢等)，容易将驾驶员误判为行人，因此，若确定行驶中的非机动车覆盖行人，则极有可能是将驾驶员误判为行人，需要删除行人，从而确保检测到的识别对象的准确性。

为了更好的解释本发明实施例，下面结合具体的实施场景描述本发明实施例提供的一种视频中对象的确定方法，该方法可以由视频中对象的确定装置执行。

设定视频流中包括10帧待识别图像，其中第一帧待识别图像为检测帧图像、第三帧待识别图像为检测帧图像。首先对第一帧待识别图像进行检测，确定第一帧待识别图像中的各识别对象的第一检测框。针对第一帧待识别图像中识别对象a的第一检测框，先对第一检测框中识别对象a的关键点进行检测，根据检测的关键点调整第一检测框。然后预测识别对象a的第一检测框在第二帧待识别图像对应的第二预测框。对第二预测框中识别对象a的关键点进行检测，根据检测的关键点调整第二预测框。之后再预测识别对象a的第二预测框在第三帧待识别图像中对应的第三预测框，对第三预测框中识别对象a的关键点进行检测，根据检测的关键点调整第三预测框。同时对第三帧待识别图像进行检测，确定第三帧待识别图像的第三检测框。设定第三帧待识别图像的第三检测框中存在一个第三检测框与识别对象a的第三预测框存在交集，则采用该第三检测框修正识别对象a的第三人脸预测框。之后再判断修正后的识别对象a的第三预测框是否为人脸图像，若是，则预测修正后的识别对象a的第三预测框在第四帧待识别图像对应的第四预测框。依次类推，直到不能预测识别对象a在下一帧待识别图像中预测框。设定10帧待识别图像中，识别对象a对应8个框，则将这8个框作为识别对象a的识别图像，用于后续对识别对象a进行识别或对识别对象a进行归档。

另外在第三帧待识别图像的第三人脸检测框中，当第三帧待识别图像中出现识别对象a和识别对象b重叠，且识别对象a覆盖识别对象b，则确定识别对象a与识别对象b的重叠区域面积，进而可以判断重叠区域面积与识别对象a的面积是否满足设定关系，若满足，则确定识别对象为识别对象a，若不满足，则确定识别对象为识别对象a和识别对象b。

基于相同的技术构思，本发明实施例提供了一种视频中对象的确定装置，如图3所示，该装置包括检测单元301和处理单元302；其中：

检测单元301，用于对检测帧图像进行对象检测，若确定所述检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第一初始识别对象覆盖所述第二初始识别对象，则确定所述第一初始识别对象与所述第二初始识别对象的重叠区域面积；所述第一初始识别对象与所述第二初始识别对象为不同类型的初始识别对象；

处理单元302，用于根据所述重叠区域面积及所述第一初始识别对象的面积，确定所述第一初始识别对象与所述第二初始识别对象对应的识别对象；

所述处理单元302，还用于确定所述识别对象的检测图像信息。

在一种可能的实现方式中，所述处理单元302具体用于：

若确定所述重叠区域面积与所述第一初始识别对象的面积满足设定关系，则确定所述识别对象为所述第一初始识别对象；以及将所述第一初始识别对象对应的图像信息确定为所述识别对象的检测图像信息。

在一种可能的实现方式中，所述处理单元302具体用于：

若确定所述重叠区域面积与所述第一初始识别对象的面积不满足设定关系，则确定所述第一初始识别对象为第一识别对象，所述第二初始识别对象为第二识别对象；以及将所述第一初始识别对象对应的图像信息确定为所述第一识别对象的检测图像信息；将所述第二初始识别对象对应的图像信息确定为所述第二识别对象的检测图像信息。

在一种可能的实现方式中，所述第一初始识别对象覆盖所述第二初始识别对象通过以下方式确定：

分别从所述检测帧图像中获取所述第一初始识别对象和所述第二初始识别对象的关键点信息；

若所述第一初始识别对象的关键点信息完整，而所述第二初始识别对象的关键点信息不完整，则确定所述第一初始识别对象覆盖所述第二初始识别对象。

在一种可能的实现方式中，所述第一初始识别对象的类型为行驶中的非机动车，所述第二初始识别对象的类型为行人。

在一种可能的实现方式中，所述处理单元302还用于：

若确定检测帧图像中第一初始识别对象与第二初始识别对象重叠，且所述第二初始识别对象覆盖所述第一初始识别对象，则删除所述第一初始识别对象。

本发明实施例还提供一种装置，所述装置可以为设备或服务器，所述装置包括：

存储器，用于存储软件程序；

处理器，用于读取所述存储器中的软件程序并执行上述各种可能的实现方式中所描述的视频中对象的确定方法。

本发明实施例还提供一种计算机存储介质，所述存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的视频中对象的确定方法。

本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的视频中对象的确定方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。