遗留物品检测方法、装置、设备、介质和程序产品与流程

本公开涉及人工智能，具体地涉及一种遗留物品检测方法、装置、设备、介质和程序产品。

背景技术：

1、运营网点等场所部署的摄像头用于监控环境安全，积累了大量图像、视频等数据资源，随着边缘智能技术及计算机视觉等技术能力提升，可以考虑通过计算机视觉技术对视频图像中的物体进行自动检测，实现遗留物品检测、异常物品检测等功能，从而提升网点运营和内部运营效率。

2、一般情况下，对于遗留物品的检测过程并非设置在运营网点中，而是设置在非运营网点的远端，而运营网点所使用的专网带宽较低且算力有限。因此，如何在保证能够满足专网宽带较低的情况下，又能够较好地识别运营网点中的遗留物品是本领域技术人员亟待解决的技术问题。

技术实现思路

1、鉴于上述问题，本公开提供了提高遗留物品检测效率，且能够减少本地遗留物品检测的算力开销的遗留物品检测方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面，提供了一种遗留物品检测方法，所述方法应用于网点服务器，所述方法包括：接收视频流信息；判断所述视频流信息中是否出现人员目标；在所述视频流信息中出现人员目标的情况下，检测是否存在遗留物品；在所述视频流信息中出现人员目标的情况下，将所述视频流信息中从出现所述人员目标的视频流持续上送至远端服务器，以由所述远端服务器所述远端服务器监控所述人员目标的运动轨迹；以及在检测出存在所述遗留物品的情况下，获取来自所述远端服务器的所述运动轨迹。

3、根据本公开的实施例，其中，所述视频流信息包括多个视频帧图像，所述判断所述视频流信息中是否出现人员目标，包括：获取对照图像，所述对照图像是所述视频流信息对应的监控区域中不存在所述人员目标的和/或所述遗留物品的图像；基于帧差算法计算所述对照图像和所述视频帧图像的差值，得到第一差值；以及在所述第一差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标。

4、根据本公开的实施例，其中，所述多个视频帧图像至少包括第一视频帧图像和第二视频帧图像，所述第一视频帧图像和所述第二视频帧图像在时序上是连续的，所述第一视频帧图像是所述目标客户处于监控区域内的最后一帧视频帧图像，所述检测是否存在遗留物品，包括：判断所述人员目标是否离开监控区域；在所述人员目标离开所述监控区域的情况下，获取所述第二视频帧图像；获取所述对照图像；基于帧差算法计算所述对照图像和所述第二视频帧图像的差值，得到第二差值；以及在所述第二差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述遗留物品。

5、根据本公开的实施例，其中，所述基于帧差算法计算所述对照图像和所述视频帧图像的差值，得到第一差值，包括：按照预设的划分方式，分别将所述视频帧图像和所述对照图像划分为预设数量的子单元区域，其中，所述子单元区域包括单元标识；以及按照所述单元标识的对应关系，逐个基于所述帧差算法计算所述对照图像中子单元区域和所述视频帧图像中子单元区域的差值，得到第一子差值。

6、根据本公开的实施例，其中，所述在所述第一差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标，包括：在出现所述第一子差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标，并截止剩余的所述子单元区域的第一子差值的计算。

7、根据本公开的实施例，其中，所述基于帧差算法计算所述对照图像和所述第二视频帧图像的差值，得到第二差值，包括：按照预设的划分方式，分别将所述第二视频帧图像和所述对照图像划分为预设数量的子单元区域，其中，所述子单元区域包括单元标识；以及按照所述单元标识的对应关系，逐个基于所述帧差算法计算所述对照图像中子单元区域和所述视频帧图像中子单元区域的差值，得到第二子差值。

8、根据本公开的实施例，其中，所述在所述第二差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述遗留物品，包括：在出现所述第二子差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标，并截止剩余的所述子单元区域的第二子差值的计算。

9、根据本公开的实施例，其中，在所述视频流信息中出现人员目标的情况下，检测是否存在遗留物品后，还包括：在检测出存在遗留物品的情况下，发出遗留物品报警指令。

10、根据本公开的实施例，其中，在所述视频流信息中出现人员目标的情况下，检测是否存在遗留物品后，还包括：在检测出存在所述遗留物品的情况下，基于预设的遗留物品识别模型对所述遗留物品进行识别，输出遗留物品分类。

11、根据本公开的实施例，其中，所述预设的遗留物品识别模型的训练方法包括：获取训练样本和样本标签，所述训练样本包括历史遗留物品图像，所述样本标签包括物品类别；以及将所述历史遗留物品图像和所述物品类别作为入模数据，进行模型的训练，直至预设的训练迭代次数。

12、本公开的第二个方面，提供了一种遗留物品检测装置，所述装置设置于网点服务器中，所述装置包括：视频接收模块，用于接收视频流信息；人员目标判断模块，用于判断所述视频流信息中是否出现人员目标；遗留物品检测模块，用于在所述视频流信息中出现人员目标的情况下，检测是否存在遗留物品；视频上送模块，用于在所述视频流信息中出现人员目标的情况下，将所述视频流信息中从出现所述人员目标的视频流持续上送至远端服务器，以由所述远端服务器所述远端服务器监控所述人员目标的运动轨迹；以及运动轨迹获取模块，用于在检测出存在所述遗留物品的情况下，获取来自所述远端服务器的所述运动轨迹。

13、根据本公开的实施例，其中，所述人员目标判断模块，还用于获取对照图像，所述对照图像是所述视频流信息对应的监控区域中不存在所述人员目标的和/或所述遗留物品的图像；基于帧差算法计算所述对照图像和所述视频帧图像的差值，得到第一差值；以及在所述第一差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标。

14、根据本公开的实施例，其中，所述多个视频帧图像至少包括第一视频帧图像和第二视频帧图像，所述第一视频帧图像和所述第二视频帧图像在时序上是连续的，所述第一视频帧图像是所述目标客户处于监控区域内的最后一帧视频帧图像，所述遗留物品检测模块，还用于判断所述人员目标是否离开监控区域；在所述人员目标离开所述监控区域的情况下，获取所述第二视频帧图像；获取所述对照图像；基于帧差算法计算所述对照图像和所述第二视频帧图像的差值，得到第二差值；以及在所述第二差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述遗留物品。

15、根据本公开的实施例，其中，所述人员目标判断模块，还用于按照预设的划分方式，分别将所述视频帧图像和所述对照图像划分为预设数量的子单元区域，其中，所述子单元区域包括单元标识；以及按照所述单元标识的对应关系，逐个基于所述帧差算法计算所述对照图像中子单元区域和所述视频帧图像中子单元区域的差值，得到第一子差值。

16、根据本公开的实施例，其中，所述人员目标判断模块，还用于在出现所述第一子差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标，并截止剩余的所述子单元区域的第一子差值的计算。

17、根据本公开的实施例，其中，所述遗留物品检测模块，还用于按照预设的划分方式，分别将所述第二视频帧图像和所述对照图像划分为预设数量的子单元区域，其中，所述子单元区域包括单元标识；以及按照所述单元标识的对应关系，逐个基于所述帧差算法计算所述对照图像中子单元区域和所述视频帧图像中子单元区域的差值，得到第二子差值。

18、根据本公开的实施例，其中，所述遗留物品检测模块，还用于在出现所述第二子差值处于预设的误差范围外情况下，判定所述视频流信息中出现所述人员目标，并截止剩余的所述子单元区域的第二子差值的计算。

19、根据本公开的实施例，其中，所述装置还包括：报警模块，用于在所述视频流信息中出现人员目标的情况下，检测是否存在遗留物品后，还包括：在检测出存在遗留物品的情况下，发出遗留物品报警指令。

20、根据本公开的实施例，其中，所述装置还包括：遗留物品分类模块，用于在检测出存在所述遗留物品的情况下，基于预设的遗留物品识别模型对所述遗留物品进行识别，输出遗留物品分类。

21、本公开的第三个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述遗留物品检测方法。

22、本公开的第四个方面，还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述遗留物品检测方法。

23、本公开的第五个方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述遗留物品检测方法。

24、在本公开的实施例中，相较于现有技术，本公开至少包括以下优势：1.通过对监控区域内人员目标的运动轨迹进行监控后再开启遗留物品的检测，一方面能够降低遗留物品检测的计算开销，另一方面能够较为精准的识别出是否出现遗留物品。2.以时间为检测维度，检测人员目标的遗留物品，协助网点运营能力提升。3.将算力开销较大的目标追踪放置在远端服务器进行识别，补足了本地服务器算力有限的短板。