一种搬移物品的检测方法及装置与流程

本发明涉及智能视频监控技术领域，尤其涉及一种搬移物品的检测方法及装置。

背景技术

在会议室、售车大厅、售票厅等公共场所，经常会出现遗落物品被误拿的情况。为了能够及时调查和发现这些物品的搬移情况，对会议室、售车大厅、售票厅等公共场所进行视频监控是非常必要的。然而传统的视频监控只是对视频进行采集和存储，在有人上报发生搬移事件时，监控者才会根据视频历史进行事后追查，这种方式时效性差，并且主要依靠监控者人眼观察，费时费力。

技术实现要素：

本申请实施例提供了一种搬移物品的检测方法及装置，用以及时确定监控场景中发生的搬移事件。

第一方面，本申请实施例提供了一种搬移物品的检测方法，包括：

确定视频流中第一图像包括的第一物品为遗留物品；

依次对所述视频流中排序在所述第一图像之后的每一帧图像进行检测，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定所述第一物品为搬移物品；

向管理设备发送搬移报警信息，所述搬移报警信息用于指示所述第一物品被搬移。

基于上述方案，在确定第一物品为遗留物品之后，根据在多个图像中都不包含第一物品确定第一物品为搬移物品，及时发出搬移报警信息，指示第一物品被搬移。

在一些实施例中，确定视频流中第一图像包括的第一物品为遗留物品，包括：

从所述视频流中确定出背景图像；

依次对所述视频流中排序在所述背景图像之后的每一帧图像进行检测，将第二图像中检测出的所述第一物品确定为待处理物品；所述第二图像为所述排序在所述背景图像之后的每一帧图像中首次检测出第一物品的图像，所述待处理物品是除所述背景图像包含的物品之外的物品；以及

确定检测出所述第一物品的图像的数量超过第二设定阈值时，确定所述第一物品为遗留物品；其中，任意相邻两次检测到所述第一物品的图像之间间隔的图像帧数量小于第三设定阈值，所述第三设定阈值小于所述第二设定阈值且大于所述第一设定阈值。

在一些实施例中，在确定所述第一物品为遗留物品之后，所述方法还包括：

在所述背景图像中添加所述第一物品；所述第一物品在所述背景图像中的添加位置与所述第一物品在所述第一图像中的位置相同；

在确定所述第一物品为搬移物品之后，所述方法还包括：

将所述背景图像中包含所述第一物品的区域替换为不包括所述第一物品的图像中的第一区域；所述第一区域在所述不包含第一物品的图像中的位置与所述第一物品在所述背景图像中的位置相同。

基于上述方案，在确定遗留物品和搬移物品之后，会同步更新背景图像，保证背景图像的准确性，从而提升检测遗留物品和搬移物品的准确性。

在一些实施例中，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像，包括：

对第三图像中包含的物品进行特征提取获得至少一个物品特征；

在确定所述至少一个物品特征包括与保存的所述第一物品的特征匹配的物品特征时，确定所述第三图像为包含所述第一物品的图像，所述第三图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像；

将保存的所述第一物品的特征更新为从所述第三图像提取到的所述第一物品的特征。

基于上述方案，在进行检测某一帧图像中包含第一物品时，对该图像中包括的至少一个物品进行特征提取，在确定至少一个物品的特征中包括与第一物品的特征匹配的特征时，就可以确定该帧图像中包含第一物品。采用特征匹配的方式可以提升物品检测的准确性。

在一些实施例中，对第三图像中包含的物品进行特征提取之前，所述方法还包括：

识别所述第三图像中包括的物品的种类以及物品所在的区域；

去除所述第三图像中满足设定条件的区域获得经滤除第三图像；

所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别经滤除第三图像包括物品的数量小于或者等于第四设定阈值；

对第三图像中包含的物品进行特征提取，包括：

对所述经滤除第三图像包括的物品进行特征提取。

基于上述方案，在对第三图像中包含的物品进行特征提取之前，可以首先识别出第三图像中包含的物品的种类以及物品的区域，过滤掉满足设定条件的区域，笑出了行人对物品的遮挡产生的影响，提升特征提取的准确性。

在一些实施例中，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像，包括：

识别第四图像中包括的物品的种类以及物品所在的位置；

在确定所述第四图像包括与第一物品的种类相同的物品，且与所述第一物品的种类相同的物品在所述第四图像中的位置与所述第一物品在所述第二图像中的位置相同的物品时，确定所述第四图像为包含所述第一物品的图像；所述第四图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像。

在一些实施例中，确定所述第四图像为包含所述第一物品的图像之前，所述方法还包括：

去除所述第四图像中满足设定条件的区域；所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别去除所述设定条件的区域的所述第四图像包括的物品的数量大于第四设定阈值。

基于上述方案，在第四图像中包含的物品数量大于第四设定阈值时，可以根据第四图像中包含与第一物品种类相同的物品，且确定该物品在第四图像中的位置与第一物品在第二图像中的位置相同时，确定第四图像中包含第一物品。从而可以更加快速地确认图像中是否包含第一物品，不需要对图像中包含的所有的物品进行特征提取后与第一物品的特征进行匹配，提升检测遗留物品的效率。

在一些实施例中，在确定所述第一物品为遗留物品之后，检测不包含所述第一物品的图像，包括：

对第五图像中的第二区域进行特征提取获得所述第二区域的特征；所述第二区域在所述第五图像中的位置与所述第一物品在所述第一图像中的位置相同；所述第五图像为确定所述第一图像之后获取到的一帧图像；

在确定所述第二区域的特征与保存的所述第一物品的特征不匹配时，确定所述第五图像为不包含所述第一物品的图像。

基于上述方案，通过比对第五图像中第二区域的特征与第一物品的特征，在确定第一物品和第二区域的特征不匹配时，确定第五图像中不包含第一物品。

第二方面，本申请实施例提供了一种搬移物品的检测装置，包括：

处理单元，被配置为执行：

确定视频流中第一图像包括的第一物品为遗留物品；

依次对所述视频流中排序在所述第一图像之后的每一帧图像进行检测，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定所述第一物品为搬移物品；

收发单元，用于向管理设备发送搬移报警信息，所述搬移报警信息用于指示所述第一物品被搬移。

在一些实施例中，所述处理单元，在确定视频流中第一图像包括的第一物品为遗留物品时，具体用于：

从所述视频流中确定出背景图像；

依次对所述视频流中排序在所述背景图像之后的每一帧图像进行检测，将第二图像中检测出的所述第一物品确定为待处理物品；所述第二图像为所述排序在所述背景图像之后的每一帧图像中首次检测出第一物品的图像，所述待处理物品是除所述背景图像包含的物品之外的物品；以及

确定检测出所述第一物品的图像的数量超过第二设定阈值时，确定所述第一物品为遗留物品；其中，任意相邻两次检测到所述第一物品的图像之间间隔的图像帧数量小于第三设定阈值，所述第三设定阈值小于所述第二设定阈值且大于所述第一设定阈值。

在一些实施例中，所述处理单元，在确定所述第一物品为遗留物品之后，还用于：

在所述背景图像中添加所述第一物品；所述第一物品在所述背景图像中的添加位置与所述第一物品在所述第一图像中的位置相同；

所述处理单元，在确定所述第一物品为搬移物品之后，还用于：

将所述背景图像中包含所述第一物品的区域替换为不包括所述第一物品的图像中的第一区域；所述第一区域在所述不包含第一物品的图像中的位置与所述第一物品在所述背景图像中的位置相同。

在一些实施例中，所述处理单元，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像时，具体用于：

对第三图像中包含的物品进行特征提取获得至少一个物品特征；

在确定所述至少一个物品特征包括与保存的所述第一物品的特征匹配的物品特征时，确定所述第三图像为包含所述第一物品的图像，所述第三图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像；

将保存的所述第一物品的特征更新为从所述第三图像提取到的所述第一物品的特征。

在一些实施例中，所述处理单元，在对第三图像中包含的物品进行特征提取之前，还用于：

识别所述第三图像中包括的物品的种类以及物品所在的区域；

去除所述第三图像中满足设定条件的区域获得经滤除第三图像；

所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别经滤除第三图像包括物品的数量小于或者等于第四设定阈值；

所述处理单元，在对第三图像中包含的物品进行特征提取时，具体用于：

对所述经滤除第三图像包括的物品进行特征提取。

在一些实施例中，所述处理单元，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像时，具体用于：

识别第四图像中包括的物品的种类以及物品所在的位置；

在确定所述第四图像包括与第一物品的种类相同的物品，且与所述第一物品的种类相同的物品在所述第四图像中的位置与所述第一物品在所述第二图像中的位置相同的物品时，确定所述第四图像为包含所述第一物品的图像；所述第四图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像。

在一些实施例中，所述处理单元，在确定所述第四图像为包含所述第一物品的图像之前，还用于：

去除所述第四图像中满足设定条件的区域；所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别去除所述设定条件的区域的所述第四图像包括的物品的数量大于第四设定阈值。

在一些实施例中，所述处理单元，在确定所述第一物品为遗留物品之后，检测不包含所述第一物品的图像时，具体用于：

对第五图像中的第二区域进行特征提取获得所述第二区域的特征；所述第二区域在所述第五图像中的位置与所述第一物品在所述第一图像中的位置相同；所述第五图像为确定所述第一图像之后获取到的一帧图像；

在确定所述第二区域的特征与保存的所述第一物品的特征不匹配时，确定所述第五图像为不包含所述第一物品的图像。

第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器。存储器用于存储计算机执行指令，处理器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现方式中方法的操作步骤。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

另外，第二方面至第四方面的有益效果可以参见如第一方面所述的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种搬移物品的检测方法流程图；

图2为本申请实施例提供的另一种搬移物品的检测方法流程图；

图3为本申请实施例提供的一种遗留物品的检测方法流程图；

图4为本申请实施例提供的一种搬移物品的检测方法流程图；

图5为本申请实施例提供的一种搬移物品的检测装置示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

目前市面上的智能视频监控产品只能通过观看采集到的画面确定发生遗留事件，即只能确定物品发生遗留，无法准确判断遗留物品什么时间被搬移。本申请实施例提供了一种搬移物品的检测方法及装置，不仅可以通过多个监控画面中出现同一个物品时，确定遗留事件。还可以在确定遗留事件之后，进一步根据多个监控画面中不包含遗留物品确定出现搬移事件，及时发出搬移报警信息。

本申请提出的搬移物品的检测方法及装置可以应用于多种视频监控场景中，例如，车站的候车大厅、会议室或者高速公路等场景。其中，搬移物品的检测方法可以由摄像头来实现，例如通过摄像头中的芯片来进行计算和分析。或者，还可以由摄像头连接的硬件设备来实现，例如，视频服务器或者网络视频录像机(Network Video Recorder，NVR)。本申请对此不作具体限定，下面以搬移物品的检测方法由摄像头来实现为例进行介绍。需要说明的是，本申请涉及的摄像头是用于监控场景的摄像头，具有采集图像、采集视频、采集音频、图像处理等功能。

为了便于理解本申请的方案，参见图1，为本申请实施例提供的一种搬移物品的检测方法流程图，具体包括：

101，摄像头确定视频流中的第一图像包括的第一物品为遗留物品。

具体地，摄像头可以采集监控场景的视频流，并对视频流中的每一帧图像进行检测。确定第一图像包括的第一物品为遗留物品的方法后续会进行介绍，在此先不进行详细说明。

102，摄像头依次对视频流中排序在第一图像之后的每一帧图像进行检测，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定第一物品为搬移物品。

103，摄像头向管理设备发送搬移报警信息。

搬移报警信息用于指示第一物品被搬移。

作为一种可选地方式，在进行确定某个物品搬移物品的流程之前，还可以首先确定该物品为遗留物品。参见图2，为本申请实施例提供的另一种搬移物品的检测方法流程，具体包括：

201，摄像头获取视频流，确定视频流中的一帧图像为背景图像。

摄像头将采集的视频流中的一帧图像作为背景图像，例如，可以在启动检测视频流时，将获取的视频流的第一帧图像作为背景图像。背景图像中包括的物品可以看作是摄像头所监控的场景中自有的物品，不会被判断为遗留物品或者搬移物品。

202，摄像头对视频流中在获取背景图像之后获取到的每一帧图像进行检测，当检测到第二图像中包括第一物品时，确定第一物品为待处理物品。

需要说明的是，第二图像为视频流中背景图像之后首次出现第一物品的一帧图像。确定的待处理物品为背景图像中不包括的物品。也就是说，在背景图像之后，且在第二图像之前的图像中未检测到第一物品。可选地，在背景图像之后、第二图像之前的图像中还可能检测到首次出现其他的物品，那么也会将检测到的其他的物品作为待处理物品，本申请仅以第一物品的检测流程为例进行说明。

在一种可能的方式中，检测待处理物品可以采用如下的方式：首先，摄像头可以识别获取的视频流的图像中包括的物品的种类以及物品所在的区域。以第二图像为例，摄像头可以将获取的第二图像输入到第一神经网络中进行图像识别，例如可以采用YOLO-V3神经网络。通过第一神经网络获取第二图像中的每个物品对应的目标框，所述目标框可以为一个包围物品的矩形框，或者也可以是其他的形状，在此不做具体限定。通过第一神经网络获取各个物品对应的目标框在第二图像中的位置坐标以及各个目标矿中的物品的种类。为了便于描述，后续将物品对应的目标框称为物品框。进一步地，摄像头确定第二图像中包括的第一物品的种类，以及确定第一物品所处的区域，并在确定在背景图像之后、第二图像之前的图像中第一物品所处的区域中不包含第一物品，或者在背景图像之后、确定第二图像之前的图像中第一物品所处的区域中包含的物品的种类与第一物品的种类不相同时，可以确定第一物品为一个在视频流中新出现的物品，将第一物品作为待处理物品。

可选地，在确定第一物品为待处理物品之后，摄像头还可以对第一物品进行特征提取，并保存第一物品的特征，用于后续的特征匹配，关于特征匹配后续会详细说明，此处不再赘述。例如，摄像头可以将第一物品对应的物品框从第二图像中提取出来，输入到第二神经网络中，例如可以采用mobilenetV1神经网络进行特征提取，比如可以获取物品的位置特征、颜色特征、形状特征等等。

203，摄像头在检测第二图像包括第一物品之后，在检测到包含第一物品的图像的数量超过第二设定阈值时，确定第一物品为遗留物品。

需要说明的是，任意相邻两次检测到第一物品的图像之间间隔的图像帧的数量小于第三设定阈值，第三设定阈值小于第二设定阈值。例如，假设所述第二图像为视频流的第十帧图像、第二设定阈值为10以及第三设定阈值为4。一种情况下，在第十帧图像中检测到第一物品之后，如果第十一帧图像至第十五帧图像中都不包含第一物品，在第十六帧图像中又出现了第一物品，那么就不会将第一物品作为遗留物品。也就是说，相邻两次检测到第一物品的图像(第十帧图像至第十六帧图像)之间间隔的图像帧的数量超过了4，则不会将第一物品确定为遗留物品，而是会将第十六帧图像出现的第一物品判断为待处理物品，重新开始计数。另一种情况下，在视频流的第十帧图像中检测到第一物品之后，如果在视频流的第十一帧图像至第十三帧图像中都不包含第一物品，但是从第十四帧图像至第二十三帧图像中都包含第一物品，则可以将第一物品确定为遗留物品。也就是说，相邻两次检测到第一物品的图像(第十帧图像至第十四帧图像)之间间隔的图像帧的数量小于4，并且包含第一物品的图像的数量超过了10，则可以将第一物品确定为遗留物品。后续，将确定第一物品为遗留物品的图像称为第一图像。

可选地，摄像头在确定第一物品为遗留物品之后，可以向管理设备发出遗留报警信息。遗留报警信息用于指示第一物品被遗留。摄像头还可以在确定第一物品为遗留物品之后，在背景图像中添加第一物品。需要说明的是，第一物品在背景图像中的添加位置与第一物品在第一图像中的位置相同。

204，摄像头在确定第一物品为遗留物品之后，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定第一物品为搬移物品。

其中，第一设定阈值小于第三设定阈值。

可选地，摄像头在确定第一物品为搬移物品之后，还可以将背景图像中包含的第一物品的区域替换为不包含第一物品的图像中的第一区域。第一区域在不包含第一物品的图像中的位置与第一物品在背景图像中的位置相同。

205，摄像头向管理设备发送搬移报警信息。

搬移报警信息用于指示第一物品被搬移。

在一些实施例中，摄像头在第二图像中检测到第一物品，确定第一物品为待处理物品之后，检测第一图像之后的图像中包含第一物品时，可以分为如下两种场景：

场景一：检测的图像中包括的物品的数量小于或者等于第四设定阈值。

作为一种举例，以检测第三图像中包含第一物品为例进行介绍，第三图像为视频流中在第二图像之后且在第一图像之前的一帧图像。首先，摄像头可以针对第三图像中是否包括物品以及包括的物品的数量进行识别。比如可以通过获取第三图像中包括的物品的种类以及物品所在的区域，来判断第三图像中包括的物品的数量，具体可以参见上述图2的步骤202中的相关介绍，在此不再赘述。比如，可以将第三图像输入到第一神经网络中以获取第三图像中包括的物品的种类以及物品所处的区域。进一步地，摄像头识别出第三图像中包括的物品的种类以及物品所在区域之后，还可以去除第三图像中一些与确定遗留物品无关的物品，例如，在办公室的场景中，桌子、椅子等一些固定物品与确定遗留物品无关。再例如，行人在走路过程中手里拿的一些物品也与确定遗留物品无关。因此，在判断第三图像中包括的物品的数量之前，先对第三图像中包括的一些与确定遗留物品无关的物品进行滤除。一些实施例中，可以滤除第三图像中满足设定条件的区域。为了便于描述，将滤除满足设定条件的区域的第三图像称为经滤除第三图像。其中，满足设定条件的区域包括如下(1)、(2)或(3)中至少一种：

(1)与行人所在区域存在重叠的物品所在的区域。该条件可以滤除一些行人手拿的物品。所述与行人所在区域存在重叠的物品，可以表示该物品所处的区域与行人所处的区域有重叠的部分。

(2)与背景图像包括的物品所在区域相同且种类相同的物品所在的区域。

(3)指定种类的物品所在的区域或者非静止的物品所在的区域。所述指定种类的物品可以是预先设定的。

进一步地，摄像头可以在确定经滤除第三图像中包含的物品的数量小于或者等于第四设定阈值后，对经滤除第三图像包含的物品进行特征提取，获取至少一个物品特征。摄像头在确定至少一个物品特征包括与保存的第一物品的特征匹配的物品特征时，确定第三图像为包含第一物品的图像。作为一种举例，设第四设定阈值为2，经滤除第三图像中包含的物品A和物品B两个物品，则可以确定经滤除第三图像中包含的物品的数量等于第四设定阈值。摄像头会对物品A和物品B进行特征提取，获得物品A的特征和物品B的特征。例如，可以将物品A和物品B对应的物品框输入到第二神经网络中进行特征提取，具体可以参见图2的步骤202中的相关介绍，在此不再赘述。

再进一步地，摄像头可以分别将物品A的特征和物品B的特征与第一物品的特征进行特征匹配，比如物品A即为第一物品，因此可以确定物品A的特征与之前保存的第一物品的特征匹配成功，从而确定第三图像为包含第一物品的图像。

可选地，摄像头在确定第三图像中包含第一物品之后，还可以将保存的第一物品的特征更新为从第三图像中提取到的第一物品的特征，即物品A的特征。基于上述方案，在场景一中，如果确定某一帧图像中包含的物品的数量小于或者等于第四设定阈值，可以采用特征匹配的方式确定图像中是否包括某个物品，以此保证检测遗留物品的准确性。

场景二：检测的图像中包括的物品的数量大于第四设定阈值。

作为一种举例，以检测第四图像中包括第一物品为例进行介绍，第四图像为视频流中在第一图像之后的一帧图像。摄像头也可以首先滤除第四图像中一些满足设定条件的区域，获取经滤除后的第四图像中包括的物品的数量，具体可以参见场景一中的描述，在此不再赘述。

进一步地，摄像头获取经滤除第四图像之后，在确定经滤除第四图像包括的物品的数量大于第四条设定阈值时，可以对第一物品与第四图像包括的物品进行跟踪序列号(Identity Document，ID)和交并比(Intersection over Union，IOU)匹配。例如，可以识别出第四图像中的物品的类别，根据物品的类别确定物品的ID，进而确定第四图像包括的至少一个物品的ID中包括第一物品的ID。并且，还需要进一步确定第一物品的ID对应的物品在第四图像中的位置与第一物品在第一图像中的位置相同。从而可以确定第四图像中包括第一物品。作为一种举例，设第四设定阈值为2，第四图像中包含物品C、物品D和物品E，则确定第四图像中包括的物品的数量大于第四设定阈值。摄像头识别出第四图像中的物品C属于种类一、物品C在第四图像所处的区域为区域C，物品D属于种类二、物品D在第四图像中所处的区域为区域D，物品E属于种类三、物品E在第四图像中所处的区域为区域E。可以首先根据第一物品的种类和第四图像中包括的物品的种类的对比，来对第一物品进行ID跟踪。再进一步地，摄像头可以根据与第一物品种类相同的物品C所处的区域C的位置，和第一物品在第一图像中的位置的对比，在确定区域C在第四图像中的位置与第一物品在第一图像中的位置相同或者两个区域的交并比大于设定值时，确定第四图像为包含第一物品的图像。

在一些实施例中，继续以上述实施例中第四图像包含物品C、物品D和物品E为例，当待处理物品只有第一物品，在对第四图像进行跟踪ID和IOU匹配时，确定第一物品与物品C匹配成功，那么摄像头会将提取该物品C特征的优先级降低，例如，在第四图像中不会提取物品C的特征，而会优先提取物品D和物品E的特征并进行保存，用于进行后续的特征匹配。同时，摄像头会将第四图像中包含的物品D和物品E作为在视频流中新出现的物品，确定物品D和物品E为除第一物品之外的待处理物品。

可选地，为了提升确定待处理物品的准确性，摄像头还可以在提取物品D(或者物品E，此处以物品D为例)的特征之后，将物品D的特征与背景图像中的物品的特征进行特征匹配，以确定背景图像中不包含物品D。在确定背景图像中不包含物品D之后，再将物品D确定为待处理物品。

在另一些实施例中，还是继续以上述实施例中第四图像包含物品C、物品D和物品E为例，当待处理物品包括第一物品和第二物品的情况下，在对第四图像进行ID和IOU匹配时，确定第一物品与物品C匹配成功、第二物品与物品D匹配成功，那么摄像头可以将提取物品C和物品D特征的优先级降低，例如，在第四图像中不会提取物品C或者物品D的特征，或者在第四图像中提取物品D的特征但是不提取物品C的特征，或者在第四图像中提取物品C的特征但是不提取物品D的特征。同时摄像头会提取和保存物品E的特征，用于进行后续的特征匹配。摄像头会将物品E确定为除了第一物品和第二物品之外的待处理物品。可选地，也可以在提取物品E的特征之后，将物品E的特征与背景图像中的物品的特征进行匹配，在未匹配成功之后再将物品E作为待处理物品。

基于上述方案，在场景二中，如果摄像头确定某一帧图像大于第四设定阈值，则会在对图像进行识别时，确定该帧图像中是否包含第一物品，从而提升了图像处理的速度，提高检测遗留物品的效率。

作为一种可选地方式，摄像头检测到包含第一物品的图像的数量超过第二设定阈值时，可以将第一物品确定为遗留物品，并可以在背景图像中添加第一物品。进一步地，摄像头确定第一物品为遗留物品之后，会继续检测视频流中的图像，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定第一物品为搬移物品。作为一种举例，摄像头在确定第一物品为遗留物品之后，检测不包含第一物品的图像可以采用如下方式：

作为一种举例，以检测第五图像中不包含第一物品为例，第五图像为在确定第一物品为遗留物品之后获取到的一帧图像。摄像头可以对第五图像的第二区域进行特征提取获得第二区域的特征，第二区域在第五图像中的位置与第一物品在第一图像中的位置相同。进一步地，摄像头可以将第二区域的特征与保存的第一物品的特征进行特征匹配，并在确定第二区域的特征与第一物品的特征不匹配时，确定第五图像为不包含第一物品的图像。

当摄像头确定不包含第一物品的图像的数量达到设定阈值后，可以向管理设备发出搬移报警信息，指示第一物品被搬移。作为一种举例，搬移报警信息中可以包括第一物品、确定第一物品为搬移物品的图像对应的时间或者还可以包括第一物品未被搬移之前所处的区域。

在一些实施例中，摄像头还可以在确定连续的、达到设定数量的图像中包含的行人未发生变化，且在确定不存在待处理物品和遗留物品时，将背景图像更新为当前获取的图像，使得背景图像可以实时更新，避免误判。

以上介绍了检测搬移物品的方法，下面为了更加清晰地理解本申请的方案，将结合具体实施例分别对检测遗留物品和检测搬移物品的过程进行介绍。首先，参见图3，示例性地展示了检测遗留物品的方法流程，具体包括：

301，摄像头获取视频流，确定视频流中的一帧图像为背景图像。

具体可以参见图2中的步骤201，在此不再赘述。

302，摄像头对视频流中在背景图像之后获取到的每一帧图像进行检测。

可选地，摄像头可以将视频流中在背景图像之后的每一帧图像输入到第一神经网络中进行图像识别，获取图像中包含的物品对应的物品框、行人对应的行人框，以及获取物品框所处的区域和物品的类别。

303，摄像头确定背景图像之后的图像中是否包含背景图像中不包括的物品。

若不包含，则不对图像进行处理。

若包含，则将包含的背景图像中不包括的作为待处理物品。为了便于描述，后续将所述背景图像中不包括的物品称为第一物品，将视频流中第一个包含该第一物品的图像称为第二图像。

304，摄像头继续检测第二图像之后的图像中是否包含第一物品。

可选地，摄像头检测第二图像之后的图像的方法可以参见上述场景一和场景二所述的方法，在此不再赘述。

作为一种举例，摄像头可以在确定某一帧图像中包含第一物品时，将该帧图像作为用于判断第一物品为遗留物品的遗留帧，并累计遗留帧的数量。例如，如果确定一帧图像中包含第一物品时，将遗留帧数加一；如果确定一帧图像中不包含第一物品，将遗留帧数减一。需要说明的是，上述遗留帧的计数方法仅作为一种示例，如果确定一帧图像中不包含第一物品时，也可以将遗留帧数减4，依次达到对累计遗留帧的强烈抑制，降低由于图像中出现与第一物品类似的物品时产生的误报率。

305，摄像头判断遗留帧的数量是否超过第二设定阈值。

若不超过，则返回步骤304。

若超过，则将第一物品确定为遗留物品，向管理设备发出遗留报警信息，指示第一物品被遗留，继续步骤306。

后续为了便于描述，将遗留帧的数量达到第一设定阈值时的对应的图像称为遗留图像。例如，当摄像头检测到视频流中的第三十帧图像时，确定第三十帧图像中包含第一物品，并在将遗留帧加一之后确定遗留帧的数量达到了第一设定阈值，则将第三十帧图像称为遗留图像。需要说明的是，两个遗留帧之间的图像的数量小于第二设定阈值。

306，摄像头在背景图像中添加第一物品。

具体详见图2中的步骤203，在此不再赘述。

以上介绍了遗留物品的检测方法，下面将在确定第一物品为遗留物品的基础上继续进行介绍搬移物品的检测方法。参见图4，示例性的展示了搬移物品的检测方法流程图，具体包括：

401，摄像头继续检测遗留图像之后的图像。

可选地，摄像头可以提取遗留图像之后的图像中与遗留图像中第一物品所处区域对应的区域的特征。具体详见上述实施例中对于检测第五图像的介绍，在此不再赘述。

402，摄像头判断遗留图像之后的图像中是否包含第一物品。

若包含，则返回步骤401。

若不包含，则继续步骤403。

403，摄像头将累计不包含第一物品的图像的数量。

作为一种举例，摄像头可以在确定某一帧图像中不包含第一物品时，将该帧图像作为用于判断第一物品为搬移物品的搬移帧，并累计搬移帧的数量。

404，摄像头判断搬移帧的数量是否达到第一设定阈值。

若达到，则继续步骤405。

若未达到，则返回步骤402。

405，摄像头确定第一物品为搬移物品。

可选地，摄像头还可以向管理设备发送搬移报警信息，并更新背景帧。此处更新背景帧的过程可以参见图2中的步骤204。

基于与上述方法的相同构思，参见图5，本申请实施例还提供了一种搬移物品的检测装置500，装置500够执行上述方法中的各个步骤，为了避免重复，此处不再详述。装置500包括：处理单元501和收发单元502。

处理单元501，被配置为执行：

确定视频流中第一图像包括的第一物品为遗留物品；

依次对所述视频流中排序在所述第一图像之后的每一帧图像进行检测，当检测到不包含第一物品的图像的数量超过第一设定阈值时，确定所述第一物品为搬移物品；

收发单元502，用于向管理设备发送搬移报警信息，所述搬移报警信息用于指示所述第一物品被搬移。

在一些实施例中，所述处理单元501，在确定视频流中第一图像包括的第一物品为遗留物品时，具体用于：

从所述视频流中确定出背景图像；

依次对所述视频流中排序在所述背景图像之后的每一帧图像进行检测，将第二图像中检测出的所述第一物品确定为待处理物品；所述第二图像为所述排序在所述背景图像之后的每一帧图像中首次检测出第一物品的图像，所述待处理物品是除所述背景图像包含的物品之外的物品；以及

确定检测出所述第一物品的图像的数量超过第二设定阈值时，确定所述第一物品为遗留物品；其中，任意相邻两次检测到所述第一物品的图像之间间隔的图像帧数量小于第三设定阈值，所述第三设定阈值小于所述第二设定阈值且大于所述第一设定阈值。

在一些实施例中，所述处理单元501，在确定所述第一物品为遗留物品之后，还用于：

在所述背景图像中添加所述第一物品；所述第一物品在所述背景图像中的添加位置与所述第一物品在所述第一图像中的位置相同；

所述处理单元501，在确定所述第一物品为搬移物品之后，还用于：

将所述背景图像中包含所述第一物品的区域替换为不包括所述第一物品的图像中的第一区域；所述第一区域在所述不包含第一物品的图像中的位置与所述第一物品在所述背景图像中的位置相同。

在一些实施例中，所述处理单元501，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像时，具体用于：

对第三图像中包含的物品进行特征提取获得至少一个物品特征；

在确定所述至少一个物品特征包括与保存的所述第一物品的特征匹配的物品特征时，确定所述第三图像为包含所述第一物品的图像，所述第三图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像；

将保存的所述第一物品的特征更新为从所述第三图像提取到的所述第一物品的特征。

在一些实施例中，所述处理单元501，在对第三图像中包含的物品进行特征提取之前，还用于：

识别所述第三图像中包括的物品的种类以及物品所在的区域；

去除所述第三图像中满足设定条件的区域获得经滤除第三图像；

所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别经滤除第三图像包括物品的数量小于或者等于第四设定阈值；

所述处理单元501，在对第三图像中包含的物品进行特征提取时，具体用于：

对所述经滤除第三图像包括的物品进行特征提取。

在一些实施例中，所述处理单元501，在所述第二图像中检测到所述第一物品后，检测包含所述第一物品的图像时，具体用于：

识别第四图像中包括的物品的种类以及物品所在的位置；

在确定所述第四图像包括与第一物品的种类相同的物品，且与所述第一物品的种类相同的物品在所述第四图像中的位置与所述第一物品在所述第二图像中的位置相同的物品时，确定所述第四图像为包含所述第一物品的图像；所述第四图像为在所述第二图像之后且在所述第一图像之前获取到的一帧图像。

在一些实施例中，所述处理单元501，在确定所述第四图像为包含所述第一物品的图像之前，还用于：

去除所述第四图像中满足设定条件的区域；所述满足设定条件的区域包括与行人所在区域存在重叠的物品所在区域、与背景图像包括的物品所在区域相同且种类相同的物品所在的区域；

识别去除所述设定条件的区域的所述第四图像包括的物品的数量大于第四设定阈值。

在一些实施例中，所述处理单元501，在确定所述第一物品为遗留物品之后，检测不包含所述第一物品的图像时，具体用于：

对第五图像中的第二区域进行特征提取获得所述第二区域的特征；所述第二区域在所述第五图像中的位置与所述第一物品在所述第一图像中的位置相同；所述第五图像为确定所述第一图像之后获取到的一帧图像；

在确定所述第二区域的特征与保存的所述第一物品的特征不匹配时，确定所述第五图像为不包含所述第一物品的图像。

图6示出了本申请实施例提供的一种用以实现搬移物品检测的电子设备结构示意图。本申请实施例中的电子设备可以包括处理器601、存储器602和通信接口603，该通信接口603例如是网口，电子设备可以通过该通信接口603传输数据，例如，向管理设备发送搬移报警信息。

在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令。

其中，处理器601是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据。可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器601进行设计编程，例如，可以将前述实施例中介绍的测试方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤，如何对处理器601进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。