一种收银行为监控方法及装置与流程

本发明涉及视频监控技术领域，特别是涉及一种收银行为监控方法及装置。

背景技术：

在超市、商场等环境中，需要对收银员的收银行为进行监控，防止收银员漏扫描或假扫描货物，从而导致财物损失。

目前，通常采用人工监测的方法，通过监控摄像头拍摄收银员的工作录像，并对工作录像进行人工审核、抽查等方式，来实现对收银员的收银行为进行监控。

但是，上述方法需要耗费大量的人力成本，可行性不高，因此，亟需一种可以广泛应用的易实现的收银行为监控方法。

技术实现要素：

本发明实施例的目的在于提供一种收银行为监控方法及装置，以实现对收银员的收银行为进行监控。具体技术方案如下：

本发明实施例提供了一种收银行为监控方法，所述方法包括：

获取针对第一区域及第二区域采集的待检测视频；

识别所述待检测视频中的待检测货物；

针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域；

若是，则将所述待检测货物作为已收银货物，得到一条收银行为记录。

可选的，所述待检测视频为实时采集的视频；在所述将所述待检测货物作为已收银货物，得到一条收银行为记录之后，所述方法还包括：

获取收银扫描记录，判断所述收银扫描记录是否与所述收银行为记录相匹配；

若不匹配，则输出报警信号。

可选的，所述收银行为记录中包括收银时间；所述获取收银扫描记录，判断所述收银扫描记录是否与所述收银行为记录相匹配，包括：

获取收银扫描记录，所述收银扫描记录中包括扫描时间；

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间满足预设条件的收银扫描记录；

若存在，则判定所述收银扫描记录与该条收银行为记录相匹配；

若不存在，则执行所述输出报警信号的步骤。

可选的，所述针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间满足预设条件的收银扫描记录，包括：

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间之间的时间差在预设范围内的收银扫描记录；或

针对每条收银行为记录，判断是否存在扫描时间在目标时间范围内的收银扫描记录，所述目标时间范围为该条收银行为记录的收银时间与下一条收银行为记录的收银时间之间的时间范围。

可选的，所述识别所述待检测视频中的待检测货物，包括：

针对所述待检测视频的每一帧，将该帧输入至预先训练得到的神经网络模型中，得到该帧中的待检测货物在该帧中的位置。

可选的，所述对所述待检测货物进行跟踪，判断所述待检测货物是否从所述第一区域移动至所述第二区域，包括：

根据所述待检测货物在所述待检测视频的每一帧中的位置，得到所述待检测货物的运动轨迹；

根据所述运动轨迹，判断所述待检测货物是否从所述第一区域移动至所述第二区域。

本发明实施例还提供了一种收银行为监控装置，所述装置包括：

获取模块，用于获取针对第一区域及第二区域采集的待检测视频；

识别模块，用于识别所述待检测视频中的待检测货物；

跟踪模块，用于针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域；若是，则触发记录模块；

所述记录模块，用于将所述待检测货物作为已收银货物，得到一条收银行为记录。

可选的，所述待检测视频为实时采集的视频；所述装置还包括：

判断模块，用于获取收银扫描记录，判断所述收银扫描记录是否与所述收银行为记录相匹配；若不匹配，则输出报警信号。

可选的，所述判断模块，具体用于：

获取收银扫描记录，所述收银扫描记录中包括扫描时间；

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间满足预设条件的收银扫描记录；

若存在，则判定所述收银扫描记录与该条收银行为记录相匹配；

若不存在，则执行所述输出报警信号的步骤。

可选的，所述判断模块，具体用于：

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间之间的时间差在预设范围内的收银扫描记录；或

针对每条收银行为记录，判断是否存在扫描时间在目标时间范围内的收银扫描记录，所述目标时间范围为该条收银行为记录的收银时间与下一条收银行为记录的收银时间之间的时间范围。

可选的，所述识别模块，具体用于：

针对所述待检测视频的每一帧，将该帧输入至预先训练得到的神经网络模型中，得到该帧中的待检测货物在该帧中的位置。

可选的，所述跟踪模块，具体用于：

根据所述待检测货物在所述待检测视频的每一帧中的位置，得到所述待检测货物的运动轨迹；

根据所述运动轨迹，判断所述待检测货物是否从所述第一区域移动至所述第二区域。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的收银行为监控方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的收银行为监控方法。

本发明实施例提供的收银行为监控方法及装置，通过获取针对第一区域及第二区域采集的待检测视频；识别待检测视频中的待检测货物；对待检测货物进行跟踪，判断待检测货物是否从第一区域移动至第二区域；若是，则将待检测货物作为已收银货物，得到一条收银行为记录。

这样，通过对待检测视频的处理，可以对待检测货物的位置变化进行跟踪，当检测到待检测货物从第一区域移动至第二区域，则生成一条收银行为记录，这样，可以在不进行人工审核、查阅视频的情况下，对收银员的收银行为进行监控。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的收银行为监控方法的一种流程示意图；

图2为一种实现方式中，本发明实施例提供的一种收银行为监控设备的安装示意图；

图3为本发明实施例提供的收银行为监控装置的一种结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，通常采用人工监测的方法，通过监控摄像头拍摄收银员的工作录像，并对工作录像进行人工审核、抽查等方式，来实现对收银员的收银行为进行监控。

但是，上述方法需要耗费大量的人力成本，可行性不高，因此，亟需一种可以广泛应用的易实现的收银行为监控方法。

因此，为了解决上述技术问题，本发明实施例提供了一种收银行为监控方法，该方法可以应用于网络摄像机、硬盘录像机、计算机等电子设备中，具体不做限定。

下面从总体上对本发明实施例提供的收银行为监控方法进行说明。

一种实现方式中，上述收银行为监控方法包括：

获取针对第一区域及第二区域采集的待检测视频；

识别待检测视频中的待检测货物；

针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域；

若是，则将待检测货物作为已收银货物，得到一条收银行为记录。

由以上可见，本发明实施例提供的收银行为监控方法，通过对待检测视频的处理，可以对待检测货物的位置变化进行跟踪，当检测到待检测货物从第一区域移动至第二区域，则生成一条收银行为记录，这样，可以在不进行人工审核、查阅视频的情况下，对收银员的收银行为进行监控。

下面将通过具体的实施例，对本发明实施例提供的收银行为监控方法进行详细描述。

如图1所示，为本发明实施例提供的收银行为监控方法的流程示意图，包括如下步骤：

s101：获取针对第一区域及第二区域采集的待检测视频。

其中，第一区域可以为待结算商品区，第二区域可以为扫描结算区，可以理解，通常，在进行货物收银时，货物未进行扫描收银时，会被放置在待结算商品区，收银员从待结算商品区中拿取货物，进行扫描，扫描结束之后，将货物放置到扫描结算区。

本步骤中，所获取的待检测视频需要完整覆盖第一区域及第二区域，使得被放置在第一区域和第二区域的所有货物均被包括在待检测视频中，从而减少由于货物遗漏导致监控结果不准确的现象。

其中，可以由电子设备(执行主体)的视频图像采集模块待检测视频，或者，也可以由其他图像采集设备采集待检测视频，再将采集到的待检测视频发送至电子设备，具体不做限定。待检测视频可以是一段历史视频图像，或者，也可以是实时采集的视频。

比如，如图2所示，为一种实现方式中，本发明实施例提供的一种收银行为监控设备的安装示意图，该收银行为监控设备包括采集待检测视频的视频图像采集模块以及对待检测视频进行处理的图像算法处理模块。其中，视频图像采集模块可以为一个架设在收银台上方，向下方的扫描结算区和待结算商品区拍摄的摄像头。

s102：识别待检测视频中的待检测货物。

举例而言，识别待检测视频中的待检测货物时，可以针对待检测视频的每一帧，利用预设的目标识别算法，计算得到该帧中的待检测货物在该帧中的位置。

比如，可以将该帧输入至预先训练得到的神经网络模型中，得到该帧中的待检测货物在该帧中的位置。其中，将该帧输入至预先训练得到的神经网络模型中进行计算的过程可以包括：

第一步，对该帧进行第一卷积计算，得到第一卷积结果，其中，第一卷积计算中所采用的卷积核可以为一个3x3的卷积核；

第二步，对第一卷积结果进行第一降采样计算，得到第一池化结果，其中，第一降采样计算可以是2倍降采样计算；

第三步，对第一池化结果进行第二卷积计算，得到第二卷积结果，其中，第二卷积计算中所采用的卷积核可以为一个1x1-3x3-1x1的瓶颈结构的卷积核；

第四步，对第二卷积结果进行第二降采样计算，得到第二池化结果，其中，第一降采样计算可以是2倍降采样计算；

第五步，对第二池化结果进行第三卷积计算，得到第三卷积结果，其中，第三卷积计算中所采用的卷积核可以为一个1x1-3x3-1x1的瓶颈结构的卷积核；

第六步，对第三卷积结果进行第三降采样计算，得到第三池化结果，其中，第一降采样计算可以是2倍降采样计算；

第七步，对第三池化结果进行第四卷积计算，得到第四卷积结果，其中，第四卷积计算中所采用的卷积核可以为一个1x1-3x3-1x1-3x3-1x1的瓶颈结构的卷积核；

第八步，对第四卷积结果进行多层卷积计算，得到卷积缓冲结果，其中，卷积缓冲计算中包括两个卷积层，每个卷积层的卷积核均为一个3x3的卷积核；

第九步，对卷积缓冲结果进行回归处理，得到该帧中的候选货物在该帧中的候选位置及置信度，其中，回归处理包括以下一项或多项：左边转换处理、置信度滤除处理及非极大值抑制处理；

第十步，若置信度大于预设阈值，则将候选货物作为该帧中的待检测货物，并将候选位置作为待检测货物在该帧中的位置。

或者，也可以采用滑动窗口目标检测算法，计算得到该帧中的待检测货物在该帧中的位置。首先，通过卷积神经网络训练一个分类器，然后使用不同尺度的窗口去裁剪待检测视频的每一帧，并对裁剪结果进行分类，根据分类结果确定待检测货物在每一帧中的位置。

另外，也可以采用ssd(singleshotmultiboxdetector，单点多盒探测器)算法或yolo(youonlylookonce)算法从待检测视频中识别待检测货物，具体不做限定。

s103：针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域。

举例而言，在对待检测货物进行跟踪，判断待检测货物是否从第一区域移动至第二区域时，可以根据待检测货物在待检测视频的每一帧中的位置，得到待检测货物的运动轨迹，进而，根据运动轨迹，判断待检测货物是否从第一区域移动至第二区域。

一种实现方式中，待检测视频中包括多个待检测货物，那么，对于每一个待检测货物，都会进行跟踪，得到每一个待检测货物的运动轨迹。

若待检测视频是一段历史视频图像，那么，可以先对待检测视频的每一帧进行识别，然后，针对每个待检测货物，根据该待检测货物在待检测视频的每一帧中的位置，生成该待检测货物的运动轨迹。

若待检测视频是实时采集的视频图像，那么，可以先对待检测视频的当前帧进行识别，然后，针对识别到的每个待检测货物，根据该待检测货物在待检测视频的上一帧中的位置，实时更新该待检测货物的运动轨迹。

或者，也可以采用光流法、相似性度量算法、搜索算法等目标跟踪算法，对待检测货物进行跟踪，具体不做限定。

s104：若是，则将待检测货物作为已收银货物，得到一条收银行为记录。

进一步的，在将待检测货物作为已收银货物，得到一条收银行为记录之后，还可以获取收银扫描记录，判断收银扫描记录是否与收银行为记录相匹配，若不匹配，则输出报警信号。

这样，在待检测视频为实时采集的视频图像的情况下，可以实时进行判断，并在收银扫描记录与收银行为记录不匹配时输出报警信号，使得收银行为监控方法更具有实时性，可以直接定位到某一次异常扫描行为，而无需等待全部收银完成之后再去判断异常。

其中，收银扫描记录可以为收银台上的pos(pointofsale，销售终端)机中存储的扫描记录。可以理解，在正常情况下，每个待检测货物由第一区域到达第二区域时，中间会经过一次扫描收银，因此，pos机中存储的扫描记录是与收银行为相匹配的，也就是说，每一条收银行为记录都与唯一一条收银扫描记录对应。

这样，若出现了收银扫描记录与收银行为记录不匹配的情况，表明发生了异常，可能存在漏扫描的情况，会产生财物损失，在这种情况下，可以发出报警信号。

一种实现方式中，收银行为记录中包括收银时间，收银扫描记录中包括扫描时间。这种情况下，判断收银扫描记录是否与收银行为记录相匹配时，可以针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录中的收银时间满足预设条件的收银扫描记录，若存在，则判定收银扫描记录与该条收银行为记录相匹配，若不存在，则输出报警信号。

其中，针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间满足预设条件的收银扫描记录时，可以针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间之间的时间差在预设范围内的收银扫描记录。

举例而言，预设范围可以为120秒内，那么，若该条收银行为记录的收银时间为12:00，则需要判断是否存在扫描时间在11:59至12:01之间的收银扫描记录。若存在，则判定将收银扫描记录与该条收银行为记录相匹配，若不存在，则输出报警信号。

或者，也可以针对每条收银行为记录，判断是否存在扫描时间在目标时间范围内的收银扫描记录，目标时间范围为该条收银行为记录的收银时间与下一条收银行为记录的收银时间之间的时间范围。其中，下一条收银行为记录是指在该条收银行为记录之后采集的收银行为记录。

举例而言，若该条收银行为记录的收银时间为12:00，在该条收银行为记录之后采集的收银行为记录的收银时间为12:05，那么，需要判断是否存在扫描时间在12:00至12:05之间的收银扫描记录。若存在，则判定收银扫描记录与该条收银行为记录相匹配，若不存在，则输出报警信号。

由以上可见，本发明实施例提供的收银行为监控方法，通过对待检测视频的处理，可以对待检测货物的位置变化进行跟踪，当检测到待检测货物从第一区域移动至第二区域，则生成一条收银行为记录，这样，可以在不进行人工审核、查阅视频的情况下，对收银员的收银行为进行监控。

而且，只需要获取待检测视频，就可以利用本发明实施例提供的收银行为监控方法对收银员的收银行为进行监控，对原有收银设备的改动较小，方便应用。

如图3所示，本发明实施例还提供了一种收银行为监控装置，所述装置包括：

获取模块301，用于获取针对第一区域及第二区域采集的待检测视频；

识别模块302，用于识别所述待检测视频中的待检测货物；

跟踪模块303，用于针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域；若是，则触发记录模块304；

所述记录模块304，用于将所述待检测货物作为已收银货物，得到一条收银行为记录。

一种实现方式中，所述装置还包括：

判断模块305，用于获取收银扫描记录，判断所述收银扫描记录是否与所述收银行为记录相匹配；若不匹配，则输出报警信号。

一种实现方式中，所述判断模块305，具体用于：

获取收银扫描记录，所述收银扫描记录中包括扫描时间；

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间满足预设条件的收银扫描记录；

若存在，则判定所述收银扫描记录与该条收银行为记录相匹配；

若不存在，则执行所述输出报警信号的步骤。

一种实现方式中，所述判断模块305，具体用于：

针对每条收银行为记录，判断是否存在扫描时间与该条收银行为记录的收银时间之间的时间差在预设范围内的收银扫描记录；或

针对每条收银行为记录，判断是否存在扫描时间在目标时间范围内的收银扫描记录，所述目标时间范围为该条收银行为记录的收银时间与下一条收银行为记录的收银时间之间的时间范围。

一种实现方式中，所述识别模块302，具体用于：

针对所述待检测视频的每一帧，将该帧输入至预先训练得到的神经网络模型中，得到该帧中的待检测货物在该帧中的位置。

一种实现方式中，所述跟踪模块303，具体用于：

根据所述待检测货物在所述待检测视频的每一帧中的位置，得到所述待检测货物的运动轨迹；

根据所述运动轨迹，判断所述待检测货物是否从所述第一区域移动至所述第二区域。

由以上可见，本发明实施例提供的收银行为监控装置，通过对待检测视频的处理，可以对待检测货物的位置变化进行跟踪，当检测到待检测货物从第一区域移动至第二区域，则生成一条收银行为记录，这样，可以在不进行人工审核、查阅视频的情况下，对收银员的收银行为进行监控。

本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，

存储器403，用于存放计算机程序；

处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：

获取针对第一区域及第二区域采集的待检测视频；

识别待检测视频中的待检测货物；

针对每个待检测货物，对该待检测货物进行跟踪，判断该待检测货物是否从所述第一区域移动至所述第二区域；

若是，则将待检测货物作为已收银货物，得到一条收银行为记录。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

由以上可见，本发明实施例提供的收银行为监控方法，通过对待检测视频的处理，可以对待检测货物的位置变化进行跟踪，当检测到待检测货物从第一区域移动至第二区域，则生成一条收银行为记录，这样，可以在不进行人工审核、查阅视频的情况下，对收银员的收银行为进行监控。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的收银行为监控方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的收银行为监控方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。