无人结算场景中异常检测方法、装置及设备与流程

本说明书涉及数据处理领域，尤其涉及无人结算场景中异常检测方法、装置及设备。

背景技术：

随着科技的发展，无人结算场景越来越多的应用到日常生活中，例如无人商店、无人商场等。在顾客选购商品后，可以进入指定的检测区域进行自动检测和结算。在检测区域内，中控系统可以自动检测顾客所购商品，并将商品信息传送至支付平台，完成自动结算操作。然而，在检测区域内，可能发生异常事件而给商家或顾客造成损失等。因此，需要在无人结算场景中提供一种有效的异常检测方案。

技术实现要素：

为克服相关技术中存在的问题，本说明书提供了无人结算场景中异常检测方法、装置及设备。

根据本说明书实施例的第一方面，提供一种无人结算场景中异常检测方法，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法包括：

获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

在一个实施例中，所述人数检测的步骤包括：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。

在一个实施例中，所述深度图像和rgb图像是深度摄像设备在同一时刻采集同一场景获得，所述手势检测的步骤包括：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；

结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。

在一个实施例中，所述结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势，包括：

对深度图像中表征独立人体的连通区域进行人体手部定位；

若获得手部区域，则对rgb图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；

若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应rgb图像的独立人体区域，对rgb图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。

在一个实施例中，所述方法还包括以下一种或多种方式：

利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；

利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。

根据本说明书实施例的第二方面，提供一种无人结算场景中异常检测装置，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述装置包括：

数据获取模块，用于：获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

异常检测模块，用于：利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

异常处理模块，用于：基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

在一个实施例中，所述异常检测模块用于：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。

在一个实施例中，所述深度图像和rgb图像是深度摄像设备在同一时刻采集同一场景获得，所述异常检测模块用于：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；

结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。

在一个实施例中，所述异常检测模块具体用于：

对深度图像中表征独立人体的连通区域进行人体手部定位；

若获得手部区域，则对rgb图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；

若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应rgb图像的独立人体区域，对rgb图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。

根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，其中，所述处理器执行所述程序时实现如下方法：

获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和rgb图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像和rgb图像判断检测区域的人数是否异常或人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测方法的流程图。

图2是本说明书根据一示例性实施例示出的另一种无人结算场景中异常检测方法的流程图。

图3是本说明书根据一示例性实施例示出的一种异常检测方法的应用场景示意图。

图4是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置所在计算机设备的一种硬件结构图。

图5是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着移动支付技术的不断深化，当无人超市的出现，则由于其具有“无人值守”以及顾客完全自主结算的特点，彻底颠覆了传统的零售模式。在顾客选购商品后，可以进入检测区域进行商品检测，进而实现自动结算，例如，进入“支付门”进行结算。然而正由于“无人值守”的特点，在检测区域内，可能出现顾客将商品举起以避免商品被检测到的情况，又或者，可能出现将其他顾客所购商品识别为当前顾客所购商品等异常情况。

鉴于此，本说明书实施例提供一种无人结算场景中异常检测方案，通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和rgb图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像和rgb图像判断检测区域的人数是否异常或人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。

以下结合附图对本说明书实施例进行示例说明。

如图1所示，是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测方法的流程图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法可以包括：

在步骤102中，获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

在步骤104中，利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

在步骤106中，基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

在该实施例中，无人结算场景可以是没有人工进行商品结算的场景，例如，无人超市、无人商店、无人商场等场景。在一个实施例中，顾客可以到检测区域内完成商品检测操作，中控系统可以将检测结果发送至支付平台，由支付平台完成结算操作。例如，进入支付门所指示的检测区域完成商品检测，进而完成商品结算操作。在一个实施例中，支付门可以是拥有至少一道门的支付通道，商品检测可以在该通道内完成，而商品结算操作可以在该通道内完成，也可以不在该通道内完成。例如，一种实现方式中，在结算完成后，才控制门打开，对顾客进行放行。另一种实现方式中，由于预先对顾客的支付账户进行关联，因此在对商品检测完成后即可控制门打开，后续执行结算操作，而无需等到结算流程结束。因此，支付通道又可以称为检测通道。在一个例子中，支付通道可以是封闭式的。而在另一个例子中，为了提高用户体验，支付通道也可以不是封闭式的。

本说明书实施例方法可以应用在无人结算场景中。在一个实施例中，所述方法可以应用于设置在支付通道的嵌入式开发板中，嵌入式开发板可以具有gpu运算功能，实现异常检测和商品检测的一体化。进一步的，还可以采用模型压缩的方式，减少嵌入式开发板的计算量。

在本实施例的无人结算场景中，设有拍摄区域至少包括检测区域的深度摄像设备。深度摄像设备可以是能采集深度图像和rgb图像的摄像设备。深度图像的每个像素点值可用于表征场景中某一点距离摄像设备的距离，该像素值又可以称为该像素点的深度值或深度信息。不同的深度摄像设备可以采用不同的深度图像获取方法。例如，可以利用由双rgb摄像头组成的深度摄像设备，采用双目匹配法获得深度图像。又如，可以利用由一个rgb摄像头+结构光头投射器(红外)+结构光深度感应器构成的深度摄像设备，采用结构光检测法获得深度图像。应当理解的是，还可以采用其他深度摄像设备以及其他获取深度图像的方法，在此不一一赘述。

深度摄像设备的拍摄区域至少包括检测区域，可以基于该目的将深度摄像设备设置在与支付通道关联的位置处。在一个实施例中，可以将深度摄像设备设置在支付通道的末端、并以能拍摄到检测区域为标准而设置深度摄像设备，以实现顾客从支付通道首端走向末端时，深度图像中用于指示顾客的深度值越来越小。

为了能利用图像数据对进入检测区域的人体对象进行检测，可以预先对检测区域进行标定，以确定实际场景中检测区域与图像的关系。在一个实施例中，可以根据检测设置在检测区域边界的指定对象，标定检测区域对应在图像中的区域。例如，将指定对象设置在实际场景中检测区域的边界处，以界定检测区域的边界。从深度摄像设备中获取深度图像和rgb图像，利用rgb图像进行图像识别以检测指定对象在图像中的区域，利用深度图像获取指定对象的深度值，从而完成检测区域的自动标定。在一个实施例中，指定对象可以是方形板，以降低检测难度。

在本说明书实施例中，可以利用图像数据对进入检测区域的人体对象进行检测，以判断是否发生异常事件，并在发生异常事件时进行报警以及停止商品检测。异常事件可以据具体应用场景而定，基于不同的异常事件，配置不同的预设异常条件。

在一个实施例中，为了避免误将其他顾客的商品识别为当前顾客的商品，可以限制进入检测区域的人数。异常条件可以包括：进入检测区域的人体对象的人数大于预设人数阈值。相应的，在进入检测区域的人体对象的人数大于预设人数阈值时，判定发生异常事件。预设人数阈值根据应用场景所配置的设备而定。在一个例子中，预设人数阈值可以为1，从而实现限制进入检测区域的人数为1，在人数大于1时，停止商品检测，并进行报警。

关于人数检测，人数检测可以基于对从深度摄像设备获取的深度图像进行检测获得。例如，基于深度图像，进行运动行人检测、行人分割，以获得检测区域内的人数。以下以一种具体实现手段进行示例说明，人数检测的步骤可以包括：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。

其中，背景建模可以是动态不断更新的过程，可以不断的读取数据并重新进行背景建模。例如，采用上一次更新获得的背景模型判断检测区域是否有人，定时获取无人图像、并利用高斯背景建模的方式对上一次更新的背景模型进行更新。其中，初始背景模型基于采集的无人图像初始化获得。

将当前获取的深度图像(当前帧的深度图像)与背景模型进行比较，可以从当前帧深度图像中获取用于表示运动对象的前景图像。例如，对比当前帧的深度图像和背景图像，计算二者在每个相对应的像素点的差，并找出差值满足一定条件的各个像素点的位置坐标，从而获得前景图像。

在该实施例中，可以通过深度视频完成背景建模的过程，当有物体进入检测区域，可以将有变化的运动对象视为运动前景，再通过图像识别技术判断运动对象是否为人体。

由于同一个人的深度值往往比较接近，而同一个个体又具有连通性，因此，可以结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得检测区域内的人数。连通区域(connectedcomponent)可以是指图像中具有相近像素值且位置相邻的前景像素点组成的图像区域(region，blob)。连通区域分析可以是指将图像中的各个连通区域找出并标记。

在一个例子中，可以采用领域判断来对前景图像进行连通区域分析。判断一个像素点的领域位置上各个像素点是否与该像素点的性质相似，并把这些性质相似的像素点归为同一整体。本实施例中，性质相似可以是指深度值相近。

由上述实施例可见，本实施例通过背景建模的方式提取前景图像，在判定前景图像中运动对象为人体对象时，结合深度图像中的深度值对前景图像进行连通区域分析，实现人体分割，相对于用rgb图像进行人体分割而言，能快速获得检测区域内的人数，减少运算量。

在另一个实施例中，顾客可能为了逃单而执行某些异常行为，特别是异常手势，因此可以检测进入检测区域内人体的手势，在进入检测区域的人体对象的手势为预设异常手势时，判定发生异常事件。预设异常手势可以视商品检测装置可检测范围而定，例如，可以将能避开检测装置可检测范围的手势确定为预设异常手势。如，预设异常手势可以是举手手势或将手抬高手势等，以实现在顾客执行异常手势时可以避免商品被监测。在某些场景中，异常手势还可以按左右手进行区分，以实现不同手执行相同手势时判定结果不同。其中，左右手的异常手势可以视具体场景而定。

关于手势检测，手势检测可以基于对从深度摄像设备获取的深度图像和rgb图像进行检测获得。其中，所述深度图像和rgb图像是深度摄像设备在同一时刻采集同一场景获得。深度图像和rgb图像是以不同数据反应同一场景的图像，深度图像采用深度值反应场景中某一点距离摄像设备的距离。在一个例子中，基于深度图像和rgb图像，进行运动行人检测、行人分割、人体手部定位和截取以及手势识别，以获得检测区域内行人的手势。以下以一种具体实现手段进行示例说明，手势检测的步骤可以包括：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；

结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。

其中，前景图像获取、人体对象判断以及连通区域分析等与人数检测中相关技术相同，在此不一一赘述。该实施例采用深度图像获得表征独立人体的连通区域，相较于采用rgb图像获得表征独立人体的连通区域，可以节约运算量。

本实施例在通过深度图像获得表征独立人体的连通区域后，可以结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。在获得连通区域后，可以结合rgb图像和深度图像进行手势识别。例如，利用深度图像确定手部区域的置信度，若置信度大于预设阈值，则将深度图像中手部区域映射到rgb图像中，对rgb图像中与手部区域相对应区域进行手势判断。若无法通过深度图像判断出手部区域，则将深度图像中连通区域映射到rgb图像上，通过rgb图像判断手部区域以及手势。具体的，所述结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势，可以包括：

对深度图像中表征独立人体的连通区域进行人体手部定位；

若获得手部区域，则对rgb图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；

若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应rgb图像的独立人体区域，对rgb图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。

在该实施例中，可以通过人体分割的信息获取每个人体单独的深度连通区域，并且通过单独人体的深度信息获取相对于人体前端的手部区域，最后通过前端区域与身体区域的相对位置进行左右手的判断和截取，从而获得手部区域。使用在深度图像中获取的手部区域的位置，在rgb图像中的相应区域进行手部截取，获得手部图像。对手部图像进行手部骨骼形态识别，获取手部骨骼的形态，并在此基础上进行手势识别。例如，可以通过手部骨骼检测方法获取手部的骨架，然后通过手部骨架中五个手指骨架的形状判别，实现手部动作的识别。

由上述实施例可见，先利用深度图像获得手部区域，再对rgb图像中与手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势，可以减少计算量。

应当理解的是，异常条件还可以包括其他条件，例如，进入检测区域的人体对象的人体姿态为预设异常姿态，因此，所述检测还可以包括人体姿态检测，针对其他情况在此不一一赘述。

在预设异常条件满足时，可以通知中控系统停止商品检测，并触发报警操作。商品检测是结算操作的前序工作，因此，在商品检测中断时，结算操作也中断。其中，中控系统可以是结算前对商品进行检测的系统。对商品进行检测，可以包括识别商品，获得商品数量、价格等用于结算所需的商品信息。例如，可以采用射频识别radiofrequencyidentification，rfid)技术读取商品上的电子标签，以获得用于结算所需的商品信息。当然，也可以采用其他手段对商品进行检测，以获得用于结算所需的商品信息，在此不做限制。报警操作可以由本执行端通过中控系统进行触发，也可以由本执行端直接通知报警模块进行报警操作。

由上述实施例可见，本实施例通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和rgb图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像判断检测区域的人数是否异常，或，利用深度图像和rgb图像判断检测区域内人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。

为了避免中控系统实时检测导致资源浪费，在一个实施例中，可以利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测。

在该实施例中，当检测区域从无人体对象到有人体对象时，可以开启商品检测功能。可见，在有人体对象进入无人体对象的检测区域时才触发商品检测操作，可以实现自动开启商品检测功能。

在另一个实施例中，可以利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。

在该实施例中，当人体对象离开检测区域、且没有其他人进入检测区域时，可以关闭商品检测功能。进一步的，若当前人体对象离开检测区域后的预设时间段内，若未存在其他人体对象进入检测区域时，则可以通知中控系统停止商品检测。

可见，通过深度图像可以自动关闭商品检测功能，避免中控系统实时检测导致资源浪费。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

以下以其中一种组合进行示例说明。

如图2所示，是本说明书根据一示例性实施例示出的另一种无人结算场景中异常检测方法的流程图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法包括：

在步骤202中，获取深度摄像设备在同一时刻采集同一场景的深度图像和rgb图像。

其中，深度摄像设备可以处于常开状态，或在指定工作时间段处于常开状态。例如，指定工作时间可以是无人商店的营业时间。

在步骤204中，利用所述深度图像进行运动行人检测，若检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；若检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。

在一个例子中，可以根据背景模型和当前获取的深度图像，从深度图像中获取用于表示运动对象的前景图像，利用所述前景图像判断运动对象是否为人体对象。

在步骤206中，对运动行人检测结果进行行人分割，获得表征独立人体的连通区域以及进入检测区域的人体对象的人数，并结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。

其中，可以结合深度图像中的深度值对所述前景图像进行连通区域分析，以进行行人分割。

在步骤208中，若进入检测区域的人体对象的人数大于预设人数阈值，则通知中控系统停止商品检测，并触发报警操作。

在步骤210中，若进入检测区域的人体对象的手势为预设异常手势，则通知中控系统停止商品检测，并触发报警操作。

其中，图2与图1中相关技术相同，在此不一一赘述。

在该实施例中，通过深度图像实现运动行人检测、行人分割，结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势，可以减少计算量；并且可以自动控制商品检测功能的开启和关闭，避免商品检测功能处于常开状态导致的资源浪费，而且可以在检测区域内人数异常以及人体手势异常时，通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。

本说明书实施例还以一种具体应用场景为例对无人结算场景中异常检测方案进行示例说明。如图3所示，是本说明书根据一示例性实施例示出的一种异常检测方法的应用场景示意图。在该实施例中，支付通道可以是非封闭式的，深度摄像设备可以是设置在支付通道末端的rgbd摄像头。支付通道所在区域为检测区域。由于可以实时从rgbd摄像头中获取深度图像和rgb图像，因此，可以利用深度图像判断是否有顾客走入检测区域，若是，则可以通知中控系统开启商品检测功能。利用深度图像和rgb图像判断是否发生异常事件，在发生异常事件时，阻止中控系统检测顾客所持商品，并触发报警操作，避免异常事件导致的利益冲突。若未发生异常事件，中控系统可以继续进行商品检测，并将获得的商品信息传送至支付平台，利用支付平台完成结算操作。例如，在检测区域内存在多个顾客时，可以控制中控系统停止检测顾客所持商品，并触发报警操作。顾客在检测区域内执行异常手势时，可以控制中控系统停止检测顾客所持商品，并触发报警操作。支付通道末端还可以设置阀门，在检测完成，或者结算完成时，打开阀门，对顾客进行放行。

与前述无人结算场景中异常检测方法的实施例相对应，本说明书还提供了无人结算场景中异常检测装置及其所应用的电子设备的实施例。

本说明书无人结算场景中异常检测装置的实施例可以应用在计算机设备，计算机设备可以具有gpu运算功能。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书无人结算场景中异常检测装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中无人结算场景中异常检测装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图5所示，是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置的框图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述装置包括：

数据获取模块52，用于：获取深度摄像设备中的图像数据，所述图像数据可以包括深度图像和rgb图像；

异常检测模块54，用于：利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

异常处理模块56，用于：基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

在一个实施例中，所述异常检测模块54用于：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。

在一个实施例中，所述深度图像和rgb图像是深度摄像设备在同一时刻采集同一场景获得，所述异常检测模块54用于：

根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；

若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；

结合深度图像中的连通区域、以及rgb图像中与连通区域相应的区域，确定人体对象的手势。

在一个实施例中，所述异常检测模块54具体用于：

对深度图像中表征独立人体的连通区域进行人体手部定位；

若获得手部区域，则对rgb图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；

若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应rgb图像的独立人体区域，对rgb图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。

在一个实施例中，所述异常处理模块56，还用于执行以下一种或多种处理：

利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；

利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，其中，所述处理器执行所述程序时实现如下方法：

获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：

获取深度摄像设备中的图像数据，所述图像数据包括深度图像和rgb图像；

利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，

基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。

本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。