自动跟踪购物车的制作方法

本发明涉及人工智能领域，具体地涉及一种自动跟踪购物车。

背景技术：

目前，在超市购物时，购物者需要手动推动购物车行走。然而，对于购物者来讲，在仔细挑选、比较品目繁多的货物时照顾购物车并不方便。这一不便对于某些特定的环境或特定的人群更为严重，比如，对于年长的购物者，推动装有大量货物的购物车并且灵活地控制购物车的平移和转动并不容易，稍不注意可能会对身体造成伤害。为了改善购物体验并提高特定购物场景的安全性，需要对现有的购物车进行改进。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提出了一种自动跟踪购物车。

根据本发明的一个方面，提出了一种自动跟踪购物车。所述自动跟踪购物车包括自动跟踪设备，其固定于车体上，用于控制购物车的移动，以跟踪目标对象。具体地，所述自动跟踪设备包括：图像采集单元，用于采集视野的彩色图像和深度图像；处理单元，用于根据所采集的彩色图像和深度图像，识别出目标对象，并根据目标对象的位置和/或移动，确定购物车的运动参数；购物车驱动单元，基于所确定的运动参数，驱动所述购物车进行移动。

在一个实施例中，所述处理单元包括：目标确定模块，基于所采集的彩色图像和深度图像，确定目标对象在所述彩色图像中的目标特征和目标对象在所述深度图像中的目标深度；图像分析模块，基于前一帧中所确定的目标特征和目标深度，从当前帧的彩色图像和深度图像确定所述目标对象的当前深度；驱动计算模块，基于所计算出的当前深度，确定购物车的运动参数。

在一个实施例中，所述自动跟踪购物车还包括控制台，该控制台用于接收用户输入的指令，以及，所述目标确定模块被配置为：根据通过所述控制台接收到的关于需要确定新的目标对象的指令，将所采集的彩色图像中距离购物车最近的人体目标确定为所述目标对象。

在一个实施例中，所述目标确定模块被配置为：当所述图像分析模块从当前帧的彩色图像和深度图像确定所述目标对象的当前深度成功时，将所述当前深度作为下一帧时所使用的目标深度。

在一个实施例中，所述目标确定模块被配置为：当所述图像分析模块从当前帧的彩色图像和深度图像确定所述目标对象的当前深度失败时，将所采集的彩色图像中具有与前一帧中所确定的目标特征最匹配的目标特征的人体目标重新确定为所述目标对象。

在一个实施例中，所述目标确定模块被配置为：计算当前所采集的彩色图像中的各个人体目标的直方图；将所述各个人体目标的直方图与前一帧中确定的目标对象的直方图进行匹配，确定各个人体目标的匹配值；以及将具有高于基准匹配值的最高匹配值的人体目标重新确定为目标对象。

在一个实施例中，所述目标确定模块被配置为：如果所确定的各个匹配值均低于所述基准匹配值，则调整所述图像采集单元的采集方向，并重新采集彩色图像和深度图像。

在一个实施例中，所述自动跟踪设备还包括警报单元，以及所述目标确定模块还被配置为：如果针对重新采集的彩色图像和深度图像仍然无法确定出具有高于基准匹配值的最高匹配值的人体目标，则触发所述警报单元。

在一个实施例中，图像分析模块被配置为：基于当前帧的彩色图像和深度图像计算背景投影图；基于所述目标深度，从计算出的背景投影图中截取预定深度范围图；对所述预定深度范围图进行膨胀和均值滤波处理；以及确定出所述目标对象的当前深度。

在一个实施例中，所述驱动计算模块被配置为：基于所计算出的当前深度，确定目标对象与购物车的当前距离，当所述当前距离大于基准距离时才触发所述购物车驱动单元驱动所述购物车。

在一个实施例中，所述运动参数包括所述购物车在下一时间周期内的平均速度，所述平均速度是基于以下公式确定的：

在一个实施例中，所述自动跟踪设备还包括：存储器，用于存储所述彩色图像、所述深度图像、所述目标特征和/或所述目标深度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，图中：

图1示出了根据本发明实施例的一种示例自动跟踪购物车100的结构图。

图2示出了图1所示的自动跟踪购物车100中的处理单元120的示例结构框图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

以下参考附图对本发明进行具体描述。

图1示出了根据本发明实施例的一种示例自动跟踪购物车100的结构图。

如图1所示，所述自动跟踪购物车100包括自动控制设备，所述自动控制设备由图像采集单元110、处理单元120和购物车驱动单元130组成，构成自动控制设备的这些组成部件均固定于车体上，它们用于控制购物车移动，以跟踪目标对象。

在图1中，在购物车车身的不同位置示出了图像采集单元110、处理单元120和购物车驱动单元130，即所述自动控制设备由分离的组件构成。但应该理解的是，图1中所示的结构只是本发明的一种示例结构，其并不用于限制本发明的范围。在其他实施例中，可以将图像采集单元110、处理单元120和购物车驱动单元130实现为集成的自动控制设备，即所述自动控制设备形成为单个实体设备。

在图1中，所述图像采集单元110与所述处理单元120之间通过无线连接进行通信，所述处理单元120与所述购物车驱动单元130之间通过有线连接进行通信。同样，应该理解的是，图1中所示的连接方式指示本发明的一种示例。在其他实施例中，所述图像采集单元110与所述处理单元120之间以及所述处理单元120与所述购物车驱动单元130之间可采用任何适当的连接方式进行连接，比如无线通信方式，例如，WiFi、以太网、蓝牙、移动网络等。

除了图像采集单元110、处理单元120和购物车驱动单元130之外，所示自动跟踪购物车100还包括控制台(未示出)。所述控制台可以通过具有输入功能的常规电子设备来实现，例如，键盘、鼠标、触摸屏、移动电话、平板计算机、麦克风设备等。用户可以通过在控制台进行输入、选择等操作来控制所述自动跟踪购物车100进入不同的模式，比如注册、跟踪、待机、关机等，并可以在不同的模式中控制所述自动跟踪购物车100实现不同的操作。

常规购物车中所具有的结构和部件，比如，车身、扶手、车轮(例如，万向轮)、箱体等，在此不再对这些部件和结构进行赘述。

所示图像采集单元110用于采集视野的彩色图像和深度图像。在一个实施例中，所述图像采集单元110为RGB-D摄像头。

所述处理单元120用于根据所采集的彩色图像和深度图像，识别出目标对象，并根据目标对象的位置和/或移动，确定所述购物车100的运动参数。下文将结合图2对处理单元120进行详细描述。

所述购物车驱动单元130被配置为基于所确定的运动参数来驱动所述购物车100进行移动。在一个实施例中，所述购物车驱动单元130包括电池、Arm控制板、电机驱动器、电机(例如，直流无刷电机)等。

在一个实施例中，所述自动跟踪设备还包括存储器。所述存储器用于存储如下文所述的彩色图像、深度图像、目标特征和/或目标深度等。

图2示出了图1所示的自动跟踪购物车100中的处理单元120的示例结构框图。

如图2所示，所述处理单元120包括目标确定模块210、图像分析模块220和驱动计算模块230。具体地，所述目标确定模块210用于基于所采集的彩色图像和深度图像，确定目标对象在所述彩色图像中的目标特征和目标对象在所述深度图像中的目标深度。所述图像分析模块220用于基于前一帧中所确定的目标特征和目标深度，从当前帧的彩色图像和深度图像确定所述目标对象的当前深度。所述驱动计算模块230用于基于所计算出的当前深度，确定购物车的运动参数。

所述目标确定模块210获得所采集的彩色图像和深度图像，并确定目标对象体现在彩色图像中的目标特征。所述目标特征可以是例如目标对象的轮廓、颜色、特定维度的尺寸等。

在初次使用(即，注册模式下)时(定义为第1帧)，需要首先对目标对象进行识别，并进而确定所述目标特征。在一个实施例中，用户通过控制台输入关于需要确定新的目标对象的指令，所述目标确定模块210根据通过所述控制台接收到的关于需要确定新的目标对象的指令，通过结合所采集的彩色图像和深度图像，将所采集的彩色图像中距离购物车最近的人体目标确定为所述目标对象。

在注册后的跟踪过程中(即，第2帧、第3帧…)，目标确定模块210采用前一帧中确定的目标特征作为该帧中使用的目标特征。在一个实施例中，如果在该帧中发生跟踪失败的情况，可能会对目标特征进行更新或修正，则在下一帧中将当前帧中更新的目标特征确定为下一帧中使用的目标特征。

所述目标确定模块210还确定目标对象体现在所述深度图像中的目标深度。

在注册模式下，对目标对象进行识别，通过图像采集单元110采集的深度图像可以确定所述目标对象的当前深度(初始深度)，即在当前注册帧中确定的目标深度(用于下一帧)。

在随后的各个帧中，目标确定模块210将前一帧中确定出的“当前”深度作为当前帧中的目标深度使用。该目标深度相当于用于确定目标对象在当前帧中已经行进到的实际深度的初始值，从而结合下文中描述的算法，实现本发明的技术方案。

在确定了所述目标深度后，所述图像分析模块220用于从当前帧的彩色图像和深度图像中确定所述目标对象的当前深度。具体地，这一过程可包括以下步骤：

基于当前帧的彩色图像和深度图像计算背景投影图，背景投影图可以理解为将彩色图像与深度图像结合起来得到的三维图像，即根据深度图像中的深度值向二维彩色图像中的各个对象赋予第三维度的数值，从而形成三维图像；

基于所述目标深度，从计算出的背景投影图中截取预定深度范围图，比如目标深度前后各m厘米的深度范围的图像，m的取值范围可以根据需要进行设定，例如，m∈[5,20]；

对所述预定深度范围图进行膨胀和均值滤波处理；以及

确定出所述目标对象的当前深度。

在一个实施例中，对所述目标对象的当前深度的确定可以是利用连续自适应均值漂移(Camshift)算法实现的。

所述驱动计算模块230用于基于所计算出的当前深度，确定购物车的运动参数。所述运动参数包括所述购物车在下一时间周期内的平均速度，所述平均速度是基于以下公式确定的：其中，T为时间周期的时间间隔，Δl₁为当前时间周期开始时购物车与目标对象之间的距离，Δl₂为当前时间周期结束时购物车与目标对象之间的距离，L为购物车在当前时间周期中行走的距离。

在一个实施例中，所述驱动计算模块230被配置为只有当所述当前距离大于基准距离时才触发所述购物车驱动单元130驱动所述购物车。

在使用所述自动跟踪购物车100的过程中，还可能出现图像分析模块220从当前帧的彩色图像和深度图像确定所述目标对象的当前深度失败的情况，此时，需要重新确定目标对象。

在一个实施例中，所述目标确定模块210当所述图像分析模块220从当前帧的彩色图像和深度图像确定所述目标对象的当前深度失败时，将所采集的彩色图像中具有与前一帧中所确定的目标特征最匹配的目标特征的人体目标重新确定为所述目标对象。

在一些实施例中，所述将所采集的彩色图像中具有与前一帧中所确定的目标特征最匹配的目标特征的人体目标重新确定为所述目标对象包括：计算当前所采集的彩色图像中的各个人体目标的直方图；将所述各个人体目标的直方图与前一帧中确定的目标对象的直方图进行匹配，确定各个人体目标的匹配值；以及将具有高于基准匹配值的最高匹配值的人体目标重新确定为目标对象。

当所确定的各个匹配值均低于所述基准匹配值时，所述处理单元120通知所述图像采集单元110调整其图像采集方向，并在方向调整后，重新采集彩色图像和深度图像。然后，所述处理单元120基于重新采集的彩色图像和深度图像，再次执行上述过程。

当针对重新采集(或多次重新采集，比如三次)的彩色图像和深度图像仍然无法确定出具有高于基准匹配值的最高匹配值的人体目标时，处理单元120不再通知图像采集单元110调整采集方向，而是触发购物车100上设置的警报单元进行报警，以便通知用户重新进行注册。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了自动跟踪购物车的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。