一种物品跟踪方法及装置与流程

本发明涉及计算机视觉领域，尤其涉及一种物品跟踪方法及装置。

背景技术：

随着计算机技术的飞速发展，计算机视觉技术作为可以弥补人类视觉的短板的技术成为重点研究项目之一。计算机视觉是融合了图像处理、计算机图形学、模式识别、人工智能、人工神经网络、物理学以及数据等领域的具有多交叉性的学科。

利用计算机视觉技术可以研究运动目标的规律，也可以为决策报警提供语义和非语义的信息支持。例如，运动检测、物品跟踪以及行为理解等。因此，计算机视觉不仅可以应用在科学技术、航空航天以及医药卫生等领域，也可以广泛应用到生活和工作领域。而物品跟踪作为计算机视觉技术的一个重要的研究分支，具有极大的实用价值和广阔发展前景。

技术实现要素：

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种物品跟踪方法及装置，技术方案如下：

一种物品跟踪方法，包括：

识别第一时刻采集的第一图像中的至少一个物品；

根据所述第一图像，确定识别的所述第一图像中的至少一个物品的位置信息；

将所述第一时刻分别与从所述第一图像中识别到的各物品的位置信息对应保存，并分别作为从所述第一图像中识别到的各物品的轨迹点；

识别第二时刻采集的第二图像中的至少一个物品；

根据所述第二图像，确定识别的所述第二图像中至少一个物品的位置信息；

将所述第二时刻分别与从所述第二图像中识别到的各物品的位置信息对应保存，并分别作为从所述第二图像中识别到的各物品的轨迹点；

确定从所述第一图像中识别到的各物品和从所述第二图像中识别到的各物品中的同一物品，将所述同一物品的各轨迹点确定为所述同一物品的至少部分轨迹。

可选的，所述确定从所述第一图像中识别到的各物品和从所述第二图像中识别到的各物品中的同一物品，包括：

根据第一物品在所述第一图像中的第一图像特征和第二物品在所述第二图像中的第二图像特征，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品；

和/或，

根据第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品。

可选的，所述确定从所述第一图像中识别到的各物品和从所述第二图像中识别到的各物品中的同一物品，包括：

当根据所述第一图像及所述第一图像之后的至少一个图像确定第一物品被移动时，根据所述第一物品在所述第一图像中的第一图像特征和第二物品在所述第二图像中的第二图像特征，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品；

和/或，

当根据所述第一图像及所述第一图像之后的至少一个图像确定第一物品未被移动时，根据所述第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品。

可选的，所述第一位置标记和所述第二位置标记均为外接矩形框，所述根据所述第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记，确定所述第一物品和所述第二物品是否为同一物品，包括：

根据所述第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记的交并比，确定所述第一物品和所述第二物品是否为同一物品。

可选的，所述方法还包括：

当从所述第二图像中识别到的各物品中不存在第三物品时，将所述第三物品识别为丢失物品，其中，所述第三物品为从所述第一图像中识别到的一个物品；

或者，当从所述第二图像及所述第二图像之后采集的预设数量的图像中识别到的各物品中均不存在第三物品时，将所述第三物品识别为丢失物品，其中，所述第三物品为从所述第一图像中识别到的一个物品。

可选的，所述方法还包括：

当从所述第一图像中识别到的各物品中不存在第四物品时，将所述第四物品识别为新增物品，其中，所述第四物品为从所述第二图像中识别到的一个物品；

或者，当从所述第一图像及所述第一图像之前采集的预设数量的图像中识别到的各物品中均不存在第四物品时，将所述第四物品识别为新增物品，其中，所述第四物品为从所述第二图像中识别到的一个物品。

可选的，根据所述第一图像及所述第一图像之后的至少一个图像确定第一物品是否被移动的过程，包括：

当所述第一物品被遮挡时，获得所述第一物品在所述第一图像中的第一物品图像，其中，所述第一图像为所述第一物品未被遮挡前采集的图像，所述第一物品图像位于所述第一图像中的第一区域；

获得所述第一物品在所述第二图像中的第二物品图像，其中，所述第二图像为所述第一物品不再被遮挡后采集的图像，所述第二物品图像位于所述第二图像中的所述第一区域；

根据所述第一物品图像和所述第二物品图像确定所述第一物品在遮挡期间是否被移动。

一种物品跟踪装置，包括：第一物品识别单元、第一位置信息确定单元、第一位置信息保存单元、第二物品识别单元、第二位置信息确定单元、第二位置信息保存单元以及物品轨迹确定单元，

所述第一物品识别单元，用于识别第一时刻采集的第一图像中的至少一个物品；

所述第一位置信息确定单元，用于根据所述第一图像，确定识别的所述第一图像中的至少一个物品的位置信息；

所述第一位置信息保存单元，用于将所述第一时刻分别与从所述第一图像中识别到的各物品的位置信息对应保存，并分别作为从所述第一图像中识别到的各物品的轨迹点；

所述第二物品识别单元，用于识别第二时刻采集的第二图像中的至少一个物品；

所述第二位置信息确定单元，用于根据所述第二图像，确定识别的所述第二图像中至少一个物品的位置信息；

所述第二位置信息保存单元，用于将所述第二时刻分别与从所述第二图像中识别到的各物品的位置信息对应保存，并分别作为从所述第二图像中识别到的各物品的轨迹点；

所述物品轨迹确定单元，用于确定从所述第一图像中识别到的各物品和从所述第二图像中识别到的各物品中的同一物品，将所述同一物品的各轨迹点确定为所述同一物品的至少部分轨迹。

可选的，所述物品轨迹确定单元，具体用于根据第一物品在所述第一图像中的第一图像特征和第二物品在所述第二图像中的第二图像特征，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品；

和/或，

所述物品轨迹确定单元，具体用于根据第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品。

可选的，所述物品轨迹确定单元，具体用于当根据所述第一图像及所述第一图像之后的至少一个图像确定第一物品被移动时，根据所述第一物品在所述第一图像中的第一图像特征和第二物品在所述第二图像中的第二图像特征，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品；

和/或，

所述物品轨迹确定单元，具体用于当根据所述第一图像及所述第一图像之后的至少一个图像确定第一物品未被移动时，根据所述第一物品在所述第一图像中的第一位置标记和第二物品在所述第二图像中的第二位置标记，确定所述第一物品和所述第二物品是否为同一物品，其中，所述第一物品为从所述第一图像中识别到的一个物品，所述第二物品为从所述第二图像中识别到的一个物品。

借由上述技术方案，本发明提供的一种物品跟踪方法及装置，本发明实施例提供的一种物品跟踪方法，可以通过识别不同时刻采集的不同图像上的同一物品且确定该物品的位置信息，将该物品在不同时刻采集的图像上的位置信息作为该物品的轨迹点得到该物品的至少部分轨迹，从而实现对该物品进行跟踪。本发明实施例通过物品在图像上的位置信息作为轨迹点对物品进行跟踪，可以减小对物品跟踪过程的延迟，使得物品跟踪过程更加流畅，实现良好的物品跟踪效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种物品跟踪方法的流程示意图；

图2示出了本发明实施例提供的一种预设位置标记的示意图；

图3示出了本发明实施例提供的另一种物品跟踪方法的流程示意图；

图4示出了本发明实施例提供的第一区域与第二区域的像素点对的说明示意图；

图5示出了本发明实施例提供的像素差图像的示意图；

图6示出了本发明实施例提供的一种物品跟踪装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明实施例提供的一种物品跟踪方法，可以包括：

s100、识别第一时刻采集的第一图像中的至少一个物品。

其中，第一图像可以是图像采集装置在第一时刻采集的图像。本发明实施例可以预先在图像采集装置中获得在第一时刻采集的第一图像，也可以从其他设备(如存储设备或网络侧设备)中获得在第一时刻采集的第一图像。图像采集装置可以是黑白摄像机、彩色摄像机以及红外线摄像机等。

物品可以是用户需要在图像中进行识别和跟踪的目标。例如：物品可以是苹果、盒装牛奶、洗手液以及食用油等。用户可以设置一个或多个需要进行识别和跟踪的物品。例如：若用户设置的物品为卫生纸和曲奇饼干时，本发明实施例在图像中对卫生纸和曲奇饼干进行识别。

具体的，本发明实施例可以通过预先训练好的物品识别模型对物品进行识别。物品识别模型可以是卷积神经网络模型。本发明实施例可以对物品在图像中的图像特征进行机器学习，获得物品识别模型。

s200、根据第一图像，确定识别的第一图像中的至少一个物品的位置信息。

其中，位置信息可以是物品在图像中的坐标信息，也可以是物品在图像中相对位置的信息。例如：物品的位置信息可以为货架a的第二层中间。可选的，本发明实施例在物品识别模型的机器学习中，使用预设位置标记对训练图像中的物品进行标记，使得训练好的物品识别模型在图像中识别到物品之后，使用预设位置标记对该物品进行标记，该预设位置标记在图像中的位置可以作为该物品的位置信息。可选的，预设位置标记可以是外接矩形框，也可以是位置标记点。例如：如图2所示，虚线框为预设位置标记，虚线框内为物品。

s300、将第一时刻分别与从第一图像中识别到的各物品的位置信息对应保存，并分别作为从第一图像中识别到的各物品的轨迹点。

具体的，本发明实施例可以将在同一时刻采集的同一图像中识别到的物品与该物品的位置信息一一对应进行保存。物品的位置信息可以作为对该物品进行跟踪的轨迹点。可选的，当预设位置标记为外接矩形框时，轨迹点可以是该外接矩形框的中心点。可选的，当预设位置标记为位置标记点时，该位置标记点可以为轨迹点。

s400、识别第二时刻采集的第二图像中的至少一个物品。

可选的，第二时刻与第一时刻可以是连续的两个采集时刻。可选的，第二时刻可以在第一时刻之后。可选的，第一图像和第二图像可以是在连续采集时刻采集的两个连续图像。

步骤s400的说明可参考步骤s100，此处不再进行赘述。

s500、根据第二图像，确定识别的第二图像中至少一个物品的位置信息。

步骤s500的说明可参考步骤s200，此处不再赘述。

s600、将第二时刻分别与从第二图像中识别到的各物品的位置信息对应保存，并分别作为从第二图像中识别到的各物品的轨迹点。

步骤s600的说明可参考步骤s300，此处不再赘述。

可以理解的是，虽然图1采用特定的次序描绘了各个步骤，但是这不应当理解为要求这些步骤以图1所示的特定次序或以顺序次序来执行。应当理解的是，本发明实施例中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。例如：步骤s100至步骤s300可以与步骤s400至步骤s600并行执行，步骤s400至步骤s600也可以在步骤s100至步骤s300之前执行等。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤，本发明实施例的范围在此方面不受限制。

s700、确定从第一图像中识别到的各物品和从第二图像中识别到的各物品中的同一物品，将所述同一物品的各轨迹点确定为所述同一物品的至少部分轨迹。

本发明实施例提供的一种物品跟踪方法，可以通过识别不同时刻采集的不同图像上的同一物品且确定该物品的位置信息，将该物品在不同时刻采集的图像上的位置信息作为该物品的轨迹点得到该物品的至少部分轨迹，从而实现对该物品进行跟踪。本发明实施例通过物品在图像上的位置信息作为轨迹点对物品进行跟踪，可以减小对物品跟踪过程的延迟，使得物品跟踪过程更加流畅，实现良好的物品跟踪效果。

可选的，本发明实施例可以通过第一图像中物品的图像特征和第二图像中物品的图像特征，确定第一图像和第二图像中的同一物品。

具体的，本发明实施例可以根据第一物品在第一图像中的第一图像特征和第二物品在第二图像中的第二图像特征，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

本发明实施例可以通过比较第一图像特征和第二图像特征之间的相似度，确定第一物品和第二物品是否为同一物品。

可选的，由于同一物品在不同图像上的图像特征基本相同，通过不同图像上物品的图像特征进行对比，可以确定第一图像中各物品的图像特征与第二图像中各物品的图像特征的相似度，进而将相似度大于预设相似度阈值的第一物品和第二物品确定为同一物品。可以理解的是，预设相似度阈值可以根据需要进行设置。

可选的，本发明实施例可以维护一个物品跟踪列表，在对物品进行跟踪时对物品进行管理。本发明实施例可以将在第一图像中识别到的物品的图像特征添加至该物品跟踪列表中，在识别到第二图像中的物品的图像特征之后，根据在第二图像中识别到的各物品的图像特征在该物品跟踪列表中进行查询对比，确定第一图像和第二图像中的同一物品。

本发明实施例通过物品的图像特征确定不同图像中的同一物品，利用图像特征进行对比，可以提高同一物品在不同图像中的识别准确率，准确地对物品进行跟踪。

可选的，本发明实施例可以通过第一图像中物品的位置标记和第二图像中物品的位置标记，确定第一图像和第二图像中的同一物品。

具体的，本发明实施例可以根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

本发明实施例可以在图像上对不同的物品设置不同的位置标记。例如：本发明实施例可以将苹果的位置标记设置为外接圆形框、将香蕉的位置标记设置为外接矩形框、将桃子的位置标记设置为外接三角形框，将第一图像和第二图像中具有相同位置标记的物品确定为同一物品。本发明实施例通过位置标记确定不同图像上的同一物品，可以在物品识别阶段即确定出不同图像上的同一物品，提高了确定同一物品的效率，可以及时对物品进行跟踪。

可选的，本发明实施例可以根据第一图像及第一图像之后的至少一个图像确定第一物品移动时，确定不同图像上的同一物品。

可选的，如图3所示，本发明实施例根据第一图像及第一图像之后的至少一个图像确定第一物品是否被移动的过程可以包括：

s10、当第一物品被遮挡时，获得第一物品在第一图像中的第一物品图像，其中，第一图像为第一物品未被遮挡前采集的图像，第一物品图像位于第一图像中的第一区域。

可选的，本发明实施例可以通过判断第一物品在图像上的图像区域是否与目标关联区域存在重叠区域判断该第一物品是否被遮挡。例如：当第一物品在图像上的图像区域与目标关联区域存在重叠区域，则确定第一物品被遮挡，反之，则确定该第一物品未被遮挡。

其中，目标关联区域可以是人体目标部位区域和/或人眼注视区域。

具体的，本发明实施例可以在图像中使用通过卷积神经网络训练得到的人体目标部位检测模型对图像进行人体目标部位识别，根据识别到的人体目标部位确定目标关联区域。可选的，人体目标部位可以包括耳、鼻、眼、颈、肩、肘、腕、腰、膝以及踝中的至少一个部位。

可选的，本发明实施例可以通过三维坐标系建立人体头部三维模型，结合现有的人脸识别技术，确定人体头部三维模型中人体眼部的朝向，进而确定人眼注视区域，从而确定人眼注视区域标记的位置。

s20、获得第一物品在第二图像中的第二物品图像，其中，第二图像为第一物品不再被遮挡后采集的图像，第二物品图像位于第二图像中的第一区域。

本发明实施例可以在第一物品在图像上的图像区域不再与目标关联区域存在重叠区域时，确定第一物品不再被遮挡。

s30、根据第一物品图像和第二物品图像确定第一物品在遮挡期间是否被移动。

可选的，本发明实施例可以从第一物品图像和第二物品图像中获得多个像素点对，每个像素点对中均包括位于第一物品图像的一个像素点以及位于第二物品图像的一个像素点，同一像素点对中包括的各像素点在图像中的位置相匹配。例如：如图4所示，第一物品图像和第二物品图像各由四个像素点组成，则a1和a2为一个像素点对，b1和b2为一个像素点对，c1和c2为一个像素点对，d1和d2为一个像素点对。

其中，在一个像素点对中，第一物品图像的像素点在第一图像中的位置可以与第二物品图像的像素点在第二图像中的位置相同。

可选的，本发明实施例可以分别将各像素点对中的两个像素点的像素值进行相减，获得像素差图像。

为了便于理解，此处基于图4的基础上，结合图5进行举例说明：假设像素点a1的像素值为111、像素点b1的像素值为99、像素点c1的像素值为189、像素点d1的像素值为237、像素点a2的像素值为78、像素点b2的像素值为65、像素点c2的像素值为136以及像素点d2的像素值为192，则获得的像素差图像如图5所示，由像素值为33、34、53和45的像素点构成。

本发明实施例可以根据像素差图像获得第一检测结果，该第一检测结果用于指示第一物品在遮挡期间是否被移动。

可选的，本发明实施例可以确定该像素差图像中大于预设像素阈值的像素点的第一数量，判断该第一数量是否大于预设数量阈值，如果是，则确定第一物品在遮挡期间被移动，如果不是，则确定第一物品在遮挡期间未被移动。

其中，预设像素阈值可以根据实际需要进行设置。例如：预设像素阈值可以为10。

其中，预设数量阈值可以根据实际需要进行设定。例如：预设数量阈值可以设置为该像素差图像中像素点总数的5％。

可选的，本发明实施例可以将第一物品图像和第二物品图像输入至预设移动预测模型，获得第二检测结果，该第二检测结果用于指示第一物品在遮挡期间是否被移动。

其中，预设移动预测模型可以是基于孪生网络(siamesenetwork)原理设计的深度卷积网络模型。

可选的，本发明实施例可以在第一检测结果指示第一物品在遮挡期间被移动时，将第一物品图像和第二物品图像输入至预设移动预测模型，获得第二检测结果。

具体的，在第一检测结果指示第一物品在遮挡期间被移动时，若预设移动预测模型输出的移动预测结果大于预设移动阈值，则第二检测结果指示第一物品在遮挡期间被移动，若该移动预测结果不大于该预设移动阈值时，则第二检测结果指示第一物品在遮挡期间未被移动。本发明实施例通过结合第一检测结果和预设移动预测模型输出的移动预测结果确定第二检测结果，可以解决由于光照、异物遮挡以及噪声等影响因素导致对第一物品是否被移动的判决不准确的问题。

可选的，本发明实施例可以根据第一物品图像和第二物品图像确定第一物品在预设坐标系的第一移动方向，确定第一图像和第二图像中均存在的多个其他物品在该预设坐标系的移动方向，根据该第一移动方向和该多个其他物品的移动方向，获得第三检测结果，该第三检测结果用于指示第一物品在遮挡期间是否被移动。

可选的，本发明实施例可以在第二检测结果指示第一物品在遮挡期间被移动时，根据第一物品图像和第二物品图像确定第一物品在预设坐标系的第一移动方向，确定第一图像和第二图像中均存在的多个其他物品在该预设坐标系的移动方向，根据第一移动方向和该多个其他物品的移动方向，获得第三检测结果，该第三检测结果用于指示第一物品在遮挡期间是否被移动。

具体的，本发明实施例可以确定在该预设坐标系的移动方向相同的物品数量，确定第一物品的第一移动方向是否与对应最大物品数量的其他物品的移动方向相同，如果相同，则在该最大物品数量大于预设数量阈值的情况下，第三检测结果指示第一物品在遮挡期间未被移动，在该最大物品数量不大于预设数量阈值的情况下，第三检测结果指示第一物品在遮挡期间被移动。

本发明实施例通过在同一坐标系下第一物品的第一移动方向和其他物品的移动方向，可以避免图像采集装置采集图像时由于自身抖动造成的物品移动误判。

可以理解的是，本发明实施例可以选择第一检测结果、第二检测结果和第三检测结果中的任一结果作为第一物品在遮挡期间是否被移动的最终检测结果。

可选的，本发明实施例可以当根据第一图像及第一图像之后的至少一个图像确定第一物品被移动时，根据第一物品在第一图像中的第一图像特征和第二物品在第二图像中的第二图像特征，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

可选的，本发明实施例可以当根据第一图像及第一图像之后的至少一个图像确定第一物品未被移动时，根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

可选的，第一位置标记和第二位置标记均为外接矩形框，本发明实施例可以根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记的交并比，确定第一物品和第二物品是否为同一物品。

具体的，本发明实施例可以确定第一位置标记覆盖的图像区域和第二位置标记覆盖的图像区域的交并比，当该交并比大于预设交并比阈值时，确定第一位置标记的第一物品与第二位置标记的第二物品为同一物品。

其中，将第一位置标记覆盖的图像区域的面积记为u1，将第二位置标记覆盖的图像区域的面积记为u2，将第一位置标记覆盖的图像区域与第二位置标记覆盖的图像区域的重叠区域的面积记为u3，则交并比为u3/(u1+u2-u3)。

其中，预设交并比阈值可以根据实际需要进行设置。例如：预设交并比阈值可以为0.98。

本发明实施例通过不同图像的位置标记覆盖的图像区域的面积的交并比，可以在计算量比较小的情况下实现对同一物品的跟踪，减小了对物品进行跟踪时的系统负担，有助于流畅地对物品进行跟踪。

可选的，第一位置标记和第二位置标记均为位置标记点，本发明实施例可以确定第一位置标记的位置与第二位置标记的位置之间的第一距离，当该第一距离小于预设距离阈值时，确定该第一位置标记的第一物品和第二位置标记的第二物品为同一物品。

可以理解的是，在物品未被移动时该第一距离为0。为了避免由于系统误差或是其他因素造成的误差，可以根据实际需要设置预设距离阈值。本发明实施例通过位置标记点之间的举例与预设距离阈值的比较，可以快速地在不同图像中确定同一物品，减小对物品进行跟踪时的系统负担，有助于流畅地对物品进行跟踪。

可选的，本发明实施例可以维护一个用于存储各物品的物品信息的物品库。本发明实施例可以在识别到物品之后，在该物品库中查询该物品的物品信息，将该物品信息添加至物品跟踪列表中，使得该物品与该物品的物品信息共同存储在物品跟踪列表中。

可选的，物品库可以由人工进行管理。例如：用户可以将物品的物品信息输入至该物品库中。可选的，本发明实施例可以根据物品的图像特征，判断该物品的物品信息是否已存入物品库中，如果已存入，则提示已存入、如果未存入，则可以在该物品库中新建该物品的物品信息，避免同一物品在物品库中存在多条物品信息。

可选的，本发明实施例可以当从第二图像中识别到的各物品中不存在第三物品时，将第三物品识别为丢失物品，其中，第三物品为从第一图像中识别到的一个物品。

可选的，本发明实施例可以当从第二图像及第二图像之后采集的预设数量的图像中识别到的各物品中均不存在第三物品时，将第三物品识别为丢失物品，其中，第三物品为从第一图像中识别到的一个物品。

当物品识别为丢失物品时，将该物品及该物品的物品信息从物品跟踪列表中删除。

可选的，本发明实施例可以当从第一图像中识别到的各物品中不存在第四物品时，将第四物品识别为新增物品，其中，第四物品为从第二图像中识别到的一个物品。

可选的，本发明实施例可以当从第一图像及第一图像之前采集的预设数量的图像中识别到的各物品中均不存在第四物品时，将第四物品识别为新增物品，其中，第四物品为从第二图像中识别到的一个物品。

当物品为新增物品时，在物品跟踪列表中添加该物品及该物品的物品信息。

可选的，本发明实施例可以根据物品在图像中的位置标记以及人体关联区域，确定是否建立人货关联事件。

具体的，通过现有的人体识别技术确定图像中人体关联区域，其中，该人体关联区域包括人体目标部位区域和/或人眼注视区域。判断该人体关联区域与物品在图像中的位置标记是否重叠，如果重叠，则计算该人体关联区域与该位置标记的重叠时长，若该重叠时长超过预设重叠时长阈值，则根据该人体关联区域对应的人体信息与该物品对应的物品信息建立人货关联事件。

若该重叠时长超过该预设重叠时长阈值，且物品在重叠期间未被移动，则确定该人货关联事件为浏览物品事件。若该重叠时长超过该预设重叠时长阈值，且物品在重叠期间被移动，则确定该人货关联事件为拿取物品事件。

可选的，本发明实施例可以将建立的人货关联事件、人体对应的用户标识和物品的标识对应保存，以便后续对人货关联事件进行查询。

与上述方法实施例相对应，本发明实施例还提供一种物品跟踪装置，其结构如图6所示，可以包括：第一物品识别单元100、第一位置信息确定单元200、第一位置信息保存单元300、第二物品识别单元400、第二位置信息确定单元500、第二位置信息保存单元600以及物品轨迹确定单元700。

第一物品识别单元100，用于识别第一时刻采集的第一图像中的至少一个物品。

其中，第一图像可以是图像采集装置在第一时刻采集的图像。本发明实施例可以预先在图像采集装置中获得在第一时刻采集的第一图像，也可以从其他设备(如存储设备或网络侧设备)中获得在第一时刻采集的第一图像。图像采集装置可以是黑白摄像机、彩色摄像机以及红外线摄像机等。

物品可以是用户需要在图像中进行识别和跟踪的目标。

具体的，第一物品识别单元100可以通过预先训练好的物品识别模型对物品进行识别。物品识别模型可以是卷积神经网络模型。本发明实施例可以对物品在图像中的图像特征进行机器学习，获得物品识别模型。

第一位置信息确定单元200，用于根据第一图像，确定识别的第一图像中的至少一个物品的位置信息。

其中，位置信息可以是物品在图像中的坐标信息，也可以是物品在图像中相对位置的信息。

可选的，本发明实施例在物品识别模型的机器学习中，使用预设位置标记对训练图像中的物品进行标记，使得训练好的物品识别模型在图像中识别到物品之后，使用预设位置标记对该物品进行标记，该预设位置标记在图像中的位置可以作为该物品的位置信息。可选的，预设位置标记可以是外接矩形框，也可以是位置标记点。

第一位置信息保存单元300，用于将第一时刻分别与从第一图像中识别到的各物品的位置信息对应保存，并分别作为从第一图像中识别到的各物品的轨迹点。

具体的，本发明实施例可以将在同一时刻采集的同一图像中识别到的物品与该物品的位置信息一一对应进行保存。物品的位置信息可以作为对该物品进行跟踪的轨迹点。可选的，当预设位置标记为外接矩形框时，轨迹点可以是该外接矩形框的中心点。可选的，当预设位置标记为位置标记点时，该位置标记点可以为轨迹点。

第二物品识别单元400，用于识别第二时刻采集的第二图像中的至少一个物品。

第二物品识别单元400的说明可参考第一物品识别单元100，此处不再进行赘述。

第二位置信息确定单元500，用于根据第二图像，确定识别的第二图像中至少一个物品的位置信息。

第二位置信息确定单元500的说明可参考第一位置信息确定单元200，此处不再进行赘述。

第二位置信息保存单元600，用于将第二时刻分别与从第二图像中识别到的各物品的位置信息对应保存，并分别作为从第二图像中识别到的各物品的轨迹点。

第二位置信息保存单元600的说明可参考第一位置信息保存单元300，此处不再进行赘述。

物品轨迹确定单元700，用于确定从第一图像中识别到的各物品和从第二图像中识别到的各物品中的同一物品，将同一物品的各轨迹点确定为该同一物品的至少部分轨迹。

本发明实施例提供的一种物品跟踪装置，可以通过识别不同时刻采集的不同图像上的同一物品且确定该物品的位置信息，将该物品在不同时刻采集的图像上的位置信息作为该物品的轨迹点得到该物品的至少部分轨迹，从而实现对该物品进行跟踪。本发明实施例通过物品在图像上的位置信息作为轨迹点对物品进行跟踪，可以减小对物品跟踪过程的延迟，使得物品跟踪过程更加流畅，实现良好的物品跟踪效果。

可选的，物品轨迹确定单元700可以具体用于通过第一图像中物品的图像特征和第二图像中物品的图像特征，确定第一图像和第二图像中的同一物品。

具体的，物品轨迹确定单元700可以具体用于根据第一物品在第一图像中的第一图像特征和第二物品在第二图像中的第二图像特征，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

可选的，物品轨迹确定单元700可以具体用于通过比较第一图像特征和第二图像特征之间的相似度，确定第一物品和第二物品是否为同一物品。

可选的，由于同一物品在不同图像上的图像特征基本相同，通过不同图像上物品的图像特征进行对比，可以确定第一图像中各物品的图像特征与第二图像中各物品的图像特征的相似度，进而将相似度大于预设相似度阈值的第一物品和第二物品确定为同一物品。可以理解的是，预设相似度阈值可以根据需要进行设置。

本发明实施例通过物品的图像特征确定不同图像中的同一物品，利用图像特征进行对比，可以提高同一物品在不同图像中的识别准确率，准确地对物品进行跟踪。

可选的，物品轨迹确定单元700可以具体用于通过第一图像中物品的位置标记和第二图像中物品的位置标记，确定第一图像和第二图像中的同一物品。

具体的，物品轨迹确定单元700可以具体用于根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

本发明实施例通过位置标记确定不同图像上的同一物品，可以在物品识别阶段即确定出不同图像上的同一物品，提高了确定同一物品的效率，可以及时对物品进行跟踪。

可选的，物品轨迹确定单元700可以具体用于根据第一图像及第一图像之后的至少一个图像确定第一物品移动时，确定不同图像上的同一物品。

可选的，物品轨迹确定单元700，可以具体用于当第一物品被遮挡时，获得第一物品在第一图像中的第一物品图像，其中，第一图像为第一物品未被遮挡前采集的图像，第一物品图像位于第一图像中的第一区域；获得第一物品在第二图像中的第二物品图像，其中，第二图像为第一物品不再被遮挡后采集的图像，第二物品图像位于第二图像中的第一区域；根据第一物品图像和第二物品图像确定第一物品在遮挡期间是否被移动。

可选的，物品轨迹确定单元700可以具体用于当根据第一图像及第一图像之后的至少一个图像确定第一物品被移动时，根据第一物品在第一图像中的第一图像特征和第二物品在第二图像中的第二图像特征，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

可选的，物品轨迹确定单元700可以具体用于当根据第一图像及第一图像之后的至少一个图像确定第一物品未被移动时，根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记，确定第一物品和第二物品是否为同一物品，其中，第一物品为从第一图像中识别到的一个物品，第二物品为从第二图像中识别到的一个物品。

可选的，第一位置标记和第二位置标记均为外接矩形框，物品轨迹确定单元700，可以具体用于根据第一物品在第一图像中的第一位置标记和第二物品在第二图像中的第二位置标记的交并比，确定第一物品和第二物品是否为同一物品。

本发明实施例通过不同图像的位置标记覆盖的图像区域的面积的交并比，可以在计算量比较小的情况下实现对同一物品的跟踪，减小了对物品进行跟踪时的系统负担，有助于流畅地对物品进行跟踪。

可选的，本发明实施例提供的另一种物品跟踪装置，还可以包括：丢失物品确定单元。

可选的，丢失物品确定单元可以用于当从第二图像中识别到的各物品中不存在第三物品时，将第三物品识别为丢失物品，其中，第三物品为从第一图像中识别到的一个物品。

可选的，丢失物品确定单元可以用于当从第二图像及第二图像之后采集的预设数量的图像中识别到的各物品中均不存在第三物品时，将第三物品识别为丢失物品，其中，第三物品为从第一图像中识别到的一个物品。

可选的，本发明实施例提供的另一种物品跟踪装置，还可以包括：新增物品确定单元。

可选的，新增物品确定单元可以用于当从第一图像中识别到的各物品中不存在第四物品时，将第四物品识别为新增物品，其中，第四物品为从第二图像中识别到的一个物品。

可选的，新增物品确定单元可以用于当从第一图像及第一图像之前采集的预设数量的图像中识别到的各物品中均不存在第四物品时，将第四物品识别为新增物品，其中，第四物品为从第二图像中识别到的一个物品。

可选的，本发明实施例提供的另一种物品跟踪装置，还可以包括：人货关联事件建立单元。

人货关联事件建立单元，可以用于根据物品在图像中的位置标记以及人体关联区域，确定是否建立人货关联事件。

所述物品跟踪装置包括处理器和存储器，上述第一物品识别单元100、第一位置信息确定单元200、第一位置信息保存单元300、第二物品识别单元400、第二位置信息确定单元500、第二位置信息保存单元600以及物品轨迹确定单元700等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来识别不同时刻采集的不同图像上的同一物品且确定该物品的位置信息，将该物品在不同时刻采集的图像上的位置信息作为该物品的轨迹点得到该物品的至少部分轨迹，从而实现对该物品进行跟踪。本发明实施例通过物品在图像上的位置信息作为轨迹点对物品进行跟踪，可以减小对物品跟踪过程的延迟，使得物品跟踪过程更加流畅，实现良好的物品跟踪效果。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述物品跟踪方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述物品跟踪方法。

本发明实施例提供了一种电子设备，电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的物品跟踪方法。本文中的电子设备可以是服务器、pc、pad、手机等。

本申请还提供了一种计算机程序产品，当在电子设备上执行时，适于执行初始化有上述物品跟踪方法步骤的程序。

本申请是参照根据本申请实施例的方法、装置、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，电子设备包括一个或多个处理器(cpu)、存储器和总线。电子设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。