专利名称：基于图像匹配的自动物品管理方法及其系统的制作方法
技术领域：
本发明涉及物品管理方法及其系统，尤其是涉及一种基于图像匹配的自动物品管理方法及其系统。
背景技术：
传统物品管理方法普遍采用人工检点的方式来管理物品，以判断仓库、超市等存储空间中的物品是否放置在正确的位置以及在相应的位置是否放置了相应的物品。当物品比较多时，这种传统的物品管理方法需要耗费大量的人工和时间，工人工作强度大，检点效率较低，而且容易出错。
发明内容
为了解决上述问题，本发明的第一个目的是提供一种工作强度小、检点效率较高的自动物品管理方法，该方法采用图像处理技术，通过自动的方式来判断物品是否放置在正确的位置以及在正确的位置上的物品是否缺失。为了达到上述目的，本发明提供一种基于图像匹配的自动物品管理方法，其特征在于，包括以下步骤:图像注册步骤:采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库；物品检点步骤:①图像匹配:使用图像采集设备采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像进行特征点检测，并提取图像点特征，通过这些点特征与所述图像特征库中的点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配；②拓扑分析:将采集的图像与数据库中的物品图像进行拓扑分析，判断物品放置位置是否正确以及实际物品是否缺失，并将判断结果输出进行显示。具体地，所述的图像注册步骤还包括:针对每种物品，使用图像采集设备拍摄物品的外观图像，并将拍摄得到的图像存储在数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息。较佳地，进行特征点检测的步骤为通过点检测器抽取图像上的特征点，所述图像点特征为HOG特征。更佳地，所述点检测器为Harris角点检测器或SIFT点检测器。具体地，所述物品检点步骤中，图像匹配的具体过程还包括:将所采集图像的点特征分别与所述图像特征库中的点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于一定阈值的物品ID判断为匹配成功。
较佳地，所述阈值为4对。具体地，所述物品检点步骤中，拓扑分析的具体过程还包括:将采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失。更进一步地，拓扑分析的具体过程还包括:在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域，定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信息，数据库中的位置信息存在相关联的图像则报告实际物品缺失。本发明的第二个目的是提供一种能够基于图像匹配实现对物品的管理，该系统结构简单、操作方便，有效地降低了检点工作强度，提高了检点效率。为了达到上述目的，本发明提供一种基于图像匹配的自动物品管理系统，其特征在于，包括:图像采集单元，采集物品的外观图像；中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集设备采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像与数据库中的物品图像进行图像匹配和拓扑分析；数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索；显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。通过采用上述自动物品管理系统，对物品进行检点时，只需对物品进行拍照，采集物品的外观图像，系统就可以自动将拍摄的图像与数据库中的物品图像进行匹配并通过拓扑分析判断物品的位置是否正确以及实际物品是否缺失。较佳地，所述中央处理器单元中还设有图像点检测器。更佳地，所述图像点检测器为Harris角点检测器或SIFT点检测器。相较于现有技术，采用本发明提供的基于图像匹配的自动物品管理方法及其系统，极大降低了物品检点的工作强度，提高了检点效率。
图1为本发明基于图像匹配的自动物品管理方法的流程方框示意图。图2为本发明基于图像匹配的自动物品管理系统的结构示意图。图3为本发明基于图像匹配的自动物品管理方法进行图像匹配的示意图。图4为本发明基于图像匹配的自动物品管理方法对图像进行拓扑分析的示意图。图5为本发明基于图像匹配的自动物品管理方法中定义空间拓扑关系的示意图。
具体实施例方式下面结合附图对本发明优选的实施方式进行详细说明。请参阅图1及图2，其分别绘示本发明基于图像匹配的自动物品管理方法的流程方框示意图及基于图像匹配的自动物品管理系统的结构示意图。本发明提供一种基于图像匹配的自动物品管理方法，包括图像注册步骤和物品检点步骤。本发明提供的一种基于图像匹配的自动物品管理系统包括图像采集单元、中央处理器单元、数据存储单元和显示单元。图像采集单元，采集物品的外观图像。中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集设备采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像与数据库中的物品图像进行图像匹配和拓扑分析。数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索。显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。所述中央处理器单元中还设有图像点检测器，所述图像点检测器为Harris角点检测器或SIFT点检测器。本发明具体实施过程如下:(一)图像注册步骤SOl采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库。针对每种物品，通过图像采集单元拍摄物品的外观图像，并将拍摄得到的图像存储在注册数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息。如图片100中包含货物A、B、C、D四种货物，数据库中包含以下信息:货物A, ID=A,位置(X1, Y1, Z1),图片1.jpg ;货物B, ID=B,位置(x2, y2, z2),图片 2.jpg ;货物 C, ID=C,位置(x3, y3, z3),图片 3.jpg ;货物 D, ID=D,位置(x4, y4, z4),图片
4.jpg。数据库存储在数据存储单元。进行特征点检测的步骤为通过中央处理器中的点检测器抽取图像上的特征点，所述图像点特征为HOG特征。所述点检测器为Harris角点检测器或SIFT点检测器。本实施例中，我们采用性能比较好的SIFT点特征，中央处理器单元设有SIFT点检测器。一个SIFT点特征为128个浮点数。我们将这个128个浮点数作为一个点的特征保存到数据库中。(二)物品检点步骤S02①图像匹配:使用图像采集单元采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像抽取特征点特征，并提取图像点特征，通过这些点特征与所述图像特征库中的点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配。具体地，所述物品检点步骤中，图像匹配的具体过程还包括:将所采集图像的点特征分别与所述图像特征库中的点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于一定阈值(4对)的物品ID判断为匹配成功。用图像采集单元采集的图像会含有一个以上的物品，如图3所示，图像100上有A、B、C三个物品。分别对应数据库中物品ID为A、B、C的三个注册数据。在数据库中，物品A注册了两个点特征PAl:(fl, f2,…，Π28)和PA2:(fl, f2,…，Π28)，物品B注册了 I个特征 PBl:(fl，f2，...，fl28)，物品 C 注册了 I 个特征 PC1:(fl，f2，...，fl28)。一般来说，一个物品图像会有若干注册特征点。图像中是用注册过程中相同的点检测算法检测出若干特征点。这些特征点理论上与注册的特征数量和位置相同。然后由于噪声的存在，可能存在多检或者少检的情况。获得图像的特征点后，也计算点的特征，并将这些点特征逐个同数据库中的点特征进行一一对应匹配。特征匹配就是一个距离计算的过程，如下式所示
权利要求
1.一种基于图像匹配的自动物品管理方法，其特征在于，包括以下步骤: 图像注册步骤:采集每种物品的至少一张图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取图像点特征，所有的图像点特征形成图像特征库； 物品检点步骤: ①图像匹配: 使用图像采集设备采集物品的图像，采集的图像包含一个以上的物品；然后对采集的图像进行特征点检测，并提取图像点特征，通过这些图像点特征与所述图像特征库中的图像点特征一一对应形成特征点对，将拍摄的图像与数据库中的物品图像进行匹配； ②拓扑分析: 将采集的图像与数据库中的物品图像进行拓扑分析，判断物品放置位置是否正确以及实际物品是否缺失，并将判断结果输出进行显示。
2.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述的图像注册步骤还包括:针对每种物品，使用图像采集设备拍摄物品的外观图像，并将拍摄得到的图像存储在数据库中，给这些图像登记相同的物品ID，对相同物品ID的图像给出在实际环境中的位置信息。
3.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，进行特征点检测的步骤为通过点检测器抽取图像上的特征点。
4.根据权利要求3所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述点检测器为Harris角点检测器或SIFT点检测器。
5.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述物品检点步骤中，图像匹配的具体过程还包括:将采集的图像的图像点特征分别与所述图像特征库中的图像点特征进行匹配，统计匹配成功的特征点对，并将数据库中含有这些特征点对的物品ID检索出来，根据物品ID统计检索出的每一种物品对应的特征点对数量，对特征点对数量大于一定阈值的物品ID判断为匹配成功。
6.根据权利要求5所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述阈值为4对。
7.根据权利要求1所述的一种基于图像匹配的自动物品管理方法，其特征在于，所述物品检点步骤中，拓扑分析的具体过程还包括:将采集的图像标记为参考图像，数据库中的物品图像标记为目标图像，利用特征点对，计算目标图像与参考图像之间的映射关系，并根据映射关系将目标图像坐标映射到参考图像上，形成目标图像在参考图像上的拓扑关系，通过拓扑分析判断物品放置位置是否正确以及实际物品是否缺失。
8.根据权利要求7所述的一种基于图像匹配的自动物品管理方法，其特征在于，拓扑分析的具体过程还包括:在参考图像上，将对应于目标图像的图像区域定义为匹配图像区域，将没有对应的目标图像的图像区域定义为不匹配图像区域；对于匹配图像区域，检查其周围的匹配图像区域的 拓扑是否等同于数据库中的拓扑，拓扑等同则为实际物品放置位置正确，拓扑不等同则报告实际物品放错位置，并将注册数据库中的位置信息显示出来，进行提示；对于不匹配图像区域，检查其周围的匹配图像区域中对应于正确的物品位置的图像区域，检索数据库中相应的位置信息，数据库中的位置信息存在相关联的图像则报告实际物品缺失。
9.一种基于图像匹配的自动物品管理系统，其特征在于，包括: 图像采集单元，采集物品的外观图像； 中央处理器单元，与所述图像采集单元相连接，接收所述图像采集单元采集的图像，对图像进行特征点检测并提取图像点特征数据，使上述图像采集设备采集的图像与位置信息通过物品ID建立关联并建立数据库，对拍摄的图像与数据库中的物品图像进行图像匹配和拓扑分析； 数据存储单元，与所述中央处理器相连接，存储数据库并接受所述中央处理器的数据写入、读取和检索； 显示单元，与所述中央处理器相连接，显示中央处理器的拓扑分析结果。
10.根据权利要求9所述的一种基于图像匹配的自动物品管理系统，其特征在于，所述中央处理器单元中 还设有点检测器，所述点检测器为Harris角点检测器或SIFT点检测器。
全文摘要
本发明提供一种基于图像匹配的自动物品管理方法，包括图像注册步骤和物品检点步骤，图像注册时采集每种物品的图像和位置信息并建立数据库，同一种物品的图像和位置信息通过相同的物品ID关联，对于数据库中的图像，进行特征点检测，并提取点特征，所有的图像点特征形成图像特征库；物品检点步骤通过采集物品的图像与数据库中的图像进行点特征对应的匹配，然后对采集的图像与数据库中的物品图像进行拓扑分析，从而判定物品位置是否正确以及实际物品是否缺失。本发明还提供了一种基于图像匹配的自动物品管理系统。采用本发明进行物品管理，大大降低了物品点检的工作强度，提高了点检效率。
文档编号G06T7/00GK103150631SQ201310076390
公开日2013年6月12日 申请日期2013年3月11日 优先权日2013年3月11日
发明者余俊池, 曾炜 申请人:苏州斯普锐智能系统有限公司