具有自动校准以及图像校正功能的基于图像的库存控制系统的制作方法

专利名称：具有自动校准以及图像校正功能的基于图像的库存控制系统的制作方法
技术领域：
本发明涉及一种库存控制系统，更具体地说涉及一种基于图像的库存控制系统， 其基于所收集到的该系统各个存储位置的图像，来决定存储在该系统中的目标的库存情况状态。
背景技术：
和

发明内容
当在生产或服务环境下使用工具时，将工具在使用后放回存储单元如工具箱是非常重要的。雇主通常对工具箱进行手工的库存检查以减少或消除高价工具的错放或失窃的问题。公司可以对雇员的工具箱进行随机的检查以防止失窃并且监视工具位置。某些产业具有严格的工具库存控制标准，用于防止工具遗留在可引起严重破坏的工作环境中所造成的事故。对于航空工业来说，确保没有意外地将工具遗留在正在生产、安装或修理的飞行器或导弹中是非常重要的。航空工业协会曾经制定了一种被称为国家航空标准的标准，包括推荐的程序、人员管理与操作以减少航空工业产品的外来物损伤(FOD)。 FOD被定义为不属于飞行器结构部分的任意对象。发现的最普遍的外来物是螺母、螺钉、保险丝以及手用工具。对工具进行库存控制以防止工具被遗弃在飞行器中是非常重要的。某些工具箱具有嵌入的库存测定部件以跟踪工具箱中所保存的工具的库存情况。 例如，某些工具箱在每个工具存储位置之内或紧靠处配置有触觉传感器、磁传感器或红外传感器，以检测工具是否处于每个工具存储位置之中。根据传感器产生的信号，工具箱能够确定是否有工具遗失。尽管这类库存检查在某种程度上有用，其仍然存在许多缺点。例如， 如果传感器检测到某些东西占据着存储位置，工具箱将判定该存储位置处没有工具遗失。 然而，工具箱无法得知是正确的工具确实被放回至工具箱内，还是仅仅是某些物体被放入该存储位置以欺骗系统。此外，在工具箱中的众多存储位置配置传感器是繁重且昂贵的，并且大量的传感器容易出现损伤或故障，这将产生错误的消极或积极警报。因此，需要一种有效的库存控制系统，其可以帮助跟踪和统计工具的使用，以及确定它们在使用之后是否被真正地放回原处。同样还需要一种库存控制系统，其可以确切的知道何种工具从工具箱中被移动或放回。此外，由于多个工作人员可能有权使用同一个工具箱，就需要一种库存控制系统，其可以跟踪用户以及他或她对工具的使用以确定任何工具损失或错放的责任。本申请描述了高度自动化的库存控制系统的不同实施例，其利用独特的机器成像和方法来确定存储单元中的库存状态。典型的特征包括通过对系统资源的有效利用以处理复杂的图像数据，自动成像以及镜头校准，通过图像数据进行工具的特性识别，用于收集库存图像的适应时间，高效的产生用于核对库存状态的参考数据，图像质量的自动补偿等等。根据本发明的一个方面，系统和新的图像校准方法被提出。一个典型的库存制系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与一个具有已知颜色属性的标识符相关联；数据存储系统，其存储各个存储抽屉的关联标识符的已知颜色属性的信息；数据处理器，其被配置为存取一张采集的存储抽屉图像的图像数据，其中存储抽屉带有与其对应的标识符；存取与该采集图像相关的抽屉对应的标识符的已知颜色属性的信息；确定该采集图像中标识符的颜色属性；确定校正系数 (要求改变)，如基于该采集图像中标识符的颜色属性和该标识符的已知颜色属性确定的一个补偿值；将该校正因数应用到随后由图像检测装置所采集的图像。采集到的抽屉的图像可以是整个抽屉的图像，也可以是抽屉的一部分图像。根据另一个实施例，一个典型的库存控制系统至少包括一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知并且非重复的参考图案相关联；一图像检测装置，其被配置为采集一个存储抽屉的分图像，其中存储抽屉与该参考图案相关联，且参考图案以这样的方式提供图像检测装置获取的每张图像中至少包括两种已知且非重复的参考图案；一数据存储系统，用于存储各个存储抽屉中参考图案的位置信息；以及一数据处理器。所述数据处理器被配置为存取图像检测装置采集的抽屉分图像的图像数据；提取抽屉分图像中参考图案的相关信息；存取存储在数据存储系统中的位置信息；根据分图像中的参考图案和位置信息确定与分图像对应的抽屉的部分。图像检测装置可被配置为采集抽屉的多个分图像，对于每一张图像检测装置获取的多个分图像，数据处理器可以根据每个分图像中的参考图案和存储在数据存储系统中的位置信息判定与多个分图像中的每个相对应的抽屉的部分。该多个分图像可被拼接在一起以形成较大的抽屉的图像。根据另一个实施例，一个典型的库存控制系统至少包括一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知并且非重复的参考图案相关联；图像检测装置，其被配置为采集一个存储抽屉的分图像，其中存储抽屉与该参考图案相关联，且参考图像以这样的方式提供图像检测装置获取的每张图像中至少包括两种已知且非重复的参考图案；数据存储系统，用于存储每个存储抽屉中参考图案的位置信息；以及一数据处理器。所述数据处理器被配置为存取图像检测装置采集的抽屉的第一张分图像和第二张分图像的图像数据；提取第一张分图像和第二张分图像中参考图案的相关信息；存取存储在数据存储系统中的位置信息；根据第一张分图像和第二张分图像中的参考图案以及位置信息确定与第一张分图像和第二张分图像相对应抽屉的部分；根据与第一张分图像和第二张分图像相对应抽屉的部分，以及第一张分图像和第二张分图像之间的时间差来确定抽屉的移动速度。一方面，数据处理器根据移动速度确定图像频率，图像检测装置根据所确定的图像频率采集抽屉的图像。根据另一个实施例，一库存控制系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知且非重复的参考图案相关联；图像检测装置，其被配置为采集至少一张带有相关参考图案的存储抽屉的分图像，其中参考图案以这样的方式提供图像检测装置获取的每张图像中至少包括两种已知且非重复的参考图案；数据存储系统，用于存储每个存储抽屉中参考图案的位置信息；以及数据处理器。所述数据处理器被配置为存取图像检测装置采集的抽屉的分图像的图像数据；提取分图像中参考图案的相关信息；存取存储在数据存储系统中的位置信息；根据第一张分图像和第二张分图像中的参考图案以及所述位置信息确定与分图像相对应的抽屉的部分； 根据抽屉的分图像和确定的抽屉部分的特征之间的差异来确定对于采集的图像需要做出的调整；然后把这个需要的调整应用于采集的图像。该确定的调整可被应用于随后图像检测装置采集的图像。根据另一个实施例，库存控制系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置；图像检测装置，其被配置为采集包括已知参考图案的目标的图像，其中参考图案的相对空间关系是已知的；数据存储系统，用于存储参考图案的已知空间关系信息；及数据处理器。所述数据处理器被配置为存取图像检测装置采集的目标图像的图像数据；提取所采集的图像中参考图案的相关信息；存取存储在数据存储系统中关于参考图案的已知空间关系的信息；确定采集的图像中参考图案与参考图案的已知空间关系之间的差异；根据该差异确定对采集的图像需要做出的调整；将该需要的调整应用到随后图像检测装置采集的图像。这里所描述的系统和方法可利用一个或更多计算机系统和/ 或适当的软件执行。应当理解的是，这里所描述的实施例，步骤和/或特征可以单独地或是与一个或更多其它步骤、实施例和/或特征结合以执行、使用、实施和/或实践。本发明另外的优点及非常规设计将要在随后的说明书部分进行部分地描述，而另外的部分对本领域技术人员来说经过研究下面的部分或通过实践本发明所学习到的，将变得显而易见。所图示和描述的实施例旨在提供实现本发明的最佳方式的例子。本发明能够在不脱离其精神和范围内，在各个明显不同的方面进行修改。相应地，附图及说明书应当被认为本质上是说明性的，而不是约束性的。本发明的优点可以通过附加的权利要求中所特别指出的手段和组合而被了解和获得。


本发明以举例的方式进行说明，而不是为了限制，在随后的附图中，具有相同附图标记的元件自始至终表示同样的元件，并且其中图Ia和图Ib所示的是典型的存储单元，本发明的各实施例可以据此实施；图2所示的是在打开状态下进行操作的典型的存储抽屉的内部详情；图3所示的是本发明典型的工具存储系统；图和图如是图3中所示的工具存储系统的不同视图；图4d所示的是典型的图像是如何拼接在一起的；图5所示的是典型的工具剪切块(tool cutout)，缓冲区和膨胀区；图6a和图6b是为本发明所设计使用的典型的标识符；图7a_7e和图8a_8d所示的是图像校准的范例；图9是典型的网络库存控制系统的方块图；以及图IOa-IOd是典型的检查记录的示意性的图像以及在对依据本发明的典型系统存取期间所获取的图像。
具体实施例方式在下面的说明书中，为了解释的目的，将会阐述许多的细节以便提供对本发明彻底的了解。特别地，利用机器视觉(machine vision)以识别存储单元的库存状态的实施例具体操作，被描述在工具管理和工具库存控制的上下文中。尽管如此，对本领域技术人员来说明显的是，本发明的概念在实际应用或实施中可以不具有这些细节。类似的构思可被使用在其它类型的库存控制系统中，例如仓库管理，珠宝库存管理，敏感或管制物体管理， 微条(mini bar)库存管理，药物管理，金库或保险箱管理等等。在其它情况中，公知的结构和装置展示为方块图的形式，以免使本发明产生不必要地模糊。本发明自始至终所称的术语目标、区域或抽屉的“(一个)收集图像”，“(一些)收集图像”，“(一个)图像”或“(一些)图像”规定为整个目标，区域或抽屉的图像，或者是目的，区域或抽屉的部分图像。典型库存控制系统概述图Ia和Ib所示的是典型的存储单元，本发明的各库存控制系统可以据此实施。图 Ia是典型的工具存储系统100，其包括多个存储抽屉120。每个存储抽屉120包括多个用于存储各种类型的工具的存储位置。本发明自始至终所称的存储位置是在存储系统中用于存储或者固定物体的位置。在一个实施例中，每个工具在工具存储系统中都具有预先指定的特定存储位置。每个存储抽屉在闭合状态和打开状态之间工作，前者不允许对抽屉中的内容进行存取，而后者则允许部分的或完全的对抽屉的内容进行存取。当存储抽屉从闭合状态运行至打开状态时，存储抽屉允许对其内容进行增加存取。反之，如果当存储抽屉从打开状态运行至闭合状态时，存储抽屉允许对其内容进行减少存取。如图Ia中所示，所有存储抽屉120 都处于闭合状态。锁定装置可用来控制抽屉120中内容的存取。每个单独的抽屉120可具有其特有的锁，或者多个存储抽屉120共用一个公共的锁定装置。仅仅被认证或被批准的用户能够对抽屉中的内容进行存取。存储抽屉可具有不同的尺寸，形状，布局和配置。图Ib所示的是另一种类型的工具存储系统200，其包括多个存储架或存储室220以及单扇门250，用于保护对存储架220 的存取。存储架或存储室可选用不同的尺寸，形状，布局和配置。图2所示的是在打开状态下典型的存储抽屉120的内部详情。每个存储抽屉120 包括具有多个存储位置的泡沫基部180，例如工具剪切块181，用于存储工具。每个剪切块被特别地勾勒和定形，以合适地容纳具有相应形状的工具。通过钩，尼龙搭扣(Velcro)，闩锁，来自泡沫的压力等，工具可被固定在每个存储位置上。本发明的典型的库存控制系统，是通过收集并且处理用于存储目标的存储位置的图像，来确定目标的库存情况。该系统包括用于执行不同功能的各个子系统，包括存储子系统，图像子系统，存取控制子系统，电源子系统，用户界面子系统，数据处理子系统，传感器子系统，以及网络子系统。应当理解的是，子系统的列表仅仅是属于举例说明的目的，而不是穷举。依据本发明的典型的系统可以根据设计选择来决定使用多少不同的子系统。此外，不是所有的子系统都必须是库存控制系统的组成部分。在一个实施例中，本发明所描述的各个功能可以在具有连接到数据传输网络的多个子系统的分布式体系结构上实现。每个通过数据传输网络连接的子系统构成了整个系统的一部分功能。这样，整个系统的功能被分配在通过数据传输网络进行通信的多个子系统之间。通信方法或整合方法可被制定为允许通过网络向各个子系统或在库存控制系统以外的数据处理系统无缝的共享信息。所述方法可包括传输控制协议/互联网协议(TCP/IP)，DISCO, SOAP, XML, DCOM, CORBA, HTML, ASP, Microsoft. NET 协议，Microsoft. NET Web Services 及其它可选的通信方法。(1)存储子系统存储子系统包括用于存储物体的多个存储位置，如图la，图Ib和图2中所示。应当理解的是用于存储物体的其它类型的存储系统可用来作为存储子系统。(2)图像子系统图像子系统包括设置为采集存储位置的部分或全部内容一个或多个图像检测装置，以及提供所需照明的照明装置。图像检测装置可以是镜头摄像机，CXD摄像机，CMOS摄像机，视频摄像机，或可收集图像的任意类型的装置。可选择地，图像检测装置可包括用于预处理采集图像的预处理装置。预处理的例子包括数据压缩，增强，信息恢复，数据筛选，得到在某些预定义区域或兴趣区域以及邻近区域中的感兴趣的物品特征等等。图像检测装置向图像子系统传输用于供位于本地或远程的数据处理系统处理或观看的原始图像数据或预处理数据。摄像机可包括用于连接至数据传输网络的网络接口，所述数据传输网络用于传输数据，包括收集图像，预处理图像，来源于收集图像的信息等等。(3)存取控制子系统存取控制子系统包括一个或多个身份认证装置，用于识别或认证想要对存储在存储子系统中的物体进行存取的用户的身份以及权限级别；以及一个或多个锁定装置，用于控制对存储子系统内的存储位置的存取。例如，存取控制子系统使某些或所有存储抽屉都在闭合位置处保持锁定，直到身份认证装置验证了用户对存储子系统的存取权限。存取控制子系统可使用一个或多个存取认证装置核实用户的权限级别，例如通过使用按键输入存取代码或密码，通过密钥卡读取器从密钥卡或表链(fob)获取持有该卡或表链的用户的权限级别，生物测定方法，例如指纹读取器或视网膜扫描，面部识别，磁性卡或射频ID卡,近程式传感器(proximity sensor),占有传感器(occupancy sensor),禾口 / 或人工输入或其它方法。在一个实施例中，对每个存储位置或存储抽屉的存取被独立地的控制和许可。基于所赋予的权限或存取级别，用户可被许可有权使用一个或多个抽屉，而其它的则不被允许。(4)电源子系统电源子系统提供并且管理供应给库存存取控制系统的电能。电源子系统具有一个或多个电源，其连接至一个或多个交流电源和/或一个或多个储能装置，例如电池，和/或电池充电器。该子系统可同时包括必要的电路和控制器，用于跟踪系统的供电情况，例如在交流电源和电池电源之间的开关，以及监视电池或电池组的充电状态等等。可以提供外部充电器以使电池组可以脱离系统进行充电，并且留作预备用于快速换出系统上的耗尽电池。在一个实施例中，远程电池充电器可被连接到与库存控制系统相连的数据网络，以报告远程充电器处正被充电的电池的充电情况。在另一个实施例中，电源子系统与远程连接至库存控制系统的主计算机相连，向该主计算机提供提供有关库存控制系统的供电情况的信息，例如电源故障，充电情况，可用电源等等。(5)用户界面子系统用户界面子系统包括用于和库存控制系统的用户进行通讯的装置，例如一个或多个显示器、麦克风、扬声器、键盘、鼠标，或任何可向用户输出信息和/或可使用户输入信息的其它装置。用户可以是想要存取库存控制系统中的物体或工具的技术人员，也可以是管理系统的库存状态的管理人员。(6)数据处理子系统数据处理子系统，例如电脑，负责处理由图像子系统的图像检测装置所收集的图像和/或形成库存情况报告。由图像检测装置所收集或形成的图像被数据处理系统处理以确定库存状态。本发明自始至所称的术语“库存状态”指的是与目标的存在或不存在状态有关的信息。数据处理子系统可以为与库存控制系统一体的部分；或是与库存控制系统相连的远程计算机，其具有数据链路，例如电线或无线线路；或整合在库存控制系统中的电脑与远程连接至库存控制系统的电脑的组合。随后将要论述用于形成图像以及确定库存状态的详细操作。在一个实施例中，数据处理子系统掌握用户和/或目标信息和历史记录。用户可以查询该数据处理子系统，以便获知状态、安装用户、处理异常、系统维护等等。在另一个实施例中，提供位于库存控制系统以外的主系统，其通过数据链路或网络与集成在库存控制系统上的计算机相连，用于提供监督或维护功能、观察检验图像、提供报告以及项目状态和存储单元的摘要信息等等。(7)传感器子系统根据需要的功能，除图像子系统之外，可以提供传感器子系统以检测目标的属性或兴趣区域或它们的周围。这些属性可被用于与图像子系统的图像检测装置所获得的图像信息相结合，以增强对目标或其状态的识别。传感器子系统可包括用于感测状态的传感器， 例如压力、光线、力、应变、磁场、电容检测、无线射频识别(RFID)、电场、运动、加速度、方向、 方位、位置、GPS、射频三角测量、光线三角测量、邻近、引力场强度和/或方向，接触以及简单的人工输入或交互可被算作输入。(8)网络子系统网络子系统允许各子系统在各子系统之间形成数据通信和/或与数据通信网络和/或库存控制系统之外的另一个数据处理系统对接，以进行数据通信。用于实现网络对接的装置的例子包括一个或多个以太网转接口、RS-232、RS-422、RS-485、访问总线、I2C、 IE总线、LIN总线、MI总线、微丝总线、M0ST、MPI总线、SM总线、SPI (串行外围接口)、USB、 WiFi或其它无线的以太网、光纤、Zigbee, IEEE 802. 15.4、Rubee、蓝牙、UWB(超宽频带)、 IrDA,或任何其它适当的窄带或宽带数据通信技术。各个通信接口的组合可被使用在库存控制系统之内和/或之外。根据一个实施例，工作循环如下存取控制子系统接受用户标识信息。数据处理子系统验证该用户，并且通过以太网和TCP/IP发送指令以启动图像检测装置，通过图像子系统调整照明以便可以使用并且开锁。图像检测装置获得存储位置的图像，并且将所收集的图像拼接在一起以评定与目标相关的兴趣区域。图像子系统计算收集图像的属性并且将该属性通过以太网通信网络发送至数据处理子系统以用于进一步的评定。数据处理子系统计算该属性并且确定库存状态，更新库存数据库中的记录，并且向用户提供反馈。一旦用户中止该系统，数据处理子系统通过以太网通信网络发送指令以终止会话，固定抽屉，并且关掉图像子系统内的照明和图像检测装置。
图3所示的是典型的库存控制系统，其被实施为工具存储系统300，在本发明中用于存储工具。存储系统300包括显示器305，存取控制装置306，例如读卡器，用于验证将要存取存储系统300的用户的身份和权限级别，多个用于存储工具的工具存储抽屉330。工具存储系统300包括图像检测装置，其被设置为收集系统的内容或存储位置的图像。图像检测装置可以是镜头摄像机、CCD摄像机、CMOS摄像机、视频摄像机，或可收集图像的任意类型的装置。系统300包括数据处理系统，例如电脑，用于处理图像检测装置所收集的图像。由图像检测装置所收集或形成的图像被数据处理系统处理以确定系统或每个存储抽屉的库存状态。本发明自始至所称的术语“库存状态”指的是与存储系统内目标的存在或不存在状态有关的信息。数据处理系统可以是工具存储系统300的一部分；与工具存储系统300相连的远程计算机，其具有数据链路，例如电线或无线线路；或整合在存储系统300中的电脑与远程连接至存储系统300的电脑的组合。随后将要论述用于形成图像以及确定库存状态的详细操作。抽屉330与图Ia所示的那些抽屉120相似。显示器305是存储系统330的输入和/或输出装置，其被设置将信息显示给用户。信息输入可以通过各种类型的输入装置比如键盘、鼠标、声音识别、触摸板输入等等来完成。存取控制装置306用来限制或允许对工具存储抽屉330的存取。存取控制装置306，通过使用一个或多个锁定装置，将某些或全部存储抽屉330在闭合位置处保持锁定，直到存取控制装置306确认了用于存取存储系统300 的用户的权限。存取控制装置306可使用一个或多个存取认证装置核实用户的权限级别，例如通过使用按键输入存取代码或密码，通过密钥卡读取器从密钥卡或表链获取持有该卡或表链的用户的权限级别，生物测定方法，例如指纹读取器或视网膜扫描、面部识别、磁性射频ID 卡、近程式传感器(proximity sensor)、占有传感器(occupancy sensor),禾口 /或人工输入或其它方法。如果存取控制装置306确定用户被授权存取存储系统300，其根据用户的权限级别打开某些或全部存储抽屉330，允许该用户移动或替换工具。在一个实施例中，对每个存储抽屉300的存取被独立地的控制和许可。基于所赋予的权限或存取级别，用户可被许可有权使用系统300的一个或多个抽屉，而其它抽屉则不被允许。在一个实施例中，存取控制装置306在用户关闭抽屉之后再次锁定存储抽屉330。存取控制装置306的位置不局限于在存储系统300的前方。其可以被配置在系统的顶部或系统的侧面。在一个实施例中，存取控制装置306与显示器305成一体。用于验证目的的用户信息可通过具有触摸屏功能的显示设备、面部检测摄像机、指纹读取器、视网膜扫描仪或任何用来验证用户存取存储系统300的权限的其它类型的装置所输入。图如和图4b所示的是工具存储系统300中的图像子系统的部分透视图。如图如中所示，存取控制装置306以读卡器的形式被配置在系统的侧面上。存储系统300包括用于容纳图像检测装置的图像隔室330，所述图像检测装置包括三个摄像机310和光引导装置， 例如反光镜312，其具有相对于竖直面向下以大约45度配置的反射面，用于向摄像机310引导从抽屉330反射的光线。被引导的光线之后到达摄像机310，使摄像机310形成抽屉330 的图像。反光镜312以下的阴影区340表示工具存储系统300的图像检测装置的视野。反光镜312具有与每个存储抽屉相同或更大的宽度，并且向下朝抽屉重定向摄像机。图如是系统300的典型的侧视图，显示了摄像机310，反光镜312和抽屉330之间的相对位置。从任意抽屉330反射至反光镜312的光线L被导向至摄像机310。图4b是和图如一致的透视图，除了图像隔室330的盖被移开以露出详细的结构。 每个摄像机310与视场311相关联。如图4b中所示，摄像机310的组合视场形成了图像检测装置的视场340。视场340的深度是χ。例如，该视场340的深度可以是大约2英寸。图如是图如中所示工具存储系统300的另一个透视图，只是存储抽屉336正在打开状态下工作以允许部分的存取存储抽屉336内的内容或存储位置。图4a4c中的摄像机310和反光镜312的配置使摄像机310可以收集自顶部抽屉至底部抽屉的图像，而不需要实质地改变其焦距。在一个实施例中，摄像机310收集每个存储抽屉打开或关闭时的多个分图像。由摄像机310收集的每个图像可以与唯一的ID或表明图像的收集时间的时间标记相关联。图像的获得被工具存储系统300中的数据处理器控制。在一个实施例中，收集的图像是抽屉的全宽度而深度仅仅约2英寸。收集的图像在深度和/或宽度上稍微地重叠。如图4D中所示，由不同摄像机310在不同时间点拍摄的分图像41-45可被拼接在一起以形成部分或全部抽屉及其内容和/或存储位置的一个图像。该拼接可以由数据处理器或附接的或远程的计算机使用现有的或定制开发的软件程序来完成。由于图像被收集为大约2英寸的片段， 每个摄像机可以收集多个图像片段。一个或多个可见标尺可以包括在每个抽屉之内。处理器可用与视频监视器类似的快速成像方式监视图像包含该标尺的部分。当该标尺到达指定或预计位置，数据处理系统控制图像检测装置以采集并且记录图像部分。该标尺可同时参与照片拼接。另外，诸如栅格一类的图案可被施加在抽屉表面。该图案可用于帮助拼接或图像采集处理。在另一个实施例中，图像检测装置包括更大的反光镜和具有广角镜头的摄像机， 以产生更深的视场X，从而图像拼接的需要可被减少或完全地消除。在一个实施例中，一个或多个线扫描摄像机被用作图像检测装置。线扫描摄像机以实质上一维的方式来采集图像。图像将具有取决于传感器的有效宽度，而深度仅仅为一个像素。线扫描摄像机采集具有工具抽屉的宽度而深度仅为一个像素的图像条纹。每当抽屉330以预定的增量移动，摄像机将采集另一个图像条纹。在这种情况下，图像条纹必须被拼接在一起以生成可用的完整抽屉图像。这与用于采集文件图像的许多复印机的流程相同。文件跨越过线扫描摄像机并且多个图像条纹被拼接在一起以生成全部文件的图像。除了反光镜之外，应当理解的是其它装置，例如棱镜，不同种类的透镜组合，包括平面透镜、凹透镜和/或凸透镜、光纤，或任何可将光线从一个点导向至另一个点的装置， 都可被用作光线引导装置，以将光线从目标引导至远程摄像机。另一个选择可以是使用光纤。通过利用光引导装置可能会给收集的图像带来失真。可以进行校准或图像处理以消除该失真。例如，摄像机310首先观测到由光引导装置反射的已知简单网格图形，并且产生数据处理器所使用的失真映射来调整采集图像从而补偿反光镜失真。为了更好的进行图像采集和处理，可能需要调整摄像机。摄像机可包括某些关于图像失真或焦距的构造变化。摄像机可按照类似于减少反光镜失真的方式被校准以减少失真。事实上，反光镜校准可以补偿摄像机和反光镜的失真，并且可能是所使用的唯一的失真
11校正。此外，可以使用专用设备对每个单独的摄像机进行校准以确定其透镜的实际焦距，并且可以使用软件对系统内摄像机之间的差异进行补偿。在一个实施例中，图像检测装置并未包括任何反光镜。相反地，一个或多个摄像机被配置在反光镜312所配置的位置。在这种情况下，摄像机直接指向存储抽屉330的下面。 在另一个实施例中，每个存储抽屉330具有一个或多个用于采集存储抽屉图像的相关摄像机。库存状态的确定在典型的系统300中，抽屉330中的每个存储位置被设置为存储预定的目标，例如预定的工具。例如，如图2中所示，每个存储抽屉330包括具有多个用于存储预定工具的工具剪切块181的泡沫层180。每个工具剪切块具有大体上与存储在该剪切块内的工具的轮廓相类似的形状。系统300根据一个或多个预定兴趣区域(ROI)的图像数据来确定每个目标的存在或缺失。兴趣区域(ROI)是预定的区域，其图像数据包括用于确定特定存储位置处的目标存在或缺失的有用信息。ROI可被系统设计员定义并且可以覆盖或重叠部分或整个工具剪切块，也可以完全不覆盖或重叠工具剪切块。系统300通过分析预定的ROI的图像数据来确定目标或工具的库存。使用ROI来确定库存状态的详细内容将在随后进行论述。为了提高图像数据处理和传输效率，系统300根据由一个或多个ROI的收集图像所得出的图像特征和ROI的参考图像特征来确定抽屉330内工具的存在或缺失情况。图像特征代表了特定的图像或R0I，包括每个图像或ROI的唯一特征。这些独特的属性包括一种或多种颜色、尺寸、形状、宽度、高度、深度、侧影或轮廓、比重、重量、直径、反射性、密度、热特性、粘性、尺寸、质地，表面光洁度等等。根据一个实施例，这些属性的代表，是根据一个区域中一个或多个收集的图像导出的。随后将要描述导出特定图像或ROI的图像特征的详细内容。系统300有权存取特征参考数据，其包括当例如工具的目标存在，以及当目标缺失时，相同区域或ROI的参考图像特征。对于每个区域或R0I，参考图像特征可以通过在目标存在和缺失时均获得区域或ROI的图像而形成。根据区域或ROI的图像的图像特征与特征参考数据的对比，系统300确定相应存储位置的目标是存在还是缺失。例如，使用两组参考图像特征，一个与被相应的工具占据的剪切块相关，另一个与没有被相应的工具占据的同样的剪切块相关。库存状态的确定，是根据覆盖剪切块的区域和直接围绕剪切块的区域的采集图像的图像特征，与相同区域的特征参考数据相对比而得出的。适当的软件可被在系统300或在相连的电脑中的一个或多个数据处理器执行以根据收集图像来执行库存的确定。系统300的永久存储装置存储用于识别抽屉中每个已知存储位置和与其相应的预定目标之间的关系的存储信息。存储装置同样存储与每个工具相对应的预定R0I，和与该ROI或该工具有关的参考图像特征信息。一个或多个数据处理器确定抽屉中的哪些存储位置被与它们相应的预定工具所占据，以及抽屉中的哪些存储位置没有被与它们相应的预定工具所占据。一个或多个存在的和/或缺失的工具的识别根据所存储的识别每个存储位置和与它们相应的预定目标之间的关系来确定。系统同样可以确定是工具不在合适位置还是在该存储位置存在错误的工具。现在将描述图像识别和库存确定的详细内容。
根据本发明的典型的工具存储系统利用独特的方法进行图像识别，能够极大地减少所需数据的数量并且可科学地减少执行必要计算所需的计算能量和时间。(1)参考数据的创建如前所述，典型的系统300根据由工具和工具剪切块的收集图像和参考图像特征所导出的特征来确定工具的库存状态。本发明提出了一种形成参考图像特征文件的高效且独特的方法。为了真正有效并且高效地处理由摄像机采集的图像，系统300必须访问描述参考数据的信息，所述参考数据包括与每个工具有关的预定ROI的参考图像特征；和包括工具的标识、工具的位置、每个抽屉中剪切块的位置、剪切块轮廓、工具剪影的定义、指状剪切块的定义、工具剪影之间的通道、每个抽屉中的工具相对于泡沫的已知特征的位置的定义、工具说明、零件号码的信息以及对运行图像识别有用的任何信息。上述信息被统称为参考数据。依据本发明的典型的系统通过使用已有的被称为剪切块文件的数据文件以高度自动化的方式产生参考数据。剪切块文件是在生产工具存储系统中使用的具有工具轮廓的剪切块的泡沫层期间产生的。这些剪切块文件通常为行业标准格式，例如.dxf格式，并且包括每个抽屉的工具轮廓剪切块和抽屉中每个工具的相对位置的信息。用于形成抽屉泡沫层的剪切块文件同样提供附加的有用信息，包括每个工具正被存储的抽屉、工具的部件号、 国家序列号、制造商部件号、工具序列号、工具说明书等等。例如，“Snap-on Incorporated”公司的被称为“!"rue Fit”的软件程序，包括工具剪影以及与每个工具有关的数据库。当制造工具存储系统使用的具有工具剪切块181的泡沫层180时，泡沫布局技师根据标准工具清单来制作每个抽屉330的泡沫布局，所述标准工具清单以特定的顺序或习惯包括将被归入工具存储系统中的所有工具。该清单可以由代销商和/或顾客制作。"True Fit”程序，当被电脑运行时，根据标准工具清单以及数据库中每个工具所预存的数据产生包括每个抽屉330的泡沫布局的剪切块文件。剪切块文件包括每个剪切块的信息，例如形状以及尺寸、工具清单、每个剪切块在各抽屉中的位置信息。在一个实施例中，该位置信息包括各剪切块相对于各抽屉的公共坐标系的坐标信息。然后，技术人员根据该泡沫布局通过二维喷水切割器(water jet cutter)或三维机械工具来剪切泡沫。通过将用于泡沫显影的剪切块文件，例如.dxf文件，改编为用于图像识别的参考数据，工具存储系统现在能访问与每个抽屉中各工具的精确位置有关的数据，以及剪切块的形状及其它有用信息，例如工具编号，序列号等等。这一步骤省去了手动地将每个工具输入工具存储系统的库存清单的必要，并且其同样提供了关于每个抽屉中各工具的位置以及每个工具的相关数据的精确信息。从这一步骤导出的附加信息可包括参考图像特征及其它工具特征，例如颜色、尺寸、形状、区域、重心、区域转动惯量、回转半径、具体尺寸(例如扳手开度、插座直径、改锥长度等等)。因此，当加载参考数据时，各工具的特征同样可被工具存储系统所存取。(2)兴趣区域为了提高数据处理的效率，对于各采集的抽屉图像，典型的系统300，并不是处理整个图像，而是集中在预定兴趣区域(ROI)进行图像识别，所述兴趣区域是采集图像的子集，因此所包含的需要处理的数据要少得多。根据一个实施例，每个工具具有一个或多个预定R0I。如前所述，ROI可以覆盖或重叠部分或整个工具剪切块181，也可以完全不覆盖或重叠工具剪切块181。兴趣区域可以被描述成坐标系中的一个或多个剪切块位置、剪切块轮廓、工具剪影的定义、指状剪切块的定义、工具剪影之间的通道、每个抽屉中的工具相对于泡沫的已知特征的位置的定义、工具说明、零件号码的信息以及对运行图像识别有用的任何信息。(3)训练过程执行计算机化的训练过程以将剪切块文件改编成对典型的工具存储系统有用的参考数据。典型的训练过程的步骤描述如下a.从泡沫剪切块文件读取工具信息这一步骤读取并且加载包含工具数据的剪切块文件，包括工具位置、剪影、泡沫颜色、底色、属性及其它数据。这一步骤同样水平或垂直地测量图像以将用于形成剪切块文件的尺寸格式转换为用于摄像机和图像建立系统的像素。每一个点通常约有8至10个像素。具有适当代码的软件转换文件可用于完成这一转换。b.产生工具位置数据结构使用泡沫布局通过与工具剪切块的形状和位置有关的处理区域来决定ROI。整个图像的一角定义为起点。然后确定图像内的边界框(bounding box)的位置。ROI在边界框之内并且通过边界框内部的行数和列数来确定。包含部分ROI的边界框内的任意像素，与起点一样，和边界框的左上角一起被详述为序列对。下面提供典型的ROI的数据结构Drawer, s 1. d 1 96
Silhouette TMCO 16 TOOL-BOX-ID 1051 DRAWER Ol POSITION S-0058
Il Drawer name Il resolution
//Part number
IlTool box id
IlDrawer No
IlPosition
DESCRIPTION Wrench, Crowfoot, Open End, 1/2" // Description
Il Bounding box (Upper
Il Bounding box (Lower
Il pixel data (Within the bounding box by number of discreet sections within the row, offset 2 19 63 and width (# pixels wide)
ULC 1586 2379 Left Corner) LRC 1687 2499 Right Corner)
122 58 1 21 60
220 62 95 20 96 22 2 19 64 95 20 1 18 66
1 17 68 1 16 70 1 16 70c.确定由哪个摄像机处理工具在使用4个或6个摄像机用于采集抽屉图像的典型的工具存储系统中，每个摄像机具有40度宽的视野(FOV)，并且在图像的中心线的两个边上各具有20度的视野。自摄像机至摄像机的图像可以重叠。根据抽屉的位置，在顶部抽屉内的上述重叠可以与在底部抽屉内的一样小，或一样大，在底部抽屉中每个摄像机都可以看得见整个抽屉。工具和与之相关的ROF通过确定每个工具ROI的重心的位置并且将相应的ROI分配至视野中心线最靠近所述ROI的摄像机而被分配给相应的摄像机。如果ROI通过一个以上的摄像机扩展汇聚，那么ROI被分成片并且按上述方法被分配给各个摄像机。d.生成工具的膨胀区和缓冲区在某些情况下，与工具相关的采集图像可能不同于参考数据，即使当工具处于其相应的剪切块或存储位置中。例如，工具可能悬垂在工具剪切块的边缘，或可能被紧紧地挤压在泡沫中造成了压缩或变形的形状，或工具剪切块可能没有处于预期的精确位置。这些情况下，如果没有适当地处理，可能引起工具存储系统触发错误警告。为了对这些问题进行处理，典型的系统利用唯一的图像数据来对工具的库存状态进行计算。如图5所示，一膨胀区以及一缓冲区被分配在每个工具剪切块周围。缓冲区是环绕工具剪切块而生成的环形圈，并且包括可调节的宽度，例如数个像素。例如，工具剪切块的缓冲区可以是远离工具剪切块的边界而扩展的5个像素。上述宽度是任意的并且取决于系统设计。膨胀区是环绕缓冲区的环形圈并且可被分配为可调节的一些像素。例如，缓冲区可以远离缓冲区的外边界而扩展5个像素。上述宽度是任意的并且取决于系统设计。在一个实施例中，与缓冲区相关的图像数据在估算图像时被忽略，虽然与膨胀区相关的图像数据被用于计算一些特征，例如颜色，强度，色调以及饱和度等等。该数据随后将被用于估算某些东西位于工具剪切块的边缘之上的情况，其表示错误的工具已被放入存储位置或剪切块中，或者正确的工具已经被不恰当地放入存储位置或剪切块中并且不在位置上，或者某些东西覆盖了至少一部分缓冲区。当发生这一情况时，将会对用户以及管理人发出警告。4.基于图像特征的图像识别每个图像包括表示该图像唯一特征的属性。这些属性包括颜色、尺寸、形状、宽度、 高度、深度、侧影或轮廓、比重、重量、直径、反射性、密度、热特性、粘性、尺寸、质地、表面光洁度等等。根据本发明的典型的系统利用独特的方法从采集图像选取代表每个ROI特征的信息。所选取的信息唯一地描述了 ROI的属性并且被认为是ROI的图像特征。如前所述，系统300中的永久存储装置存储与预定的ROI相关的数据，所述预定的ROI的图像数据需要经过系统300处理。预存的对照表可以识别每个工具，其相应的剪切块信息，以及预选的图像数据对确定工具的库存状态有用的R0I，与一个工具相关的库存状态是根据与该工具相关的、从采集的图像和参考图像特征导出的各ROI的图像特征决定的。由于仅仅是图像特征，而非原始图像数据被用于确定库存状态，因此信号处理以及数据传输的效率被显著地提高。现在将要描述用于形成图像的图像特征的步骤。将要描述一个使用图像色调和饱和度的样品图像特征。使用不同的图像属性的其它特征也可被同样设计用来确定库存系统中的物品的存在、不存在或识别。以下提供用于该步骤的典型算法RGB (红，绿，蓝)转换成IHS (亮度，色调，饱和度)I = (r+g+b)/3 if r,g and b are all equal, then h and s = 0 elseLet :u = (2*r)-g_bν = sqrt (3) * (g_b)Then :h = arctan (v/u) if (h < 0)，add 1 to h，so 0 < = h < = Is = sqrt(u2+v2)/(Max saturation for this intensity and hue)；相关的结构是typedef struct {BYTE hue ；BYTE saturation ；BYTE intensity ；
BYTE percent ；} PP_C0L0R ；typedef struct {BOOL partialRoi ；PP_C0L0R myColors[5]；PP_C0L0R foam[5] ；}PP_SIGNATURE ；典型的系统处理与每个工具剪切块以及围绕其的膨胀区相应的ROI中的像素数据。每个像素的RGB值被转化为IHS(亮度、色调、饱和度)值。典型的系统确定采集图像的图像属性的分布特征。例如，生成柱状图以描述与不同的图像属性，如亮度、色调和/或饱和值，相应的像素数分配。在一个实施例中，对于那些亮度值低于预定的下阈值和高于预定的上阈值(例如分别为.2和.8)的图像像素，它们的色调和饱和度因为不可靠而被忽略并且被清零。这些像素在两个分开的接收器中被积累。对于亮度值介于阈值之间的像素，它们的亮度值被忽略，因为它们太容易受变化的照明强度因素所影响。对于这些像素，其色调和饱和值在二维(色调-饱和度)柱状图的接收器中被积累。每个接收器在柱状图上表示一组色调和饱和度的预定值。然后根据像素数分布对二维柱状图进行检查以找到具有最多像素的接收器。那些靠近具有最多像素接收器的接收器被包括入内，直到接收器的像素计数低于顶点接收器的像素计数的预定部分。例如，预先确定的部分可被设置为0.5。所选的接收器的平均亮度， 色调以及饱和度被计算并且进入PP_C0L0R结构的字节中。PP_C0L0R结构的百分比项是在接收器的该组内的ROI中的所有像素的百分比。然后，该组中的接收器在进一步的程序中被忽略，并且该步骤被重复以找到下一个这样的接收器组。这一步骤被重复直到找到预订数量的接收器组。在每一步骤中同样要检查在两个分开的低亮度和高亮度接收器中的像素的数目， 这些接收器可解释PP_SIGNATURE结构中的一个PP_C0L0R结构。用这样的方式，ROI的图像特征结构(PP_SIGNATURE)被五个最稠密的像素色群的说明数据填满。PP_SIGNATURE结构中的对应围绕工具的膨胀区的PP_C0L0R结构被用相同的方式计算。(图像)特征使用五个颜色仅仅是一个例子，(图像)特征可以使用任意数量的颜色。向以下的基准图像执行类似的步骤工具剪切块/在ROI中没有工具；工具剪切块/在ROI中的工具；以及膨胀区。获得一次参考图像特征，作为准备程序的一部分。对于每个工具剪切块当正确的工具被确知存在时，对于每个工具剪切块当工具被确知不存在时，对于膨胀区当正确的工具被确知存在时，以及对于膨胀区当工具被确知不存在时，可以获得参考特征。然后在正常运行时，系统从采集图像获得ROI的特征数据并且将其与确定不存在工具的数据、确定存在工具的数据相比较。参考图像特征可以仅仅涉及特殊的工具而不是工具的抽屉。参考图像特征可以相对每个工具独立地产生并且被存储在数据库中。其通过采集有或没有工具就位的工具剪切块的图像而大体上完成。工具和工具剪切块的图像被处理以选取所有现存工具的规定状态的参考图像特征。参考图像特征可以从数据库中选取并且被并入库存管理系统之中以便不再需要实际的工具抽屉的参考图像。此外，参考图像特征可以不通过采集任何图像而产生。泡沫、工具剪切块以及相关的工具的巳知参数，例如颜色和尺寸被人工地或可编程控制地用来产生用于定义工具剪切块和工具的参考图像特征的图像属性。根据采集图像中ROI的图像特征和参考图像特征确定与ROI有关的库存状态。当工具不在预置百分比容差之内时，如果工具剪切块ROI的图像特征与参考图像特征匹配，工具被为从ROI处遗失并且因此被发出或在使用中。另一方面，当工具在预置百分比容差之内时，如果工具剪切块ROI的图像特征与参考图像特征匹配，那么物品被确定为在ROI中。用于确定工具存在或缺失的百分比容差是可调的。可以根据设计偏好以及经验选择适当的值。膨胀区ROI的图像特征的检查与膨胀区ROI相应的参考图像特征相对比，可用于确定除工具存在或遗失以外的状态。例如，如果工具没有被正确地放入其相应的剪切块或者错误的工具被放入工具剪切块中，该工具的一部分可能在剪切块的外面并且在膨胀区中。另外，意外的物体，例如工厂抹布或者额外工具可能被放在抽屉中，并且会阻挡工具剪切块的膨胀区的一部分。膨胀区ROI的特征将不会与其参考图像特征匹配，并且系统将认为在存储室中存在未知的状态。在这种情况下，可能会产生警报以表明相应的存储位置应该被人工地核对以改正上述异常。如果ROI的图像特征在预置百分比容差以内不能与任一参考图像特征匹配，那么将会认定发生了错误或者异常，将会通过设备的PC和GUI (图形用户界面)系统向用户和系统管理员发送警报。错误的警报可能是因为错误的工具、错放的工具、跨越多个ROI的未知的物品等等。在一个实施例中，工具剪切块ROI中的物品的特征可以与抽屉中的、存储柜中的、或者世界上已知的所有工具的数据库相比。通过这一比较，存储在工具剪切块中的特定工具可以被确定并且将结果发送至库存系统。从广义来说，这些技术可用于识别抽屉中所有的工具，而不必知道哪个工具应该在抽屉中或者它们应该被在哪里。在一个实施例中，每个图像特征被视为矢量。与采集图像对应的ROI的图像特征和工具被确认不存在时相同物品的参考图像特征之间的相似性被计算。例如，该相似性可以根据用已知方法计算的两个矢量之间的距离来确定。同样地，与采集图像对应的ROI的图像特征和工具被确认存在时相同物品的参考图像特征之间的相似性被计算。如果与采集图像对应的ROI的图像特征与工具被确认不存在时相同物品的参考图像特征之间的相似性水平比与采集图像对应的ROI的图像特征与工具被确认存在时相同物品的参考图像特征之间的相似性水平要高，那么可以确定工具不存在。反之，可以确定工具存在。在另一个实施例中，采集图像对应的ROI的图像特征中的每一个最稠密的像素组分别与当工具被确认不存在时同样物品的参考图像特征，以及当工具被确认存在时同样物品的参考图像特征的对应物相对比。根据特征匹配以及百分比确定GOF(有效配合)值。例如，GOF值可被定义为与特征中每个项对应的最小值(采集ROI的百分比、参考百分比)的累积。然后将累积的百分比与阈值相比。如果相对于工具存在时的参考特征的GOF值大于阈值，确定工具存在。如果相对于工具不存在时的参考特征的GOF值大于阈值，确定工具不存在。如果相对于工具存在时的参考特征的GOF值大于阈值并且工具不存在时的参考特征的GOF值小于阈值时，其被分类为一种特殊的状态，并且警报信号将被触发或者发出。这种特殊状态可能由悬垂工具、畸形剪切块或者剪切块中放入的错误工具所引起。有时候，工具属性的重要部分可能与背景的属性匹配，这样会使存在或缺失的检测变得更加困难。在这些情况下，物品可以被分为多个ROI。ROI属性与背景相匹配的区域将被忽略，并且只有那些ROI属性不同于背景属性的区域会被计算。与每个库存项目对应的图像参考特征的对照表可以在制造过程期间产生并且可被预加载在工具存储系统之上。在系统设置时，参考图像特征的完整数据库可与R0I、部件号、说明书及工具数据库中的其它数据一起被存入每个系统中。根据本发明典型的工具存储系统的另一个特征是自动化的物品添加/去除。它是这样的一个过程，即系统被设置为识别新的工具并且将它们的信息添加至数据库，或者从数据库除去那些不再需要或不再有用的工具。用于生成泡沫剪切块和参考数据的相同类型的数据文件被用于修改已有的抽屉布局，以添加或除去工具。然后该文件被加载至系统的存储器并且泡沫被改变。系统自动地识别数据库中(或从中除去)存在一个(或多个)新的工具以及指定的存储位置或剪切块目前已经就位(或者被除去)。已经确知，与图像对应的ROI和与其关联的泡沫中的工具剪切块的精确位置可能与在工具训练和读取文件中计算的位置稍有不同。为了补偿在实际位置和计算位置之间这种可能的差异，在泡沫层中提供有孔以作为位置核对。这些孔的位置与抽屉痕迹和位置条相关，并且提供ROI和抽屉泡沫中的工具剪切块的实际位置的核对。依据本发明的另一个实施例利用特别设计的标识符以确定目标的库存状态。根据存储位置是否正被物体占据，相关的标识符在图像检测装置所采集的图像中以两种不同方式中的一种出现。例如，当相关的存储位置被工具占据时，标识符可以呈现第一颜色，而当相关的存储位置未被占据时呈现第二颜色。标识符可以是文字、一维或二维的条形码、图案、点、密码、符号、图形、数字、LED、光线、旗标等等，或其任意组合。标识符在图像检测装置所采集的图像中可能呈现的不同方式包括具有不同图案、亮度、形式、形状、颜色等等。根据每个标识符在采集图像中是如何所呈现的，数据处理器确定目标的库存状态。图6a所示的是标识符设计的实施例。如图6a所示，存储位置51指定用于存储工具510，而存储位置52正被其指定的工具520所占据。存储位置53没有被其指定的工具占据。每个存储位置51、52、53都具有相关的标识符。根据每个存储位置51-53是否正被相应的工具占据，每个标识符在由摄像机310所采集的图像中以两种不同的方式中的一个呈现。例如，当相应的工具被存储在相应的存储位置时，每个标识符可以不被摄像机310所检测，而当目标没有被存储在相应的存储位置时，每个标识符变成可被摄像机310检测。类似地，不同的实施例的标识符，在相应的工具被存储在相应的存储位置时，可以不被图像检测装置所检测，而当目标没有被存储在相应的存储位置时，标识符变成可被图像检测装置所检测。例如，存储位置51-53的底部包括由定向反光材料制成的标识符。由于存储位置 51并且53没有被各自相应的指定工具所占据，它们相关的标识符511和513可被图像检测装置所检测。另一方面，存储位置52目前正被其指定的工具占据，它的标识符在图像检测装置的视野中被阻挡。当特定的工具被存储在该存储位置时，标识符在图像检测装置的视野中被阻挡，从而不能被图像检测装置所检测。相反，如果该存储位置没有被特定的工具占据，那么标识符可以被图像检测装置检测，并且作为抽屉图像上的高亮度区域露出。相应地，高亮度区域表示工具遗失。系统300检测遗失工具的位置并且将空位置与存储的关系相关联以确定每个存储位置和各自相应的工具。系统300确定哪些工具在抽屉中没有在各自指定的位置上。应当理解的是标识符可以许多不同的方式实施。例如，标识符可被设计成当存储位置被占据时能产生高亮度图像，并且当存储位置被占据时能产生较小亮度的图像。在一个实施例中，每个标识符被实施为具有接触传感器和LED。如图6b中所示， 存储位置61与接触传感器62和LED63相连。当接触传感器61检测到存储位置61内有工具时，由接触传感器61产生一信号并且信号控制关掉LED 63的电源。反之，如果接触传感器62检测到存储位置61中不存在工具时，控制传感器62产生控制信号以控制开启LED63， LED63在图像检测装置所采集的图像中产生高亮度区域。图像中的每个高亮度区域都指示了不具有相关工具的存储位置。系统300通过测定哪些存储位置没有被工具占据以及用于识别该位置相应工具的预存信息来确定除去的或遗失的工具。在另一个实施例中，标识符与存储在每个相应的存储位置中的预定工具是唯一对应的。数据处理器被设置为通过计算在图像检测装置所采集的存储位置的图像中是否存在至少一个可视标识符，以及每个预定目标和与每个预定目标唯一对应的相应标识符之间的预存关系来确定库存状态。在另一个实施例中，当存储位置被占据时，与该存储位置相关联的标识符能产生高亮度图像，并且当该存储位置未被占据时，产生低亮度的图像。系统300根据所检测的标识符和识别每个存储位置与相应的预定目标之间的关系的预存信息来确定哪些工具存在。 在另一个实施例中，标识符与存储在每个相应存储位置中的预定目标是唯一对应的。系统 300通过计算存在于由图像检测装置采集的存储位置的图像中的标识符，以及每个预定目标和与每个预定目标唯一对应的相应标识符之间的预存关系来确定现有目标的库存状态。在另一个实施例中，存储在系统300中的每个目标包括与每个目标唯一对应的附加标识符。数据处理器有权访问用于识别存储在系统中的每个工具的预存信息，以及用于识别每个目标和与每个预定目标唯一对应的相应标识符之间关系的已知信息。数据处理器通过计算存在于由图像检测装置采集的存储位置图像中的标识符，以及每个预定目标和与每个预定目标唯一对应的相应标识符之间的关系来确定目标的库存状态。例如，系统300 存储该系统所存储的工具列表以及它们相应的唯一标识符。在摄像机310采集存储抽屉的图像之后，数据处理器确定哪些标识符在图像中。通过将出现在图像中的标识符与工具及其相应的唯一标识符的列表相比较，数据处理器确定哪些工具在系统中以及哪些没有在系统中。如前所述，与存储位置有关的标识符可用来确定哪些位置存在缺失的目标。根据一个实施例，系统300无须知道每个存储位置与相应的目标之间的关系。相反地，标识符与存储在存储位置中相应的目标是唯一对应的。系统300的数据处理器有权访问用来识别每个标识符与相应目标之间关系的预存信息，以及用来识别每个对象的信息。换句话说，系统 300有权访问存储在系统300中的每个目标的库存列表及其相应的唯一标识符。当系统300 检测到空的工具存储位置时，从图像中提取相应的标识符并且使用系统软件进行解码。由于每个标识符与相应的目标是唯一对应的，系统300能够通过核对每个标识符与相应的目标之间的关系和目标的库存列表来确定现在缺少的目标。与存储在存储位置中的目标唯一对应的每个标识符可被配置为紧挨着存储位置或在存储位置之内。在一个实施例中，标识符被配置为紧挨着存储位置并且无论该位置是否被目标所占据，标识符对于图像检测装置总是可检测的。在另一个实施例中，当标识符被配置在相应的位置中时，标识符在该位置被目标占据时对于图像检测装置是不可检测的，而当该位置没有被目标占据时，标识符对于图像检测装置是可检测的。本发明的一个实施例利用基准图像和与目标唯一对应的标识符的组合来确定库存状态。例如，基准图像可以包括所有的存储位置被它们各自相应的目标所占据的存储抽屉的信息，其中每个存储位置与存储在存储位置中的目标所唯一对应的标识符相关联。通过比较存储位置的图像和基准图像来确定库存状态，以确定哪些位置被目标占据和/或哪些位置缺失目标。缺失目标的确认通过识别与缺失目标的每个存储位置有关的标识符来确定。本发明的另一个实施例利用标识符的特定组合来确定库存状态。例如，每个存储位置可具有配置在该位置的第一类型标识符，以及紧挨着该存储位置配置的与存储在存储位置中的目标唯一对应的第二类型标识符。当该位置没有被目标占据时，第一类型标识符对于图像检测装置是可检测的，而当该位置被目标占据时，第一类型标识符不能被图像检测装置检测。第一类型标识符可以由定向反光材料制成。如果该存储位置没有被与该存储位置对应的目标占据，那么第一类型标识符可以被图像检测装置检测，并且作为高亮度区域露出。相应地，每个高亮度区域表示一个缺失目标，其使系统300能够确定哪些位置具有缺失目标。根据存在缺失目标的那些位置有关的第二类型标识符，系统300可以确定系统 300中正缺失哪些目标。从而，可以确定系统300的库存状态。根据另一个实施例，系统300使用图像识别方法以识别从系统300缺失的目标。系统300有权访问库存列表，所述列表指示了哪些工具被存储在各个抽屉或系统300中。然而，系统300无须知道工具被存储在哪里。工具被放入泡沫剪切块中每个工具特定的位置。 利用一些特征，例如尺寸、形状、颜色及其它参数，图像识别软件可以识别抽屉中的每个工具。遗失工具仅仅是在库存列表上的未被识别正位于抽屉中的工具。系统300记录与每次存取相关的存取信息。该存取信息包括时间、与存取相关的用户信息、持续时间、用户图像、存储位置的图像、存储单元或存储系统的内容、存储系统中的目标等等，或其任意组合。在一个实施例中，系统300包括用户摄像机，其采集并且存储每当存取被授权时对存储系统300进行存取的人的图像。对于用户的每次存取，系统300 确定库存状态并且产生一个报告，包括将确定的库存状态与存取信息相关联。定时图像采集本发明的实施例利用独特地定时机器图像以采集系统300的图像，并且根据该收集图像确定系统300的库存状态。在一个实施例中，系统300根据抽屉的位置和/或运动启动或定时存储抽屉的图像采集，以产生高效的并且有效的图像。例如，系统300的数据处理器利用抽屉位置来确定何时拍摄如图中所述的重叠分图像，以保证正被用户所存取的抽屉被完整地覆盖。在另一个实施例中，抽屉位置信息对于拼接软件在构建完整抽屉图像方面是很有用的。抽屉位置信息可用来帮助定位抽屉中剪切块的位置。在一个实施例中，系统300的数据处理器控制图像检测装置根据抽屉预定的运动方式来形成抽屉的图像。例如，对于每次存取，系统300仅拍摄抽屉在以指定的方式或预定方向上移动时的抽屉图像。根据一个实施例，当抽屉向允许减少对其内容的存取的方向上移动时，或在抽屉在该允许减少对其内容存取的方向上停止移动之后，图像检测装置进行图像拍摄。例如，当用户正在关闭抽屉时，抽屉在关闭方向上停止移动之后或当抽屉被完全地关闭之后，摄像机可被控制为拍摄抽屉的图像。在一个实施例中，当抽屉在允许增加对其内容的存取的方向上移动时，例如当抽屉从关闭位置移动至开启位置时，不进行图像的拍摄。每个存储抽屉的位置、运动以及移动方向可以通过使用与时间相关的测量位置的传感器或运动传感器来确定。例如，相对于两个时间点的位置信息可用来导出指示移动方向的矢量。用于检测存储抽屉的位置、运动或移动方向的传感器例子包括传感器或编码器， 其与抽屉相连以检测该抽屉相对于系统300的边框的位置；无接触测距传感器，用于确定抽屉相对于系统300的边框上某些位置的运动，例如系统300的后面等等。非接触式传感器可以包括光学或超声波传感器。每个抽屉中可包括可见标尺或摄像机310可见的指示物， 以使摄像机210可以读取该标尺以确定抽屉位置。库存状态的变化，例如发生在当前的存取的工具的移动，可以通过比较当前存取和当前存取之前的存取的库存状态确定。如果遗失了一个或多个目标，系统300可以向用户发出警报信号，例如听觉的或视觉的，向与系统300相连的远程服务器发出通知等等。在另一个实施例中，图像检测装置被设置为当存储抽屉330在允许增加对其内容进行存取的方向上移动，以及当存储抽屉330随后在允许减少对其内容进行存取的方向上移动时，形成存储位置的图像。例如，当用户打开抽屉330以取回工具时，抽屉330的移动方向在抽屉移动时触发摄像机310对抽屉内容的图像进行采集。采集图像可被指定为“存取之前”图像，表示用户存取每个存储抽屉的内容之前的状态。根据该收集图像确定库存状态，该库存状态被认为是“存取之前”的库存状态。当抽屉330停止移动时，摄像机310停止采集图像。当用户关闭抽屉330时，抽屉330的移动方向触发摄像机310对抽屉330的图像再次采集直到其停止或到达关闭位置。抽屉的库存状态根据用户关闭抽屉330所采集的图像来确定。所确定的库存状态指定为“存取之后”的库存状态。存取之前替换库存状态和存取之后的库存状态之间的差异表明了工具的移动或替换。本发明的其它实施例，在存储抽屉被打开之前或在存储抽屉被完全地打开之后或当其内容可被用户存取时，控制摄影机拍摄“存取之前”的图像。根据另一个实施例，当检测到用户对抽屉的存取已经结束时， 图像检测装置将拍摄每个抽屉330的图像。按照本发明中所使用的，结束存取被定义为用户不再对任意存储位置进行存取，例如当抽屉330被闭合或锁上，当门250被闭合或锁上等等，或是用户或系统发出指示不再需要对存储系统进行存取，例如当用户中止时，当不活动之后的预定时段过去时，当锁定装置被用户或系统300锁定时等等。对于每次存取，位置检测器或接触传感器用来确定抽屉330是否关闭。在抽屉被关闭之后，图像检测装置采集抽屉330的图像。然后，数据处理系统根据采集图像确定库存状态。库存状态之间的差异可以通过比较所确定的当前存取和以前存取的库存状态来确定。根据另一个实施例，对于每次存取，图像检测系统300将采集至少两个抽屉300的图像在用户对抽屉300中的存储位置存取之前采集的至少一个图像(初始图像)以及存取结束之后采集的至少一个图像，如上所述。可以在用户对抽屉中的内容或存储位置进行存取之前的任何时候拍摄初始图像。在一个实施例中，在用户请求存取系统300之后采集初始图像，例如通过滑动通行卡，输入上班打卡密码，向锁中插入钥匙，提供验证信息等等。 在另一个实施例中，在检测到抽屉从关闭位置运动或开启系统300的锁定装置之前或对应时，采集初始图像。系统300的数据处理系统根据初始图像确定库存状态，并且将确定的库存状态指定为“存取之前”的库存状态；根据存取结束之后采集的图像确定库存状态，并且将确定的库存状态指定为“存取之后”的库存状态。可以通过比较“存取之前”和“存取之后”的库存状态，或者比较初始图像和存取结束之后所采集的图像来确定系统300中目标的库存状态的变化。如上所述的构思和设计可应用到其它类型存储系统中，如图IB中所示的类型，其中单扇门控制了多个架子或抽屉的存取。在一个实施例中，图像检测装置将在检测到存取结束之后，例如关闭门250、锁上门250、签退等等，对存储位置的图像进行采集。应当理解的是可以使用各种类型的传感器，例如接触传感器、红外传感器，来确定门何时被关闭。与先前讨论的类似，图像检测装置采集存储位置的图像，并且根据该采集图像确定“存取之后”的库存状态。与存取有关的库存状态的变化可以通过比较当前存取和上次存取的库存状态来确定。根据另一个实施例，图像检测装置将在用户存取存储系统之前拍摄存储位置的“存取之前”图像。例如，摄像机将在用户请求存取系统之后，在检测到打开门250之后， 在收到用户的验证信息之后等等采集存储位置的图像。存储系统根据“存取之前”的图像确定“存取之前”的库存状态。根据“存取之前”和“存取之后”库存状态之间的差异，或“存取之前”和“存取之后”的图像之间的差异，可以确定库存状态的变化。图像校准如上所述，多个摄像机可用来采集抽屉的分图像。然后将这些图像拼接在一起以形成用于进一步处理的抽屉的完整图像。相应地，为了拼接图像，重要的是知道分图像之间的相对位置关系从而可以将分图像适当地拼接或结合。此外，可以根据整个ROI在分图像范围之内时的分图像来完成对ROI图像的处理。在这种情况下，对于工具存储系统重要的是要知道从分图像定位ROI的正确位置，特别是分图像在图像采集期间可能被扭曲、弯曲或歪斜。本发明的一个实施例在每个抽屉中提供已知的、非重复的参考图案。例如，如图6a 中所示，抽屉在抽屉两边具有两个可见的、非重复的标尺A、B、C. . . S。抽屉中标尺的相对位置信息是已知的并且存储在系统中。在任意给定时间内，当图像被采集，两个标尺的图案总是出现在采集图像上。仅使用一个摄像机或多个摄像机来采集图像。当抽屉的宽度变宽时， 可以使用更小焦距的摄像机。然而，这种焦距更短的摄像机将降低图像的分辩率。可替换的，一个以上单独的或成角度的摄像机可用于获得要求的抽屉宽度和分辨率。可以使用一个或多个摄像机以拍摄到标尺图案，或使用相同的摄像机拍摄全部或部分的抽屉内容。如图6b所示，如果获得图6a所示的抽屉的分图像，那么图6b所示基准位置分图像之内任意的ROI (兴趣区域)可以通过插入已知的泡沫尺寸之内的已知的工具剪切块参考位置信息和标尺信息的图像来确定。从图6b中的可见标尺，容易识别出分图像处于图6a 中所示完整抽屉图像的位置。通过获悉分图像相对于整个抽屉的位置，分图像可以与其它分图像一起被适当地拼接。同样地，图6b所示分图像中a比b比c的比值和图6a所示的存储剪切块文件信息的χ比y比ζ的比值相同。根据该已知的比值，可以确定与图6b中分图像对应的任意ROI 的位置。此外，利用两个或更多在任意给定时间内总是可被摄像机采集的参考图案或标尺，即使图像的透视图改变，使用采集图像中参考图案或标尺的相对位置，失真图像可被重定比例，旋转或调节以将失真图像转换为适合已知的关系。例如，如果图6b中两个标尺之间的距离被缩小，则通过计算采集图像中标尺之间的距离与存储在系统中的已知距离的比值，系统能够确定放大系数。然后将这一放大系数应用于采集图像以将该图像转换回复正
堂
巾ο此外，通过获知每个分图像相对于整个抽屉的位置，可以确定抽屉的移动速度。例如，如图6c所示，采集到两个分图像1和2。如上所述，根据标尺的图像，通过参照存储在系统中的参考数据，系统可以确定该分图像相对于整个抽屉的位置。由于分图像1和2的位置信息是已知的，可以确定分图像1和2之间的位移(距离A)。行程时间t是两个收集图像之间的时间，其可以从摄像机获得。因此，抽屉的移动速度ν = A/t。系统可以使用抽屉的移动速度来为抽屉图像计时。根据速度测量，系统可以预知应该在何时拍摄下一个图像。例如，如果抽屉的速度是5" /sec并且系统的摄像机的图像覆盖范围是2〃，系统可以确定必须在2/5秒内拍摄下一个图像以保证图像之间的没有重叠或间隔。1/5秒可以在连续图像之间形成1"的重叠。通过计算抽屉速度的导数可以确定抽屉移动的加速度，并且根据抽屉的加速度进一步预知何时拍摄下一个图像。根据速度和加速度信息，系统可以节省电池供电的能量，和/或通过适当地计算抽屉图像的时间而不采集多余的图像来提高系统的性能。如果抽屉变形，和/或离开了摄像机，透视图像将被旋转和失真(歪斜)，如图6d 所示。通过比较标尺的收集图像和抽屉中标尺已知位置关系可以检测到这种失真。通过调整或旋转采集图像以使采集的标尺图像能够根据标尺的存储参考数据(见图6e)正确地覆盖在标尺的正确位置之上，可以获得失真图像的校正。应当理解的是，任何具有足够二维性能的参考图案，例如具有足够宽的参考图案，都可以类似方式被用来校正图像的歪斜或失真。每当歪斜或失真发生时，参考图案的二维特征将与存储在系统中的参考数据的特征不同。通过调整或旋转采集图像以使采集图案图像能够与存储参考数据一致，来完成对失真图像的校正。根据一个实施例，典型的系统提供填满摄像机的兴趣区域的图案以校正失真。要将图案的图像改变成预期的图案图像的失真将被应用于将来整个图像。例如，如图7a所示，已知的图案，例如相隔1/2"处的点的栅格，被成像为实质上与摄像机芯片平行。现在光学系统(透镜、反光镜等)中的所有失真可以在栅格的采集成像中获得。通过使采集成像失真以使网格图案的成像进入已知的、预期的网格图案中，系统的所有失真均被校正。现在将要描述使用已知参考图案来检测和补偿图像失真的详细步骤。1.确定参考图案的重心摄像机获得平面的数字图像，所述平面包含多个在平面已知位置上的可识别图像图案。在本实施例中，摄像机的光轴被假定为垂直于该平面，并且数字图像的每个像素具有红、绿、蓝值，每个都介于0到255之间。这些三色值被称为像素的“色”值或“RGB”值。在本实施例中，已知的图案是单色的圆，并且周围背景的颜色是单色，参考图案的颜色不同于
周围背景。在本实施例中，首先计算数字图像中每个像素的平滑值，然后计算数字图像中每个平滑像素的“色彩梯度”(color gradient) 0使用3x3平滑核心计算图像列和列(X，y)中的像素的平滑RGB值1 2 12 4 21 2 1 如下smoothedPixel (χ, y) = (l*rawPixel (x_l, y_l) ) + (2*rawPixel (χ, y-1) ) + (I^rawPixel (x + 1, y-1) ) + (2*rawPixel (x_l, y) ) + (4*rawPixel (x, y)) + (2*rawPixel(x + 1 , y)) + (1*rawPixe1 (x_1 , y + 1)) + (2*rawPixel (x, y+l)) + (l*rawPixel(x+l，y+l))其中"smoothedpixel"以及〃 rawpixel"分别是相应的 R、G或B值。使用3x3 Sobel过滤核心计算数字图像中每个平滑像素的色彩梯度X 核心:-1 O 1-2 0 2-1 0 1Y 核心:-1 -2 -10 0 0-1 -2 -1如下，其中 s 是〃 smoothedpixel"gx = (一1 氺 s(x_l, y-l))+0+(l*s(x+l, y_l)) + (—2 氺 s (x_l, y))+0+(2*s (x+1, y)) + (-l*s(x-l，y+l))+0+(l*s(x+l，y+1))gy = (一1 氺 s(x_l, y_l)) + (—2 氺 s (χ, y_l)) + (—1 氺 s+1, y_l))+0+0+0+(1 氺 s (x_l, y+1)) + (2*s (x，y+1)) + (l*s (x+1，y+1)) gx 和 gy 用于计算 R、G、B，以及像素位置 χ、y 处色彩梯度的平方，然后gradSq(x, y) = Sum of R, G and B [ (gx氺gx) + (gy氺gy)] 如果平滑像素及其相邻的颜色是接近的，色彩梯度将会很小。由于图案颜色不同于周围背景颜色，图案边界以及背景处像素的色彩梯度将会较大，并且边界像素因此可被识别为具有大于合适的定义阈值的色彩渐变的那些像素。在本实施例中，被这种像素边界围绕的像素区域被识别作为潜在的已知图案之一，所述像素边界中边界区域的参数，例如大小与形状，与预期的图案参数匹配。该区域的重心通过用边界区域中的像素的X或y值的总和除以边界区域中像素的数目计算。如果来自理想的“针孔摄影机”系统的成像系统的失真不是特别大，图案中心位置的图案将会和平面上已知图案的一样，并且因此测量的图案可被分别地被视为等同于各个已知图案。
2.确定并且校正失真
设KXi和KYi为图案i的已知位置，并且设MXi和MYi为确定为匹配图案i的区域的测量中心。设mxi = Μ* ((cos ( θ ) *KXi) - (sin ( θ ) *KYi)) +DXmyi = Μ* ((cos ( θ ) *KYi) + (sin ( θ ) *KXi)) +DYM是放大倍数，θ是旋转角，DX和DY是位移补偿。M是平面中图案位置的已知间隔与摄像机图像中相应的图案位置的测量间隔的比值，而θ、DX和DY通过(mxi-MXi)的平方加上(myi-MYi)的平方的最小二乘法(least-squarels minimization)，再对所有匹配图案求和计算，由于该总和是变量θ、DX和DY的函数，因此给定已知值的集合{KXi，KXi}， 集合{mxi，myi}根据上述值的集合计算，和相应的测定值的集合{Mxi，MYi}，则mxi近似等于MXi，myi近似等于Myi。然后将失真的值投影定义在图案i的像素位置处distortionXi = MXi-mxidistortionYi = MYi-myi通过双线性插值法，使用四个靠近像素位置的图案中心位置{mxi，myi}处的失真 (distortionXi, distortionYi)计算在“理想的”或无失真图像的任意像素位置处的失真。 用这样的方式，系统计算并且将每个无失真图像像素位置处的失真校正值(distortionX， distortionY)列表。一旦列表失真校正值被确定用于特定的摄像机，它们可被应用于将来由该摄像机采集的任意图像，以产生无失真图像。该无失真图像中的每个像素的色值的计算是通过拍摄无失真图像像素的χ，y位置，针对该无失真图像χ，y在表格中查寻χ，y位置处像素畸变值(distortionX，distortionY)，然后根据摄像机所采集的(失真)图像中 (x+distortionX,y+distortionY)处的像素得到色值。这些校正被应用到随后的所有图像。 没有位于栅格点的待校正的图像点，可以通过离其最近的栅格点的平均失真进行校正。根据另一个实施例，本发明典型的工具存储系统利用相互之间具有预定位置关系已知图案，或延伸跨越至少两个摄像机的已知图案来测量摄像机之间的相对摄像位置 (RCP)，并且利用该RCP将至少两个摄像机的图像拼接在一起。用于确定两个摄像机之间的RCP的步骤没有进行描述。两个摄像机，其相互之间的物理和机械位置是固定，每一个获得平面的部分数字图像，所述数字图像包含多个平面上的已知位置处的可识别图像图案。使用上面所描述的技术对图像进行失真的校正以确定并且校正失真。这些已知图案的中心通过在确定图案中心的部分所描述的技术来确定。平面之上对两个摄像机的视野可见的点，例如特殊图案的中心，将在第一摄像机的校正(无失真的)图像中投射至位置(xl，yl)，并且在第二摄像机的校正(无失真的)图像中投射至至位置(x2，y2)。假定两个摄像机的光轴是平行的，而且它们的放大率是相同的。然后通过下面的转化将(xl, yl)和(x2, y2)关联x2' = (cos ( θ )*xl)-(sin( θ )*yl) +dxy2' = (cos ( θ ) *yl) + (sin ( θ ) Φχ ) +dy其中θ是旋转角，dx和dy是位移补偿，它们是通过(x2i' -χ2 )的平方加 (y2i' -y2i)的平方的总和的最小二乘法计算得来的，对两个摄像机的视野可见的所有图案i求和，由于该和是变量θ、dx和dy的函数，故给定值的集合{xli，yli}以及相应的值的集合Ix2i，y2i}，其中，集合{x2i'，y2i' }从集合{xli，yli}中计算得到。x2i'近似等于x2i，并且y2i'近似等于y2i。参数θ、dx和dy定义了与一对摄像机有关的RCP的转化。逆变换是xl= (cos ( θ I) *X2) - (sin ( θ I) *y2) +dxlyl = (cos ( θ I) *y2) + (sin ( θ 1) *x2) +dyl其中θ I = - θdxl = - ((cos ( θ I) *dx) - (sin ( θ I) *dy))dyl = - ((cos ( θ I) *dy) + (sin ( θ 1) *dx))因此，对于平面之上对两个摄像机的视野可见的任一点，其在第一摄像机的校正 (无失真的)图像中投射至位置(xl，yl)，并且在第二摄像机的校正(无失真的)图像中投射至位置(x2, y2)，(xl, yl)和(x2, y2)通过该转化相关联。同时，在将平面上的尺寸与摄像机图像中的像素相关联的比例系数之内，平面上的任一点(xp，yp)可通过同样的数学表达式转化为与(xl，yl)或者(x2，y2)。同样的，给定同样的数学表达式将第一平面中的点(xl，yl)转化为第二平面中的点(x2，y2)，利用参数{θ 12，dxl2, dyl2}，并且用同样的数学表达式将第二平面中的点 (x2，y2)转化为第三平面中的点(乂3，73)，利用参数{9 23，叔23，(^23}，同样的数学表达式将第一平面中的点(xl,yl)转化为第三平面中的点(x3，y3)，利用参数{ θ 13，dxl3，dyl3}， 通过下式给出θ 13 = θ 12+ θ 23dxl3 = (cos ( θ 23)*dxl2)-(sin ( θ 23)*dyl2)+dx23dyl3 = (cos ( θ 23)*dyl2) + (sin ( θ 23)*dxl2)+dy23 如图7b所示，提供一个目标或一系列目标跨越所有的摄像机的视野。目标或一系列目标的一部分可以被每个摄像机拍摄。知道目标彼此相互之间的位置，可以测量摄像机彼此相互之间的位置(图7c)。利用相关摄像机的位置以在X和Y上产生补偿，并且每个摄像机轮流将单个图像拼接在一起(见图7d)。成像设置控制如果图像子系统的图像检测装置需要照明以获得合格的图像质量，可以提供照明装置。例如，可以使用LED来照亮将被图像检测装置成像的区域。应当理解的是，可以使用许多类型的照明光源。例如，LED可被配置成围绕透镜或图像检测装置的图像传感器。LED 发射的光线沿着与摄像机视野相同的路径传播。在另一个实施例中，光引导装置，例如反光镜，可用来将照明光源发射的光导向目标区域，例如抽屉，以进行成像。照明的时间和亮度被与控制摄像机及其曝光相同的处理器所控制。在摄像机某些可能的配置中，可能需要背景去除(Background subtraction)以增强图像。背景去除是公知的图像处理技术，用于从图像去除不需要的静态元素。首先，不使用照明来采集图像。然后，使用照明来采集图像。 通过从使用照明的图像上去除不使用照明的图像来形成最终的图像。从而将没有被照明显著增强的图像元素从最终图像上除去。为了将距离不断变化的抽屉成像在摄像机上，在采集图像时和/或在图像采集之后处理中需要进行适当的设置。这些装置包括照明亮度、摄像机曝光时间、颜色增益，其包括图像传感器阵列中的每个滤色器相应的各个参数、光圈配置、光圈尺寸、快门速度、F指数、后采集图像处理的阈值等等。此外，除了照明和曝光以外的图像参数可以随抽屉而变化，并且应该在成像过程期间被编址。这些附加参数或条件包括，例如，用于在摄像机视野之内成像的兴趣区域(ROI)的位置和尺寸；ROI是否过多地被成像，从而可以停下或关闭某些摄像机以节约电量；以及ROI上的视差效应。常规的成像技术通常根据从摄像机到目标物体的实时检测距离来决定需要的设置，然后即时地计算需要的参数以及设置。然而，这种实时的计算需要快速并且强大的处理器，其增加了系统的成本。本发明提供了一种独特的算法，其极大地降低了系统的计算负荷并且显著地提高了计算步骤的速度。依据本发明的典型工具存储系统预存包括从每个单独的抽屉到各个摄像机的距离的参考数据，以及根据每个单独的抽屉的标识和不同的环境照明条件的所需的参数设置。参考数据可以在生产工具存储系统期间产生。从每个单独的摄像机到各个抽屉的距离被测量并且记录。所记录的每个距离在不同照明条件下的理想图像参数通过标准方法被确定并且被存储在对照表中。该对照表同样存储与各个抽屉相应的附加信息，包括用于在摄像机视野之内成像的兴趣区域(ROI)的位置和尺寸，ROI是否过多地被成像，从而可以停下或关闭某些摄像机以节约电量，以及ROI上的视差效应。在操作期间，典型的工具存储系统确定正被存取的目标抽屉的标识以及环境的照明条件。根据抽屉的确定标识以及检测的照明条件，典型的系统存取的参考数据包括与目标抽屉对应的每个摄像机的预存距离信息，以及根据检测到的照明状态和该距离确定的理想图像参数。这种方法省去了系统处理器执行复杂检测和计算以确定与目标抽屉的距离和用于抽屉成像所需的图像参数的必要。相反地，需要的所有数据都可以从预存的对照表中得到。相应地，可以使用和/或调节适当的参数和/或设置来采集相应抽屉的成像或进程， 以便获得具有足够品质的图像。在具有多个摄像机的系统中，单独的一个摄像机可用于设置所有摄像机和照度控制的总的参数标准。典型的系统可以使用不同的方法确定正被存取的抽屉的标识。根据一个实施例， 每个抽屉都与标识符相对应，当抽屉进入摄像机的视野时所述标识符可以被摄像机所检测。摄像机根据该唯一标识符确定抽屉的标识。例如，该标识符可以是与每个抽屉唯一对应的图案，例如条形码、标识号码、唯一的图案等等。标识符对于所有抽屉可以使用相同的图案，但其位置应该与每个抽屉唯一对应。同样也可以使用放置在离摄像机的中心轴的恒定位置的相同图案而视差可被用来标识目标。在操作过程中，抽屉初始图像被处理以查找该唯一的图案，该图案使系统能够确定目标在视野范围内并且确定与目标的实际距离。这使系统能够确定随后的图像应使用哪种预先计算的照明和曝光设置。识别图案可以是相对每个目标距离单独的唯一图像图案， 或可以是公共图案，其尺寸或位置能够确定目标的距离。识别图案被设计成能对摄像机呈现出对比度强的图像，从而在较宽的照明和曝光控制范围下能够被解码。例如，可以是使用白底黑圈的图案。根据另一个实施例，每个抽屉具有两个位置关系已知的参考图案，例如距离已知。由于抽屉渐进地远离摄像机，抽屉的成像和参考图案之间的距离同样变得更小。参考图案之间的不同距离的对照表和相应的抽屉标识被存储在系统中。当抽屉的图像被采集
28时，系统使用参考图案之间的距离(以像素为单位)和对照表以确定哪些抽屉正被打开。在另一个实施例中，每个抽屉都与运动传感器、接触传感器或位置检测器相对应， 以检测各个抽屉的运动。通过确定哪些传感器或检测器正被移动的抽屉启动，或根据启动的传感器或检测器所发射的信号，典型的系统可以确定需要成像的抽屉的标识。典型的工具存储系统使用独特的方法来完成颜色校准和/或调整颜色增益。每个抽屉具有带有预置颜色属性的“颜色编码”区域。颜色编码区域可以是任意区域，例如已知颜色的背景，已知颜色的泡沫，已知颜色的张贴物等等。与预置颜色属性有关的信息被存储在系统的永久存储器中。颜色编码区域在初始条件下被成像。从摄像机传感器获得“raw”或“raw bayer" 格式的图像。使用本领域技术人员公知的数学转化，raw格式的传感器数据可被转化为不同的色空间(color spaces)，例如IHS (亮度、色调和饱和度)，以允许在初始条件下提取拍摄图像的属性。转化的结果可以使用许多统计平均方法进行改进。根据所采集的颜色编码区域的颜色属性和预置颜色属性之间的差异来产生校正因子，例如颜色补偿值。根据该补偿值，系统确定是否应该调节摄像机的一些设置，例如色彩增益、曝光等等，以获得合适的图像质量。在一个实施例中，这种调节被用于随后所有的图像。根据另一个实施例，系统对于每个单独的图像完成上述颜色校准。根据另一个实施例，颜色编码区域的初始图像作为基准图像信息存储。之后所有的颜色编码区域图像与基准图像相比以确定一校正因子，例如补偿值。然后根据计算出来的校正因子，系统确定是否应该调节摄像机的任何设置，例如色彩增益、曝光等等，以匹配该基准信息。例如，对于每个属性，基准资料和后续图像之间的差异可被计算得出并且与预设的阈值相比较。如果该差异超过阈值，系统继对随后的图像续进行调节。否则，不会对图像进行调节。如上所述，当图像被拍摄时可以进行调节或在采集图像被图像检测装置获取之后向采集图像应用该调节。用于调整图像属性的技术是公知的，将不再重述。例如，可以通过改变颜色之间的增益比值来调整色调。如果白色区域看来像浅蓝色，可以减小蓝色检测器增益以使该区域显得白些。为了调整颜色增益并且曝光，摄像机相对四个底板图案过滤设置具有单独的增益调节。增益比可以在摄像机级别的不同过滤元件之间进行调整。可以通过改变拍摄或图像期间图像的曝光时间将图像增益应用为后处理步骤，或通过增加自照明硬件的光输出来调整曝光。颜色的亮度与所有滤色器返回的总光线有关。如果给定的强度低于理想值，可以增加所有的增益，延长摄像机曝光时间，或者将光照设置为更高的级别。饱和度与给定颜色的亮度有关。此外，可以调节曝光和增益以将实际级别与理想级别相匹配。网络存储系统本发明所描述的存储系统可以与检查中心的远程服务器相连，以使每个存储系统的库存状态可以及时的更新并且汇报至服务器。如图9所示，服务器802通过无线网络与多个存储系统800相连。服务器802可以包括数据库服务器，例如微软公司的SQL服务器。 与验证、授权用户、库存状态、检查跟踪等等有关的信息被存储在数据库中。在一个实施例中，每个存储系统800具有数据收发机，例如802. Ilg或以太网模块。以太网模块直接连接到网络，而802. Ilg模块可以通过802. Ilg路由器连接到网络。这些网络模块的每一个都分配有静态或动态的IP地址。在一个实施例中，存储系统800通过数据收发机以周期性的基础登入到服务器，来下载有关授权用户、不同用户或不同密钥卡的权限级别、相关存储系统等等的信息。存储系统800同样将与系统有关的信息上传至服务器802，例如库存状态、抽屉图像、工具使用、存取记录、用户存取存储系统800的信息等等。每个存储系统800可以由交流电源或电池组供电。不间断供电电源(UPQ系统可以在电源故障期间提供电源。服务器802允许管理员或审核人复查与每个存储系统800有关的存取信息，例如库存状态以及与每次存取存储系统800有关的信息，如用户信息，使用持续时间、库存状态、库存状态的变化、抽屉图像或存储系统的内容等等。在一个实施例中，服务器802可以与存储系统800形成实时的联系，并且从存储系统下载信息。管理员或审核人同样可以通过服务器802对每个存储系统上的存取控制装置进行编程，例如改变密码和被授权的人员，为每个存储系统添加或删除授权用户等等。准许对每个存储系统800进行存取所需的授权数据可被服务器802编程和更新，并且被下载至每个存储系统800。授权数据可以包括密码和被授权的人员、为每个存储系统添加或删除授权的用户、用户合法性或验证算法、用于加密和/或解密的公开密钥、用户黑名单、用户白名单等等。其它数据更新可以从服务器 802传输到每个存储系统，例如软件更新等等。类似地，存储系统800上进行的任何改变，例如改变密码、添加或删除授权用户等等，将被更新至服务器802。对于用户提交的每次存取请求，根据用户通过数据输入设备输入的用户信息和授权数据确定用户的权限，存储系统可以确定用户的授权以验证或确认该用户。根据验证的结果，数据处理器通过控制存取控制装置，例如锁，选择性地允许对存储系统的存取，以允许对存储系统800或一个或多个存储系统800的一个或多个存储抽屉存取。服务器802同样允许管理员同时对指定组850内的多个存储系统800进行程序编制。管理员可以选择哪些特定的存储系统应该在组850中。一旦用户被授权存取组850，该用户可以对组850内的所有存储系统进行存取。例如，存储用于汽车的工具的存储系统组可被指定为汽车工具组，而另一个存储用于电气工作的工具的存储系统组可被指定为电气工具组。服务器802对一个组进行的任何设置，调节或编程自动地被应用在组中的所有工具存储系统上。例如，服务器802可以对工具存储系统编程以允许汽车技术人员对汽车工具组中的所有工具存储系统进行存取，而不是电气工具组中的那些工具存储系统。在一个实施例中，每个系统800只包括足以操作的最小化的智能。其它所有的数据处理、用户身份证验证、图像处理等等由服务器802完成。类似地，服务器802同样允许管理员同时对指定组内的多个存储抽屉330进行程序编制。管理员可以选择相同系统或不同存储系统中的哪些特定的存储抽屉可以在该组中。一旦用户被授权存取该组，该用户可以对组内的所有存储抽屉进行存取。例如，存储用于汽车的工具的存储系统组可被指定为汽车工具组，而另一个存储用于电气工作的工具的存储系统组可被指定为电气工具组。在另一个实施例中，如图9所示的典型网络存储系统利用分级权限结构来管理对存储系统的存取。一个或多个存储系统800被给定为主存储系统的状态。每个主存储系统具有一个或多个相连的从属存储系统。如果用户被批准存取主存储系统，相同用户自动地被授权存取与该主系统相关的任意从属存储系统。反之，如果用户被批准存取从属存储系统，那么该从属系统的权限并未自动地允许该用户存取与其关联的主存储系统或与同样的主存储系统相关联的其它从属存储系统。根据另一个实施例，图9中所示典型的网络存储系统允许用户利用多个分级权限级别进行访问。每个权限级别与预定的存储系统相关联，管理员可以通过服务器802对其进行编程。当用户被分配了特定的权限级别，该用户被授权存取与被分配的权限级别相关的所有存储系统，以及在权限体系中所有权限级别比该分配权限的权限级别低的所有存储系统，而不能够存取在权限体系中那些权限级别比该分配权限级别高的存储系统。检查依据本发明的典型的库存控制系统记录与每次存取有关的各种类型的信息。例如，系统800记录每个存取的日期、时间和/或持续时间，以及用户提交的用于获得对系统 800进行存取的相应用户信息。如前所述，系统800在每次存取期间采集存储单元的一个或多个图像用于确定库存状态。该图像与每次存取和存取用户有关系并且被存储在系统800 中。系统800可以在本地存储该信息或将获得的信息通过无线通信网络上传至服务器802， 如图9中所示。服务器802可以对接收自每个系统800的信息进行处理和编译，以产生每个服务器802的检查记录。该检查记录可被具有适当权限级别的管理员或用户存取。可以根据授权用户的选择产生并且重新得到不同类型的检查记录。例如，可以针对一个或多个特定日期、一个或多个特定用户、一个或多个特定工具、一个或多个ID等等产生检查记录。附加的信息和分析可由服务器802产生并且提供。例如，系统802可以跟踪特定工具一段时间之内的使用情况，并且生成总结每个工具的使用频率的报告用于评估。这种报告可用来确定哪些工具被更频繁地使用以及哪些工具可能不需要，因为它们相比其它工具更少的被使用。数据可通过相关的标准，例如日期、用户、或抽屉，而被存储，以使在当抽屉被打开或关闭时，检查人员可以看到抽屉的确切状态。如果由于某些外来杂物或其它原因，而检测到特定的工具不正常，检查中心802 发出警告，该警告具有问题抽屉的特定区域的图像。其通过向图像子系统请求受影响区域的图像来完成。根据一个实施例，系统800通过屏幕装置显示工具存储系统的状态。系统800的显示器具有定制的屏幕保护(saver)，其能够根据工具管理系统的状态以三种不同颜色中的一个进行显示。如果所有工具都被登记并且箱子是关闭的，屏幕保护显示绿色的跳动图标。如果工具目前被借出而箱子是关闭的，就显示黄色的跳动图标。如果系统目前是打开的，显示红色图标。根据另一个实施例，系统800的显示器具有工具存储系统的图形表示，其能够动态地更新工具存储系统800的状态。工具存储系统800的图像被显示并且抽屉将反映系统的当前状态。如果抽屉是打开的，抽屉将在显示器上被显示成红色。如果抽屉是关闭的但工具目前被借出，抽屉将显示为黄色。如果抽屉是关闭的并且所有的工具目前都在抽屉内， 抽屉将是具有黑色轮廓的空白。图IOa所示的是相对于特定存储系统800的检查记录的典型屏幕。对系统800的每次存取通过与每次存取相关的用户的数据/时间和用户信息910识别。用户信息可以包括用户在请求存取系统800时提交的任何信息，例如指纹、面部识别图像、用户摄像机拍摄的用户图像、密码、存储在出入证中的信息、用于验证的任何信息等等。在一个实施例中，每个用户的用户面部特征数据被存储在系统800或服务器802中。对于每次存取，用户存取系统800的图像被用户摄像机采集。用户提交的用于存取系统800的用户信息，例如存储在出入证和/或密码中的信息被收集起来。将采集的图像与用户信息所确认的用户面部面部特征相比较。系统800或服务器802确定存取系统800的用户面部特征是否与用户信息所确定的用户面部特征相匹配。在每次存取存储系统800期间拍摄一个或多个图像。图IOb所示的是在用户存取存储位置之前，或如本发明之前所述当抽屉在第一方向移动时由系统800的摄像机拍摄的典型的“存取之前”图像。如图IOb所示，各个工具被正确地存储在相应的存储位置。图 IOc所示的是在存取终止之后，或如前所述当存储抽屉在第二方向移动时，由系统800的摄像机拍摄的典型的“存取之后”图像。如图IOc所示，缺少与存储位置951和952对应的工具。根据图IOc所示的图像，系统800确定了正缺少存储位置951和952中的工具。产生与遗失工具以及与其存取有关的用户的检查记录。图IOd所示的是存储在系统800和/或服务器802中的典型记录，其中存储了 “存取之前”和“存取之后”图像981和982。根据“存取之后”图像982可以确定遗失的工具并且登记在区域980中。在上述的说明书中，为了对本发明有一个彻底的了解，许多的细节被描述出来，例如具体的材料、结构、工艺等等。然而，本领域技术人员应当承认的是，本发明在实际应用中可以不依靠描述的具体内容。在其它情况下，为了不给本发明带来不必要地晦涩，公知的工艺结构没有被详细描写。在本发明中仅仅是展示并且描述了本发明示意性的实施例以及它们通用性的例子。应当理解的是，本发明能够用于不同的其它组合和环境中使用，而且在这里所表示的本发明构思范畴内能够进行变化或修改。
权利要求
1.一种库存控制系统，用于确定存储在系统中的目标的库存状态，所述系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与一个具有已知颜色属性的标识符相关联；数据存储系统，用于存储各个存储抽屉的关联标识符的已知颜色属性的信息；数据处理器，所述数据处理器被配置为存取一张采集的带有相关标识符的存储抽屉图像的数据；存取与所述采集图像相关的抽屉对应的标识符的已知颜色属性的信息；确定该采集图像中标识符的颜色属性；根据采集的图像中的标识符中的颜色属性以及标识符中已知颜色属性确定校正因子；将所述校正因子应用至随后图像检测装置所采集的图像。
2.一种库存控制系统，用于确定存储在系统中的目标的库存状态，所述系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知且非重复的参考图案相关联；图像检测装置，其被配置为采集一个存储抽屉的分图像，其中存储抽屉与该参考图案相关联，且参考图像以这样的方式提供图像检测装置获取的每张图像中至少包括两种已知且非重复的参考图案；数据存储系统，用于存储各个存储抽屉中参考图案的位置信息；数据处理器，其被配置为存取图像监测装置采集的抽屉分图像的图像数据；提取抽屉分图像中参考图案的相关信息；存取存储在数据存储系统中的位置信息；以及根据分图像中的参考图案和位置信息确定与分图像对应的抽屉的部分。
3.如权利要求1中所述的系统，其中所述图像检测装置可被配置为采集抽屉的多个分图像，对于每一个图像检测装置采集的多个分图像，数据处理器可以根据每个分图像中的参考图案和存储在数据存储系统中的位置信息判定与多个分图像中的每个相对应的抽屉的部分。
4.如权利要求2中所述的系统，其中多个分图像可被拼接在一起以形成一较大的抽屉的图像。
5.一种库存控制系统，包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知且非重复的参考图案相关联；一图像检测装置，其被配置为采集一个存储抽屉的分图像，其中存储抽屉与该参考图案相关联，且参考图案以这样的方式提供图像检测装置获取的每张图像中至少包括两个已知且非重复的参考图案；一数据存储系统，其用于存储每个存储抽屉中参考图案的位置信息； 一数据处理器，其被配置为存取图像检测装置采集的抽屉的第一张分图像以及第二张分图像的图像数据； 提取第一张分图像以及第二张分图像中参考图案的相关信息；存取存储在数据存储系统中的位置信息；根据第一张分图像和第二张分图像中的参考图案以及位置信息来确定与第一张分图像和第二张分图像相对应的抽屉的部分；以及根据与第一张分图像和第二张分图像相对应的抽屉的部分，以及第一张分图像和第二张分图像之间的时间差来确定抽屉的移动速度。
6.如权利要求5中所述的系统，其中数据处理器根据移动速度确定图像频率，图像检测装置根据所确定的图像频率采集抽屉的图像。
7.一种库存控制系统，包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与至少两个已知且非重复的参考图案相关联；图像检测装置，其被配置为采集至少一张带有相关参考图案的存储抽屉的分图像，其中参考图案以这样的方式提供图像检测装置获取的每张图像中至少包括两个已知且非重复的参考图案；数据存储系统，其用于存储每个存储抽屉中参考图案的位置信息； 数据处理器，其被配置为存取图像检测装置采集的抽屉的分图像的图像数据； 提取分图像中参考图案的相关信息； 存取存储在数据存储系统中的位置信息；根据第一张分图像和第二张分图像中的参考图案以及所述位置信息来确定与分图像相对应的抽屉的部分；根据抽屉的分图像和确定的抽屉部分的特征之间的差异来确定对于采集的图像需要做出的调整；以及把所述需要做出的调整应用到采集的图像。
8.如权利要求7中所述的系统，其中确定的调整被应用于随后图像检测装置采集的图像。
9.一种库存控制系统，包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置； 图像检测装置，其被配置为采集包括已知参考图案的目标的图像，其中参考图案的相对空间关系是已知的；数据存储系统，用于存储参考图案中已知空间关系的信息；数据处理器，其被配置为存取图像监测装置采集的目标图像的图像数据；提取所采集的图像中参考图案的相关信息；存取存储在数据存储系统中关于参考图案的已知空间关系的信息；确定采集的图像中参考图案与参考图案的已知空间关系之间的差异；根据该差异确定对采集的图像需要做出的调整；将所述需要做出的调整应用到随后图像检测装置所采集的图像。
全文摘要
本发明描述了根据采集图像监视目标的库存状态的系统。典型的系统包括至少一个存储抽屉，每个存储抽屉包括用于存储物体的多个存储位置，其中每个抽屉与一具有已知颜色属性的标识符相关联；以及图像监测装置，其被配置为采集带有相关标识符的存储抽屉的图像。对于每个存储抽屉，所述系统的数据存储装置存储相关标识符的已知颜色属性的信息。所述系统的数据处理器被配置为存取该标识符的已知颜色属性的信息，该标识符是和与被采集图像相对应的抽屉相关联的；确定该采集的图像中标识符的颜色属性；根据采集的图像中的标识符中的颜色属性以及标识符中已知颜色属性确定一个校正因子；将此校正因子应用至随后图像检测装置所采集的图像。
文档编号G06Q10/00GK102165469SQ200980137705
公开日2011年8月24日 申请日期2009年8月7日 优先权日2008年8月8日
发明者大卫·A·杰克逊, 大卫·C·弗莱, 斯蒂芬·L·格利克曼, 普雷斯顿·菲利普斯, 詹森·L·威克斯, 马太·J·立普斯 申请人:实耐宝公司