产品识别系统和方法与流程

1.本文所描述的实施方案整体涉及用于识别产品的系统和方法。具体地，本文所描述的实施方案涉及用于识别由消费者从无人值守的自动售货机取出的产品的系统和方法。


背景技术：

2.自动售货机通常需要消费者输入付款，做出产品选择，并且等待自动售货机售出产品。但是，消费者在使用自动售货机时可能遇到多个问题。首先，自动售货机可能不接纳消费者的付款方式。例如，自动售货机可能不接纳有折痕或褶皱的钞票。自动售货机可能无法正确收入收到的钞票或硬币，因此消费者可能未收到针对所输入的付款的返额。自动售货机可能未被构造成接受移动支付，这对于消费者可能是不方便的。此外，自动售货机可能无法读取支付卡，诸如信用卡或借记卡。因此，消费者可能无法完成购买，或者消费者可能产生挫败感并且决定不使用自动售货机。
3.其次，一旦输入付款，消费者可能错误地输入与所需产品相对应的代码。因此，可能售出与消费者预期不同的产品。消费者可能无法退回错误产品，并且消费者可能束手无策。此外，自动售货机通常只允许消费者一次购买一个产品，因此消费者需要重复输入付款并且选择产品的过程以便购买多个产品。重复相同的步骤可能耗时并且令人沮丧，并且可能使消费者放弃多次购买。
4.再次，自动售货机可能未能将所选产品正确地传送给用户。例如，螺杆传动可能未能将产品移动至自动售货机的出货口，或者将产品保持在适当位置的门可能不完全打开。另外，产品可能被卡住或滞留在自动售货机内，并且可能无法被消费者触及。因此，消费者可能无法收到产品并且可能无法获得退款。
5.自动售货机具有各种另外的缺点，诸如消费者不能亲身选择具体产品。相反，消费者只是选择产品类型，但无法挑选要购买的确切产品。此外，消费者在购买前无法触及或检查产品。因此，消费者可能无法了解产品，诸如读取标签、成分或营养信息。这可能阻碍消费者购买不熟悉的产品。售出的产品可能受损、到期或存在其他形式的缺陷。这些多方面因素可能导致消费者体验不佳。
6.因此，需要能提供简单、轻松的购买体验的改进的自动售货机。此外，期望自动售货机允许消费者亲身选择一个或多个产品并且确保售出期望的产品。


技术实现要素：

7.本文所描述的一些实施方案涉及一种用于识别从机柜中取出的产品的方法，该方法包括：利用该机柜内的相机检测从该机柜中取出的产品的视觉特性；利用标识传感器检测从该机柜中取出的该产品上的标识；将该视觉特性和该标识与产品信息数据库进行比较；以及基于该视觉特性和该标识与该产品信息数据库的比较来识别从该机柜中取出的该产品。
8.本文所描述的一些实施方案涉及一种用于识别从机柜中取出的产品的方法，该方
法包括：利用该机柜内的内部相机捕获该机柜内的多个产品的第一图像；从该机柜中取出该多个产品中的产品；在取出该产品后，利用该内部相机捕获该机柜内的该多个产品的第二图像；通过分析该第一图像和该第二图像来确定从该机柜中取出的该产品的身份标识；以及通过检测从该机柜中取出的该产品的标识来确认从该机柜中取出的该产品的身份标识。
9.本文所描述的一些实施方案涉及一种用于识别从机柜中取出的产品的方法，该方法包括：通过相机和传感器中的至少一者检测该产品从该机柜中取出的位置；基于来自相机和传感器中的至少一者的数据来确定该产品的视觉特性；基于该视觉特性来确定该产品的预测身份标识；基于该机柜内的产品的数字地图来确定该位置处的产品的身份标识；以及确认该产品的该预测身份标识与基于该数字地图的该产品的该身份标识相对应。
10.在本文所讨论的各种实施方案中的任一者中，视觉特性可包括产品的形状。
11.在本文所讨论的各种实施方案中的任一者中，视觉特性可包括产品的配色。
12.在本文所讨论的各种实施方案中的任一者中，标识传感器可以为相机。
13.在本文所讨论的各种实施方案中的任一者中，标识可以为条形码。
14.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括通过用布置在机柜内的重量传感器确定从该机柜中取出的产品的重量来确认该产品的身份标识。在一些实施方案中，确定从机柜中取出的产品的重量可包括：通过重量传感器确定该机柜中的产品的第一重量；在从该机柜中取出产品后，通过重量传感器确定该机柜中的产品的第二重量；以及计算第一重量与第二重量之间的差值。
15.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括：在机柜之外的位置处，利用外部相机检测从该机柜中取出的产品的视觉特性；以及基于由外部相机检测到的视觉特性来确认取出的该产品的身份标识。
16.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括：利用外部相机检测用户；利用该外部相机检测用户的未经授权的行为；以及当检测到未经授权的行为时锁定机柜。
17.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括：通过光学传感器检测与所取出的产品相关的数据；以及使用来自该光学传感器的数据来确认所取出的产品的身份标识。
18.在本文所讨论的各种实施方案中的任一者中，光学传感器可包括lidar传感器。
19.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括在从机柜中取出产品后更新该机柜内的产品的数字地图。
20.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括使用从相机和传感器中的至少一者接收的数据生成机柜内的产品的数字地图。
21.在本文所讨论的各种实施方案中的任一者中，数字地图可包括机柜内的每个产品的位置和模型。
22.在本文所讨论的各种实施方案中的任一者中，该方法可进一步包括通过标识传感器检测从机柜中取出的产品的标识。
附图说明
23.在本文中结合并形成为说明书的一部分的附图示出了本公开，并与说明书一起进一步用来解释本公开的原理，使相关领域技术人员能够实现和使用本公开。
24.图1示出了根据一个实施方案的被构造成识别从机柜中取出的产品的自动售货机的前视图。
25.图2示出了根据一个实施方案的用于识别从自动售货机的机柜中取出的产品的系统的部件的示意图。
26.图3示出了根据一个实施方案的自动售货机的搁架的俯视图，示出相机的布置。
27.图4示出了根据一个实施方案的自动售货机的搁架的俯视图，示出相机的位置。
28.图5示出了根据一个实施方案的具有相机的自动售货机的透视图。
29.图6示出了根据一个实施方案的确定产品的身份标识的示例性方法。
30.图7示出了根据一个实施方案的确定产品的身份标识的示例性方法。
31.图8示出了根据一个实施方案的具有重量传感器的自动售货机的侧视图。
32.图9示出了根据一个实施方案的确定产品的身份标识的示例性方法。
33.图10示出了根据一个实施方案的确定产品是否已经退回至机柜的示例性方法。
34.图11示出了根据一个实施方案的利用光学传感器所确定的搁架中的产品的视图。
35.图12示出了根据一个实施方案的自动售货机的机柜的透视图和产品的数字地图。
36.图13示出了根据一个实施方案的用于通过跟踪消费者的手的位置来识别产品的系统的俯视图。
37.图14示出了根据一个实施方案的确定产品的身份标识的示例性方法。
38.图15示出了可在其中实现实施方案的示例性计算机系统的示意性框图。
具体实施方式
39.现在将详细参考附图中示出的代表性实施方案。应当理解，以下描述并非旨在将实施方案限制为一个优选的实施方案。相反，其旨在覆盖可以包括在所述实施方案的由权利要求限定的精神和范围内的替代、修改和等同形式。
40.一些自动售货机使消费者可以触及储存产品的隔室。通过这种方式，当消费者决定是否购买产品时，可检查产品以查看标签、营养信息等。此外，消费者可选择希望购买的确切产品。消费者可以在单次交易中轻松购买多个产品。
41.此类自动售货机可接纳来自消费者的支付来源或识别消费者，使消费者能触及储存产品的机柜，检测由消费者从机柜中取出的产品，并且就所选产品向消费者收费。虽然此类自动售货机可以为消费者提供增加的便利性，但是准确检测由消费者选择的产品带来许多技术挑战。如果未识别出从机柜中取出的产品并且向消费者收费，则自动售货机的所有者可能损失收入。另外，如果未正确识别出所取出的产品，则消费者可能被以错误的价格收费，并且可能错误维持自动售货机的库存。还必须考虑确保消费者无法篡改产品或以其他方式从事未经授权的活动。
42.为确保准确识别从自动售货机中取出的产品，自动售货机必须能够区分各种产品，其中许多产品在外观上可能相似。例如，许多饮料瓶的尺寸和形状可能相同或相似，特别是来自相同制造商的饮料。因此，一些产品的差别可能仅在于包装上的小细节，诸如产品
名称或配色。
43.自动售货机还必须能够以各种取向检测产品。产品可能以各种取向布置在机柜中，并且消费者可能以不同的方式从自动售货机中取出产品。消费者可能以遮挡产品、阻碍识别的方式选择产品。例如，消费者可能用一只手抓住多个产品，使得难以检测所选择的每个单独的产品。消费者还可能取出产品并且将该产品退回至与该产品初始定位不同的位置并具有不同的取向。
44.为确保正确使用自动售货机，必须采取预防措施来防止未经授权的行为，诸如偷窃或篡改产品或损坏自动售货机。消费者可能试图在不经检测的情况下取出产品，使得不会就该产品向该消费者收费。另选地，消费者可能试图通过将外部物体插入自动售货机中代替产品以使得看起来已退回产品，从而欺骗自动售货机。如果消费者能够偷窃或篡改产品，则自动售货机的所有者可能遭受收入损失。如果可供购买的产品受损，其他消费者可能选择不使用自动售货机。
45.本文所描述的一些实施方案涉及用于使用相机和标识传感器来识别从机柜中取出的产品的系统和方法，其中将利用该相机和标识传感器收集的数据与产品信息数据库进行比较。通过这种方式，可准确识别产品而无需消费者手动扫描或输入有关产品的信息，从而简化从自动售货机购买产品的流程。本文所描述的一些实施方案涉及用于识别从机柜中取出的产品的系统和方法，其包括生成机柜内的产品的数字地图。数字地图提供机柜内的产品的位置和身份标识的基线，并且可用于确认通过机柜中的相机或传感器得到的从机柜中取出的产品的识别结果。
46.在一些实施方案中，自动售货机100可包括机柜110，该机柜具有储存在机柜110内的多个产品200，如图1所示。机柜110可进一步包括门118，该门可以被打开以使消费者能触及机柜110内的多个产品200。机柜110可包括用于识别产品的一个或多个相机120、130或传感器140、150、160。具体地，相机和传感器被构造成识别从机柜110取出的产品，使得仅就从机柜110中取出并且未退回至机柜110中的产品向消费者收费。分析由传感器和相机收集的数据，诸如利用控制单元180(参见图2)进行分析，以确定所取出的产品的身份标识。该分析可包括将来自相机和传感器的数据与产品信息和/或产品库存的数据库进行比较。
47.本文所描述的检测系统和方法可用于允许用户从储存产品的机柜中手动选择和取出产品的自动售货机中。一种允许消费者手动选择和取出产品的自动售货机描述于例如2019年9月3日提交的美国专利申请号16/559,300中，该专利申请通过引用整体并入本文。本文仅出于例示性说明目的描述了引入产品识别系统和方法的示例性自动售货机。本领域的普通技术人员将会理解，本文所描述的产品识别系统和方法可与其他类型的自动售货机或商家一起使用，并且可用于其他环境中进行产品识别。
48.自动售货机100可具有如例如图2所示的部件。但是，自动售货机100无需具有图2所示的每个部件，并且可包括另外的部件。
49.自动售货机100可被构造成验证消费者的身份标识。自动售货机100可包括外部相机130，以通过面部识别来识别消费者的身份，或包括生物统计传感器172以从消费者获得生物特征信息诸如指纹或虹膜。在一些实施方案中，自动售货机100可另选地地或另外地包括通信设备174，诸如无线收发器，用于与移动设备诸如蜂窝电话通信，使得消费者可以通过移动设备进行验证或付款。在此类实施方案中，移动设备可具有软件应用程序以便于与
自动售货机100交互。消费者的身份标识可以与包括有关消费者的信息(诸如支付来源)的消费者概况链接，使得消费者在使用自动售货机100时无需手动输入付款，并且消费者的购买行为可自动记入该消费者的概况中。
50.自动售货机100可无需验证消费者，并且可以只是接纳来自消费者的付款方式。自动售货机100可包括支付处理单元170，该支付处理单元可包括一个或多个狭槽以接纳纸币、硬币或代用币。支付处理单元170可包括读卡器以读取信用卡、借记卡、礼品卡等的磁条或电子芯片，或者包括近场通信(nfc)天线以接纳来自非接触式支付卡的非接触式付款。支付处理单元170可包括通信设备以接纳来自移动电子设备诸如蜂窝电话、手表、膝上型计算机、平板电脑等的移动支付或加密货币，或者支付处理单元170可包括扫描仪以扫描付款码，例如快速响应(qr)代码。
51.一经验证消费者的身份标识或收到来自消费者的付款，自动售货机100的门118即可自动解锁，使得该消费者可以触及多个产品200。可利用如本文所描述的方法来识别由消费者取出的产品。在用户界面176上或用户的移动设备上显示的虚拟购物车可以列出从机柜110中取出的产品以及产品的价格和产品的总价。
52.当消费者关闭自动售货机100的门118时，可完成对所取出的产品的购买。为了完成购买，消费者可以提供输入，诸如在自动售货机100的用户界面176上选择完成交易，或者在具有触摸屏的用户界面176上做出某个手势，诸如沿某个路径滑动。另选地，当门118在预定时间段后关闭时，可自动完成购买。
53.在一些实施方案中，自动售货机100可包括在机柜110内的一个或多个内部相机120以用于识别产品，如图3所示。相机120可被构造成捕获静态图像，相机120可捕获视频，或两者。在一些实施方案中，多个相机120可被布置成捕获机柜110的每个搁架112上的产品的图像或视频。相机120可布置在机柜110的一个或多个拐角处，位于每个搁架112上方。此外，在一些实施方案中，相机120可居中布置在每个搁架112上方，以便捕获搁架112的中央部分的图像。例如，相机120可布置在机柜110的四个拐角中的每一者中，并且第五相机可布置在搁架112的中央部分上方。通过这种方式，相机120可从不同角度捕获产品，并且可检测可能在来自特定相机120的视图中被遮挡的产品。此外，相机120可观察机柜110内的任何产品，并且可具有重叠的视野。例如，布置在机柜110的前部116处的相机120可能无法完整捕获布置在机柜110的后部114处的产品。可选择来自相机120的最佳图像进行分析以确定产品的身份标识，或者可以生成并且分析结合各种图像的复合图像。
54.在一些实施方案中，一个或多个相机120可被构造成捕获离开(或进入)机柜110的产品的图像或视频，如图4所示。相机120可布置在机柜110的前部116处。在一些实施方案中，相机120可定位在机柜110的前部116的拐角处，或者可围绕机柜110的前部116的周边定位。相机120可限定与机柜110的前部116平行的平面p。通过这种方式，离开或进入机柜110的产品200b必须穿过平面p，并且因此被相机120检测到。在此类实施方案中，机柜110内的产品200a可能未被相机120检测到。相机120可捕获图像或视频以识别从机柜110取出或退回至机柜110的产品200b。在机柜110的前部116处的相机120可具有产品200的透明视图，因为当产品200未被机柜内的其他产品遮挡时，消费者将其取出。
55.相机120可用于检测产品的视觉特性。视觉特性可包括产品的形状、产品的尺寸、产品的配色或它们的组合。相机也可用于确定产品在机柜110内的位置。
56.产品的形状可以为产品的轮廓或2-d视图，诸如前轮廓、侧面轮廓、后轮廓、俯视图或仰视图。例如，如果产品为罐，则以自上而下的方式观察时，形状可能为圆形，或者当在侧面轮廓中观察时，形状大致呈矩形。在一些实施方案中，形状可以为3-d视图，诸如产品的透视图。该3-d视图可通过组合来自各种相机的2-d视图来生成。在一些实施方案中，可使用相机生成每个产品的模型。该模型可以为包括形状和颜色或色调的2-d模型。在一些实施方案中，模型可以为包括产品的形状、尺寸和颜色或色调的3-d模型。相机120可具有深度传感器以辅助生成3-d模型。相机可确定产品的尺寸，使得可以区分具有相似形状的产品。例如，尽管12盎司罐和16盎司罐均为圆柱形，但两者也能得到区分。在一些实施方案中，为了确保准确度，相机可被构造成确定在
±
5mm、
±
3mm或
±
1mm内的产品尺寸。
57.视觉特性可包括产品的配色。配色可以为产品的任何部分的颜色，或颜色的图案或组合，例如色调。例如，视觉特性可以为包装的颜色、包装上的文本、徽标或标记的颜色以及其他彩色项。例如，当产品为瓶装饮料时，配色可以为瓶子的颜色(例如，透明、绿色)、瓶内液体的颜色、瓶盖的颜色、标签的颜色或标签上的文字或标记的颜色以及它们的组合。
58.在一些实施方案中，标识传感器150(参见例如图1)可检测产品200的标识210。产品的标识210可包括产品上的标签、条形码、qr码、文本(诸如品牌、产品或风味名称)、徽标或其他标记。在一些实施方案中，标识传感器可以为相机120。在一些实施方案中，标识传感器150可以为单独的部件，诸如用于扫描条形码或qr码的扫描仪。标识传感器150可具有足够高的分辨率，使得可以读取产品200上的文本。在一些实施方案中，自动售货机100的控制单元180可执行光学字符识别(ocr)以识别所捕获的产品图像中的文本。所捕获的图像或视频可具有足够高的像素密度以允许准确识别文本。在一些实施方案中，用于识别文本的最小像素密度可以为约2个像素/毫米。此外，标识传感器150可具有高帧速率以提供清晰图像，以便于ocr。
59.在一些实施方案中，如本领域的技术人员将理解的那样，可使用卷积神经网络(cnn)检测产品200上的标识210，使得可以分析标识210以进行产品识别。可基于自动售货机100中可用的产品来训练cnn以提高准确度。此外，标识传感器150可具有足够高的分辨率以分辨相关产品(例如，百事可乐、无糖百事可乐、樱桃味百事可乐)的标识210的差异。在一些实施方案中，例如，准确识别产品可能需要1.5像素/毫米的最小像素密度。
60.标识传感器150可帮助确定具体的库存单位(sku)。例如，一个或多个相机120可检测产品的尺寸和形状，但是机柜110中的多个产品可能具有相同的尺寸和形状。因此，标识传感器150可通过检测产品的标识210来帮助确定产品的具体类型。另选地，如果单独的相机120能够确定所取出的产品的身份标识，则可以使用由标识传感器150提供的信息来提高产品已经得到正确识别的可信度或确认基于相机120的产品识别结果是正确的。
61.控制单元180可被构造成接收和分析来自相机120和标识传感器150的数据以确定产品身份标识。控制单元180还可存储产品信息数据库。该数据库可包括有关储存在机柜110中的产品的信息。该数据库可包括例如产品列表。对于每个产品，数据库可包括对应的视觉特性，诸如形状或轮廓、尺寸和包装的配色、产品重量以及有关产品标签和标识的其他信息。为识别从机柜中取出的产品，分析可确定数据库中具有与基于来自相机120和传感器150的数据所确定的视觉特性相对应或最匹配的视觉特性的产品。在一些实施方案中，控制单元180可执行传感器融合算法，以基于来自相机120和传感器150的数据来确定产品身份
标识。可使用人工智能和机器学习分析来自相机120和传感器的数据，与产品信息数据库结合，以确定产品身份标识。在一些实施方案中，人工智能可以为产品识别结果分配置信水平。如本领域的普通技术人员将理解的那样，可使用计算机视觉技术分析数据，诸如来自相机和传感器的图像或视频。在一些实施方案中，可远离自动售货机100采用人工智能或计算机视觉技术。例如，可使用云计算、边缘计算或它们的组合分析来自相机120和传感器的数据。
62.在一些实施方案中，控制单元180还可存储自动售货机100的产品库存，使得机柜110中的产品已知。因此，所取出的产品的识别限于已知在机柜110中的产品，或限于从其中取出产品200的特定搁架112。在一些实施方案中，控制单元180可生成和存储机柜110中的产品的数字地图，其可以进一步辅助产品识别，如下文关于图12所进一步详述。
63.在一些实施方案中，自动售货机100可包括内部相机120，如图5所示。自动售货机100包括具有搁架112的机柜110，产品可储存在搁架上。第一多个相机120b可定位在每个搁架112上方，以便检测机柜110内部的每个搁架112上的产品。第一多个相机120b可包括每个搁架112的拐角和每个搁架112的中心部分处的相机120b。第二多个相机120a可布置在机柜110的前部116处。第二多个相机120a可被构造成检测从机柜110中取出或退回该机柜的产品，如上文关于图4所述。第二多个相机120a可围绕前部116的周边定位。但是，在一些实施方案中，可包括更少或另外的相机120。
64.在一些实施方案中，确定从机柜中取出的产品的身份标识的方法可包括使用相机来捕获进入或离开机柜的产品的视频600，如例如图6所示。相机可以在机柜的门打开时被激活，并且在门关闭时停用，使得仅当消费者触及机柜时才捕获视频。相机可检测从机柜中取出的产品的视觉特性610。可利用标识传感器检测从机柜中取出的产品的标识620。可分析视觉特性和标识以确定产品身份标识，其可以基于产品信息数据库630。在一些实施方案中，可分析视觉特性和标识与机柜中的产品库存或产品数字地图的对应性。可基于对视觉特性和标识的分析以及产品信息数据库来确定产品的身份标识640。在一些实施方案中，可单独使用视觉特性或标识来识别产品，并且可使用视觉特性或标识中的另一者来确认产品的身份标识。
65.在一些实施方案中，确定产品的身份标识的方法700可包括使用相机，如图7所示。相机可以以设定的间隔捕获图像，或者相机可以在机柜的门关闭时捕获图像。当使用多个相机时，可以将来自多个相机的图像组合成复合图像，或者可使用最佳图像。该方法可包括捕获机柜中的多个产品的第一图像710。第一图像可以为示出在消费者触及机柜之前的产品的基线图像。消费者可从机柜中取出一个或多个产品720。然后，相机可捕获机柜内的多个产品的第二图像730。可通过分析第一图像和第二图像来部分地确定产品的身份标识，以确定已被取出的产品740。可使用对图像的分析来确定所取出的产品的视觉特性和/或产品从中取出的位置。分析可包括比较视觉特性与产品信息的数据库，并且可使用产品位置来确定已知存储于该位置处的产品。此外，为确认所取出的产品的身份标识，可利用标识传感器检测所取出的产品的标识750。相对于单独使用来自相机的数据，通过检测产品的标识可以提高产品识别的准确度。
66.在一些实施方案中，可使用由相机捕获的图像和视频的组合来识别产品。在此类实施方案中，相机可捕获机柜内的产品的图像。另一个相机可捕获正在从机柜中取出的产
品的视频。在产品已被取出后，可捕获机柜中的产品的第二图像。可分析视频以确定产品的视觉特性，并且人工智能可使用视觉特性和产品信息数据库来确定产品的身份标识。可通过分析第一图像和第二图像来确定所取出的产品的位置或视觉特性，来确认基于捕获的视频所确定的产品的身份标识。另选地，可通过分析第一图像和第二图像进行产品识别，并且可使用来自视频的数据来确认识别结果。
67.在一些实施方案中，可使用重量传感器140来部分地确定产品的识别结果(参见例如图1)。重量传感器140可被构造成确定机柜110中的产品的重量。在一些实施方案中，重量传感器140可以为一个或多个负荷传感器。重量传感器140可位于搁架112上或搁架112的内部，使得重量传感器140可确定放置在搁架112上的产品的重量。
68.在一些实施方案中，重量传感器140可布置成如图8所示。自动售货机100的机柜110内的每个搁架112可支撑在一个或多个重量传感器140上。在一些实施方案中，重量传感器140布置在矩形搁架112的每个拐角处。重量传感器140可布置在机柜110内的托架111上。因此，重量传感器140可检测搁架112及其之上的产品的重量，以确定产品是否已从搁架112取出或退回该搁架。
69.图9中示出了使用重量传感器确定产品900的身份标识的示例性方法。可利用重量传感器确定搁架上的产品的第一重量910。可由消费者从搁架上取出产品920。可利用重量传感器确定搁架上的产品的第二重量930。可计算第一重量与第二重量之间的差值以确定所取出的一个或多个产品的重量。可分析计算所得重量以确定产品信息数据库中与所取出的产品的该计算重量相对应或最匹配的一个或多个产品。可使用所取出的产品的重量来确认基于相机或标识传感器所确定的所取出的产品的身份标识。
70.在一些实施方案中，还可使用重量传感器140提供有关机柜110中的产品位置的信息。机柜110中的搁架112可包括多个重量传感器140。因此，重量传感器140可有助于指示产品被取出的位置，其取决于产品放置在哪个重量传感器140上。机柜110中包括的重量传感器140越多，重量传感器140确定产品的精确位置的能力越高。此外，如果消费者退回产品，则重量传感器140可帮助确定放置所退回的产品的位置。此信息可用于更新机柜110内的产品的数字地图。重量传感器140还可检测已翻倒或被其他产品遮挡并且可能不容易由相机120观察到的产品。
71.在一些实施方案中，可使用重量传感器确定消费者的未经授权的行为，如图10所示。在此类实施方案中，可利用重量传感器确定所取出的产品的重量1010，如上文关于图8至图9所讨论的。重量传感器还可确定退回至机柜的产品的重量1020。例如，消费者可取出产品以读取标签或营养信息，并且可决定不购买产品并将该产品退回至机柜。将所取出的产品的重量与所退回的产品的重量进行比较1030。如果所退回的产品的重量与所取出的产品的重量相同，则接受退回1040。如果所退回的产品的重量与所取出的产品的重量不同，则不接受退回1050。因此，可以就任何被取出并且未退回的产品向消费者收费。如果消费者试图通过退回外部物品来代替从机柜中取出的产品来欺骗系统，则该系统可检测出外部产品的重量与所取出的产品的重量不同。此外，如果消费者试用过产品，诸如通过消耗该产品的一部分，则产品的重量将减少，并且将不接受退回。
72.在一些实施方案中，可利用相机120辅助确定产品是否正确退回。相机120可检测所取出的产品和所退回的产品的视觉特性以确定视觉特性是否相同。如果所退回的产品的
视觉特性与所取出的产品的视觉特性不同，则消费者可能篡改了产品或试图退回不同的物品。
73.在一些实施方案中，可使用光学传感器160确定产品的视觉特性和/或位置(参见例如图1)。光学传感器160可布置在机柜110内，并且可以基本上观察到整个机柜内部。光学传感器160可使用不同的光学波长。在一些实施方案中，可使用光学传感器160辅助确定机柜110中的每个物体的位置、尺寸和形状，如例如图11所示。来自光学传感器的数据可确定可能在相机的视野中被遮挡的产品的尺寸、形状和位置。此外，如果消费者取出产品并且将其退回至不同的位置，则光学传感器可以确定该产品的位置。
74.在一些实施方案中，光学传感器可以为rfid传感器。在此类实施方案中，机柜110可包括rfid传感器，该rfid传感器被构造成检测带有rfid标记的产品的存在。因此，当从机柜中取出产品时，rfid传感器可确定所取出的产品的身份标识。在一些实施方案中，光学传感器可以为光探测与测距(lidar)传感器或磁共振成像(mri)传感器等。可使用来自光学传感器160的数据来确认由其他传感器或相机确定的从机柜中取出的产品的身份标识。这可以帮助提高产品识别的准确度。
75.在一些实施方案中，自动售货机可生成机柜中的产品的数字地图，如图12所示。数字地图300可包括机柜及其中的产品的数字表示。因此，数字地图300可以为机柜110和机柜110中的产品的实时数字孪生体。例如，如图12所示，机柜110的搁架112可包括布置在搁架112上的特定位置处的产品201-204。数字地图300可包括机柜和搁架312的表示，并且可包括模型，诸如搁架312上的产品201'-204'的3d模型。因此，数字地图300可包括自动售货机100的机柜110中的产品的位置和身份标识。数字地图300还可用作产品库存，使得机柜中每个产品的数量是已知的。
76.在一些实施方案中，可使用相机120、传感器或它们的组合来生成数字地图300。例如，当操作员将每个产品放置在机柜110中时，相机120和传感器检测产品的位置和身份标识，并且可进一步生成产品的3d模型。通过这种方式，可以在填充机柜110时生成数字地图。在一些实施方案中，操作员可手动输入或确认机柜内的每个产品的身份标识和位置。
77.数字地图300可提供消费者触及机柜之前有关该机柜中的产品的信息的基线。如果消费者从机柜内的特定位置处取出产品，则该位置处的产品的身份标识根据数字地图是已知的。因此，可使用数字地图来确认基于来自自动售货机100的相机120或其他传感器的数据所得到的产品识别结果。此外，当消费者从机柜中取出产品时，可使用来自相机120和传感器的数据来更新数字地图。例如，数字地图可以更新以反映一个或多个产品已被取出、一个或多个产品已被补充，或者可以更新以反映一个或多个产品在机柜内已被移动或重新定位。当机柜内的一些产品的视图可能被相机的视野遮挡时，光学传感器160可帮助确定机柜内的产品的位置。
78.在一些实施方案中，可通过跟踪消费者的手的位置来部分地确定产品身份标识，如图13所示。可利用计算机视觉技术基于来自相机120的数据来跟踪消费者的手的位置。可利用一个或多个相机120检测消费者的手1200在机柜110内的坐标，以确定消费者正在触及的搁架。在一些实施方案中，可跟踪消费者的手1200以确定在消费者的手的位置处的产品200。可在二维角度(诸如在搁架的俯视图中)确定消费者的手的坐标。例如，消费者的手1200的坐标可包括在从机柜110的前部到后部的方向上延伸沿x轴的位置，以及沿横轴或y
轴的位置。每个产品200的身份标识和位置可以是已知的，诸如通过数字地图已知。因此，如果消费者的手的位置是已知的，则在消费者的手1200的坐标处的产品200可易于通过确定数字地图中的该位置处的产品来识别。计算机视觉可进一步检测消费者的手1200的特定移动或手势，以确定消费者正在拿起产品还是正在退回产品。在一些实施方案中，可检测消费者的手1200的轨线以确定由该消费者选择的产品。
79.图14中示出了使用数字地图确定产品身份标识的示例性方法1400。可利用相机和传感器中的至少一者来检测产品从机柜中取出的位置1410。可基于来自相机或传感器的数据来确定从机柜中取出的产品的视觉特性1420。可基于视觉特性来确定在该位置处的产品的预测身份标识1430。例如，可使用人工智能和机器学习技术基于预先训练的机器学习模型来预测产品的身份标识。例如，视觉特性可以为产品的形状，并且人工智能可分析产品库存中具有最匹配该产品的形状的已知形状的产品。为了确认预测身份标识是否正确，可基于机柜内的产品的数字地图来确定该位置处的产品的身份标识1440。如果预测身份标识与基于数字地图的产品的身份标识相对应，则可以确认该预测身份标识1450。
80.在一些实施方案中，自动售货机100可包括外部相机130，如图1所示。外部相机130可被构造成观察自动售货机100外部的区域。外部相机130可定位在机柜110的外部，或者可以布置在机柜110内，以便观察自动售货机100外部的区域。例如，外部相机130可布置在自动售货机100的门上、在机柜110的外部，或者相机130可以与自动售货机100分开。在一些实施方案中，当在自动售货机100附近检测到消费者的存在时，可激活外部相机130。可利用接近传感器135检测消费者的存在(参见例如图2)。
81.外部相机130可被构造成捕获一名或多名消费者的图像或视频，和/或从机柜110取出的产品的图像或视频。在一些实施方案中，外部相机130可被构造成识别一名或多名消费者。可使用捕获的图像或视频对消费者进行面部识别。在一些实施方案中，外部相机130可被构造成识别消费者的手及其移动。
82.外部相机130可捕获图像或视频，可以分析这些图像或视频以确定从机柜110中取出的产品的视觉特性，类似于内部相机120的操作。因此，可利用外部相机130检测从机柜110取出的产品，以确定产品的形状、尺寸或配色。可使用来自外部相机130的数据确认通过本文所描述的其他相机或传感器确定的从机柜110取出的产品的身份标识。
83.在一些实施方案中，还可使用外部相机130确定消费者是否正在从事未经授权的活动。在一些实施方案中，外部相机130可由操作员诸如安全人员远程监测。在一些实施方案中，可利用经过预先训练的人工智能分析来自外部相机130的数据，以检测未经授权的活动。人工智能可检测消费者或消费者的手的姿态或移动。例如，人工智能可被编程为检测消费者撞击自动售货机100或阻挡相机120以阻碍产品识别以及其他活动。如果检测到未经授权的活动，则可以警告当局诸如安全人员或地方当局。此外，可锁定机柜的门，因此无法打开门，并且消费者可能无法再触及机柜内的产品。在一些实施方案中，如果检测到未经授权的活动，可以激活警报178(参见例如图2)。
84.在一些实施方案中，可使用如本文所描述的内部相机120、重量传感器140、光学传感器160、标识传感器150或外部相机130中的一者或多者来确定从机柜中取出的产品的身份标识。虽然可基于来自内部相机120和标识传感器150的数据来确定从机柜110中取出的产品的身份标识，但是可使用光学传感器160、重量传感器140和外部相机130中的一者或多
者来确认该身份标识是正确的。在相机或标识未能正常运行的情况下，另外的传感器或相机也可以充当备用。
85.在产品识别的一个实施例中，相机可捕获产品的图像以识别产品的形状(例如，瓶子形状)。但是，产品的形状可能与多个可能的产品身份标识(例如，百事可乐、无糖百事可乐、或樱桃味百事可乐)相对应。标识传感器可检测产品上的标识，诸如文本(例如，无糖百事可乐)，其可以与多个产品身份标识(例如，罐或瓶)相对应。因此，可以将来自相机和标识传感器的数据结合起来分析以确定产品的预测身份标识(例如，一瓶无糖百事可乐)。该分析可将潜在的产品识别结果限制为产品库存中的产品。可收集另外的数据以确认产品识别结果是正确的。例如，重量传感器可确定产品的计算所得重量，并且该计算所得重量可以与一瓶无糖百事可乐相对应，从而确认产品识别结果。光学传感器可以指示产品从机柜中储存一瓶无糖百事可乐的位置处被取出。此外，一旦从机柜中取出产品，外部相机即可检测视觉特性，诸如瓶子形状。因此，另外的相机和传感器可以帮助确认产品已经得到正确识别。
86.在另一个实施例中，内部相机可以在消费者从机柜中取出产品之前和之后捕获图像。可分析这些图像以确定产品从机柜中取出的位置。可使用机柜中产品的数字地图分析来自相机的指示产品位置的数据，以确定该位置处的产品的身份标识。为了确认产品的身份标识，检测进入或离开机柜的产品的相机可以确定从机柜中取出的产品的视觉特性，以确认基于数字地图的产品身份标识确定结果。另选地，标识传感器可检测从机柜中取出的产品的标识。
87.在一些实施方案中，人工智能可基于相机或传感器确定产品识别的置信水平。传感器融合算法可基于由每个相机或传感器所做的识别中的置信水平来确定产品身份标识。如果数据一致，则产品身份标识得到确认。例如，如果第一相机以80％的置信度确定所取出的产品为产品a，第二相机以30％的置信度确定所取出的产品为产品b，则该算法可以确定产品a由于具有更高的置信水平而是正确的产品识别结果。在一些实施方案中，来自特定相机或传感器的数据在确定身份标识时可以具有更高的权重。在一些实施方案中，如果置信水平低于预定阈值(例如30％)，则可以忽略数据。在一些实施方案中，如果置信水平低于预定阈值，则可以发送警报以进行审计或审查。
88.图15示出了示例性计算机系统1500，其中可将实施方案或该实施方案的部分实施为计算机可读代码。本文讨论的控制单元180可以是具有用于实施本文讨论的过程的计算机系统1500的所有或一些部件的计算机系统。
89.如果使用可编程逻辑，则此类逻辑可以在市售的处理平台或专用设备上执行。本领域技术人员可以理解，所公开主题的实施方案可利用各种计算机系统配置来实践，包括多核多处理器系统、小型计算机和大型计算机、与分布式功能链接或集群的计算机以及可嵌入到几乎任何设备中的普通计算机或微型计算机。
90.例如，存储器和至少一个处理器设备可用于实现上述实施方案。处理器设备可以是单个处理器、多个处理器或它们的组合。处理器设备可具有一个或多个处理器“核心”。
91.本发明的各种实施方案可依据此示例性计算机系统1500来实现。在阅读本说明书之后，如何使用其他计算机系统和/或计算机架构来实现本发明中的一个或多个对于相关领域的技术人员而言将变得显而易见。尽管操作可被描述为顺序过程，但是一些操作实际上可并行执行、同时执行并且/或者在分布式环境中执行，并且程序代码本地或远程储存以
便单处理器或多处理器机器访问。在一些实施方案中，可使用边缘计算、云计算或它们的组合。另外，在一些实施方案中，在不脱离所公开主题的精神的条件下，可以重新布置操作的顺序。
92.处理器设备1504可以是专用处理器设备或通用处理器设备。如相关领域的技术人员将理解的那样，处理器设备1504还可以是多核/多处理器系统中的单个处理器，此类系统单独操作，或者在集群或服务器群中操作的计算设备集群中操作。处理器设备1504连接到通信基础设施1506，例如，总线、消息队列、网络或多核消息传递方案。
93.计算机系统1500还包括主存储器1508，例如，随机存取存储器(ram)，并且还可包括辅助存储器1510。辅助存储器1510可包括例如硬盘驱动器1512或可移除存储驱动器1514。可移除存储驱动器1514可包括软盘驱动器、磁带驱动器、光盘驱动器、闪存存储器等。可移除存储驱动器1514以众所周知的方式从可移除存储单元1518读取并且/或者写入该可移除存储单元。可移除存储单元1518可包括由可移除存储驱动器1514读取和写入的软盘、磁带、光盘、通用串行总线(usb)驱动器等。如相关领域的技术人员将理解的那样，可移除存储单元1518包括其中存储有计算机软件和/或数据的计算机可用存储介质。
94.计算机系统1500(任选地)包括转发来自通信基础设施1506(或来自未示出的帧缓冲器)的图形、文本和其他数据以用于在显示单元1530上显示的显示接口1502(它可包括输入设备和输出设备，诸如键盘、鼠标等)。
95.在另选的实现方式中，辅助存储器1510可包括用于允许将计算机程序或其他指令加载到计算机系统1500中的其他类似装置。此类装置可包括例如可移除存储单元1522和接口1520。此类装置的示例可包括程序盒和盒接口(诸如存在于视频游戏设备中)、可移除存储器芯片(诸如eprom或prom)和相关联的插口，以及允许软件和数据从可移除存储单元1522传递到计算机系统1500的其他可移除存储单元1522和接口1520。
96.计算机系统1500还可包括通信接口1524。通信接口1524允许在计算机系统1500和外部设备之间传递软件和数据。通信接口1524可包括调制解调器、网络接口(诸如以太网卡)、通信端口、pcmcia插槽和卡等。经由通信接口1524传递的软件和数据可呈信号的形式，这些信号可以是电信号、电磁信号、光学信号或能够由通信接口1524接收的其他信号。可经由通信路径1526将这些信号提供给通信接口1524。通信路径1526载运信号，并且可使用电线或电缆、光纤、电话线、蜂窝电话链路、rf链路或其他通信信道来实现。
97.在本文献中，术语“计算机程序介质”和“计算机可用介质”通常用于指代诸如可移除存储单元1518、可移除存储单元1522以及安装在硬盘驱动器1512中的硬盘等介质。计算机程序介质和计算机可用介质还可指存储器，诸如主存储器1508和辅助存储器1510，该存储器可以是存储器半导体(例如，dram等)。
98.计算机程序(也称为计算机控制逻辑)储存在主存储器1508和/或辅助存储器1510中。还可经由通信接口1524接收计算机程序。此类计算机程序在被执行时使得计算机系统1500能够实现如本文所讨论的实施方案。特别地，计算机程序在被执行时使得处理器设备1504能够实现在此所讨论的实施方案的过程。因此，此类计算机程序表示计算机系统1500的控制器。在使用软件来实现实施方案的情况下，软件可储存在计算机程序产品中并且可使用可移除存储驱动器1514、接口1520和硬盘驱动器1512或通信接口1524加载到计算机系统1500中。
99.本发明的实施方案还可涉及包括储存在任何计算机可用介质上的软件的计算机程序产品。当在一个或多个数据处理设备中执行时，此类软件使数据处理设备如本文所述那样进行操作。本发明的实施方案可采用任何计算机可用或可读介质。计算机可用介质的示例包括但不限于主存储设备(例如，任何类型的随机存取存储器)、辅助存储设备(例如，硬盘驱动器、软盘、cd rom、zip磁盘、磁带、磁存储设备以及光存储设备、mems、纳米技术存储设备等)。
100.应理解的是，是具体实施方式部分，而不是发明内容部分和说明书摘要部分，旨在用于解释权利要求书。发明内容部分和说明书摘要部分可以给出发明人考虑的本发明的一个或多个但不是全部示例性实施方案，因此无意以任何方式限制本发明和所附的权利要求书。
101.以上借助于阐释具体功能的实施及其关系的功能性构建块描述了本发明。出于描述的方便性，本文随意地限定这些功能性构建块的边界。只要能恰当地执行具体功能以及其关系，也可限定另选的边界。
102.以上对具体实施方案的描述将充分揭示本发明的一般性质，使得其他人可以通过应用本技术领域的知识在不脱离本发明总体构思的情况下针对各种应用对此类具体实施方案容易地进行修改和/或调整，而无需过度实验。因此，基于本文给出的教导和指导，此类调整和修改旨在在所公开实施方案的等同形式的含义和范围内。应当理解，本文的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞应由本领域的技术人员按照本文的教导和指导来解释。
103.本发明的宽度和范围不应受任何上述示例性实施方案限制，而应仅按照所附权利要求书及其等同物来限定。