基于双摄像头无人零售终端机库损的优化方法与流程

1.本发明涉及无人零售技术领域，特别涉及一种基于双摄像头无人零售终端机库损的优化方法。


背景技术：

2.无人零售作为无人值守服务中的一大类，主要指的是基于智能技术实现无导购员和收银员值守的情形下进行的物品售卖和零售消费行为。无人零售不仅具有通过自助服务或自动结算，降低对人的依赖，减少人力成本，提高管理效率的优点，而且还具有通过收集记录消费者的消费数据，进一步分析消费者行为，从而带来更定制化、更贴合需求的购买体验的特点。
3.目前，无人零售终端在使用过程中会出现拿多付少等非正常消费状况，但又无法监测到消费者的个人面部信息，难以进行取证，从而造成无人零售货架的库损。因此，本发明提出了一种基于双摄像头无人零售终端机库损的优化方法，通过智能检测双摄像头进行监测，从而能够在出现状况时提供关键证据，进而减少无人零售货架的库损。


技术实现要素：

4.本发明的目的在于提供一种基于双摄像头无人零售终端机库损的优化方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于双摄像头无人零售终端机库损的优化方法，包括：
6.获得客户抓拍信息；
7.获取客户消费订单；
8.根据所述客户抓拍信息与所述客户消费订单进行初步判断，获得初步判断结果；
9.获取无人零售终端机库损信息；
10.根据所述无人零售终端机库损信息结合监测视频对所述消费订单进行二次判断，获得第二判断结果；
11.依照所述初步判断结果和所述第二判断结果确定非正常状态判断结果；
12.根据所述非正常状态判断结果进行信息保存和提醒；当所述非正常状态判断结果为存在非正常消费状况时，则将所述消费订单、客户抓拍信息和监测视频进行保存，并进行异常提醒，当所述非正常状态判断结果为未存在非正常消费状况时，则将所述消费订单、客户抓拍信息和监测视频进行保存，但不进行异常提醒。
13.进一步地，所述客户抓拍信息是通过无人零售终端机正面摄像头拍摄获取；所述监测视频是通过无人零售终端机侧面摄像头拍摄无人零售终端机附近图像得到的。
14.进一步地，所述获取客户消费订单时，获取的客户消费订单的信息包括：订单创建时间，订单完成时间，消费商品和消费商品数目。
15.进一步地，根据所述客户抓拍信息与所述客户消费订单进行初步判断，获得初步
判断结果，包括：
16.确定所述客户抓拍信息的获得时间和确定所述订单创建时间以及订单完成时间；
17.将所述客户抓拍信息的获得时间与所述订单创建时间以及订单完成时间进行匹配，获得匹配结果；
18.当所述匹配结果为匹配成功时，则初步判断结果为未存在非正常消费状况；当所述匹配结果为匹配失败时，则初步判断结果为存在非正常消费状况。
19.进一步地，根据所述无人零售终端机库损信息结合监测视频对所述消费订单进行二次判断，获得第二判断结果，包括：
20.根据所述无人零售终端机库损信息对所述消费订单进行核验，获得核验结果；
21.当所述核验结果为符合时，则第二判断结果为不存在非正常消费状况；当所述核验结果为不符合时，则第二判断结果为疑是存在非正常消费状况，进一步结合监测视频进行验证，确定第二判断结果。
22.进一步地，所述核验结果为不符合时，则第二判断结果为疑是存在非正常消费状况，进一步结合监测视频进行验证，确定第二判断结果，包括：
23.获取所述订单创建时间以及订单完成时间；
24.根据所述订单创建时间以及订单完成时间确定视频调取时间；
25.按照所述视频调取时间在所述监测视频中调取目标图像；
26.针对所述目标图像进行识别，获得目标图像中商品信息；
27.根据所述目标图像中商品信息对所述消费订单进行验证，获得验证结果；
28.当所述验证结果为一致时，则第二判断结果为不存在非正常消费状况；当所述验证结果为不一致时，则第二判断结果为存在非正常消费状况。
29.进一步地，根据所述目标图像中商品信息对所述消费订单进行验证，获得验证结果，包括：
30.针对所述目标图像中商品信息进行整理；在所述目标图像中商品信息中将商品名称与商品数量进行信息整理，获得监测图像商品信息表；
31.根据所述消费订单在所述监测图像商品信息表中进行验证判断，获得验证结果。
32.进一步地，所述获取客户抓拍信息是在完成客户消费订单的过程对客户进行抓拍，而且抓拍时通过抓拍频率设置抓拍多张照片，从而获得多个时刻的客户抓拍信息。
33.进一步地，根据所述消费订单在所述监测图像商品信息表中进行验证判断，包括：
34.确定所述消费订单中商品的信息，记为w，具体表示为：
35.w＝*(a
i
,b
i
)+
36.其中，a
i
表示消费订单中第i个消费商品的商品名称，b
i
表示消费订单中第i个消费商品的商品数量；
37.确定所述监测图像商品信息表中商品信息，记为r，具体表示为：
38.r＝*(p
k
,q
k
)+
39.其中，p
k
表示监测图像商品信息表中第k个商品的商品名称，q
k
表示监测图像商品信息表中第k个商品的商品数量；
40.基于所述消费商品的商品名称以及监测图像商品信息表中商品的商品名称进行分析，获得所述消费商品的商品名称的关键词以及监测图像商品信息表中商品的商品名称
的关键词；
41.根据所述消费商品的商品名称的关键词在所述监测图像商品信息表中进行匹配；
[0042][0043]
上述公式中，w
i
表示消费订单中第i个消费商品的商品名称在所述监测图像商品信息表中的匹配值，a
im
表示消费订单中第i个消费商品的商品名称中第m个关键词，p
kn
表示监测图像商品信息表中第k个商品的商品名称中第n个关键词,sim(a
im
,p
kn
)表示消费订单中第i个消费商品的商品名称中第m个关键词与监测图像商品信息表中第k个商品的商品名称中第n个关键词之间的语义相似度,m表示消费订单中第i个消费商品的商品名称中关键词的数目；
[0044]
当所述匹配值为百分之百时，计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值；否则直接将核验结果确定为存在非正常消费；其中计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值，根据如下公式计算：
[0045][0046]
上述公式中，t表示监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值，q
l
表示在监测图像商品信息表中与消费订单中第i个消费商品的商品名称匹配的商品的商品数量，
[0047]
当所述核验值为0时，核验结果为通过，当所述核验值为非0时，核验结果为存在非正常消费状况。
[0048]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0049]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0050]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0051]
图1为本发明所述的一种基于双摄像头无人零售终端机库损的优化方法的步骤示意图；
[0052]
图2为本发明所述的一种基于双摄像头无人零售终端机库损的优化方法里步骤三的流程示意图；
[0053]
图3为本发明所述的一种基于双摄像头无人零售终端机库损的优化方法里步骤五中核验结果为不符合状况下的流程示意图。
具体实施方式
[0054]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0055]
如图1所示，本发明实施例提供了一种基于双摄像头无人零售终端机库损的优化方法，包括：
[0056]
步骤一、获得客户抓拍信息；
[0057]
步骤二、获取客户消费订单；
[0058]
步骤三、根据所述客户抓拍信息与所述客户消费订单进行初步判断，获得初步判断结果；
[0059]
步骤四、获取无人零售终端机库损信息；
[0060]
步骤五、根据所述无人零售终端机库损信息结合监测视频对所述消费订单进行二次判断，获得第二判断结果；
[0061]
步骤六、依照所述初步判断结果和所述第二判断结果确定非正常状态判断结果；
[0062]
步骤七、根据所述非正常状态判断结果进行信息保存和提醒；当所述非正常状态判断结果为存在非正常消费状况时，则将所述消费订单、客户抓拍信息和监测视频进行保存，并进行异常提醒，当所述非正常状态判断结果为未存在非正常消费状况时，则将所述消费订单、客户抓拍信息和监测视频进行保存，但不进行异常提醒。
[0063]
上述技术方案的原理：在上述技术方案中，获得客户抓拍信息；获取客户消费订单；然后，根据客户抓拍信息与客户消费订单进行初步判断，获得初步判断结果；获取无人零售终端机库损信息；然后，根据无人零售终端机库损信息结合监测视频对消费订单进行二次判断，获得第二判断结果；接着，依照初步判断结果和第二判断结果确定非正常状态判断结果；最后，根据非正常状态判断结果进行信息保存和提醒。如果非正常状态判断结果为存在非正常消费状况，则将消费订单、客户抓拍信息和监测视频进行保存，同时并进行异常提醒，如果非正常状态判断结果为未存在非正常消费状况，则将消费订单、客户抓拍信息和监测视频进行保存，但不进行异常提醒。
[0064]
上述技术方案的有益效果：上述技术方案将通过两个摄像头分别获取到的客户抓拍信息和监测视频与消费订单共同进行两次判断得到非正常状态判断结果，从而避免客户在通过无人零售终端机进行消费时出现非正常消费状况，尽可能地避免无人零售终端机库损现象的出现，减少无人零售货机库损，进而避免造成经济损失，而且异常判断结果是将初步判断结果和第二判断结果确定非正常状态判断结果相结合确定的，只要初步判断结果和第二判断结果中其一出现异常，则异常判断结果中就会存在非正常消费状，此外，在根据异常判断结果对客户信息进行保存和提醒时，不仅能够在存在非正常消费状况时及时进行提醒，而且保存的消费订单信息、客户外貌信息以及监测图像信息能够作为证据进行证明，进而能够尽可能的追回损失，从而减少经济损失。
[0065]
本发明提供的一个实施例中，所述客户抓拍信息是通过无人零售终端机正面摄像头拍摄获取；所述监测视频是通过无人零售终端机侧面摄像头拍摄无人零售终端机附近图像得到的。
[0066]
上述技术方案的原理：上述技术方案中通过两个摄像头分别获取客户抓拍信息和监测视频，其中，一个摄像头位于无人零售终端机正面，当客户在无人零售终端机前进行消
费时，进行抓拍，从而获得客户抓拍信息；另一个摄像头位于无人零售终端机侧面，拍摄无人零售终端机附近图像，得到监测视频。
[0067]
上述技术方案的有益效果：上述技术方案通过两个摄像头分别进行图像信息获取，从而获得客户抓拍信息和监测视频，为得到异常判断结果提供判断参照，而且两个摄像头的位置针对获取的信息进行设置，能够更好的获得想要获得的客户抓拍信息和监测视频。
[0068]
本发明提供的一个实施例中，所述获取客户消费订单时，获取的客户消费订单的信息包括：订单创建时间，订单完成时间，消费商品和消费商品数目。
[0069]
上述技术方案的原理：上述技术方案中，消费订单信息中至少包括订单创建时间，订单完成时间，消费商品以及消费商品数目。
[0070]
上述技术方案的有益效果：上述技术方案通过消费订单信息中包含订单创建时间和订单完成时间能够使得在进行初次判断和二次判断时，在客户抓拍信息和监测视频中，针对订单创建时间与订单完成时间之间对应的客户抓拍信息和监测视频进行判断，从而提高初次判断和二次判断的速度。
[0071]
如图2所示，本发明提供的一个实施例中，根据所述客户抓拍信息与所述客户消费订单进行初步判断，获得初步判断结果，包括：
[0072]
确定所述客户抓拍信息的获得时间和确定所述订单创建时间以及订单完成时间；
[0073]
将所述客户抓拍信息的获得时间与所述订单创建时间以及订单完成时间进行匹配，获得匹配结果；
[0074]
当所述匹配结果为匹配成功时，则初步判断结果为未存在非正常消费状况；当所述匹配结果为匹配失败时，则初步判断结果为存在非正常消费状况。
[0075]
上述技术方案的原理：上述技术方案在根据所述客户抓拍信息与所述客户消费订单进行初步判断时，首先得到所述客户抓拍信息的获得时间和确定所述订单创建时间以及订单完成时间；然后将所述客户抓拍信息的获得时间与所述订单创建时间以及订单完成时间进行匹配，确定所述客户抓拍信息的获得时间是否与所述订单创建时间和订单完成时间匹配，从而获得匹配结果；当所述匹配结果为匹配成功时，则初步判断结果为未存在非正常消费状况；当所述匹配结果为匹配失败时，则初步判断结果为存在非正常消费状况。
[0076]
上述技术方案的有益效果：上述技术方案在获得初步判断结果的过程中，通过将所述客户抓拍信息的获得时间与所述订单创建时间以及订单完成时间进行匹配，从而根据匹配结果得到初步判断结果，在进行匹配时按照时间进行匹配，使得客户抓拍信息的时间与消费订单的时间是匹配的，从而避免客户抓拍信息与消费订单不对照，出现非正常消费状况。
[0077]
本发明提供的一个实施例中，根据所述无人零售终端机库损信息结合监测视频对所述消费订单进行二次判断，获得第二判断结果，包括：
[0078]
根据所述无人零售终端机库损信息对所述消费订单进行核验，获得核验结果；
[0079]
当所述核验结果为符合时，则第二判断结果为不存在非正常消费状况；当所述核验结果为不符合时，则第二判断结果为疑是存在非正常消费状况，进一步结合监测视频进行验证，确定第二判断结果。
[0080]
上述技术方案的原理：上述技术方案中根据无人零售终端机库损信息结合监测视
频对消费订单进行二次判断时，根据无人零售终端机库损信息对消费订单进行核验，核验无人零售终端机库损信息与消费订单是否符合，从而获得核验结果，如果核验结果为符合，则第二判断结果为不存在非正常消费状况；如果核验结果为不符合，则第二判断结果为疑是存在非正常消费状况，需要进一步结合监测视频进行验证，确定第二判断结果。
[0081]
上述技术方案的有益效果：上述技术方案在确定第二判断结果的过程中，通过根据无人零售终端机库损信息对消费订单进行核验从而得到第二判断结果，从而避免无人零售终端机库损信息与消费订单不相符合造成客户不满意或者无人零售终端机产生经济损失，而且在疑是存在非正常消费状况的时候进行进一步验证，从而验证了无人零售终端机库损信息与消费订单不相符合，使得第二判断结果更加准确。
[0082]
如图3所示，本发明提供的一个实施例中，所述核验结果为不符合时，则第二判断结果为疑是存在非正常消费状况，进一步结合监测视频进行验证，确定第二判断结果，包括：
[0083]
获取所述订单创建时间以及订单完成时间；
[0084]
根据所述订单创建时间以及订单完成时间确定视频调取时间；
[0085]
按照所述视频调取时间在所述监测视频中调取目标图像；
[0086]
针对所述目标图像进行识别，获得目标图像中商品信息；
[0087]
根据所述目标图像中商品信息对所述消费订单进行验证，获得验证结果；
[0088]
当所述验证结果为一致时，则第二判断结果为不存在非正常消费状况；当所述验证结果为不一致时，则第二判断结果为存在非正常消费状况。
[0089]
上述技术方案的原理：上述技术方案在当核验结果为不符合时，第二判断结果为疑是存在非正常消费状况，此时需要进一步结合监测视频进行验证，从而确定第二判断结果；在进一步结合监测视频进行验证，确定第二判断结果的过程中，依次按照如下步骤进行：在消费订单中获取订单创建时间以及订单完成时间；根据订单创建时间以及订单完成时间确定视频调取时间，将订单创建时间作为视频调取时间的起始时间，将订单完成时间作为视频调取时间的截止时间；按照视频调取时间在监测视频中调取目标图像，在监测视频中截取视频调取时间对应的监测视频作为目标图像；对目标图像进行识别，识别目标图像中出现的商品以及出现商品的数量，从而获得目标图像中商品信息；在目标图像中商品信息中对消费订单进行验证，获得验证结果；如果目标图像中商品信息与消费订单保持一致，则验证结果为一致，那么第二判断结果为不存在非正常消费状况；如果目标图像中商品信息与消费订单不一致，则验证结果为不一致，那么第二判断结果为存在非正常消费状况。
[0090]
上述技术方案的有益效果：上述技术方案通过确定视频调取时间，然后在监测视频中截取目标图像，从而在根据目标图像中商品信息对消费订单进行验证时，减少无关监测视频的赘余，进而减少验证的繁琐程度，提高验证的效率。而且上述技术方案通过验证结果将目标图像中商品信息与消费订单不一致的状况归为非正常消费状况，从而避免消费订单与监测视频中监测到的信息不一致，从而造成无人零售终端机方的经济损失或者客户的经济损失，进而确保无人零售终端机与客户双方避免经济损失。
[0091]
本发明提供的一个实施例中，根据目标图像中商品信息对所述消费订单进行验证，获得验证结果，包括：
[0092]
针对所述目标图像中商品信息进行整理；在所述目标图像中商品信息中将商品名
称与商品数量进行信息整理，获得监测图像商品信息表；
[0093]
根据所述消费订单在所述监测图像商品信息表中进行验证判断，获得验证结果。
[0094]
上述技术方案的原理：上述技术方案中根据目标图像中商品信息对消费订单进行验证时，首先，针对目标图像中商品信息进行整理；在目标图像中商品信息中将商品名称与商品数量进行信息整理，获得监测图像商品信息表；然后，根据消费订单在监测图像商品信息表中进行验证判断，获得验证结果。
[0095]
上述技术方案的有益效果：上述技术方案在获得验证结果的过程中，通过将消费订单与目标图像中商品信息进行验证，从而避免有些用户在消费时在消费订单中支付的商品与监测图像中监测到的实际商品不同，进而避免买多付少等非正常消费状况的发生，以及避免造成经济损失。
[0096]
本发明提供的一个实施例中，所述获取客户抓拍信息是在完成客户消费订单的过程对客户进行抓拍，而且抓拍时通过抓拍频率设置抓拍多张照片，从而获得多个时刻的客户抓拍信息。
[0097]
上述技术方案的原理：上述技术方案在获取客户抓拍信息时，针对定时装置设置抓拍频率，从而使得在完成交易订单期间按照抓拍频率进行抓拍，进而获得多个时刻的客户抓拍信息。
[0098]
上述技术方案的有益效果：上述技术方案中根据设置抓拍频率使得在完成交易订单期间通过抓拍获得多个时刻的客户抓拍信息，从而能够在进行初步判断时提供丰富的判断参照，进而提高初步判断的准确性。
[0099]
本发明提供的一个实施例中，根据所述消费订单在所述监测图像商品信息表中进行验证判断，包括：
[0100]
确定所述消费订单中商品的信息，记为w，具体表示为：
[0101]
w＝*(a
i
,b
i
)+
[0102]
其中，a
i
表示消费订单中第i个消费商品的商品名称，b
i
表示消费订单中第i个消费商品的商品数量；
[0103]
确定所述监测图像商品信息表中商品信息，记为r，具体表示为：
[0104]
r＝*(p
k
,q
k
)+
[0105]
其中，p
k
表示监测图像商品信息表中第k个商品的商品名称，q
k
表示监测图像商品信息表中第k个商品的商品数量；
[0106]
基于所述消费商品的商品名称以及监测图像商品信息表中商品的商品名称进行分析，获得所述消费商品的商品名称的关键词以及监测图像商品信息表中商品的商品名称的关键词；
[0107]
根据所述消费商品的商品名称的关键词在所述监测图像商品信息表中进行匹配；
[0108][0109]
上述公式中，w
i
表示消费订单中第i个消费商品的商品名称在所述监测图像商品信息表中的匹配值，a
im
表示消费订单中第i个消费商品的商品名称中第m个关键词，p
kn
表示监测图像商品信息表中第k个商品的商品名称中第n个关键词,sim(a
im
,p
kn
)表示消费订单
中第i个消费商品的商品名称中第m个关键词与监测图像商品信息表中第k个商品的商品名称中第n个关键词之间的语义相似度,m表示消费订单中第i个消费商品的商品名称中关键词的数目；
[0110]
当所述匹配值为百分之百时，计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值；否则直接将核验结果确定为存在非正常消费；其中计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值，根据如下公式计算：
[0111][0112]
上述公式中，t表示监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值，q
l
表示在监测图像商品信息表中与消费订单中第i个消费商品的商品名称匹配的商品的商品数量，
[0113]
当所述核验值为0时，核验结果为通过，当所述核验值为非0时，核验结果为存在非正常消费状况。
[0114]
上述技术方案的原理：上述技术方案在根据消费订单在监测图像商品信息表中进行验证判断时，首次分别确定消费订单中商品的信息和监测图像商品信息表中商品信息，然后基于消费商品的商品名称以及监测图像商品信息表中商品的商品名称进行分析，获得消费商品的商品名称的关键词以及监测图像商品信息表中商品的商品名称的关键词，接着根据消费商品的商品名称的关键词在监测图像商品信息表中进行匹配，当匹配值为百分之百时，计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值；否则直接将核验结果确定为存在非正常消费。
[0115]
上述技术方案的有益效果：上述技术方案根据所述消费商品的商品名称的关键词在所述监测图像商品信息表中进行匹配能够使得匹配结果更加准确，而且相同的商品名称的关键词应该是相同的，因而相同的关键词之间的语义相似度可以高达百分之百，为匹配判断提供了强有力的判断阈值。并且当所述匹配值为百分之百时，才进一步计算监测图像商品信息表中商品的商品数量与消费订单中消费商品的商品数量之间的核验值；否则直接将核验结果确定为存在非正常消费，能够快速初步确定非正常消费状况。
[0116]
本领域技术人员应当理解的是，本发明中的第一、第二仅仅指的是不同应用阶段而已。
[0117]
本领域技术客户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0118]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。