陈列柜控制方法、设备及介质与流程

文档序号:29637649发布日期:2022-04-13 17:34阅读:189来源:国知局
陈列柜控制方法、设备及介质与流程

1.本公开涉及控制技术领域,具体涉及一种陈列柜控制方法、设备及介质。


背景技术:

2.近年来,商家或者企业存放物品时,为了便于用户了解物品信息,可以将物品放置于陈列柜中,以实现对商品同时进行储存及展示。当用户需要将物品从陈列柜中移出,或向陈列柜中放入物品时,用户可以自行将陈列柜打开,并执行相应的操作。在这种场景中,可以由陈列柜对陈列柜中的物品进行图像采集,并将采集到的数据上传,以便其他设备或系统例如服务器、云端等可以根据陈列柜上传的图像确定从陈列柜移出或移入物品的用户,或从陈列柜中移出或移入的物品等,从而进行统计。


技术实现要素:

3.本公开实施例提供一种陈列柜控制方法、设备及介质,用于解决相关技术中陈列柜发送的图像可能会对用户的个人信息安全造成侵犯的问题。
4.第一方面,本公开实施例中提供了一种陈列柜控制方法。
5.具体的,所述陈列柜控制方法,包括:
6.获取包括至少一张图像的待识别图像集合;
7.判断待识别图像集合是否包括个人信息图像,个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息;
8.响应于待识别图像集合不包括个人信息图像,发送待识别图像集合。
9.在本公开一种实现方式中,判断待识别图像集合是否包括个人信息图像,包括:
10.获取预先训练的个人信息目标识别模型,并将待识别图像集合中的图像输入个人信息目标识别模型,以获取个人信息目标识别模型输出的个人信息目标识别信息;
11.根据个人信息目标识别信息判断待识别图像集合是否包括个人信息图像;
12.所述方法还包括:
13.获取个人信息目标标注信息,根据个人信息目标标注信息确定待识别图像集合中的标注图像,个人信息目标标注信息用于指示标注图像中的个人信息目标;
14.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练。
15.在本公开一种实现方式中,响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练之前,方法还包括:
16.接收边缘服务器发送的更新权值参数,并根据更新权值参数对个人信息目标识别模型进行更新;
17.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练,包括:
18.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对更新后的个人信息目标识别模型进行训练;
19.所述方法还包括:
20.响应于训练后的个人信息目标识别模型未收敛,根据训练后的个人信息目标识别模型获取梯度更新矢量,并向边缘服务器发送梯度更新矢量;
21.或,响应于训练后的个人信息目标识别模型收敛,将训练后的个人信息目标识别模型储存为目标个人信息目标识别模型。
22.在本公开一种实现方式中,个人信息目标标注信息为服务器发送的,或个人信息目标标注信息为通过陈列柜的人机交互装置输入的。
23.在本公开一种实现方式中,判断待识别图像集合是否包括个人信息图像,包括:
24.对待识别图像集合中的图像进行图像识别,并根据图像识别结果判断待识别图像集合是否包括个人信息图像。
25.在本公开一种实现方式中,待识别图像集合中的图像为响应于陈列柜的柜门被解锁采集的。
26.在本公开一种实现方式中,所述方法还包括:
27.响应于待识别图像集合包括个人信息图像,将个人信息图像从待识别图像集合中移除,以获取筛选后待识别图像集合,并发送筛选后待识别图像集合;和/或
28.响应于待识别图像集合包括个人信息图像,根据预设图案覆盖个人信息图像中个人信息目标所在的区域,或将个人信息目标所在的区域从个人信息图像中移除,以获取修改后待识别图像集合,并发送修改后待识别图像集合。
29.第二方面,本公开实施例中提供了一种陈列柜控制装置。
30.具体的,所述陈列柜控制装置,包括:
31.图像获取模块,被配置为获取包括至少一张图像的待识别图像集合,待识别图像集合中的图像为响应于陈列柜的柜门被解锁采集的;
32.图像识别模块,被配置为判断待识别图像集合是否包括个人信息图像,个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息;
33.图像发送模块,被配置为响应于待识别图像集合不包括个人信息图像,发送待识别图像集合。
34.第三方面,本公开实施例中提供了一种电子设备,包括存储器、处理器以及存储在存储器上的计算机程序,其中,处理器执行计算机程序以实现如第一方面或第一方面任一种实现方式所述的方法。
35.第四方面,本公开实施例中提供了一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现如第一方面或第一方面任一种实现方式所述的方法。
36.第五方面,本公开实施例中提供了一种计算机程序产品,其包括计算机指令,该计算机指令被处理器执行时实现如第一方面或第一方面任一种实现方式所述的方法。
37.本公开实施例提供的技术方案可以包括以下有益效果:
38.上述技术方案,通过获取包括至少一张图像的待识别图像集合,并判断待识别图
像集合是否包括个人信息图像,响应于待识别图像集合不包括个人信息图像,发送待识别图像集合,其中个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息。在上述方案中,由于陈列柜发送的待识别图像集合中的任一张图像均不包括个人信息目标,因此接收该待识别图像集合的其他装置或系统无法基于该待识别图像集合中的图像获取任何用户的个人信息,从而确保陈列柜发送的图像不会对任何用户的个人信息安全造成侵犯,降低了用户隐私受到侵犯的风险。
39.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
40.结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
41.图1示出根据本公开一实施方式的陈列柜的示意性结构框图;
42.图2示出根据本公开一实施方式的主板的示意性结构框图;
43.图3示出根据本公开一实施方式的控制板的示意性结构框图;
44.图4示出根据本公开一实施方式的电源管理模块的示意性结构框图;
45.图5示出根据本公开一实施方式的陈列柜控制方法的流程图;
46.图6示出根据本公开一实施方式的陈列柜的示意性结构图;
47.图7示出根据本公开一实施方式的陈列柜的示意性俯视图;
48.图8示出根据本公开一实施方式的陈列柜的示意性结构图;
49.图9示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图;
50.图10示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图;
51.图11示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图;
52.图12示出根据本公开一实施方式的陈列柜控制方法的整体流程图;
53.图13示出根据本公开一实施方式的陈列柜控制装置的示意性结构框图;
54.图14示出根据本公开一实施方式的电子设备的示意性结构框图;
55.图15是适于用来实现根据本公开一实施方式的陈列柜控制方法的计算机系统的结构示意图。
具体实施方式
56.下文中,将参考附图详细描述本公开的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
57.在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
58.另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
59.上文提及,随着技术的发展以及人们生活水平的提高,商家或者企业存放物品时,
不再将其简单的放置于货架上,而是为了便于用户了解物品信息,可以将物品放置于陈列柜中,以实现对商品同时进行储存及展示。当用户需要将物品从陈列柜中移出,或向陈列柜中放入物品时,用户可以自行将陈列柜打开,并执行相应的操作。
60.近年来,投入运营的陈列柜的数量逐渐增多,在使用陈列柜的过程中,商家或者企业一般需要对陈列柜中的物品进行监控,以确定从陈列柜移出或移入物品的用户,以及被从陈列柜中移出或移入的物品,并根据上述信息进行统计,基于该统计结果可以获知陈列柜中剩余物品的数量、种类等,另外也可以基于该统计结果进行进一步的结算。
61.其中,在一个实施例中,可以在陈列柜的物品出入口设置射频识别系统(radio frequency identification system,rfid)天线,并在物品上粘贴rfid标签,当物品经物品出入口被从陈列柜移出,或从物品出入口被移入陈列柜时,通过rfid天线可以检测到物品上粘贴的rfid标签,从而确定被从陈列柜中移出或移入的物品。但在这种方案中,由于每一件物品都需要粘贴rfid标签,需要的rfid标签较多,提高了进行统计的成本。
62.在另一个实施例中,可以在陈列柜被解锁后,采集与陈列柜对应的图像,并根据该图像确定被从陈列柜中移出或移入的物品。但在这一方案中,所采集的图像通常需要由陈列柜发送至云端进行识别,以便于陈列柜根据云端返回的结果确定被从陈列柜中移出或移入的物品,但某些时候,所采集的图像中可能包括用户的人脸或用户的工牌等,而云端根据图像中的这些内容可能获取用户的个人信息,从而可能会对用户的个人隐私造成侵犯。
63.因此,如何确保陈列柜发送的图像不会对用户的个人信息安全造成侵犯,是越来越急迫需要解决的问题。
64.考虑到上述缺陷,在本公开一实施方式中,提出一种陈列柜控制方法,该方法通过获取包括至少一张图像的待识别图像集合,并判断待识别图像集合是否包括个人信息图像,响应于待识别图像集合不包括个人信息图像,发送待识别图像集合,其中个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息。在上述方案中,由于陈列柜发送的待识别图像集合中的任一张图像均不包括个人信息目标,因此接收该待识别图像集合的其他装置或系统无法基于该待识别图像集合中的图像获取任何用户的个人信息,从而确保陈列柜发送的图像不会对任何用户的个人信息安全造成侵犯,降低了用户隐私受到侵犯的风险。
65.本技术实施例提供的陈列柜控制方法可以应用于陈列柜,该陈列柜可以具备控温功能,该控温功能可以为制冷功能,例如陈列柜可以为冷藏陈列柜、冷冻陈列柜、冷藏柜、冷冻柜、冰箱、酒柜、化妆品保鲜柜等等;该控温功能也可以为制热功能,例如陈列柜可以为暖柜、加热陈列柜、热饮柜等等,本技术实施例对陈列柜的具体类型不作任何限制。
66.示例性的,图1示出根据本公开一实施方式的陈列柜的示意性结构框图,如图1所示,陈列柜100可以包括压缩机11、冷凝器12、节流元件13以及蒸发器14,其中压缩机11、冷凝器12、节流元件13以及蒸发器14通过充注有冷媒的管道连接以形成封闭管路,组成能够循环冷媒的制冷系统或制热系统。
67.其中,压缩机是指用于将低压冷媒提升为高压冷媒的从动的流体机械,压缩机能够吸入低温低压的气态冷媒,通过电机运转带动活塞对冷媒进行压缩后,排出高温高压的气态冷媒,为制冷循环提供动力,压缩机可以包括往复式压缩机、螺杆式压缩机、回转式压缩机、涡旋式压缩机和离心式压缩机等,本技术实施例对压缩机的具体类型不作任何限制。
68.冷凝器是指用于使冷凝器中的冷媒与冷凝器外的空气进行热量交换,以实现放热的换热器。具体的,冷凝器可以包括长度较长的用于容纳冷媒的管道,该管道通常可以由铜之类的导热性能较强的金属材料制成,且该管道通常可以被盘成螺旋形状。另外,为了提高冷凝器的换热效率,可以在管道上设置热传导性能优异的散热片,以加大散热面积,从而加速热量交换的速度,提高换热效率。也还可以通过设置与冷凝器匹配的风机或风扇,以加快冷凝器周围空气的流动速度,从而加速热量交换的速度,提高换热效率。
69.节流元件用于使常温高压的液体冷媒通过节流元件节流以成为低温低压的气体冷媒,其中节流元件也可以被称为节流元件或调节阀,节流元件可以包括膨胀阀、毛细管等。另外,节流元件还可以控制流经节流元件的冷媒的流量,避免流经节流元件的冷媒的流量过大或过小。其中,若流经节流元件的冷媒的流量过大,则会导致流出节流元件的冷媒仍包括液态冷媒,液态冷媒进入压缩机会产生液击,对压缩机造成伤害;若流经节流元件的冷媒的流量过小,则会导致进入压缩机的冷媒过少,降低压缩机的工作效率。
70.蒸发器是指用于使蒸发器中的冷媒与冷凝器外的空气进行热量交换,以实现吸热的换热器。具体的,蒸发器可以包括长度较长的用于容纳冷媒的管道,该管道通常可以由铜之类的导热性能较强的金属材料制成,且该管道通常可以被盘成螺旋形状。另外,为了提高冷凝器的换热效率,可以在管道上设置热传导性能优异的散热片,以加大散热面积,从而加速热量交换的速度,提高换热效率。也还可以通过设置与蒸发器匹配的风机或风扇,以加快蒸发器周围空气的流动速度,从而加速热量交换的速度,提高换热效率。
71.冷媒也可由被称为制冷剂、致冷剂或雪种,是指制冷系统或制热系统中完成能量转化的媒介物质。冷媒通常为容易发生可逆相变(如吸热变成气体,放热变成液体)的物质,通过可逆相变冷媒可以传递热量,具体的,气态的冷媒在受压时,放热变成液体,当高压液体减压变成气体时,便会吸热。冷媒可以包括氨、空气、水、盐水、氟里昂(也可以被称为氟氯烃、氟氯碳化物)等,其中氟利昂可以包括一氟三氯甲烷、二氟一氯甲烷、三氟甲烷、四氟乙烷、三氟二氯乙烷等。
72.当陈列柜为具备制冷功能的陈列柜时,低温低压的汽态冷媒从蒸发器流入压缩机,由压缩机对低温低压的汽态冷媒进行压缩,并使高温高压的气态冷媒流入冷凝器;高温高压的气态冷媒通过冷凝器与冷凝器外界的空气进行热交换,使高温高压的气态冷媒在冷凝器中被冷却为常温高压的液态冷媒,之后常温高压的液态冷媒流入节流元件,节流元件通过对常温高压的液态冷媒节流,使流出节流元件的冷媒转变为低温低压的液态冷媒;低温低压的液态冷媒流入蒸发器,低温低压的液态冷媒通过蒸发器与蒸发器外界的空气进行热交换,低温低压的液态冷媒蒸发气化为低温低压的气态冷媒以吸取热量。其中,蒸发器外界的空气能够被导入陈列柜的储藏区,冷凝器外界的空气能够被导入陈列柜的外部,从而实现将陈列柜的储藏区中的热量搬运至陈列柜的外部,对陈列柜的储藏区进行制冷。
73.当陈列柜为具备制热功能的陈列柜时,低温低压的汽态冷媒从冷凝器流入压缩机,由压缩机对低温低压的汽态冷媒进行压缩,并使高温高压的气态冷媒流入蒸发器;高温高压的气态冷媒通过蒸发器与蒸发器外界的空气进行热交换,使高温高压的气态冷媒在蒸发器中被冷却为常温高压的液态冷媒,之后常温高压的液态冷媒流入节流元件,节流元件通过对常温高压的液态冷媒节流,使流出节流元件的冷媒转变为低温低压的液态冷媒;低温低压的液态冷媒流入冷凝器,低温低压的液态冷媒通过冷凝器与冷凝器外界的空气进行
热交换,低温低压的液态冷媒蒸发气化为低温低压的气态冷媒以吸取热量。其中,蒸发器外界的空气能够被导入陈列柜的储藏区,冷凝器外界的空气能够被导入陈列柜的外部,从而实现将陈列柜的外部的热量搬运至陈列柜的储藏区,对陈列柜的储藏区进行制热。
74.在本技术的一个实施例中,陈列柜包括柜体与柜门,其中柜体中可以设置有控制板以及电源管理模块,柜门中可以设置有主板。
75.在本技术的一个实施例中,图2示出根据本公开一实施方式的主板的示意性结构框图,如图2所示,主板200包括处理器201、随机存取存储器202、闪存203、无线局域网蓝牙模块204、陀螺仪205、压力传感器206、麦克风207、喇叭208、摄像头209以及蜂窝通信模块210。
76.处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器,调制解调处理器,图形处理器,图像信号处理器,控制器,存储器,视频编解码器,数字信号处理器,基带处理器,和/或神经网络处理器中的一个或多个。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
77.其中,图像信号处理器用于处理摄像头反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给图像信号处理器处理,转化为肉眼可见的图像。图像信号处理器还可以对图像的噪点,亮度,肤色进行算法优化。图像信号处理器还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,图像信号处理器可以设置在摄像头中。
78.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,数字信号处理器可以用于对频点能量进行傅里叶变换等。
79.视频编解码器用于对数字视频压缩或解压缩。陈列柜可以支持一种或多种视频编解码器。这样,陈列柜可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
80.神经网络计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过神经网络计算处理器可以实现陈列柜的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
81.在一些实施例中,处理器可以包括一个或多个接口。接口可以包括集成电路接口,集成电路内置音频接口,脉冲编码调制接口,通用异步收发传输器接口,移动产业处理器接口,通用输入输出接口,用户标识模块接口,和/或通用串行总线接口等。
82.随机存取存储器202可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令以及数据。处理器201通过运行存储在随机存取存储器202的指令,从而执行陈列柜的各种功能应用以及数据处理。随机存取存储器202可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储陈列柜使用过程中所创建的数据(比如音频数据,图像数据等)等。
83.闪存203可以用于实现扩展陈列柜的存储能力。闪存203可以通过闪存接口与处理器201通信,实现数据存储功能。例如将音乐,视频等文件保存在闪存中。
84.通过处理器201、随机存取存储器202以及闪存203可以构成最小系统,以提供系统运行环境。
85.无线局域网蓝牙模块204可以提供应用在陈列柜上的包括无线局域网,蓝牙,全球导航卫星系统,调频,近距离无线通信技术,红外技术等无线通信的解决方案。无线局域网蓝牙模块204可以是集成至少一个通信处理模块的一个或多个器件。无线局域网蓝牙模块204经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器201。无线局域网蓝牙模块204还可以从处理器201接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。在本技术的一个实施例中,通过无线局域网蓝牙模块可以与用户的终端进行通信。
86.蜂窝通信模块210可以提供应用在陈列柜上的包括2g/3g/4g/5g等无线通信的解决方案。蜂窝通信模块210可以包括至少一个滤波器,开关,功率放大器,低噪声放大器等。蜂窝通信模块210可以由天线接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。蜂窝通信模块210还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,蜂窝通信模块210的至少部分功能模块可以被设置于处理器201中。在一些实施例中,蜂窝通信模块210的至少部分功能模块可以与处理器201的至少部分模块被设置在同一个器件中。在本技术的一个实施例中,通过蜂窝通信模块210可以与陈列柜控制服务提供商的云端服务器进行通信。
87.通过无线局域网蓝牙模块204以及蜂窝通信模块210,陈列柜可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统,通用分组无线服务,码分多址接入,宽带码分多址,时分码分多址,长期演进等。
88.陀螺仪205可以用于确定陈列柜的柜门的实时姿态。
89.压力传感器206用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器206可以设置于显示屏。压力传感器206的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器206,电极之间的电容改变,根据电容的变化确定压力的强度。当有触摸操作作用于显示屏,根据压力传感器206检测所述触摸操作强度,也可以根据压力传感器206的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于饮料选择应用图标时,执行查看饮料具体信息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于饮料选择应用图标时,执行购买饮料的指令。
90.麦克风207,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风207发声,将声音信号输入到麦克风207。陈列柜可以设置至少一个麦克风207。在另一些实施例中,陈列柜可以设置两个麦克风207,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,陈列柜还可以设置三个,四个或更多麦克风207,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。在本技术的一个实施例中,通过麦克风207可以采集陈列柜运行时的声音。
91.喇叭208,也称“扬声器”,用于将音频电信号转换为声音信号。陈列柜可以通过喇叭208播放音乐,或播放提示语音。
92.摄像头209用于捕获图像,该图像包括静态图像及动态图像(即视频)。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件或互补金属氧化物半导体
光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给图像信号处理器转换成数字图像信号。图像信号处理器将数字图像信号输出到数字信号处理器加工处理。数字信号处理器将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,陈列柜可以包括1个或多个摄像头209。在本技术的一个实施例中,摄像头209可以具备对自身加热的功能,以确保自身的镜头不会起雾。
93.在本技术的一个实施例中,图3示出根据本公开一实施方式的控制板的示意性结构框图,如图3所示,控制板300包括电源输入接口301、电源输出接口302、计量芯片303、微控制单元芯片304、实时时钟芯片、灯开关接口305、控温开关接口306、蒸发风机接口307、压缩机接口308、冷凝风机接口309、温度传感器接口310、通信接口311以及电源接口312。
94.其中,计量芯片303即电量传感器,通过计量芯片303可以获取电压数据、电流数据、实时功率数据以及平均功率数据。通过实时时钟芯片可以保持微控制单元芯片304的时间。通过灯开关接口305可以接收陈列柜的灯开关的控制信号。通过控温开关接口306可以接收陈列柜的控温控制开关的控制信号。通过蒸发风机接口307可以向陈列柜的蒸发风机发送蒸发风机控制信号,以控制蒸发风机运行。通过压缩机接口308可以向陈列柜的压缩机发送压缩机控制信号,以控制压缩机运行。通过冷凝风机接口309可以向陈列柜的冷凝风机发送冷凝风机控制信号,以控制冷凝风机运行。通过温度传感器接口310可以接收一个或多个温度传感器采集的温度传感器数据,以便于确定陈列柜一个或多个位置的温度值。
95.在本技术的一个实施例中,图4示出根据本公开一实施方式的电源管理模块的示意性结构框图,如图4所示,电源管理模块400包括交流转直流转换模块401,充电管理模块402以及电池403。电源管理模块400用于为主板和控制板供电,并对电池进行充放电管理。电源管理模块400还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块400也可以设置于处理器中。
96.在本技术的一个实施例中,陈列柜还包括显示屏。陈列柜通过图形处理器,显示屏,以及应用处理器等实现显示功能。图形处理器为图像处理的微处理器,连接显示屏和应用处理器。图形处理器用于执行数学和几何计算,用于图形渲染。处理器可包括一个或多个图形处理器,其执行程序指令以生成或改变显示信息。
97.显示屏用于显示静态图像,视频等。显示屏包括显示面板。显示面板可以采用液晶显示屏,有机发光二极管,有源矩阵有机发光二极体或主动矩阵有机发光二极体,柔性发光二极管,量子点发光二极管等。在一些实施例中,陈列柜可以包括1个或多个显示屏。
98.可以理解的是,本技术实施例示意的结构并不构成对陈列柜的具体限定。在本技术另一些实施例中,陈列柜可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。示例性的,通过组合不同的部件,本技术实施例中的陈列柜可以为零售柜、制暖柜、冷藏柜、冰柜、组合柜,展示柜中任一种。
99.图5示出根据本公开一实施方式的陈列柜控制方法的流程图,如图5所示,所述陈列柜控制方法包括以下步骤s101-s103:
100.在步骤s101中,获取包括至少一张图像的待识别图像集合。
101.在本公开一实施方式中,获取包括至少一张图像的待识别图像集合,可以为接收其他装置或系统发送的待识别图像集合,也可以为读取事先储存在陈列柜中的待识别图像
集合。其中,待识别图像集合中的图像可以为由陈列柜中的图像采集装置例如摄像头等采集的,也可以为由与陈列柜对应的其他图像采集装置或图像采集系统例如安防摄像头等采集的。待识别图像集合可以包括一张或多张静态图像,也可以包括一段或多段动态图像或视频。待识别图像集合中的图像可以被理解为,包括全部或部分陈列柜的图像,也可以理解为,包括全部或部分陈列柜中物品的图像。示例性的,待识别图像集合中的图像可以包括陈列柜的物品出入口,基于待识别图像集合中的图像,可以确定从陈列柜中移出或向陈列柜中移入的物品,以便进行统计,基于统计结果可以对相应的账户进行结算操作,也可以基于统计结果确定在被移出物品或被移入物品后陈列柜中所存放的物品的数量、种类、位置中至少一种。
102.示例性的,图6示出根据本公开一实施方式的陈列柜的示意性结构图,图7示出根据本公开一实施方式的陈列柜的示意性俯视图,如图6以及图7所示,陈列柜包括柜体501、柜门502以及摄像头503,其中柜体501,包括陈列区511以及物品出入口521,陈列区511通过物品出入口521与柜体501外连通。
103.其中,陈列柜的柜门可以与柜体转动连接,也可以与柜体滑动连接,或者柜门也可以通过折叠的方式与柜体连接,需要说明的是,本技术实施例对柜门与柜体连接的方式不做具体限定,为了方便理解,图6以及图7以柜门与柜体转动连接为例进行说明。如图6以及图7所示,柜门502用于开启或封闭物品出入口521。摄像头503设置于柜体顶部,用于采集物品出入口521的图像,根据摄像头503采集的多张图像,可以获取待识别图像集合。需要说明的是,陈列柜还可以包括多个分别从不同方向采集物品出入图像的摄像头,示例性的,图8示出根据本公开一实施方式的陈列柜的示意性结构图,如图8所示,陈列柜包括第一摄像头516、第二摄像头526、第三摄像头536、第四摄像头546以及第五摄像头556,第一摄像头516从第一方向5161采集货物出入口521的图像、第二摄像头526从第二方向5162采集货物出入口521的图像、第三摄像头536从第三方向5163采集货物出入口521的图像、第四摄像头546从第四方向5164采集货物出入口521的图像,第五摄像头556从第五方向5165采集货物出入口521的图像,第一方向5161、第二方向5162、第三方向5163、第四方向5164以及第五方向5165均不同,根据第一摄像头516、第二摄像头526、第三摄像头536、第四摄像头546以及第五摄像头556中至少一个摄像头采集的多张图像,可以获取待识别图像集合。
104.在步骤s102中,判断待识别图像集合是否包括个人信息图像。
105.其中,个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息。
106.在本公开一实施方式中,个人信息可以理解为以电子或者其他方式记录的能够单独或者与其他信息结合识别特定自然人的各种信息,示例性的,个人信息可以包括自然人的姓名、出生日期、身份证件号码、生物识别信息、住址、电话号码、电子邮箱、健康信息、行踪信息等。个人信息目标可以理解为图像中能够用于获取至少一种个人信息的目标,该目标在图像中可以为以图形、文字或图形与文字的组合的方式存在。
107.具体的,个人信息目标可以包括人脸、指纹、身份证件、交通工具票据、病历中至少一项。示例性的,当待识别图像集合中任一张图像包括至少一个人的全部或部分人脸对应的图形时,可以确定该图像为个人信息图像,该待识别图像集合包括个人信息图像。
108.在步骤s103中,响应于待识别图像集合不包括个人信息图像,发送待识别图像集
合。
109.在本公开一实施方式中,发送待识别图像集合,可以为通过有线或无线通信网络向其他装置或系统例如统计平台所在云端发送该待识别图像集合。发送待识别图像集合可以为以一定时间间隔为周期,周期性发送前一个时间间隔内所获取的待识别图像集合,也可以为响应于待识别图像集合发送指令发送待识别图像集合。
110.示例性的,以陈列柜被用于提供无人售货服务为例进行说明。当顾客需要购买该陈列柜中的物品时,可以使用移动通信终端对陈列柜表面的二维码进行扫描,以访问该陈列柜对应的云端授权服务器,并向该云端授权服务器发送统计授权请求,即请求购买该陈列柜中的物品,云端授权服务器在通过该统计授权请求后,向陈列柜发送统计授权信息。陈列柜接收云端服务器发送的统计授权信息,并响应于统计授权信息,解锁陈列柜的柜门。柜门被解锁后,顾客可以打开柜门,并通过物品出入口拿取陈列柜中的物品,顾客结束拿取物品后,可以将柜门关闭,陈列柜上的摄像头可以持续采集物品出入口的图像,使所采集的图像包括顾客通过物品出入口拿取的物品的图像,并基于所采集的图像生成待识别图像集合。陈列柜判断待识别图像集合是否包括个人信息图像,并响应于待识别图像集合不包括个人信息图像,向云端统计服务器发送待识别图像集合,使云端统计服务器根据该待识别图像集合对顾客的账户进行扣费。其中,由于待识别图像集合不包括个人信息图像,因此云端统计服务器无法根据待识别图像集合获取该顾客的任何个人信息,降低了该顾客的个人隐私泄露的风险。
111.示例性的,同样以陈列柜被用于提供无人售货服务为例进行说明。当陈列柜的维护人员例如便利店店员等需要向该陈列柜补充物品时,可以使用移动通信终端对陈列柜表面的二维码进行扫描,以访问该陈列柜对应的云端授权服务器,并向该云端授权服务器发送货物补充请求,即请求向该陈列柜补充物品,云端服授权务器在通过该统计授权请求后,向陈列柜发送统计授权信息,即允许该维护人员向该陈列柜补充物品。陈列柜接收云端服务器发送的统计授权信息,并响应于统计授权信息,解锁陈列柜的柜门。柜门被解锁后,维护人员可以打开柜门,并通过物品出入口向陈列柜中移入扫码后的物品。维护人员结束补充物品后,可以将柜门关闭。陈列柜上的摄像头可以持续采集物品出入口的图像,使所采集的图像包括维护人员通过物品出入口向陈列柜移入物品的图像,并基于所采集的图像生成待识别图像集合。陈列柜判断待识别图像集合是否包括个人信息图像,并响应于待识别图像集合不包括个人信息图像,向云端统计服务器发送待识别图像集合,使云端统计服务器根据该待识别图像集合确定维护人员已向陈列柜补充的物品的数量、种类以及位置,以便确定在被移出物品或被移入物品后,陈列柜中所存放的物品的数量、种类、位置等。其中,由于待识别图像集合不包括个人信息图像,因此云端统计服务器无法根据待识别图像集合获取该维护人员的任何个人信息,降低了该维护人员的个人隐私泄露的风险。
112.示例性的,以陈列柜被用于向目标用户提供物品取用服务为例进行说明,其中目标用户可以理解为隶属于某个指定单位或部门的用户。当用户需要取走该陈列柜中的物品时,可以使用移动通信终端对陈列柜表面的二维码进行扫描,以访问该陈列柜对应的服务器,并向该服务器发送身份认证请求,即请求对该用户的身份进行认证;或者也可以使用相应的身份标示(例如工牌、证件等)通过陈列柜上的扫描装置进行扫描,由陈列柜向对应的服务器发送身份认证请求。当陈列柜收到服务器返回的物品取用授权信息时,可以理解为
服务器确认该用户为目标用户,陈列柜可以并响应于物品取用授权信息,解锁陈列柜的柜门。柜门被解锁后,该用户可以打开柜门,并通过物品出入口拿取陈列柜中的物品,该用户结束拿取物品后,可以将柜门关闭,陈列柜上的摄像头可以持续采集物品出入口的图像,使所采集的图像包括顾客通过物品出入口拿取的物品的图像,并基于所采集的图像生成待识别图像集合。陈列柜判断待识别图像集合是否包括个人信息图像,并响应于待识别图像集合不包括个人信息图像,向云端统计服务器发送待识别图像集合,使云端统计服务器根据该待识别图像集合获取该用户从陈列柜中取走的物品,也可以进一步该用户从陈列柜中取走的物品确定陈列柜中剩余的物品的种类及数量。其中,由于待识别图像集合不包括个人信息图像,因此云端统计服务器无法根据待识别图像集合获取该顾客的任何个人信息,降低了该顾客的个人隐私泄露的风险。
113.上述技术方案,通过获取包括至少一张图像的待识别图像集合,并判断待识别图像集合是否包括个人信息图像,响应于待识别图像集合不包括个人信息图像,发送待识别图像集合,其中个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息。在上述方案中,由于陈列柜发送的待识别图像集合中的任一张图像均不包括个人信息目标,因此接收该待识别图像集合的其他装置或系统无法基于该待识别图像集合中的图像获取任何用户的个人信息,从而确保陈列柜发送的图像不会对任何用户的个人信息安全造成侵犯,降低了用户隐私受到侵犯的风险。
114.在本公开一种实现方式中,判断待识别图像集合是否包括个人信息图像,可以通过如下步骤实现:
115.获取预先训练的个人信息目标识别模型,并将待识别图像集合中的图像输入个人信息目标识别模型,以获取个人信息目标识别模型输出的个人信息目标识别信息;
116.根据个人信息目标识别信息判断待识别图像集合是否包括个人信息图像;
117.所述方法还包括如下步骤:
118.获取个人信息目标标注信息,根据个人信息目标标注信息确定待识别图像集合中的标注图像,个人信息目标标注信息用于指示标注图像中的个人信息目标;
119.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练。
120.在本公开一实施方式中,个人信息目标识别模型可以为预先储存在陈列柜中,也可以为从其他装置或系统处获取。个人信息目标识别模型可以为神经网络(neural network,nn)模型、卷积神经网络(convolutional neural networks,cnn)模型或长短期记忆网络(long shortterm memory,lstm)模型等。
121.在本公开一实施方式中,标注图像可以理解为,包括至少一个未被个人信息目标识别模型成功识别的个人信息目标的图像。
122.在该实施方式中,通过获取预先训练的个人信息目标识别模型,并将待识别图像集合中的图像输入个人信息目标识别模型,并根据个人信息目标识别信息判断待识别图像集合是否包括个人信息图像,可以确保断待识别图像集合是否包括个人信息图像的准确率较高,之后获取个人信息目标标注信息,根据个人信息目标标注信息确定待识别图像集合中的标注图像,并响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练,从而使训练后的个人信息目
标识别模型能够学习到之前未能成功识别出的个人信息目标与图像之间的规律,确保基于训练后的个人信息目标识别模型对图像中的个人信息目标进行识别的成功率较高。
123.在本公开一种实现方式中,响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练之前,方法还包括如下步骤:
124.接收边缘服务器发送的更新权值参数,并根据更新权值参数对个人信息目标识别模型进行更新;
125.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练,包括:
126.响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对更新后的个人信息目标识别模型进行训练;
127.所述方法还包括如下步骤:
128.响应于训练后的个人信息目标识别模型未收敛,根据训练后的个人信息目标识别模型获取梯度更新矢量,并向边缘服务器发送梯度更新矢量;
129.或,响应于训练后的个人信息目标识别模型收敛,将训练后的个人信息目标识别模型储存为目标个人信息目标识别模型。
130.在本公开一种实现方式中,边缘服务器用于对梯度更新矢量进行聚合,并根据聚合后的梯度更新矢量对边缘服务器上的个人信息目标识别模型的权值参数进行更新,以获取更新权值参数。边缘服务器可以是云端服务器,也可以是由陈列柜控制服务提供商提供的服务器。需要说明的是,一个边缘服务器可以对应一个或多个陈列柜,例如,陈列柜控制服务提供商可以将所管辖的区域分成多块,每一块区域中的多个陈列柜可以对应一个边缘服务器。
131.边缘服务器上的个人信息目标识别模型可以为神经网络模型、卷积神经网络模型或长短期记忆网络模型等。
132.在本公开一种实现方式中,由陈列柜接收的边缘服务器发送的更新权值参数,是边缘服务器根据多个陈列柜发送的梯度更新矢量进行聚合,并根据聚合后的梯度更新矢量对边缘服务器上的个人信息目标识别模型的权值参数进行更新得到的,因此陈列柜上更新后的个人信息目标识别模型能够反映上一轮训练中边缘服务器上的个人信息目标识别模型所学习到的,待识别图像集合中的图像与个人信息目标之间的共有规律。之后将标注图像作为输入,将个人信息目标标注信息作为输出,对个人信息目标识别模型进行训练,可以使陈列柜上更新后的个人信息目标识别模型在学习到共有规律的基础上,还能够个性化的针对该陈列柜自身所获取的标注图像与标注图像中的个人信息目标进行学习,使训练后的陈列柜上的个人信息目标识别模型能够学习到该陈列柜自身获取的标注图像与标注图像中的个人信息目标之间的私有规律;当训练后的个人信息目标识别模型未收敛时,说明该训练后的陈列柜上的个人信息目标识别模型仍需要继续训练,通过根据训练后的陈列柜上的个人信息目标识别模型获取梯度更新矢量,并发送梯度更新矢量,可以使边缘服务器能够继续基于多个陈列柜上传的梯度更新矢量获取相应的更新权值参数,从而继续对各个陈列柜上的个人信息目标识别模型继续进行训练;当训练后的个人信息目标识别模型收敛时,可以认为该收敛的陈列柜上的个人信息目标识别模型能够对自身获取的待识别图像集
合中图像中的个人信息目标进行较为准确的识别,可以将收敛的陈列柜上的个人信息目标识别模型储存为目标个人信息目标识别模型,即对图像中的个人信息目标进行识别的准确率较高的模型。
133.在上述技术方案中,一方面最终获取的目标个人信息目标识别模型可以为即学习到共有规律,又学习到私有规律的模型,其对图像中的个人信息目标进行识别的准确率较高;另一方面由于对各个陈列柜上的个人信息目标识别模型继续进行训练的过程由陈列柜以及边缘服务器共同来执行,与仅由陈列柜或服务器单独对个人信息目标识别模型进行训练相比较,所需的处理资源较少,训练速度较快。
134.在本公开一种实现方式中,个人信息目标标注信息为服务器发送的,或个人信息目标标注信息为通过陈列柜的人机交互装置输入的。
135.在本公开一种实现方式中,在获取通过陈列柜的人机交互装置输入的个人信息目标标注信息之前,还可以展示待识别图像集合中的图像。
136.在本公开一实施方式中,展示待识别图像集合中的图像,可以为通过陈列柜上的人机交互装置例如显示屏等展示待识别图像集合中的图像,也可以为通过其他装置或系统展示待识别图像集合中的图像。
137.在本公开一实施方式中,通过陈列柜的人机交互装置输入的个人信息目标标注信息,可以为通过陈列柜上的键盘、触摸屏、触摸板的中至少一项获取用户输入的个人信息目标标注信息;也可以为通过陈列柜上的麦克风获取用户输入的语音信息,并通过对该语音信息进行语音识别,以获取个人信息目标标注信息;也可以为通过陈列柜上的摄像头获取用户所做动作的图像信息,并对该图像信息进行图像识别,以获取个人信息目标标注信息。
138.示例性的,陈列柜可以通过触摸屏所显示的图形用户界面(graphical user interface,gui)中展示待识别图像集合中的图像,并获取用户通过触摸屏输入的与图形用户界面gui中所展示的待识别图像集合中的图像对应的个人信息目标标注信息输入动作,根据个人信息目标标注信息输入动作获取用户输入的个人信息目标标注信息,其中图形用户界面gui以为运行在陈列柜上的应用程序(application,app)的交互界面。进一步的,图形用户界面gui还可以在触摸屏上显示一个或多个可供用户执行输入个人信息目标标注信息输入动作的可视提示,所述可视提示会向用户提供输入个人信息目标标注信息输入动作的暗示或提醒。这些可视提示可以是文本、图形或其任意组合。个人信息目标标注信息输入动作包括与触摸屏相接触。在某些实施例中,除了可视提示之外,陈列柜还可以提供非可视提示,以便指示个人信息目标标注信息输入动作的完成进度。该非可视提示可以包括音频提示(例如声音)或物理提示(例如振动)。在某些实施例中,个人信息目标标注信息输入动作是在触摸屏上执行的预定手势。这里使用的手势是与触摸屏接触的对象/配件的运动。例如,该预定手势可以包括在触摸屏所展示的展示待识别图像集合中的图像中个人信息目标所在的位置与触摸屏相接触(初始化手势),以及在保持与触摸屏持续接触的时间超过预设接触时间阈值后中断接触(完成该手势)。
139.为了便于说明,在获取用户输入的扫码修正请示信息的过程,以及下文描述的其他实施例中,触摸屏上的接触将被描述成是由用户使用至少一只手以及使用一个或多个手指来执行的。但是应该了解,该接触也可以使用任何适当的物体或配件来进行,例如指示笔、手指等等。所述接触可以包括:在触摸屏上的一下或多下轻敲,保持与触摸屏持续接触,
在保持持续接触的同时移动接触点,中断接触,或其任意组合。
140.陈列柜检测触摸屏上的接触,如果该接触不与执行个人信息目标标注信息输入动作的尝试相对应,或者如果该接触与用户执行个人信息目标标注信息输入动作失败或放弃的尝试相对应,那么该陈列柜将不会获取相应的个人信息目标标注信息。例如,如果个人信息目标标注信息输入动作是在触摸屏所展示的图像中个人信息目标所在的位置与触摸屏相接触,并在保持与触摸屏持续接触的时间超过预设接触时间阈值后中断接触,而检测到的接触是在触摸屏上的一系列随机轻敲,那么,由于所述接触不与个人信息目标标注信息输入动作相对应。
141.如果该接触对应的是个人信息目标标注信息输入动作的成功执行,即,用户成功执行了个人信息目标标注信息输入动作,那么该陈列柜可以基于个人信息目标标注信息输入动作获取相应的个人信息目标标注信息。
142.图9示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图,图10示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图,图11示出根据本公开一实施方式的陈列柜的图形用户界面gui示意图,图9-图11示出处于个人信息目标标注信息输入动作执行过程中不同时刻的陈列柜的图形用户界面gui示意图。
143.在图9中,用户用手指51表示,手指51尚未触摸陈列柜的触摸屏52,此时陈列柜将不会获取相应的个人信息目标标注信息。
144.在图10中,用户通过使用其手指51触摸陈列柜的触摸屏52而开始执行个人信息目标标注信息输入动作。具体的,用户通过手指51持续触摸在触摸屏52,并使手指51沿图形用户界面gui 53所展示的图像中个人信息目标54的轮廓移动,陈列柜开始记录手指51的移动轨迹55。需要说明的是,当手指51未与触摸屏52脱离接触时,陈列柜将不会基于已记录的移动轨迹获取相应的个人信息目标标注信息。
145.在图11中,用户通过使用其手指51脱离陈列柜的触摸屏52而结束执行个人信息目标标注信息输入动作。具体的,响应于手指51与触摸屏52脱离接触超过预设时间差,陈列柜基于已记录的移动轨迹在图形用户界面gui 53所展示的图像中确定至少一个个人信息目标54,并获取用于指示该图像即标注图像中的个人信息目标54的个人信息目标标注信息。
146.在本公开一种实现方式中,接收服务器发送的个人信息目标标注信息,可以理解为通过有线或无线的方式接收服务器发送的个人信息目标标注信息。
147.在该实施方式中,由于服务器的运算、处理能力往往比陈列柜要强,而用户针对自身图像的理解能力也往往比陈列柜要强,因此无论是服务器还是用户对待识别图像集合中图像的个人信息目标进行识别的准确率也远高于陈列柜自身,因此通过接收服务器发送的个人信息目标标注信息,或通过陈列柜的人机交互装置获取用户输入的个人信息目标标注信息,可以使基于个人信息目标标注信息进一步训练后的个人信息目标识别模型能够学习到之前未能成功识别出的个人信息目标与图像之间的规律,确保基于训练后的个人信息目标识别模型对图像中的个人信息目标进行识别的成功率较高。
148.在本公开一种实现方式中,判断待识别图像集合是否包括个人信息图像,可以通过如下步骤实现:
149.对待识别图像集合中的图像进行图像识别,并根据图像识别结果判断待识别图像集合是否包括个人信息图像。
150.在本公开一实施方式中,对待识别图像集合中的图像进行图像识别,可以理解为识别待识别图像集合中图像所包括的目标进行识别,并根据识别结果确定待识别图像集合中图像所包括的目标是否包括个人信息目标。示例性的,可以对待识别图像集合中的图像进行人脸图像识别,当根据人脸图像识别确定待识别图像集合中的至少一张图像包括至少一个人的全部或部分人脸时,可以确定待识别图像集合包括个人信息图像。也可以对待识别图像集合中的图像进行字符识别,当根据字符识别结果确定待识别图像集合中的至少一张图像包括一个或多个字符,且根据该一个或多个字符可以获取至少一个人的姓名、出生日期、身份证件号码、住址、电话号码、电子邮箱中至少一项时,可以确定待识别图像集合包括个人信息图像。
151.在该实施方式中,通过对待识别图像集合中的图像进行图像识别,并根据图像识别结果判断待识别图像集合是否包括个人信息图像,可以提高判断待识别图像集合是否包括个人信息图像的准确率。
152.在本公开一种实现方式中,待识别图像集合中的图像为响应于陈列柜的柜门被解锁采集的。
153.在本公开一实施方式中,陈列柜的柜门被解锁,可以理解为陈列柜上的柜门锁定装置响应于解锁指令将柜门解锁,使柜门能够相对于陈列柜的柜体转动或滑动,以开启陈列柜的物品出入口;也可以理解为陈列柜上的柜门锁定装置被相应的解锁操作触发,使柜门锁定装置自身被设置为解锁状态,从而使柜门能够相对于陈列柜的柜体转动或滑动,以开启陈列柜的物品出入口。
154.在本公开一实施方式中,判断柜门是否被锁定,可以接收陈列柜上的柜门锁定装置发送的柜门锁定状态信息,并根据该柜门锁定状态信息判断柜门是否被锁定。也可以接收其他装置或系统发送的柜门锁定状态信息,并根据该柜门锁定状态信息判断柜门是否被锁定,例如,可以由独立于陈列柜的红外检测装置检测柜门是否被锁定,并根据检测结果向陈列柜发送柜门锁定状态信息;也可以由独立于陈列柜的摄像头例如安防摄像头等获取包括全部或部分展示柜的图像,根据该图像进行图像识别,并根据图像识别向陈列柜发送柜门锁定状态信息。
155.在该实施方式中,通过限定待识别图像集合中的图像为响应于陈列柜的柜门被解锁采集的,可以减少待识别图像集合中图像的数量,由于仅能在陈列柜的柜门被解锁时将陈列柜中的物品移出或以及向陈列柜中移入物品,因此上述方案可以在不降低基于待识别图像集合中的图像确定的陈列柜被移出或移入物品的检测结果准确率的前提下,减少判断待识别图像集合是否包括个人信息图像所需的运算量,节省了数据处理资源。
156.在本公开一种实现方式中,所述方法还包括如下步骤:
157.响应于待识别图像集合包括个人信息图像,将个人信息图像从待识别图像集合中移除,以获取筛选后待识别图像集合,并发送筛选后待识别图像集合;和/或
158.响应于待识别图像集合包括个人信息图像,根据预设图案覆盖个人信息图像中个人信息目标所在的区域,或将个人信息目标所在的区域从个人信息图像中移除,以获取修改后待识别图像集合,并发送修改后待识别图像集合。
159.在本公开一实施方式中,预设图案可以为基于预先储存在陈列柜中的预设图片获取,示例性的,可以通过基于个人信息目标所在的区域的尺寸对预先储存在陈列柜中的预
设图片进行裁剪,以获取预设图案。也可以为根据陈列柜中的预设算法生成预设图案,示例性的,预设图案可以为基于预设算法生生的马赛克图案。
160.在该实施方式中,通过响应于待识别图像集合包括个人信息图像,将个人信息图像从待识别图像集合中移除,以获取筛选后待识别图像集合,并发送筛选后待识别图像集合,可以确保待识别图像集合中的任一张图像均不包括个人信息目标;而通过响应于待识别图像集合包括个人信息图像,根据预设图案覆盖个人信息图像中个人信息目标所在的区域,或将个人信息目标所在的区域从个人信息图像中移除,以获取修改后待识别图像集合,也可以确保待识别图像集合中的任一张图像均不包括个人信息目标,或基于待识别图像集合中的任一张图像均无法成功识别任何个人信息目标,从而使接收该待识别图像集合的其他装置或系统无法基于该待识别图像集合中的图像获取任何用户的个人信息,确保陈列柜发送的图像不会对任何用户的个人信息安全造成侵犯,降低了用户隐私受到侵犯的风险。
161.训练后的个人信息目标识别模型未收敛训练后的个人信息目标识别模型收敛训练后的个人信息目标识别模型未收敛训练后的个人信息目标识别模型收敛
162.图12示出根据本公开一实施方式的陈列柜控制方法的整体流程图,如图12所示,陈列柜控制方法包括:
163.在步骤s201中,获取包括至少一张响应于陈列柜的柜门被解锁采集的图像的待识别图像集合。
164.在步骤s202中,对待识别图像集合中的图像进行图像识别,并根据图像识别结果判断待识别图像集合是否包括个人信息图像。
165.在步骤s203中,获取预先训练的个人信息目标识别模型,并将待识别图像集合中的图像输入个人信息目标识别模型,以获取个人信息目标识别模型输出的个人信息目标识别信息。
166.在步骤s204中,根据个人信息目标识别信息判断待识别图像集合是否包括个人信息图像。
167.在步骤s205中,响应于待识别图像集合不包括个人信息图像,发送待识别图像集合。
168.在步骤s206中,展示待识别图像集合中的图像。
169.在步骤s207中,获取通过陈列柜的人机交互装置输入的个人信息目标标注信息,并根据个人信息目标标注信息确定待识别图像集合中的标注图像。
170.在步骤s208中,判断个人信息图像是否包括标注图像。
171.在步骤s209中,接收边缘服务器发送的更新权值参数,并根据更新权值参数对个人信息目标识别模型进行更新。
172.在步骤s210中,响应于个人信息图像未包括标注图像,将标注图像作为输入,将个人信息目标标注信息作为输出,对更新后的个人信息目标识别模型进行训练。
173.在步骤s211中,响应于训练后的个人信息目标识别模型未收敛,根据训练后的个人信息目标识别模型获取梯度更新矢量,并向边缘服务器发送梯度更新矢量。
174.在步骤s212中,响应于训练后的个人信息目标识别模型收敛,将训练后的个人信息目标识别模型储存为目标个人信息目标识别模型。
175.在步骤s213中,接收误识别指示信息。
176.在步骤s214中,将误识别图像作为输入,将误识别指示信息作为输出,对个人信息目标识别模型进行训练。
177.在步骤s215中,响应于待识别图像集合包括个人信息图像,将个人信息图像从待识别图像集合中移除,以获取筛选后待识别图像集合,并发送筛选后待识别图像集合。
178.在步骤s216中,响应于待识别图像集合包括个人信息图像,根据预设图案覆盖个人信息图像中个人信息目标所在的区域,或将个人信息目标所在的区域从个人信息图像中移除,以获取修改后待识别图像集合,并发送修改后待识别图像集合。
179.下述为本公开装置实施例,可以用于执行本公开方法实施例。
180.图13示出根据本公开一实施方式的陈列柜控制装置的示意性结构框图,该陈列柜控制装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图13所示,所述陈列柜控制装置包括:
181.图像获取模块601,被配置为获取包括至少一张图像的待识别图像集合,待识别图像集合中的图像为响应于陈列柜的柜门被解锁采集的;
182.图像识别模块602,被配置为判断待识别图像集合是否包括个人信息图像,个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息;
183.图像发送模块603,被配置为响应于待识别图像集合不包括个人信息图像,发送待识别图像集合。
184.上述技术方案,通过获取包括至少一张图像的待识别图像集合,并判断待识别图像集合是否包括个人信息图像,响应于待识别图像集合不包括个人信息图像,发送待识别图像集合,其中个人信息图像为包括至少一个个人信息目标的图像,个人信息目标用于获取至少一个人的个人信息。在上述方案中,由于陈列柜发送的待识别图像集合中的任一张图像均不包括个人信息目标,因此接收该待识别图像集合的其他装置或系统无法基于该待识别图像集合中的图像获取任何用户的个人信息,从而确保陈列柜发送的图像不会对任何用户的个人信息安全造成侵犯,降低了用户隐私受到侵犯的风险。
185.本公开还公开了一种电子设备,图14示出根据本公开一实施方式的电子设备的示意性结构框图,如图14所示,所述电子设备700包括存储器701和处理器702;其中所述存储器701用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器702执行以实现上述方法步骤。
186.图15是适于用来实现根据本公开一实施方式的陈列柜控制方法的计算机系统的结构示意图。如图15所示,计算机系统800包括处理单元801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行上述实施方式中的各种处理。在ram803中,还存储有系统800操作所需的各种程序和数据。处理单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
187.以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如
磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中,所述处理单元801可实现为cpu、gpu、tpu、fpga、npu等处理单元。
188.附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
189.描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
190.作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
191.另外,本公开还提供了一种计算机程序产品,该计算机程序产品中存储有计算机程序,当所述计算机程序被处理器执行时,使所述处理器至少可以实现如前述实施例中提供的方法。
192.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1