家用电器、信息识别方法及装置与流程

1.本技术涉及智能家电技术领域，尤其涉及家用电器、信息识别方法及装置。


背景技术：

2.在家用智能冰箱领域，为了帮助用户更好的管理冰箱内的食材，冰箱需要自动识别出冰箱内的食材及存放位置。
3.一种方案是用静态计算机视觉方案，也就是通过拍摄冰箱内的静态图片并分析食材种类。但是由于冰箱内食材存放比较满，外部堆放的食材会遮挡存放在内部的食材，造成识别结果不全面。
4.另一种方案是动态计算机视觉方案，也就是通过识别用户的动态取放动作，实时监测用户放入了什么食材和取出了什么食材。
5.动态视觉方案视野需要覆盖冰箱全空间，但是由于冰箱的箱体、门体、冷冻区多个位置视野较大，单个相机拍摄会导致冰箱隔板第一层和门体存在盲区，若单纯利用相机覆盖需要堆叠多个相机，多个相机之间的标记是难点问题，而且，视觉物体检测需要大量的计算资源，对硬件平台要求高，造成整体硬件成本高昂。


技术实现要素：

6.本技术实施例提供了一种家用电器、信息识别方法及装置，用以识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高整体检测准确率，节约成本。
7.本技术实施例提供的一种用于存放物品的家用电器包括：
8.用于采集图像的相机；
9.设置在所述相机的图像采集盲区的传感器；
10.处理器，用于通过所述相机采集图像确定视觉检测结果，以及通过所述传感器确定盲区检测信息，并根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
11.本技术实施例提供的上述家用电器，通过相机采集图像，确定视觉检测结果，并且通过设置在所述相机的图像采集盲区的传感器确定盲区检测信息，从而根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置，即实现了识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高了整体检测准确率，节约成本。
12.可选地，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域roi内用户对所述家用电器内物品的存取动作时，进一步结合所述传感器的盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
13.可选地，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感
兴趣区域roi内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述物品在所述家用电器内的存放位置。
14.可选地，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。
15.可选地，所述处理器还用于：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
16.可选地，所述处理器首先判断所述传感器是否检测到用户，如果是，则所述处理器确定存取位置为所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置；否则，所述处理器确定存取位置不是所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
17.可选地，所述家用电器为冰箱，所述相机安装在所述冰箱的上方，当用户打开冰箱门时，开始采集用户存取食材的图像；所述传感器安装在所述冰箱的门体隔层边缘。
18.本技术实施例提供的一种信息识别方法，包括：
19.通过安装在用于存放物品的家用电器上的相机确定视觉检测结果，并且，通过安装在所述家用电器上的传感器确定盲区检测信息，其中所述传感器设置在所述相机的图像采集盲区；
20.根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或物品在所述家用电器内的存放位置。
21.本技术另一实施例提供了一种信息识别装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
22.本技术另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本技术实施例提供的相机、传感器在冰箱上的位置示意图；
25.图2为本技术实施例提供的一种信息识别方法的流程示意图；
26.图3为本技术实施例提供的另一种信息识别方法的流程示意图；
27.图4—图7为本技术实施例提供的通过冰箱上的相机采集的用户存取食材的图像示意图；
28.图8为本技术实施例提供的一种家用电器的结构示意图；
29.图9为本技术实施例提供的一种信息识别方法的流程示意图；
interest，roi)的区域识别结果，可以得到对应位置的食材存取信息(即用户存入食材或者用户取出食材的信息)。例如，用户往隔板第一层存入食材，该位置是相机不可见的盲区，视觉检测通常通过预测获取结果可能为隔板第一层或者隔板第二层，第一层的传感器检测到有目标进入，该次操作为存入，位置为隔板第一层，若第一层的传感器没有检测到有目标进入，该次操作为存入，位置为隔板第二层，具体流程如图3所示。
39.下面给出具体实施例进一步的详细介绍。
40.硬件部分：
41.例如图1所示，本技术实施例在冰箱上方安装相机模组，当用户打开冰箱门时，模组弹出，触发获取食材存取过程中存取食材的图像。冰箱关门时，相机模组收回，图像采集结束。
42.在相机视野的盲区位置安装红外传感器，用以获取是否有物体进入或者退出该盲区位置。所述盲区位置，例如图1所示的冰箱门的上面第一层置物架(或称为隔层)附近的位置。
43.详细方案：
44.1、红外传感器安装设置：
45.红外传感器可以根据相机实际的盲区位置进行安装，以图1中的传感器安装为例，传感器安装在门体隔层边缘，安装位置可根据实际的需要进行调整，比如隔层内部、隔层长边、隔层短边，若安装在箱体内部，可安装在左侧或者右侧的箱体壁上，若安装在抽屉内，可放置在抽屉长边或者短边的侧壁等，传感器的数量可以为1个，或者多个，传感器安装的位置或者数量变化均不影响本技术实施例的本质。
46.需要说明的是，由于红外传感器检测范围较大，可能覆盖到其他位置，比如安装在箱体隔板第一层，但检测范围覆盖到箱体隔板第二层，有可能导致误触发，因此，可根据实际需要调整其强度和检测范围。
47.2、盲区roi区域设定：
48.如图4—图7所示，由于相机视野难以覆盖冰箱全空间区域，冰箱上部分位置为检测盲区，如图4—图7中的下端矩形框所示位置范围，此处手部在冰箱隔板第一层存取，但是由于图像无法覆盖，难以确定具体位置是隔板第一层还是隔板第二层靠上边的区域存取，同理，门体的隔层也存在同样的问题，如图4—图7中两侧的矩形框所示位置范围。因此，可以预先设定一个盲区roi区域，以图4—图7中的下端矩形框所示位置为例，当有运动手部进入该roi区域，则有可能从盲区隔板第一层或者隔板第二层存取，需要结合传感器的检测信息进行判断。
49.图4—图7展示了取出动作过程中运动手部的位置变化。实际的盲区设定可以在彩色图像中，或者深度图像中，或者两者同时设定进行融合，roi区域的大小可以根据实际需求调整，盲区roi的位置或者大小的不同均不影响本技术实施例提供的技术方案的实质。
50.3、运动目标检测跟踪：
51.该步骤对图像中的运动手部进行检测跟踪，对于手部的检测跟踪，可通过机器学习或深度神经网络训练分类器实现，根据运动手部的坐标进行判定，若运动的手部在上述盲区roi以外的区域，则直接根据彩色图或者深度图或者彩色图和深度图的结合，利用视觉检测方法进行存取动作和存取位置检测，若运动的手部在上述盲区roi以内，则需要融合红
外传感器的检测信息进行存取动作和存取位置的判定。
52.4、红外传感器信息融合：
53.红外传感器的数据需要实时读取，当红外传感器检测到有物体进入，则结合视觉检测的信息进行判定。例如，在图4中，视觉算法检测到有运动目标进入图4中的检测区域且逐渐靠近并进入下面的矩形框所示的roi盲区，且隔板第一层放置的红外传感器检测到有物体进入(即用户放食材到冰箱隔板第一层上)，则本次动作为进入，存取位置为隔板第一层；若传感器未检测到有物体进入，则本次动作为进入，存取位置为隔板的第二层。手部退出动作的判定过程与进入动作的判定过程同理，手部退出可以是从冰箱内取走食材，也可以是放入食材之后的动作，具体不影响本技术实施例的实现，此处不再赘述。
54.进一步，由于手部从图像中消失到实际进入红外传感器的检测区域有一定空间距离s，因此可以设定视觉检测信息在一个时间段t内等待红外传感器的检测结果，即当通过相机采集图像确定了视觉检测结果(即检测到用户的存取动作)后的时长t内等待通过传感器得到的检测结果。阈值t设定比较重要，若过短，可能红外传感器的检测结果还未传出，导致漏检，若过长，可能动作已经完成，甚至进入下一个动作，但结果还未更新，因此本技术实施例对t的选取进行优化，根据图像序列帧中手部的运动度v，以及空间距离s，进行估算，s可以根据相机和冰箱的实际位置关系直接获取。则信息融合的步骤可以优化为若手部运动目标进入图4—图7中下面矩形框所示roi的上边缘，则实时计算其进入红外检测区域需要的时间t1、t2
…
同时实时读取红外传感器的检测结果，当进入图4—图7中下面矩形框所示roi的下边缘，将之前实时计算的t1，t2
…
的平均值或最大值，作为阈值t。例如，根据相机和冰箱的实际位置关系，距离s＝0.2m，根据帧差法计算手部运动速度v为1m/s，则阈值t设定为s/v＝0.2s，若0.2s内传感器检测到目标，则判定手部进入第一层，若0.2s内传感器没有检测到目标，则认为手部没有进入第一层，而是进入第二层。
55.需要说明的是，阈值t也可以预先设置好，无需实时根据用户手部移动的速度计算，具体实现方式可以根据实际需要而定，本技术实施例不进行限制。
56.5、视觉检测结果融合：
57.所述视觉检测结果，即通过相机采集图像，并对图像进行检测分析得到的结果。当通过图像检测到手部的“进入”和“退出”信号时，彩色相机对手部触发区域进行截取，利用该部分信息进行物体识别。当手中有物体，且检测到“进入”信号，则为存入食材；当手中有物体，且检测到“退出”信息，则为取出食材。
58.通过上述过程，即可实现包括盲区的冰箱全空间存取动作和存取位置识别。
59.另外，本技术实施例提出的针对盲区识别仅为优选实施例，实际上，冰箱内任一空间位置的存取动作识别和存取位置识别均可以结合传感器提高识别准确率，均在本技术实施例的范围内。
60.另外，传感器的类型包括但不限于接近式传感器、光电传感器、单点tof等，类似原理的传感器均在本技术实施例范围之内。
61.上述本技术实施例提供的技术方案，是以冰箱为例进行的说明，但对于用于存放物品的任何设备，都可以适用本技术实施例提供的技术方案。
62.因此，综上所述，参见图8，本技术实施例提供的一种用于存放物品的家用电器包括：
63.用于采集图像的相机11；
64.设置在所述相机的图像采集盲区的传感器12；
65.处理器13，用于通过所述相机采集图像确定视觉检测结果，以及通过所述传感器确定盲区检测信息，并根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
66.本技术实施例提供的上述家用电器，通过相机采集图像，确定视觉检测结果，并且通过设置在所述相机的图像采集盲区的传感器确定盲区检测信息，从而根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置，即实现了识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高了整体检测准确率，节约成本。
67.可选地，所述处理器13当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域roi内用户对所述家用电器内物品的存取动作时，进一步结合所述传感器的盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
68.可选地，所述处理器13当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域roi内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述物品在所述家用电器内的存放位置。
69.可选地，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。
70.可选地，所述处理器13还用于：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
71.可选地，所述处理器13首先判断所述传感器是否检测到用户，如果是，则所述处理器确定存取位置为所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置；否则，所述处理器确定存取位置不是所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
72.可选地，所述家用电器为冰箱，所述相机安装在所述冰箱的上方，当用户打开冰箱门时，开始采集用户存取食材的图像；所述传感器安装在所述冰箱的门体隔层边缘。
73.参见图9，本技术实施例提供的一种信息识别方法包括：
74.s101、通过安装在用于存放物品的家用电器上的相机确定视觉检测结果，并且，通过安装在所述家用电器上的传感器确定盲区检测信息，其中所述传感器设置在所述相机的图像采集盲区；
75.s102、根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或物品在所述家用电器内的存放位置。
76.可选地，当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域roi内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述
物品在所述家用电器内的存放位置。
77.可选地，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。
78.可选地，该方法还包括：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
79.可选地，首先判断所述传感器是否检测到用户，如果是，则所述处理器确定存取位置为所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置；否则，所述处理器确定存取位置不是所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
80.参见图10，本技术实施例提供的一种信息识别装置包括：
81.第一单元21，用于通过安装在用于存放物品的家用电器上的相机确定视觉检测结果，并且，通过安装在所述家用电器上的传感器确定盲区检测信息，其中所述传感器设置在所述相机的图像采集盲区；
82.第二单元22，用于根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或物品在所述家用电器内的存放位置。
83.可选地，第二单元22当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域roi内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述物品在所述家用电器内的存放位置。
84.可选地，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。
85.可选地，第二单元22还用于：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
86.可选地，第二单元22首先判断所述传感器是否检测到用户，如果是，则所述处理器确定存取位置为所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置；否则，所述处理器确定存取位置不是所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
87.需要说明的是，本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
88.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
89.本技术实施例提供了另一种信息识别装置，具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)、智能家电(例如冰箱)等。该计算设备可以包括中央处理器(center processing unit，cpu)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
90.存储器可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本技术实施例中，存储器可以用于存储本技术实施例提供的任一所述方法的程序。
91.处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本技术实施例提供的任一所述方法。
92.本技术实施例提供了一种计算机存储介质，用于储存为上述本技术实施例提供的装置所用的计算机程序指令，其包含用于执行上述本技术实施例提供的任一方法的程序。
93.所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
94.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
95.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
96.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
97.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
98.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。