用于烹饪设备的控制方法、控制装置以及烹饪设备与流程

文档序号:26177637发布日期:2021-08-06 18:23阅读:84来源:国知局
用于烹饪设备的控制方法、控制装置以及烹饪设备与流程

本公开涉及烹饪设备控制技术领域,尤其涉及一种用于烹饪设备的控制方法、控制装置、计算机设备、计算机机可读存储介质、计算机程序产品以及烹饪设备。



背景技术:

在使用传统的烹饪设备对食材进行烹饪的时候,用户需要根据食材的类型、面积、厚度、重量以及数量等食材的特征参数,并结合对生熟程度的需求,手动设置好烹饪参数,或者根据快捷菜单选择已有的烹饪参数,然后进行烹饪。但是,手动设置烹饪参数需要用户有较多的烹饪经验,对食材的特征参数进行综合评估,并且还需要对烹饪设备的性能参数有充分的了解的情况下,才能获得较为理想的烹饪效果。另外,快捷菜单仅仅设置一些通用的参数,不能充分根据各食材的特有的特征参数进行调整,不仅无法匹配用户的不同的使用需求,而且还难以获得较为理想的烹饪效果。

因此,对食材的特征参数进行准确的识别,进而提升烹饪设备的智能化程度,这显得尤为重要。



技术实现要素:

有鉴于此,本公开的实施方式提供了一种用于烹饪设备的控制方法,从而实现更为简单、可靠且准确地识别食材的特征参数,以准确匹配不同的烹饪参数。

根据本公开的第一方面,提供了一种用于烹饪设备的控制方法,所述烹饪设备包括托盘和光源,其特征在于,所述控制方法包括:对采集到的所述烹饪设备内的图像进行识别,以获得所述图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,所述第一光照强度小于所述第二光照强度;基于识别出的阴影区、背景区和食材区,获取图像信息,其中,所述图像信息包括所述阴影区的第一尺寸信息以及所述背景区的第二尺寸信息;以及基于所述图像信息以及所述光源相对于所述托盘的第一位置信息,计算所述食材在与所述托盘垂直的方向上的高度。

根据本公开的第二方面,提供了一种用于烹饪设备的控制装置,所述烹饪设备包括托盘和光源,其特征在于,所述控制装置包括:识别模块,所述识别模块被配置为对采集到的所述烹饪设备内的图像进行识别,以获得所述图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,所述第一光照强度小于所述第二光照强度;获取模块,所述获取模块被配置为基于识别出的阴影区、背景区和食材区,获取图像信息,其中,所述图像信息包括所述阴影区的第一尺寸信息以及所述背景区的第二尺寸信息;以及计算模块,所述计算模块被配置为基于所述图像信息以及所述光源相对于所述托盘的第一位置信息,计算所述食材在与所述托盘垂直的方向上的高度。

根据本公开的第三方面,提供了一种计算机设备,包括:存储器、处理器以及存储在所述存储器上的计算机程序,其中,所述处理器被配置为执行所述计算机程序以实现根据本公开的用于烹饪设备的控制方法。

根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现根据本公开的用于烹饪设备的控制方法。

根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,其中,所述计算机程序被处理器执行时实现根据本公开的用于烹饪设备的控制方法。

根据本公开的第六方面,提供了一种烹饪设备,包括:壳体;托盘,所述托盘设置在所述壳体内,并且在所述托盘上放置有食材;光源和传感器,所述光源和所述传感器相对地布置在所述壳体的内壁上并与所述食材相对;以及控制装置,所述控制装置被配置为对所述传感器采集到的图像进行识别,以获得所述图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,所述第一光照强度小于所述第二光照强度;基于识别出的阴影区、背景区和食材区,获取图像信息,其中,所述图像信息包括所述阴影区的第一尺寸信息以及所述背景区的第二尺寸信息;以及基于所述图像信息以及所述光源相对于所述托盘的第一位置信息,计算所述食材在与所述托盘垂直的方向上的高度。

根据本公开的实施方式,通过利用计算机视觉技术识别出托盘的图像中的阴影区和背景区的尺寸信息,来计算食材在与托盘垂直的方向上的高度,从而实现更为简单、可靠且准确地识别食材的特征参数,以准确匹配不同的烹饪参数。

附图说明

在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。

图1示出了根据本公开的一个实施方式的用于烹饪设备的控制方法的流程图;

图2示出了根据本公开的一个实施方式的计算食材的高度和面积的原理图;

图3示出了根据本公开的一些实施方式的用于烹饪设备的控制方法的流程图;

图4示出了根据本公开的一个实施方式的用于烹饪设备的控制装置的示意性框图;

图5示出了根据本公开的一个实施方式的烹饪设备的示意图;以及

图6是图示能够应用于示例性实施例的示例性计算机设备的框图。

具体实施方式

在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。

应当理解的是,在本说明书中,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“高度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系或尺寸为基于附图所示的方位或位置关系或尺寸,使用这些术语仅是为了便于描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,并且因此不能理解为对本申请的保护范围的限制。

此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。如本文使用的,术语“多个”意指两个或更多,并且术语“基于”应解释为“至少部分地基于”。此外,术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

在本文中,“相对地布置”是指两个元素分别布置在彼此平行的平面上或者彼此邻接的平面上,并且这两个元素可以位于同一横向/纵向位置,也可位于不同的横向/纵向位置。“相对”是指两个元素在同一横向/纵向位置面对面地布置或者在不同的横向/纵向位置面对面地布置。

在现有技术中,对于烹饪设备中的食材的高度的识别主要具有以下两种方式:基于计算机视觉技术识别食材侧面区域并通过侧面区域的下底边对食材高度进行校正;通过具有深度信息的多目摄像头检测食材体积。但是,上述两种方式都存在着不同的缺陷。首先,对于基于计算机视觉技术识别食材侧面区域的方法,由于某些食材的侧面和表面的材质相同,颜色、纹理相似,利用计算机视觉技术难以准确地区分侧面和表面区域。此外,某些弧形边缘的食材甚至没有明显的轮廓区分侧面和表面区域。其次,对于基于多目摄像头的方法,这种方法的成本较高,设备上需要有较高的算力支持。

根据本公开的实施方式,利用由于光源对食材的照射而投影到托盘上的食材的阴影区,这一便于利用计算机视觉技术识别的特征来计算食材的高度,从而克服上述现有技术中利用计算机视觉技术难以区分同材质、同颜色、同纹理的食材中的各个区域、识别成本较高以及操作复杂的问题,实现了更为简单、可靠且准确地识别食材的特征参数,以准确匹配不同的烹饪参数。

下面结合附图详细描述本公开的示例性实施例。

图1示出了根据本公开的一个实施方式的用于烹饪设备的控制方法100的流程图。其中,烹饪设备包括托盘和光源。方法100可包括:步骤s102、对采集到的烹饪设备内的图像进行识别,以获得图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,第一光照强度小于第二光照强度;步骤s104、基于识别出的阴影区、背景区和食材区,获取图像信息,其中,图像信息包括阴影区的第一尺寸信息以及背景区的第二尺寸信息;以及步骤s106、基于图像信息以及光源相对于托盘的第一位置信息,计算食材在与托盘垂直的方向上的高度。上述实施方式,利用由于光源对食材的照射而投影到托盘上的食材的阴影区,这一便于利用计算机视觉技术识别的特征来计算食材的高度,从而克服利用计算机视觉技术难以区分同材质、同颜色、同纹理的食材中的各个区域、识别成本较高以及操作复杂的问题。这是由于烹饪设备的内部对于光源光线的漫反射,阴影区具有一定的光照且亮度低于阴影外的区域,因此利用计算机视觉技术比较容易区分阴影区、食材区以及背景区,从而实现更为简单、可靠且准确地识别食材的特征参数,以准确匹配不同的烹饪参数。

在步骤s102,对采集到的烹饪设备内的图像进行识别,以获得图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区。

托盘上的食材在光源的照射下,将托盘划分为食材的阴影映射的区域、食材所在的区域以及托盘的表面中除食材和其阴影所在的区域外的区域。相应地,对采集到的烹饪设备内的图像进行识别,可以识别出图像中的具有第一光照强度的阴影区(对应于食材的阴影映射的区域)、具有第二光照强度的食材区(对应于食材所在的区域)以及具有第二光照强度的背景区(对应于托盘的表面中除食材和其阴影所在的区域外的区域)。

在此,可以理解,烹饪设备还可以包括传感器,可以通过传感器对烹饪设备内的图像进行采集。在本文中,传感器可以是任意的图像采集传感器,例如,视觉摄像头(诸如,单目摄像头、多目摄像头等)。其中,采用单目摄像头采集烹饪设备内的图像可以使得图像的采集更为简单、成本更低且对于处理设备的算力的要求也较低。

此外,还可以理解,烹饪设备内的传感器和光源可以分别设置在烹饪设备内的相对侧壁上,从而确保传感器可以采集到食材在托盘上的阴影。可以理解,烹饪设备内的传感器和光源可以分别设置在烹饪设备内的相对侧壁上可以包括分别设置在烹饪设备内的相对侧壁的横向上的中间位置,并且传感器的视野中心和光源的亮度中心设置在托盘的中心上,从而使得在光源的照射下食材形成便于识别的阴影并确保传感器能够准确采集到食材在托盘上的阴影。在此应理解,烹饪设备内可以设置有多个层,托盘能够拆卸地放置在多个层中的一个层上,此时,传感器的视野中心和光源的亮度中心设置在多个层的中间层的中心上。但是应理解,本公开不限于此,烹饪设备内的传感器可以设置在食材上方的可以采集到托盘上的食材的图像的任意位置,例如,烹饪设备顶部等。同样地,光源也可以设置在可以照射到食材的任意位置,例如,烹饪设备的顶部等。

此外,还可以理解,光源的数量可以是一个或多个(例如,1个、2个等)。例如,光源可以是单点光源并且光源的位置被配置为固定的。

在步骤s104,基于识别出的阴影区、背景区和食材区,获取图像信息。

其中,图像信息包括阴影区的第一尺寸信息以及背景区的第二尺寸信息。可以理解,第一尺寸信息可包括阴影区的背离食材区的第一侧(如图2中所示的o点处)到食材区的与第一侧相对的第二侧(如图2中所示的r’点处)的距离(如图2所示的距离or’)。附加或替代地,第一尺寸信息还可以包括第一侧的长度以及阴影区的对角线的长度,从而基于此,计算阴影区的第一侧到食材区的第二侧的距离。第二尺寸信息可包括第一侧到托盘的与第一侧相反的第三侧(如图2所示的l点处)的距离(如图2所示的距离ol)。在本文中,“托盘的与第一侧相反的第三侧”是指与托盘的与第一侧相对的一侧平行的另一侧。在此应理解,第二尺寸信息还可包括第一侧到托盘的与第一侧相对的一侧(如图2所示的r点处)的距离(如图2所示的距离or)。

在此,还可以理解,图像信息还可以包括食材区的第三尺寸信息,第三尺寸信息可包括食材区的第二侧(如图2中所示的r’点处)到食材区的与第二侧相对的第四侧(如图2中所示的l’点处)的距离(如图2所示的距离r’l’)。此时,替代或附加地,第二尺寸信息还可包括第四侧到第三侧的距离(如图2中所示的距离l’l)。

此外,还可以理解,可以在托盘的表面上增加特定的图案,例如,已知尺寸的标准参考图案(如,网格)。此时,上述步骤s104可包括根据阴影区、背景区和食材区各自占据的网格数,计算图像信息中的各尺寸信息。这样,可以简单且准确地计算出阴影区、背景区以及食材区的尺寸信息。

在步骤s106,基于图像信息以及光源相对于托盘的第一位置信息,计算食材在与托盘垂直的方向上的高度。

可以理解,光源相对于托盘的第一位置信息可包括光源到托盘的表面的距离。附加地,光源相对于托盘的第一位置信息还可包括光源到托盘的表面的投影到托盘的第三侧的距离。

下面结合图2描述上述步骤s106的实现原理。在图2中,a为烹饪设备的光源,其设置在烹饪设备的右侧,a’为光源到托盘的表面的投影,c为传感器,其设置在烹饪设备的左侧,rl为托盘的宽度,b为食材表面上的点,b’为食材表面的边缘上的点,h为食材在与托盘垂直的方向上的高度。当a点的光照射到食材左侧边缘时,光路会经过b’照射到托盘的表面o点,并在托盘的表面形成阴影,阴影的宽度为or’。如图2所示,光源布置在烹饪设备的右侧壁上,当识别出的第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧o相反的第三侧l的距离ol,且第一位置信息包括光源a到托盘的表面的距离al时,由于∠aol=∠b’or’,因此基于如下公式可以计算食材的高度h:

此外,可以理解,如图2所示,光源布置在烹饪设备的右侧壁上,当第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧o相对的一侧r的距离or,且第一位置信息包括光源a到托盘的表面的距离al时,由于∠aol=∠b’or’,还可以基于如下公式计算食材的高度h:

其中,rl为托盘的宽度。

此外,还可以理解,如果光源不是布置在烹饪设备的侧壁上(此时,a’与l不重合),第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧o相反的第三侧l的距离ol,且第一位置信息包括光源a到托盘的表面的距离al以及光源到托盘的表面的投影a’到第三侧l的距离a’l,由于∠aol=∠b’or’,还可以基于如下公式计算食材的高度h:

在此应理解,上述公式也适用于光源布置在烹饪设备的侧壁上。

此外,还可以理解,如果光源不是布置在烹饪设备的侧壁上(此时,a’与l不重合),当第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧o相对的一侧r的距离or,且第一位置信息包括光源a到托盘的表面的距离al以及光源a到托盘的表面的投影a’到托盘的与第一侧o相对的一侧r的距离a’r,由于∠aol=∠b’or’,还可以基于如下公式计算食材的高度h:

在此应理解,上述公式也适用于光源布置在烹饪设备的侧壁上。

此外,还可以理解,当图像信息包括阴影区的第一尺寸信息、背景区的第二尺寸信息以及食材区的第三尺寸信息时,例如,第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第四侧l’到第三侧l的距离(如图2中所示的距离l’l),第三尺寸信息包括食材区的第二侧r’到食材区的与第二侧相对的第四侧l’的距离r’l’,并且第一位置信息包括光源到托盘的表面的距离al,还可以基于如下公式计算食材的高度h:

图3示出了根据本公开的一些实施方式的用于烹饪设备的控制方法300的流程图。如图3所示,控制方法300中的步骤s301、s302以及s306分别与控制方法100中的步骤s102、s104以及s106的特征相同,在此不再赘述。

由于托盘上的食材具有一定高度,当传感器与光源布置在烹饪设备的相对侧上时,传感器只能采集到食材与传感器正对的侧面与托盘的表面的交点(如图2所示的点r’),而无法采集到食材的与传感器背对的侧面与托盘的表面的交点(如图2所示的点l’),因此,传感器存在视野盲区(如图2所示的盲区dl’o’),即从传感器采集到的图像中无法区分视野盲区内的背景区和食材区,在步骤s302获取图像信息的过程中会错误地将视野盲区内的背景区作为食材区。因此为了准确计算食材与托盘的表面相对的面的面积,需要将计算机视觉技术识别出的食材的面积减去视野盲区的面积。可以理解,在步骤s306后,控制方法300可包括:步骤s307、基于图像信息、食材的高度以及传感器相对于托盘的第二位置信息,计算传感器的在托盘上的盲区面积;以及步骤s308、基于第三尺寸信息以及盲区面积,计算食材的与托盘的表面相对的面的面积,从而提高食材的面积的计算精度。

其中,图像信息可包括阴影区的第一尺寸信息、背景区的第二尺寸信息以及食材区的第三尺寸信息。第一尺寸信息可包括阴影区的背离食材区的第一侧(如图2中所示的o点处)到食材区的与第一侧相对的第二侧(如图2中所示的r’点处)的距离(如图2所示的距离or’)。附加或替代地,第一尺寸信息还可以包括第一侧的长度以及阴影区的对角线的长度,从而基于此,计算阴影区的第一侧到食材区的第二侧的距离。第二尺寸信息可包括第一侧到托盘的与第一侧相对的一侧(如图2所示的r点处)的距离(如图2所示的距离or)以及误识别为第四侧(由于视野盲区计算机视觉技术误将食材的第四侧识别为o’点处)到托盘的与第一侧相反的第三侧(如图2中所示的点l处)的距离(如图2中所示的距离o’l)中的至少一项。第三尺寸信息可包括第二侧(如图2中所示的点r’处)和误识别为第四侧(由于视野盲区计算机视觉技术误将食材的第四侧识别为o’点处)中至少一者的长度以及第二侧(如图2中所示的r’点处)到误识别为第四侧(如图2中所示的o’点处)的距离(如图2所示的距离r’o’)。食材的高度为步骤s306中计算而来的。传感器相对于托盘的第二位置信息包括传感器到托盘的表面的距离(如图2中所示的距离cr)。附加地,第二位置信息还可以包括传感器到托盘的表面的投影c’到托盘的与第一侧相对的一侧的距离(如图2中所示的距离c’r)。

下面结合图2描述上述步骤s307的实现原理。在图2中,c为烹饪设备的传感器,其设置在烹饪设备的左侧,c’为传感器到托盘的表面的投影,l’为食材的与传感器背对的侧面与托盘的表面的交点,o’为传感器由于食材的远离传感器的边缘d而造成的视野盲区的端点o’,dl’o’为视野盲区。如图2所示,如果传感器设置在烹饪设备内的左侧壁上,当利用计算机视觉技术识别出的第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧相对的一侧r的距离or,第三尺寸信息包括第二侧r’和误识别为第四侧o’中至少一者的长度s以及第二侧r’到误识别为第四侧o’的距离r’o’且第二位置信息包括传感器c到托盘的表面的距离cr时,由于∠co’r=∠do’l’,因此基于如下公式可以计算传感器在托盘上的盲区长度m:

然后,基于上述盲区长度m以及第二侧r’和误识别为第四侧o’中至少一者的长度s,可以计算盲区面积。

此外,还可以理解,如图2所示,如果传感器设置在烹饪设备内的左侧壁上,当利用计算机视觉技术识别出的第二尺寸信息包括食材区的与第二侧r’相对的误识别为第四侧o’到托盘的与第一侧o相反的第三侧l的距离o’l,第三尺寸信息包括第二侧r’和第四侧o’中至少一者的长度s且第二位置信息包括传感器c到托盘的表面的距离cr时,由于∠co’r=∠do’l’,因此还可以基于如下公式计算传感器在托盘上的盲区长度m:

其中,rl为托盘的宽度。

然后,基于上述盲区长度m以及第二侧r’和误识别为第四侧o’中至少一者的长度s,可以计算盲区面积。

此外,还可以理解,如果传感器不是布置在烹饪设备的侧壁上(此时,c’与r不重合),当利用计算机视觉技术识别出的第一尺寸信息包括阴影区的背离食材区的第一侧o到食材区的与第一侧o相对的第二侧r’的距离or’,第二尺寸信息包括第一侧o到托盘的与第一侧o相对的一侧r的距离or,第三尺寸信息包括第二侧r’和误识别为第四侧o’中至少一者的长度s以及第二侧r’到误识别为第四侧o’的距离r’o’且第二位置信息包括传感器c到托盘的表面的距离cr以及传感器c到托盘的表面的投影c’到托盘的与第一侧o相对的一侧r的距离c’r时,由于∠co’r=∠do’l’,因此还可以基于如下公式计算传感器在托盘上的盲区长度m:

在此应理解,上述公式也适用于传感器布置在烹饪设备的侧壁上。

然后,基于上述盲区长度m以及第二侧r’和误识别为第四侧o’中至少一者的长度s,可以计算盲区面积。

此外,还可以理解,如果传感器不是布置在烹饪设备的侧壁上(此时,c’与r不重合),当利用计算机视觉技术识别出的第二尺寸信息包括食材区的与第二侧r’相对的误识别为第四侧o’到托盘的与第一侧o相反的第三侧l的距离o’l,第三尺寸信息包括第二侧r’和误识别为第四侧o’中至少一者的长度s且第二位置信息包括传感器c到托盘的表面的距离cr以及传感器c到托盘的表面的投影c’到托盘的与第一侧o相对的一侧r的距离c’r时,由于∠co’r=∠do’l’,因此还可以基于如下公式计算传感器在托盘上的盲区长度m:

其中,rl为托盘的宽度。在此应理解,上述公式也适用于传感器布置在烹饪设备的侧壁上。

然后,基于上述盲区长度m以及第二侧r’和第四侧o’中至少一者的长度s,可以计算盲区面积。

在通过上述四种实施方式中的任一一种计算出盲区面积后,基于第三尺寸信息(例如,利用计算机视觉技术识别出的食材的长度,即,第二侧r’到误识别为第四侧o’的距离r’o’)和第二侧r’和第四侧o’中至少一者的长度s,计算食材的视觉面积,并将食材的视觉面积减去盲区面积,从而获得实际的食材的面积。

在此,可以理解,基于上述计算出的食材的高度以及面积,可以计算食材的体积。

在烹饪设备的传感器的视野中,由于物体距传感器的位置不同而造成的视觉畸变,产生了采集到的图像中的物体的形状、位置以及尺寸与实际的形状、位置以及尺寸的差异,即,越靠近传感器的物体成像越大,越远离传感器的物体成像越小,图像中心区域的物体的畸变较小,图像四周区域的畸变较大(这是由于镜头的径向畸变造成的)。为了减少这种差异,可以在托盘的表面设置有特定的图案,例如,具有已知尺寸的标准图案(如固定长宽的网格)。当托盘在烹饪设备中的不同层时,计算机视觉技术识别到托盘上的图案将具有不同的形状特征。因此,可以根据图像信息中的图案的形状特征,确定托盘所在的层。此外,还可以利用计算机视觉技术(即,利用传感器采集得到的图像)而获得图像信息中的图案的尺寸信息(例如,图案的形状、位置、长宽等)与该图案的实际尺寸信息的关系,可以获得图像信息中的阴影区、食材区以及背景区的尺寸信息的校正函数。在此,可以理解,在步骤s306之前,控制方法300还可以包括:步骤s303、基于图像信息中的图案的形状特征,确定托盘所在的层的位置;步骤s304、基于托盘所在的层的位置,从校正函数集中选择相应的校正函数,其中,校正函数集中的校正函数是基于图案的实际尺寸信息以及经由烹饪设备的传感器获取的图案的与多个层中的层对应的尺寸信息而确定的;以及步骤s305、根据相应的校正函数,修正图像信息中的各尺寸信息,然后,再利用修正后的图像信息中的尺寸信息计算食材的高度和面积,从而减少由于传感器的视觉畸变而引起的采集到的图像的尺寸误差,以增加计算出的食材的高度以及面积的精确性。

在此,可以理解,当烹饪设备包括多个层时,控制方法300还可以包括:基于托盘所在的层的位置,获得光源相对于托盘的第一位置信息和/或传感器相对于托盘的第二位置信息。

此外,还可以理解,当烹饪设备仅包括一个层时,无需预先判断托盘所在的层位。此时,图像信息还可包括图案的第四尺寸信息(例如,图案的形状、位置、长宽等),控制方法300还可包括基于图案的实际尺寸信息和第四尺寸信息,确定图像信息的校正函数;以及根据校正函数,修正图像信息中的各尺寸信息。然后,再利用修正后的图像信息中的尺寸信息计算食材的高度和面积,从而减少由于传感器的视觉畸变而引起的采集到的图像的尺寸误差,以增加计算出的食材的高度以及面积的精确性。

此外,还可以理解,图像信息还可包括食材的特征信息。不同种类的食材的特征信息是有差异的,例如,瘦肉和肥肉的表面色泽的差异,鸡肉(颜色偏白,亮度偏高)、猪肉(颜色浅红,亮度适中)以及牛肉(颜色深红,亮度较低)的表面色泽的差异。因而,在上述步骤s306和s308计算出食材的高度和面积之后,控制方法300还可以包括:步骤s309、基于食材的特征信息,确定食材的类型和数量;以及步骤s310、基于食材的类型、数量、高度以及面积中的至少一者,确定食材的烹饪曲线,以利用获得的食材的特征参数来智能匹配不同的烹饪参数,从而控制烹饪设备按照烹饪曲线对食材进行烹饪,增加烹饪效果。

在此,可以理解,基于上述计算出的食材的高度、面积、体积、类型以及数量,可以计算食材的重量。此时,控制方法300还可以包括:基于食材的高度、面积、体积、类型、数量以及重量中的至少一者,确定食材的烹饪曲线。

此外,还可以理解,为了实时监控烹饪过程中的食材的高度、面积、体积、颜色以及形状的变化,烹饪设备内的传感器可以实时采集食材的图像,并判断食材的成熟度。因此,控制方法300还可以包括:基于食材的颜色、形状、高度以及面积中的至少一者,确定食材的成熟度;以及确定食材的颜色、形状、高度以及面积中的至少一者的变化是否超过相应的阈值;响应于确定食材的颜色、形状、高度以及面积中的至少一者的变化超过相应的阈值,存储图像信息,以用于合成食材烹饪过程视频。

虽然各个操作在图3中被描绘为按照特定的顺序,但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行,也不应理解为要求必须执行所有示出的操作以获得期望的结果。例如,步骤s309可以在步骤s303之前被执行,或者与步骤s303并发地执行。又例如,步骤s303、s304和s305甚至可以被省略。替代或附加地,步骤s307、s308也可以被省略。替代或附加地,步骤s309和s310也可以被省略。

图4示出了根据本公开的一个实施方式的用于烹饪设备的控制装置400的示意性框图。其中,烹饪设备包括托盘和光源。控制装置400可以包括:识别模块410、获取模块420以及计算模块430。识别模块410被配置为对采集到的烹饪设备内的图像进行识别,以获得图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,第一光照强度小于第二光照强度。获取模块420被配置为基于识别出的阴影区、背景区和食材区,获取图像信息。图像信息包括阴影区的第一尺寸信息以及背景区的第二尺寸信息。计算模块430被配置为基于图像信息以及光源相对于托盘的第一位置信息,计算食材在与托盘垂直的方向上的高度。

应当理解,图4中所示控制装置400的各个模块可以与参考图1的控制方法100以及图3的控制方法300中的各个步骤相对应。由此,上面针对控制方法100和300描述的操作、特征和优点同样适用于控制装置400及其包括的模块。为了简洁起见,某些操作、特征和优点在此不再赘述。

图5示出了根据本公开的一个实施方式的烹饪设备500的示意图。烹饪设备500可以包括:壳体510、托盘520、光源530、传感器540以及控制装置550。托盘520设置在壳体510内,并且在托盘520上放置有食材560。光源530和传感器540相对地布置在壳体510的内壁上并与食材相对。控制装置550被配置为:对传感器540采集到的图像进行识别,以获得图像中的托盘上的具有第一光照强度的阴影区、具有第二光照强度的食材区和背景区,其中,第一光照强度小于第二光照强度;基于识别出的阴影区、背景区和食材区,获取图像信息,其中,图像信息包括阴影区的第一尺寸信息以及背景区的第二尺寸信息;以及基于图像信息以及光源相对于托盘的第一位置信息,计算食材的在与托盘垂直的方向上的高度。在本文中,“相对地布置”是指两个元素分别布置在彼此平行的平面上或者彼此邻接的平面上,并且这两个元素可以位于同一横向/纵向位置,也可位于不同的横向/纵向位置。也就是说,光源530和传感器540相对地布置在壳体510的内壁上可包括:光源530和传感器540分别布置在壳体510的左右侧、前后侧、左前侧或右前侧等,并且可以位于同一高度,也可位于不同高度;分别布置在壳体的左、右、前以及后侧中任一侧以及顶侧等等。

通过上述方式可以更好地采集到食材在托盘上的阴影区并且利用食材的阴影区,这一便于利用计算机视觉技术识别的特征来计算食材的高度,从而克服利用计算机视觉技术难以区分同材质、同颜色、同纹理的食材中的各个区域、识别成本较高以及操作复杂的问题,实现了更为简单、可靠且准确地识别食材的特征参数,以准确匹配不同的烹饪参数。

传感器540可以是任意的图像采集传感器,例如,视觉摄像头(诸如,单目摄像头、多目摄像头等)。其中,采用单目摄像头采集烹饪设备内的图像可以使得图像的采集更为简单、成本更低且对于处理设备的算力的要求也较低。

此外,还可以理解,传感器540和光源530可以分别设置在壳体510内的相对侧壁上,从而确保传感器540可以采集到食材560在托盘上的阴影。可以理解,传感器540和光源530可以分别设置在壳体510内的相对侧壁上可以包括分别设置在壳体510内的相对侧壁的横向上的中间位置,并且传感器540的视野中心和光源530的亮度中心设置在托盘520的中心上,从而使得在光源530的照射下食材形成便于识别的阴影并确保传感器540能够准确采集到食材560在托盘上的阴影。在此应理解,壳体510内可以设置有多个层,托盘能够拆卸地放置在多个层中的一个层上,此时,传感器540的视野中心和光源530的亮度中心设置在多个层的中间层的中心上。但是应理解,本公开不限于此,传感器540可以设置在食材560上方的可以采集到托盘520上的食材560的图像的任意位置,例如,壳体510的顶部等。同样地,光源530也可以设置在可以照射到食材560的任意位置,例如,壳体510的顶部等。

此外,还可以理解,可以在托盘520的表面设置有特定的图案,例如,具有已知尺寸的标准图案(如固定长宽的网格等)。

此外,还可以理解,光源530的数量可以是一个或多个(例如,1个、2个等)。例如,光源可以是单点光源并且光源的位置被配置为固定的。

应当理解,图5中所示烹饪设备500的控制装置550的特征与图4中的控制装置400的特征相同。为了简洁起见,某些特征和优点在此不再赘述。

根据本公开的又一方面,提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上的计算机程序。处理器被配置为执行计算机程序以实现上文描述的任一方法的步骤。

根据本公开的又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序。计算机程序被处理器执行时实现上文描述的任一方法的步骤。

根据本公开的又一方面,提供了一种计算机程序产品,包括计算机程序。计算机程序被处理器执行时实现上文描述的任一方法的步骤。

在下文中,结合图6描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。

图6示出了可以被用来实施本文所描述的方法的计算机设备600的示例配置。举例来说,上述用于烹饪设备的控制装置400也可以全部或至少部分地由计算机设备600或类似设备或系统实现。

计算机设备600可以是各种不同类型的设备,例如服务提供商的服务器、与客户端(例如,客户端设备)相关联的设备、片上系统、和/或任何其它合适的计算机设备或计算系统。计算机设备600的示例包括但不限于:台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如,平板电脑、蜂窝或其他无线电话(例如,智能电话)、记事本计算机、移动台)、可穿戴设备(例如,眼镜、手表)、娱乐设备(例如,娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。因此,计算机设备600的范围可以从具有大量存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台)到具有有限的存储器和/或处理资源的低资源设备(例如,传统的机顶盒、手持游戏控制台)。

计算机设备600可以包括能够诸如通过系统总线614或其他适当的连接彼此通信的至少一个处理器602、存储器604、(多个)通信接口606、显示设备608、其他输入/输出(i/o)设备610以及一个或更多大容量存储设备612。

处理器602可以是单个处理装置或多个处理装置,所有处理装置可以包括单个或多个计算装置或者多个核心。处理器602可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理装置、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外,处理器602可以被配置成获取并且执行存储在存储器604、大容量存储设备612或者其他计算机可读介质中的计算机可读指令,诸如操作系统616的程序代码、应用程序618的程序代码、其他程序620的程序代码等。

存储器604和大容量存储设备612是用于存储指令的计算机可读存储介质的示例,所述指令由处理器602执行来实施前面所描述的各种功能。举例来说,存储器604一般可以包括易失性存储器和非易失性存储器二者(例如ram、rom等等)。此外,大容量存储设备612一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如cd、dvd)、存储阵列、网络附属存储、存储区域网等等。存储器604和大容量存储设备612在本文中都可以被统称为存储器或计算机可读存储介质,并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质,所述计算机程序代码可以由处理器602作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。

多个程序模块可以存储在大容量存储设备612上。这些程序包括操作系统616、一个或多个应用程序618、其他程序620和程序数据622,并且它们可以被加载到存储器604以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如,计算机程序代码或指令):控制装置400(包括识别模块410、获取模块420以及计算模块430)、控制方法100(包括控制方法100的任何合适的步骤)、控制方法300(包括控制方法300的任何合适的步骤)和/或本文描述的另外的实施例。

虽然在图6中被图示成存储在计算机设备600的存储器604中,但是模块616、618、620和622或者其部分可以使用可由计算机设备600访问的任何形式的计算机可读介质来实施。如本文所使用的,“计算机可读介质”至少包括两种类型的计算机可读介质,也就是计算机存储介质和通信介质。

计算机存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质,所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于ram、rom、eeprom、闪存或其他存储器技术,cd-rom、数字通用盘(dvd)、或其他光学存储装置,磁盒、磁带、磁盘存储装置或其他磁性存储设备,或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。

与此相对,通信介质可以在诸如载波或其他传送机制之类的已调数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机存储介质不包括通信介质。

计算机设备600还可以包括一个或更多通信接口606,以用于诸如通过网络、直接连接等等与其他设备交换数据,正如前面所讨论的那样。这样的通信接口可以是以下各项中的一个或多个:任何类型的网络接口(例如,网络接口卡(nic))、有线或无线(诸如ieee802.11无线lan(wlan))无线接口、全球微波接入互操作(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、bluetoothtm接口、近场通信(nfc)接口等。通信接口606可以促进在多种网络和协议类型内的通信,其中包括有线网络(例如lan、电缆等等)和无线网络(例如wlan、蜂窝、卫星等等)、因特网等等。通信接口606还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。

在一些示例中,可以包括诸如监视器之类的显示设备608,以用于向用户显示信息和图像。其他i/o设备610可以是接收来自用户的各种输入并且向用户提供各种输出的设备,并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。

本说明书提供了能够用于实现本申请的许多不同的实施方式或例子。应当理解的是,这些不同的实施方式或例子完全是示例性的,并且不用于以任何方式限制本申请的保护范围。本领域技术人员在本申请的说明书的公开内容的基础上,能够想到各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所附权利要求所限定的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1