溢锅图像识别模型的训练方法、系统、设备和存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种溢锅图像识别模型的训练方法、系统、设备和存储介质。


背景技术：

2.在进行长时间的烹饪时，用户往往会中途离开烹饪现场，这导致了在发生溢锅的情况时用户可能无法及时感知并进行处理，容易引发煤气泄漏等事故，存在严重的安全隐患。因此，如何更好地识别烹饪过程中的溢锅情况，已经成为了当前关注的焦点。
3.随着计算机设备性能的提高和技术的进步，利用深度学习进行图像处理的方式已经成为了主流的溢锅识别方案。目前通常使用摄像头来采集锅具的实时烹饪状态的图像，并通过图像识别算法来判断是否出现溢锅情况。
4.然而，现有技术中的针对溢锅状态判断的图像识别算法对采集到的图像整体进行识别，在处理过程中需要耗费大量的计算资源，效率较低且识别准确性不高。


技术实现要素：

5.本发明要解决的技术问题是为了克服现有技术中针对溢锅状态判断的图像识别算法在处理过程中需要耗费大量的计算资源、效率较低且识别准确性不高的缺陷，提供一种溢锅图像识别模型的训练方法、系统、设备和存储介质。
6.本发明是通过下述技术方案来解决上述技术问题：
7.第一方面，本发明提供一种溢锅图像识别模型的训练方法，所述溢锅图像识别模型的训练方法包括：
8.对待处理图像进行识别；
9.若识别到所述待处理图像包括目标锅具，则使用补丁覆盖与所述目标锅具相对应的目标区域，以生成训练数据图像；
10.基于若干所述训练数据图像构建训练数据集，并使用所述训练数据集训练预设图像识别模型，以获得所述溢锅图像识别模型。
11.较佳地，所述使用补丁覆盖与所述目标锅具相对应的目标区域的步骤，具体包括：
12.通过预设目标检测算法识别所述目标锅具的位置和种类并进行标注，以确定所述目标区域；
13.随机确定所述补丁的中心点坐标、宽度和高度，以对所述目标区域进行补丁覆盖，所述中心点坐标(xc,yc)宽度w
t
和高度h
t
的确定如下式：
[0014][0015][0016]
[0017][0018]
其中，w表示所述待处理图像的宽度，h表示所述待处理图像的高度，random()表示从预设范围内选取随机数。
[0019]
较佳地，所述基于若干所述训练数据图像构建训练数据集的步骤，具体包括：
[0020]
对所述训练数据图像进行图像增强处理和/或多尺度处理；
[0021]
基于处理后的所述训练数据图像构建所述训练数据集；
[0022]
其中，所述图像增强处理包括hsv色彩空间增强、随机上下翻转和随机裁剪中的至少一个。
[0023]
较佳地，所述对所述训练数据图像进行增强处理的步骤之前，还包括：
[0024]
生成随机数；
[0025]
若所述随机数大于预设阈值，则执行所述对所述训练数据图像进行图像增强处理和/或多尺度处理的步骤。
[0026]
较佳地，所述溢锅图像识别模型的训练方法，还包括：
[0027]
对包括所述目标锅具的训练视频数据进行采样，以将采样到的图像帧作为所述待处理图像；
[0028]
其中，若根据采样到的图像帧确定所述目标锅具处于溢锅状态，则对所述训练视频数据进行均匀采样，否则对所述训练视频数据进行非均匀采样。
[0029]
较佳地，所述非均匀采样的采样频率的计算公式为：
[0030][0031]
其中，θ表示非溢锅状态下所述训练视频数据中每帧图像帧被选取的概率，xi表示当前图像帧，t表示概率因子，xs表示所述训练视频数据中非溢锅状态对应的起始图像帧，xe表示所述训练视频数据中非溢锅状态对应的结束图像帧。
[0032]
第二方面，本发明提供一种溢锅图像的识别方法，所述溢锅图像的识别方法包括：
[0033]
获取包括目标锅具的待识别图像；
[0034]
将所述待识别图像数据输入通过如上所述的溢锅图像识别模型的训练方法训练得到的溢锅图像识别模型，以识别所述目标锅具是否处于溢锅状态。
[0035]
第三方面，本发明提供一种油烟机，所述油烟机朝向灶台一侧的中轴线处设置有摄像头模组，所述摄像头模组与水平面之间的夹角小于或等于10
°
，所述摄像头模组用于采集包括所述灶台上的目标锅具的待处理图像。
[0036]
第四方面，本发明提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的溢锅图像识别模型的训练方法，或如上所述的溢锅图像的识别方法。
[0037]
第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的溢锅图像识别模型的训练方法，或如上项所述的溢锅图像的识别方法。
[0038]
本发明的积极进步效果在于：本发明提供的溢锅图像识别模型的训练方法通过在训练过程中使用随机补丁覆盖的方法进行图像增强，提高了训练的鲁棒性，使得最终训练获得溢锅图像识别模型能够专注于对锅具边缘的气泡状态进行识别，从而减小了锅具内容
物对溢锅状态识别的产生的干扰，提高了模型对于溢锅特征区域的学习效率，能够获得具有对识别移锅状态更高准确率的模型，节约了计算资源，实现了高效、高准确性的识别。
附图说明
[0039]
图1为本发明实施例1的溢锅图像识别模型的训练方法的流程示意图。
[0040]
图2为本发明实施例1的溢锅图像识别模型的训练方法的步骤s1的具体流程示意图。
[0041]
图3为本发明实施例1的溢锅图像识别模型的训练方法第一部分流程示意图。
[0042]
图4为本发明实施例1的溢锅图像识别模型的训练方法第二部分流程示意图。
[0043]
图5为本发明实施例2的溢锅图像识别方法的流程示意图。
[0044]
图6为本发明实施例4的用于实现实施例1的溢锅图像识别模型的训练方法或实施例2的溢锅图像识别方法的电子设备的结构示意图。
具体实施方式
[0045]
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0046]
实施例1
[0047]
在烹饪场景中，溢锅的产生往往与烹饪的食材种类和火力大小有很大的关系，然而，在溢锅时，锅具的边缘通常会产生大量的水汽与泡沫，而溢出时食材往往处于被气泡淹没的情况，因此很难直接通过食材种类和火力大小来判断当前是否处于溢锅状态。特别是，当锅具存在锅盖情况尤其是存在不透明锅盖情况时，对是否出现溢锅的判断往往严重依赖于对锅具边缘气泡情况的判断。
[0048]
因此，为了减小锅具内容物和锅盖本身颜色形状特征对于溢锅识别本身的干扰，本实施例公开了一种溢锅图像识别模型的训练方法，通过在模型训练之前对训练数据内的锅具中的内容物进行随机补丁覆盖，确保内容物的图像特征对溢锅识别的影响降低，进而提高模型对于溢锅特征区域的学习。
[0049]
如图1所示，该溢锅图像识别模型的训练方法包括：
[0050]
s1、对待处理图像进行识别；
[0051]
s2、若识别到所述待处理图像包括目标锅具，则使用补丁覆盖与所述目标锅具相对应的目标区域，以生成训练数据图像；
[0052]
s3、基于若干训练数据图像构建训练数据集，并使用训练数据集训练预设图像识别模型，以获得溢锅图像识别模型。
[0053]
对于步骤s1，本实施例采用目标检测与分类结果的方式进行，首先利用目标检测进行目标锅具的检测，以确定待处理图像中是否包括目标锅具。具体地，可以使用深度学习中的现有目标检测算法进行上述目标检测，此处不对目标检测算法的种类作具体限制。
[0054]
在一种优选实施方式中，如图2所示，步骤s1具体包括：
[0055]
s11、通过预设目标检测算法识别目标锅具的位置和种类并进行标注，以确定目标区域
[0056]
s12、随机确定补丁的中心点坐标、宽度和高度，以对目标区域进行补丁覆盖，中心
点坐标(xc,yc)宽度w
t
和高度h
t
的确定如下式：
[0057][0058][0059][0060][0061]
其中，w表示待处理图像的宽度，h表示待处理图像的高度，random()表示从预设范围内选取随机数。
[0062]
在本实施例中，根据锅具的类型将锅具分为常见的6类，即炒锅、煎锅、奶锅、煮锅、高压锅和砂锅。通过采集对不同种类锅具的对应图像并利用常用的标注软件对目标锅具的位置和标签进行标注，进而利用常见的目标检测算法来进行目标锅具位置的检测，从而能够根据锅具本身的形状等特性来更准确地确定目标锅具对应于待处理图像的区域的范围，提高了识别效率和准确性。
[0063]
在具体实施过程中，可以使用设置在油烟机朝向灶台的中轴线处的摄像头模组来采集包括所述灶台上的目标锅具的初始图像，然后利用标注软件来进行锅具数据集的制作，以生成中包含锅具的种类和位置坐标信息的训练数据图像，从而可以基于训练数据图像来识别目标锅具的位置及种类。其中，所述摄像头模组的与水平面之间的夹角小于或等于10
°
。
[0064]
对于步骤s2，在具体实施过程中，通过确定补丁的中心点坐标位置(xc,yc)及其具体宽度w
t
和高度h
t
，便可唯一确定补丁的具体设置位置，从而可以生成上述训练数据图像。
[0065]
对于步骤s3，将步骤s2中获得的若干训练图像数据输入现有的图像识别模型(本实施例中使用inceptionv3)进行模型训练，以得到溢锅图像识别模型。需要说明的是，此处的分类模型选取仅作举例说明只用，并不因此将其限制于此。
[0066]
在一种优选实施方式中，步骤s3之前，如图3所示，还包括：
[0067]
s31、对所述训练数据图像进行图像增强处理和/或多尺度处理；
[0068]
s32、基于处理后的所述训练数据图像构建训练数据集；
[0069]
其中，图像增强处理包括hsv色彩空间增强、随机上下翻转和随机裁剪中的至少一个。
[0070]
本实施例中，通过设置在油烟机上的摄像头模组采集待处理图像，而烟机在安装过程中，挂钩距离灶面的距离通常会有5cm左右的安装误差范围，这样会导致使用不同设备、不同模型时可能出现检测准确率不同的问题，为此，本实施方式中通过增强的策略来降低设备安装位置的不同对于检测准确率的影响。
[0071]
具体地，为增强最终获得的模型算法的泛化能力，本实施方式在进行构建训练数据集时可以对训练数据图像进行图像增强处理，即为模仿真实场景中出现的由于自然环境光和人造光的变化导致图像的色调、对比度和位置的变化而进行hsv色彩空间增强，随机上下翻转，随机裁剪等常见增强处理中的至少一种。
[0072]
对于多尺度处理，记训练数据图像尺寸为s，设定多尺度缩放因子σ，设置预设图像
识别模型中最大步长为stride，则
[0073][0074]
其中，random表示随机值函数，即选取训练数据图像尺寸的0.5-1.5倍作为缩放图像的尺寸，具体数值随机选取；最大步长stride的设置使得当输入的训练数据图像尺寸发生变化时，网络在经过最大步长的卷积运算后输出的增强图像的尺寸类型为整型。
[0075]
本实施例以对训练数据图像进行图像增强处理和多尺度处理为例进行详细说明，因此，最终获得的处理后的训练数据图像ns可以表示为：
[0076]ns
＝s*σ
[0077]
通过将处理后的训练图像数据ns构建为训练数据集，可以有效地扩大训练数据集的训练数据的数量与场景范围，从而能够提高最终训练得到的溢锅图像识别模型的识别准确性。
[0078]
优选地，步骤s31之前，如图4所示，还包括：
[0079]
s301、生成随机数；
[0080]
s302、若随机数大于预设阈值，则执行步骤s31。
[0081]
在进行增强处理前，首先设定随机数阈值t来决定是否进行图像增强处理和/或多尺度处理，即当生成的随机数r》t时，则利用处理后的训练数据图像进行训练，否则利用原图进行训练。
[0082]
在本实施例中，通过图像增强处理和多尺度处理以及结合随机裁剪，可模拟油烟机安装高度不同而导致的目标大小不同的情况，从而显著提高不同高度视野下的检测效果，提高识别准确度。
[0083]
在一种优选实施方式中，上述溢锅图像识别模型的训练方法，还包括：
[0084]
对包括所述目标锅具的训练视频数据进行采样，以将采样到的图像帧作为所述待处理图像；
[0085]
其中，若根据采样到的图像帧确定所述目标锅具处于溢锅状态，则对所述训练视频数据进行均匀采样，否则对所述训练视频数据进行非均匀采样。
[0086]
在将检测到的目标锅具区域导入到训练好的溢锅图像识别算法中进行溢锅识别之前，本实施例中的溢锅图像识别模型的训练方法还包括制作溢锅识别训练数据集以进行图像识别模型的计算。
[0087]
具体地，溢锅识别训练数据主要对应于溢锅状态和非溢锅状态两类。由于实际场景中溢锅场景持续时长相比正常烹饪时间过短，因此溢锅状态对应的训练数据的数量往往更多，为平衡二者数量，在实际数据采样中，基于溢锅状态下的采样频率和正常烹饪采样频率关联且溢锅持续时长较短，因此在实际采样过程中溢锅阶段采用均匀分布采样，而在正常烹饪前期阶段由于烹饪图像特征和溢锅时图像特征差异明显，而即将溢锅时的烹饪图像特征和溢锅图像特征更难以区分，则在正常烹饪区间采取“前疏后密”的非均匀采样策略。
[0088]
在本实施例中，溢锅状态采用隔帧采样策略，设定采样频率为h，则采样张数为：
[0089][0090]
其中，on表示溢锅阶段得到的采样数，os表示训练视频数据对应于溢锅状态的起始
图像帧，oe表示训练视频数据对应于溢锅状态的结束图像帧。
[0091]
而非溢锅阶段的非均匀采样的采样频率的计算公式为：
[0092][0093]
其中，θ表示非溢锅状态下训练视频数据中每帧图像帧被选取的概率，xi表示当前图像帧，t表示概率因子，xs表示训练视频数据中非溢锅状态对应的起始图像帧，xe表示训练视频数据中非溢锅状态对应的结束图像帧。
[0094]
基于上述不同采样方式的区分，能够有效保证正常烹饪阶段的采样张数和溢锅阶段的采样张数类似，且识别到的时间能够趋近于溢锅状态的起始时间的，提高最终训练获得的模型的识别效率。
[0095]
本实施例提供的溢锅图像识别模型的训练方法通过在训练过程中使用随机补丁覆盖的方法进行图像增强，提高了训练的鲁棒性，使得最终训练获得溢锅图像识别模型能够专注于对锅具边缘的气泡状态进行识别，从而减小了锅具内容物对溢锅状态识别的产生的干扰，提高了模型对于溢锅特征区域的学习效率，能够获得具有对识别移锅状态更高准确率的模型，节约了计算资源，实现了高效、高准确性的识别。
[0096]
实施例2
[0097]
本实施例公开了一种，如图5所示，该溢锅图像的识别方法包括：
[0098]
s21、获取包括目标锅具的待识别图像；
[0099]
s22、将待识别图像数据输入通过实施例1的溢锅图像识别模型的训练方法训练得到的溢锅图像识别模型，以识别目标锅具是否处于溢锅状态。
[0100]
具体地，本实施例中同样使用如实施例1所述的包括摄像头模组的油烟机来实时采集灶台上的目标锅具的烹饪状态的图像，基于实施例1所获得的溢锅图像识别模型，当摄像头模组捕捉到目标锅具当前为溢锅状态时，利用烟机本身的蜂鸣器进行声音报警，同时利用可能的方式如app提醒等方式提醒用户当前可能出现溢锅情况，建议用户及时进行处理。
[0101]
本实施例提供的溢锅图像识别方法通过使用实施例1的溢锅图像识别模型的训练方法所训练出的溢锅图像识别模型来进行溢锅图像识别，从而能够专注于对锅具边缘的气泡状态进行识别，从而减小了锅具内容物对溢锅状态识别的产生的干扰，提高了对于溢锅特征区域的识别效率，节约了计算资源，实现了高效、高准确性的识别。
[0102]
实施例3
[0103]
本实施例公开了一种油烟机，该油烟机朝向灶台一侧的中轴线处设置有摄像头模组，摄像头模组与水平面之间的夹角小于或等于10
°
，摄像头模组用于采集包括灶台上的目标锅具的待处理图像。
[0104]
近年来，智能家电已经逐渐进入人们的视野，然而，厨电行业由于相对封闭的场景，故很难与外部数据进行打通，受限于此，导致厨电智能化水平较弱。
[0105]
本实施例的油烟机通过在朝向灶台一侧的中轴线处加装摄像头来监控灶具区域的烹饪情况，然后通过实施例1训练获得的溢锅图像识别模型来对采集到的图像进行处理，从而将信息反馈给用户。通过该种方式，用户可以实时监控当前的烹饪状态，降低潜在的风险。
[0106]
具体地，摄像头安装在油烟机的中轴线上，以保证左右灶台区域处于摄像头的图像采集视场两侧。此外，为确保摄像头的成像视角能够完全覆盖整个灶台区域，当锅具正常烹饪时，摄像头的视场角(fov)能够覆盖到整个锅具上表面，因此，摄像头模组与水平面的倾角小于或等于10
°
，且摄像头镜头尺寸及整个模组的大小宽度不超过烟机本身结构件所能容纳的空间大小。为保证成像质量，摄像头的像素大小在100w像素以上(本实施例中设置为100w，但并不因此将其限制于此)，峰值信噪比不小于35db，畸变小于等于15％。
[0107]
考虑到对于溢锅识别需要对当前烹饪场景的图像进行实时处理，故需要性能较高运算单元进行处理，而运算单元持续稳定的进行模型的推理则需要保证芯片单元拥有良好的外部散热环境，因此，本实施例中开发板集成在油烟机的电源板上，其cpu及npu(数据处理单元)通过散热铜管与电源板散热片相连，加速热量散失，保证识别稳定性。
[0108]
本实施例中的油烟机能够采集图像数据以供实施例1的溢锅图像识别模型的训练方法，或供实施例2的溢锅图像识别方法进行溢锅图像识别，并且具有良好的散热特性，从而对实现高效、高准确性的溢锅图像识别提供了有效支持。
[0109]
实施例4
[0110]
图6为本发明实施例4提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所提供的溢锅图像识别模型的训练方法，或实施例2所提供的溢锅图像的识别方法。图6显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0111]
如图6所示，电子设备40可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。
[0112]
总线43包括数据总线、地址总线和控制总线。
[0113]
存储器42可以包括易失性存储器，例如随机存取存储器(ram)421和/或高速缓存存储器422，还可以进一步包括只读存储器(rom)423。
[0114]
存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0115]
处理器41通过运行存储在存储器42中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的溢锅图像识别模型的训练方法，或实施例2所提供的溢锅图像的识别方法。
[0116]
电子设备40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口45进行。并且，模型生成的设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器46通过总线43与模型生成的设备40的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0117]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模
块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0118]
实施例5
[0119]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的溢锅图像识别模型的训练方法，或实施例2所提供的溢锅图像的识别方法。
[0120]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0121]
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所提供的溢锅图像识别模型的训练方法，或实施例2所提供的溢锅图像的识别方法。
[0122]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0123]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。