清洗设备及其控制方法和控制装置、可读存储介质与流程

本发明涉及洗碗机，具体而言，涉及一种清洗设备及其控制方法和控制装置、可读存储介质。

背景技术：

1、在相关技术中，洗碗机等清洗设备，一般按照固定的清洗程序对待清洗物进行清洗，在清洗前，需要用户手动设置清洗方式，如强洗、快洗等，操作繁琐。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的第一方面提出一种清洗设备。

3、本发明的第二方面提出一种清洗设备的控制方法。

4、本发明的第三方面提出一种清洗设备的控制装置。

5、本发明的第四方面提出另一种清洗设备。

6、本发明的第五方面提出一种可读存储介质。

7、本发明的第六方面提出又一种清洗设备。

8、有鉴于此，本发明的第一方面提供了一种清洗设备，包括：本体，包括清洗腔；发光件，设于清洗腔内，用于产生可见光；图像采集组件，设于清洗腔内，用于采集清洗腔内的原始图像数据；滤光件，设于发光件和图像采集组件之间，用于对可见光的光谱进行过滤，以使图像采集组件获取到不同光谱波段的光谱图像数据。

9、在该技术方案中，清洗设备包括如洗碗机、洗菜机等，其结构包括本体，本体内设置有清洗腔，需要清洗的待清洗物可以放置在清洗腔内，并通过设置在清洗腔内的清洗结构，来对待清洗物进行喷淋、冲刷、清洗等步骤。

10、其中，清洗腔内还设置有发光件、图像采集组件和滤光件，其中，发光件能够发出可见光，通过可见光照射清洗腔内的待清洗物体，这些可见光被反射后，图像采集组件即可采集到待清洗物体的图像数据。举例来说，发光件可以是发光二极管。

11、在图像采集组件和发光件之间，还设置有滤光件，其中，滤光件可以设置在发光件的发光方向上，也可以设置在图像采集组件的采集方向上，本技术对此不做限定。

12、具体地，滤光件能够对可见光中不同光谱波段的光线进行滤除，仅允许特定光谱波段的可见光通过，而不同材质的待清洗物对不同光谱波段的可见光的反射情况是不同的，因此，通过控制滤光件按照不同的方式对发光件发射可见光进行滤光，从而使图像采集组件不仅能够采集到待清洗物的原始图像数据，也即没有经过滤光的图像数据，还能采集到在不同光谱波段下，待清洗物的光谱图像数据。

13、结合这些数据，通过图像识别功能和神经网络算法，能够准确地识别出待清洗物在清洗腔内的位置信息、待清洗物的类型和待清洗物的材质，根据这些信息，清洗设备能够自动判断出合适的清洗程序，从而按照合适的清洗程序，自动对待清洗物进行清洗，无需用户手动选择或设置清洗方式，能够有效地减少用户的操作，实现智能的、全自动的清洗。

14、另外，本发明提供的上述技术方案中的清洗设备还可以具有如下附加技术特征：

15、在上述技术方案中，清洗设备还包括：控制器，与图像采集组件相连接，用于根据原始图像数据和光谱图像数据，确定清洗腔内的待清洗物的材质信息。

16、在该技术方案中，清洗设备还包括控制器，控制器与图像采集组件相连接，该控制器能够根据图像采集组件采集到的原始图像数据，和采集到的光谱图像数据，对清洗腔内防止的待清洗物的材质信息进行确定，从而自动为清洗设备选择与待清洗物对应的清洗程序，提高用户的使用体验。

17、具体地，在滤光件不工作时，图像采集组件能够采集到待清洗物的原始图像数据，当滤光件开始滤光，滤光件能够对可见光中不同光谱波段的光线进行滤除，仅允许特定光谱波段的可见光通过，此时图像采集组件能够采集到不同光谱波段对应的光谱图像数据。

18、其中，不同材质的待清洗物对不同光谱波段的可见光的反射情况是不同的，因此，控制器在接收到原始图像数据和光谱图像数据之后，结合待清洗物的原始图像数据和待清洗物的光谱图像数据，通过调用对应的图像识别功能和神经网络算法，能够准确地识别出待清洗物的材质信息，根据材质信息，处理器能够自动选择与其相对应的清洗程序，从而自动控制清洗设备按照选择好的清洗程序进行工作，该过程无需用户手动选择，也无需用户输入待清洗物的信息，简化了清洗设备的使用步骤，提高了清洗设备的使用体验。

19、在上述任一技术方案中，清洗设备，还包括：清洗组件，设于清洗腔内，与控制器相连接；控制器还用于根据原始图像数据，确定待清洗物的位置信息和种类信息；以及根据位置信息、种类信息和材质信息，控制清洗组件工作。

20、在该技术方案中，清洗设备中设置有清洗组件，清洗组件位于清洗腔内，能够通过喷射液体和/或气体，来对待清洗物进行冲刷、清洗。在一些实施方式中，清洗设备中还设置有一种或多种清洗剂，清洗组件能够在液体中溶解清洗剂，从而提高清洗效果。

21、在获取到待清洗物的原始图像数据后，处理器能够通过图像识别算法，对原始图像数据进行图像识别，从而在原始图像数据中，识别待清洗物的形状、位置、大小、数量等信息，并对这些信息进行进一步地处理，从而确定出待清洗物的位置信息和种类信息。

22、其中，待清洗物的位置信息，具体包括待清洗物在清洗腔内的位置，举例来说，清洗腔内可以设置多个置物篮，置物篮具体用具防止待清洗物，通过识别出待清洗物具体防止在哪个置物栏中，可以控制清洗组件对该位置进行针对性的清洗，一方面能够提高清洗效率，另一方面能够减少清洗组件对没有防止被清洗物的地方进行清洗工作，能够节约耗水量。

23、待清洗物的种类信息，具体包括如餐具，比如锅、碗、盘子等，还可以包括蔬果种类，如葡萄、韭菜等。具体可通过待清洗物的外形、颜色、尺寸等来判断。举例来说，当识别到待清洗物是盘子，由于盘子表面光滑，因此可通过喷射含有气泡的水流，来冲洗盘子表面，从而得到较好的清洗效果。如果识别到待清洗物是葡萄，由于葡萄表皮相对较为脆弱，此时可以喷射较为轻柔的泡沫来清洗葡萄，从而保证葡萄外皮不会损坏。

24、待清洗物的材质信息，具体包括如金属、陶瓷、塑料等。对于金属材质的待清洗物，由于其结构强度很大，但容易氧化，因此可以采用较大的水流强度来对其进行冲洗，同时选用氧化性较弱的清洗剂。而对于陶瓷类的待清洗物，由于其硬度大的同时，还不容易氧化，因此可以采用高水流强度进行冲洗，同时选用效果较强的清洗剂，从而快速完成清洗，减少运行时长。

25、本技术通过识别待清洗物的位置信息、种类信息和材质信息，并控制清洗设备的清洗组件按照合适的清洗程序，对待清洗物进行有针对性的清洗，一方面能够提高清洗效率，保证清洗效果，另一方面还能对待清洗物进行有效保护，防止损伤被清洗物，提高了清洗设备的使用体验。

26、在上述任一技术方案中，清洗设备还包括：门体，可开合的设置于本体；触发器，设于本体上，与控制器相连接，基于门体的开合状态，触发器改变触发状态，以生成对应的触发信号。

27、在该技术方案中，清洗设备包括门体，门体设置在清洗腔的腔口处，当门体开启时，清洗腔与外界连通，此时用户可以向清洗腔内放置待清洗的物体，如盘子、碗等，或将清洗后的物体取出。

28、能够理解的是，门体上可以设置透明的窗体，以使用户透过窗体观察清洗过程。门体也可以是隔光设置，从而减少环境光对图像采集组件的影响，本技术对此不做限定。

29、清洗设备还包括触发器，触发器设置在本体上，具体位于清洗腔的腔口与门体之间，当门体开启时，触发器处于不被触发的状态，而当本体关闭后，门体与触发器相接触，此时触发器处于触发状态。

30、具体地，触发器会根据自身的触发状态，生成对应的触发信号，比如当触发器处于未触发的状态时，其向处理器发出低电平信号，而当触发器处于触发状态时，则向处理器发出高电平信号，处理器可以根据该触发信号，判断门体的开合状态。

31、其中，当处理器获取到触发状态由非触发状态切换为触发状态，也即是说门体由开启状态切换为关闭状态时，控制器控制图像采集组件和发光件开始工作，并采集清洗腔内的图像数据，从而根据图像数据判断用户是否放入了待清洗物，如果用户放入了待清洗物，则判断待清洗物的位置信息、种类信息和材质信息，并自动确定与待清洗物对应的清洗程序，如果用户确定开始清洗，则控制清洗组件按照对应的清洗程序工作，自动完成清洗工作，简化了清洗设备的控制流程，提高了使用体验。

32、在上述任一技术方案中，滤光件包括：n个滤光片，其中，n个滤光片与n种光谱波段一一对应，n为正整数。

33、在该技术方案中，滤光件包括n个滤光片，其中，每一个滤光片均对应于一种光谱波段，因此，在滤光件工作时，通过切换n个滤光片分别对发光件产生的自然光进行滤光，即可使图像采集组件采集到不同光谱波段的图像数据，也即不同的光谱图像数据，从而对待清洗物的材质进行准确识别，针对待清洗物的材质确定对应的清洗程序，控制清洗组件按照对应的清洗程序自动完成清洗工作，简化了清洗设备的控制流程。

34、本发明第二方面提供了一种清洗设备的控制方法，该控制方法能够用于控制如第一方面提供的清洗设备，方法包括：响应于触发信号，采集待清洗物的图像数据，其中，图像数据包括原始图像数据和光谱图像数据；根据原始图像数据和光谱图像数据确定待清洗物的材质信息；根据材质信息控制清洗设备的清洗组件清洗待清洗物。

35、在该技术方案中，触发信号可以是用户按下清洗按钮时产生的触发信号，也可以是清洗设备的门体关闭后，触发器被门体触发时生成的触发信号。在接收到触发信号后，清洗设备的图像采集组件开始拍摄清洗腔内的图像，从而采集待清洗物的图像数据。

36、具体地，图像数据包括原始图像数据，也即没有经过滤光的图像数据，还包括光谱图像数据，也即经过滤光件滤光后，仅保留特定光谱频段的图像数据。

37、在获取到图像数据后，通过图像识别功能和神经网络算法，对待清洗物的材质进行准确识别。其中，不同材质的待清洗物对不同光谱波段的可见光的反射情况是不同的，因此，控制器在接收到原始图像数据和光谱图像数据之后，结合待清洗物的原始图像数据和待清洗物的光谱图像数据，通过调用对应的图像识别功能和神经网络算法，能够准确地识别出待清洗物的材质信息，根据材质信息，处理器能够自动选择与其相对应的清洗程序，从而自动控制清洗设备按照选择好的清洗程序进行工作，该过程无需用户手动选择，也无需用户输入待清洗物的信息，简化了清洗设备的使用步骤，提高了清洗设备的使用体验。

38、在上述技术方案中，清洗设备包括发光件和滤光件，滤光件包括n种光谱波段的滤光片，采集待清洗物的图像数据，包括：控制发光件工作，向待清洗物发射可见光；控制滤光件不工作，以拍摄原始图像数据；控制滤光件工作，以拍摄n个滤光图像数据，其中，n个滤光图像数据与n种光谱波段的滤光片一一对应，n为正整数。

39、在该技术方案中，清洗设备包括发光件，还包括滤光件，其中，发光件能够发出可见光，通过可见光照射清洗腔内的待清洗物体，这些可见光被反射后，图像采集组件即可采集到待清洗物体的图像数据。举例来说，发光件可以是发光二极管。

40、滤光件可以设置在发光件的发光方向上，也可以设置在图像采集组件的采集方向上，滤光件能够对可见光中不同光谱波段的光线进行滤除，仅允许特定光谱波段的可见光通过，而不同材质的待清洗物对不同光谱波段的可见光的反射情况是不同的，因此，通过控制滤光件按照不同的方式对发光件发射可见光进行滤光。

41、其中，滤光件包括n个滤光片，其中，每一个滤光片均对应于一种光谱波段，因此，在滤光件工作时，通过切换n个滤光片分别对发光件产生的自然光进行滤光，即可使图像采集组件采集到不同光谱波段的图像数据，也即不同的光谱图像数据。

42、在采集待清洗物的图像数据时，首先，控制发光件开始工作，此时，发光件持续产生可见光，此时，滤光件处于不工作的状态，因此不会对发光件发出的可见光进行滤光，此时图像采集装置能够采集到待清洗物的原始图像数据。

43、然后，控制滤光件开始工作，分别通过n个滤光片，对发光件发出的可见光，或待清洗物反射的可见光进行滤光，从而使图像采集装置采集到n个光谱图像数据，n个光谱同相数据对应的光谱频率，与n个滤光片一一对应。

44、通过拍摄原始图像数据和光谱图像数据，从而对待清洗物的材质进行准确识别，针对待清洗物的材质确定对应的清洗程序，控制清洗组件按照对应的清洗程序自动完成清洗工作，简化了清洗设备的控制流程。

45、在上述任一技术方案中，根据材质信息控制清洗设备的清洗组件清洗待清洗物，包括：根据图像数据，确定待清洗物的位置信息和种类信息；根据位置信息、种类信息和材质信息，确定对应的水流强度和清洗剂类型；根据水流强度和清洗剂类型，清洗待清洗物。

46、在该技术方案中，清洗设备中设置有清洗组件，清洗组件位于清洗腔内，能够通过喷射液体和/或气体，来对待清洗物进行冲刷、清洗。在一些实施方式中，清洗设备中还设置有一种或多种清洗剂，清洗组件能够在液体中溶解清洗剂，从而提高清洗效果。

47、在获取到待清洗物的原始图像数据后，处理器能够通过图像识别算法，对原始图像数据进行图像识别，从而在原始图像数据中，识别待清洗物的形状、位置、大小、数量等信息，并对这些信息进行进一步地处理，从而确定出待清洗物的位置信息和种类信息。

48、其中，待清洗物的位置信息，具体包括待清洗物在清洗腔内的位置，举例来说，清洗腔内可以设置多个置物篮，置物篮具体用具防止待清洗物，通过识别出待清洗物具体防止在哪个置物栏中，可以控制清洗组件对该位置进行针对性的清洗，一方面能够提高清洗效率，另一方面能够减少清洗组件对没有防止被清洗物的地方进行清洗工作，能够节约耗水量。

49、待清洗物的种类信息，具体包括如餐具，比如锅、碗、盘子等，还可以包括蔬果种类，如葡萄、韭菜等。具体可通过待清洗物的外形、颜色、尺寸等来判断。举例来说，当识别到待清洗物是盘子，由于盘子表面光滑，因此可通过喷射含有气泡的水流，来冲洗盘子表面，从而得到较好的清洗效果。如果识别到待清洗物是葡萄，由于葡萄表皮相对较为脆弱，此时可以喷射较为轻柔的泡沫来清洗葡萄，从而保证葡萄外皮不会损坏。

50、待清洗物的材质信息，具体包括如金属、陶瓷、塑料等。对于金属材质的待清洗物，由于其结构强度很大，但容易氧化，因此可以采用较大的水流强度来对其进行冲洗，同时选用氧化性较弱的清洗剂。而对于陶瓷类的待清洗物，由于其硬度大的同时，还不容易氧化，因此可以采用高水流强度进行冲洗，同时选用效果较强的清洗剂，从而快速完成清洗，减少运行时长。

51、本技术通过识别待清洗物的位置信息、种类信息和材质信息，并控制清洗设备的清洗组件按照合适的清洗程序，对待清洗物进行有针对性的清洗，一方面能够提高清洗效率，保证清洗效果，另一方面还能对待清洗物进行有效保护，防止损伤被清洗物，提高了清洗设备的使用体验。

52、在上述任一技术方案中，根据原始图像数据和光谱图像数据确定待清洗物的材质信息，包括：对原始图像数据和光谱图像数据进行处理，得到输入数据；通过预设的神经网络模型和输入数据，确定材质信息。

53、在该技术方案中，在通过图像采集组件，采集到原始图像数据，和光谱图像数据之后，对原始图像数据和光谱图像数据进行对应的数据处理，从而得到适于输入至神经网络模型的输入数据。

54、然后，将处理后得到的输入数据，输入值预设的神经网络模型中，通过训练好的神经网络模型，对原始图像数据和光谱同相数据之中的特征信息进行特征提取，并基于特征信息，确定待清洗物的材质信息。根据材质信息，判断出合适的清洗程序，从而按照合适的清洗程序，控制清洗设备自动对待清洗物进行清洗，无需用户手动选择或设置清洗方式，能够有效地减少用户的操作，实现智能的、全自动的清洗。

55、在上述任一技术方案中，对原始图像数据和光谱图像数据进行处理，得到输入数据，包括：拼接原始图像数据和n个滤光图像，得到输入数据。

56、在该技术方案中，图像采集组件获取到的图像数据，具体包括至少一张原始图像数据，和至少n张光谱图像数据，其中，n张光谱图像数据对应于滤光件的n种光谱频段。

57、由于存在多张图片，因此这里需要对多张图片进行处理，从而形成为适于被神经网络模型处理的输入数据。具体地，可以对原始图像数据和不同的光谱同相数据直接进行通道(channel)维度上的拼接，举例来说，如果图像采集模块采集到的图像数据的大小为640×480×3，则采集到的m张图像拼接后会形成为640×480×3m的张量(tensor)，将这个张量作为神经网络模型的输入数据，然后通过神经网络模型对这个tensor进行一系列的卷积操作，从而得到待清洗物的材质信息。

58、在上述任一技术方案中，对原始图像数据和光谱图像数据进行处理，得到输入数据，包括：对原始图像数据和n个滤光图形进行特征提取，得到特征图；拼接特征图，得到输入数据。

59、在该技术方案中，图像采集组件获取到的图像数据，具体包括至少一张原始图像数据，和至少n张光谱图像数据，其中，n张光谱图像数据对应于滤光件的n种光谱频段。

60、由于存在多张图片，因此这里需要对多张图片进行处理，从而形成为适于被神经网络模型处理的输入数据。具体地，可以对原始图像数据和光谱同相数据分别经过卷积，从而不断提取其对应的特征信息，在将提取出的特征图进行通道(channel)维度上的拼接，得到神经网络模型的输入数据，通过神经网络模型对这个输入数据进行一系列的卷积操作，从而得到待清洗物的材质信息。

61、在上述任一技术方案中，神经网络模型包括骨干网络、颈部网络和头部网络；通过预设的神经网络模型和输入数据，确定材质信息，包括：通过骨干网络和输入数据，确定对应的m个输入层，m为正整数；通过颈部网络和m个输入层，确定对应的特征数据，其中，特征数据包括m个输入层的特征信息；通过头部网络和特征数据，预测材质信息。

62、在该技术方案中，神经网络模型包括骨干网络(backbone)、颈部网络(neck)和头部网络(head)。其中，骨干网络能够将整合后的特征，也即上述输入数据，作为输入层进行接收，整个backbone网络作为基础的特征提取网络将充分学习输入数据。

63、其中，该骨干网络也可以是任何经典网络，比如vgg(visual geometry group，一种由牛津大学开发的网络模型)，resnet(residual network，残差网络)，inception网络等等，也可以是轻量级的网络，比如mobilenet网络，shufflenet网络，ghostnet网络等。backbone网络模型架构具有很大的灵活性。

64、通过骨干网络，能够对输入数据进行提取，得到m个输入层。这些信息被输入至颈部网络。在颈部网络中，对骨干网络提取出来的多层信息进行进一步的处理，从而为检测网络提供丰富的特征信息。

65、在一些实施方式中，颈部网络只对最后一个特征层进行化的特征丰富，得到对应的特征数据。

66、在另一些实施方式中，颈部网络将底层的特征层经过1×1的卷积，变成通道数与上一层相同的通道数，然后再经过下采样或步长为2的卷积操作，变成和上一层相同大小的特征层，再与上一层经过1×1的卷积(通道数和特征大小都不变)进行相加，这样依次向上传递，最终与最后的特征层相加，在经过3×3大小的卷积(通道数和特征大小都不变)，将该输出作为最后的特征数据，将包含所有特征层的信息。

67、在另一些实施方式中，颈部网络将最后的特征层也就是最顶层的特征经过1×1的卷积，变成通道数与下一层相同的通道数，然后再经过反卷积操作，变成和下一层相同大小的特征层，再与下一层经过1×1的卷积(通道数和特征大小都不变)进行相加，这样依次向下传递，最终与最底的特征层相加，在经过3×3大小的卷积(通道数和特征大小都不变)，将该输出作为新的最底层的输出层特征。然后在经过方案a所描述的方法不断再将特征图变小通道变大，不断向上相加，最后的特征数据，将包含上下两次特征层的融合信息。

68、头部网络将颈部网络输出的特征数据作为输入，然后经过卷积操作输出需要检测的待清洗物的种类信息、位置信息和材质信息。

69、在一些实施方式中，头部网络为共享权重设计，其中，共享权重就是指模型的输出都是由一个卷积网络来得到，那么对于输出来说，根据是否依赖于锚框，分为两种设计，它们的区别在于基于锚框设计的head，需要预先设定好锚框的数量，然后最后输出维度是该数量和对应任务的检测数量的乘积；而非锚框设计的head，是属于每个特征图上的点来直接预测。

70、在另一些实施方式中，头部网络为不共享权重设计，其中，不共享权重就是指模型的输出都是由不同的卷积网络来得到。同理对于输出，根据是否依赖于锚框，分为两种设计，它们的区别在于基于锚框设计的head，需要预先设定好锚框的数量，然后最后输出维度是该数量和对应任务的检测数量的乘积；而非锚框设计的head，是属于每个特征图上的点来直接预测。

71、通过神经网络模型，对待清洗物的种类信息、位置信息和材质信息进行准确识别，并根据这些信息自动判断出合适的清洗程序，从而按照合适的清洗程序，自动对待清洗物进行清洗，无需用户手动选择或设置清洗方式，能够有效地减少用户的操作，实现智能的、全自动的清洗。

72、本发明第三方面提供了一种清洗设备的控制装置，包括：采集模块，用于响应于触发信号，采集待清洗物的图像数据，其中，图像数据包括原始图像数据和光谱图像数据；确定模块，用于根据原始图像数据和光谱图像数据确定待清洗物的材质信息；控制模块，用于根据材质信息控制清洗设备的清洗组件清洗待清洗物。

73、在该技术方案中，触发信号可以是用户按下清洗按钮时产生的触发信号，也可以是清洗设备的门体关闭后，触发器被门体触发时生成的触发信号。在接收到触发信号后，清洗设备的图像采集组件开始拍摄清洗腔内的图像，从而采集待清洗物的图像数据。

74、具体地，图像数据包括原始图像数据，也即没有经过滤光的图像数据，还包括光谱图像数据，也即经过滤光件滤光后，仅保留特定光谱频段的图像数据。

75、在获取到图像数据后，通过图像识别功能和神经网络算法，对待清洗物的材质进行准确识别。其中，不同材质的待清洗物对不同光谱波段的可见光的反射情况是不同的，因此，控制器在接收到原始图像数据和光谱图像数据之后，结合待清洗物的原始图像数据和待清洗物的光谱图像数据，通过调用对应的图像识别功能和神经网络算法，能够准确地识别出待清洗物的材质信息，根据材质信息，处理器能够自动选择与其相对应的清洗程序，从而自动控制清洗设备按照选择好的清洗程序进行工作，该过程无需用户手动选择，也无需用户输入待清洗物的信息，简化了清洗设备的使用步骤，提高了清洗设备的使用体验。

76、本发明第四方面提供了一种清洗设备，包括：存储器，用于存储程序或指令；处理器，用于执行所述程序或指令时实现如上述任一技术方案中提供的清洗设备的控制方法的步骤，因此，该清洗设备同时包括如上述任一技术方案中提供的清洗设备的控制方法的全部有益效果，为避免重复，在此不再赘述。

77、本发明第五方面提供了一种可读存储介质，其上存储有程序或指令，该程序或指令被处理器执行时实现如上述任一技术方案中提供的清洗设备的控制方法的步骤，因此，该可读存储设备同时包括如上述任一技术方案中提供的清洗设备的控制方法的全部有益效果，为避免重复，在此不再赘述。

78、本发明第六方面提供了一种清洗设备，包括：如上述任一技术方案中提供的清洗设备的控制装置；和/或如上述任一技术方案中提供的可读存储介质，因此，该清洗设备同时包括如上述任一技术方案中提供的清洗设备的控制装置和/或如上述任一技术方案中提供的可读存储介质的全部有益效果，为避免重复，在此不再赘述。