待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质与流程

本申请涉及洗衣机技术领域，尤其涉及一种待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质。

背景技术：

随着人工智能和大数据技术的迅速发展，智能洗衣机在传统洗衣机功能较为单一的情形下集多情景工作模式下实现机洗物品多类型于一身，实现多功能化，减少人的动作。然而，机洗衣物带来一个头疼的问题，不小心将贵重物件如不可清洗的移动电子设备如u盘、手机等遗留在清洗物品中，极易造成重要经济损失以及一些重要信息的丢失，带来的不可挽回的后果，因此，亟需一种能够检测到待洗物品中遗留物件的洗衣机。

针对上述问题，目前尚未提出有效的解决方式。

技术实现要素：

有鉴于此，本申请提出一种待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质，通过卷积神经网络模型对待洗物品的图像信息的分析，得到遗留物件的识别结果，能够无需人为干预而智能地识别出遗留物件，避免了因遗留物件在待洗衣物中而造成不可挽回的重要经济损失以及一些重要信息的丢失。

根据本申请的一个方面，提供一种待洗物品中遗留物件的识别方法，包括：获取待洗物品的图像信息；将所述待洗物品的图像信息输入卷积神经网络模型，以得到遗留物件识别结果；根据所述遗留物识别结果进行遗留物信息提示。

进一步地，通过x射线传感器获取待洗物品的图像信息；和/或，所述卷积神经网络模型由大量样本图片对卷积神经网络进行训练和验证而得到；和/或，所述遗留物件识别结果包括遗留物件的分类。

进一步地，所述卷积神经网络依次包括输入层、卷积层、池化层、全连接层和softmax层，将所述待洗物品的图像信息的像素矩阵作为所述输入层。

进一步地，所述卷积神经网络包括多轮卷积层和池化层，通过所述多轮卷积层和池化层，将所述图像信息抽象成信息含量更高的特征；和/或，所述卷积神经网络包括至少两层全连接层，通过所述全连接层将分布式特征表示映射到样本标记空间；和/或，通过所述卷积神经网络的softmax层完成对遗留物件的分类。

根据本申请的又一个方面，提供一种待洗物品中遗留物件的识别装置，包括：图像获取单元，用于获取待洗物品的图像信息；遗留物件识别单元，用于将所述待洗物品的图像信息输入卷积神经网络模型，以得到遗留物件识别结果。

进一步地，通过x射线传感器获取待洗物品的图像；和/或，

所述卷积神经网络模型由大量样本图片对卷积神经网络进行训练和验证而得到；和/或，所述遗留物件识别结果包括遗留物件的分类。

进一步地，所述卷积神经网络依次包括输入层、卷积层、池化层、全连接层和softmax层，将所述待洗物品的图像信息的像素矩阵作为所述输入层。

进一步地，所述卷积神经网络包括多轮卷积层和池化层，通过所述多轮卷积层和池化层，将所述图像信息抽象成信息含量更高的特征；和/或，所述卷积神经网络包括至少两层全连接层，通过所述全连接层将分布式特征表示映射到样本标记空间；和/或，通过所述卷积神经网络的softmax层完成对遗留物件的分类。

根据本申请的又一个方面，提供一种洗衣机，包括上面所述的识别装置及提示装置，所述提示装置用于根据遗留物识别结果进行遗留物信息提示。

根据本申请的又一个方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一所述的方法。

根据本申请提出的一种待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质，通过卷积神经网络模型对待洗物品的图像信息的分析，得到遗留物件的识别结果，能够无需人为干预而智能地识别出遗留物件，避免了因遗留物件在待洗衣物中而造成不可挽回的重要经济损失以及一些重要信息的丢失。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1示出了本申请的一种洗衣机的一实施例的示意图；

图2示出了本申请的一种待洗物品中遗留物件的识别方法的一实施例的示意图；

图3示出了本申请的一种卷积神经网络模型的一实施例的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了本申请的一种洗衣机的一实施例的示意图。

如图所示，洗衣机1包括遗留物件识别装置11和提示装置12，遗留物件识别装置11包括图像获取单元111和遗留物件识别单元112。

可以理解的，遗留物件识别装置11可以作为一个独立的产品，不是必须作为洗衣机的一部分，也可以不限于使用在洗衣机上。

图2示出了本申请的一种待洗物品中遗留物件的识别方法的一实施例的示意图。如图所示，该方法包括以下步骤：

s1，获取待洗物品的图像信息。

具体地，图像获取单元111获取待洗物品的图像信息。图像获取单元111可以为各种可以获取图像信息的传感器，如各种照相机，但优选能够穿透布料的感应器，例如x射线传感器等，像行李过地铁安检一样，对待洗物品进行扫描得到待洗物品的图像信息，该图像信息包含了混入在待洗物品里的遗留物件的图像信息。在一个实现方式中，可将待洗物品如衣物放入洗衣机内桶后，通过洗衣机内桶上安装的传感器对待洗物品进行拍摄以获取其图像信息。可选地，为了更精准的识别，通常需要多角度的多张图像信息，通过在内桶上设置多个传感器，和/或控制内桶转动抖动待洗物品至不同角度，以交替地对待洗衣物进行拍照，直到获取图像信息达到预设量。其中，预设量可根据实际情况进行标定，这里不做限制。

s2，将待洗物品的图像信息输入卷积神经网络模型，以得到遗留物件识别结果。

具体地，遗留物件识别单元112将待洗物品的图像信息输入卷积神经网络模型，以得到遗留物件识别结果。

卷积神经网络(cnn)是深度学习技术中极具代表的网络结构之一，在图像处理领域取得了很大的成功。本申请利用卷积神经网络来对遗留物件进行识别，将具有优秀的工作效率。在本申请中，卷积神经网络模型由大量样本图片对卷积神经网络进行训练和验证而得到。利用卷积神经网络对图片数据库的大量样本进行初始化转换为可被其处理的数据集，实现卷积神经网络模型的训练并测试验证搭建模型的优良度以得到最终模型。样本图片来源，可以是将样本衣物放入洗衣机内桶拍摄得到的图像信息，也可以是通过网络获得的已有样本图像信息。且待洗物品的图像信息，也将成为新的样本图片用于训练优化卷积神经网络模型。

可选地，卷积神经网络依次包括输入层、卷积层、池化层、全连接层和softmax层。输入层一般代表图片的像素矩阵，从输入层开始，卷积层将神经网络中的每一块进行分析抽象出程度更高的特征，增加结点矩阵的深度。池化层作用于卷积层处理后的n维矩阵，在不改变矩阵深度的情况下，进一步缩小最后全连接层中节点的数目，从而达到缩减整个神经网络中参数的目的，缩小矩阵大小，便于处理。

在一个实现方式中，本申请中卷积神经网络包括多轮卷积层和池化层，通过多轮卷积层和池化层，将图像信息抽象成信息含量更高的特征。在经过多轮卷积层和池化层自动特征特征提取的综合处理过程后后，可认为图像信息被抽象成信息含量更高的特征。

在一个实现方式中，本申请中卷积神经网络包括至少两层全连接层(例如采用2层全连接层)，通过至少2层全连接层将分布式特征表示映射到样本标记空间从而能更好地提纯减少其他特征，减少干扰特征。全连接层的层数越多浮点计算越大，计算越慢，可以理解地，本领域技术人员根据实操需求，可以采用一层全连接层，也可以采用至少两层，优选地，采用2层为宜。

可选地，遗留物件识别结果包括遗留物件的分类，通过卷积神经网络的softmax层实现对遗留物件的分类。所述分类例如包括，没有遗留物，遗留物是电子设备、文件等，电子设备还可以分类为u盘、手机、手表、其他电子设备等，不限于此。

图3示出了本申请的一种卷积神经网络的一实施例的示意图。如图所示，

首先洗衣机将待洗物品的原始图像信息像素矩阵作为输入层201，输入卷积层202；

采用前向传播的方式通过左侧小矩阵中节点计算出右侧单位节点，结合节点加权和及参数共享机制完成卷积层前向传播过程；

池化层203采用前向传播和最大值或平均值操作作用于卷积层的输出，减小矩阵的长和宽，缩小矩阵尺寸；

经多轮卷积层和池化层的作用(虽然图中示出为2层，但可以理解的，本领域技术人员可以根据实际需求，调整为任意需要的层数)，图像中的信息被抽象成信息含量更高的特征；

全连接层205(虽然图中示出为2层，但可以理解的，本领域技术人员可以根据实际需求，调整为任意需要的层数)将分布式特征表示映射到样本标记空间，从而将特征矩阵进行高度提纯减少其他特征，将分布式特征表示映射到样本标记空间；

最后经过softmax层206的作用完成分类结果。

s3，根据遗留物识别结果进行遗留物信息提示。

具体地，提示装置12根据遗留物识别结果进行遗留物信息提示。

可选地，在得到遗留物识别结果后，通过视觉和/或听觉方式向用户进行提示。

在一个实现方式中，智能洗衣机上安装有显示屏和/或音频播放器，可以通过在显示屏上显示和/或通过音频播放器播放语音进行提示。

在一个实现方式中，用户终端例如手机、平板、手表等电子设备通过电话号码、下载对应应用程序app等方式至少之一与洗衣机关联，洗衣机提示装置12将遗留物识别结果通过网络数据和/或短信方式发送给用户终端以在用户终端通过视觉和/或听觉方式完成提示。

通过提示，用户可以及时取出遗留物，防止遗留物在清洗中的损失。

本申请还提出了一种计算机可读存储介质，可以是只读存储器，磁盘或光盘等各种可以存储程序代码的介质，存储有计算机程序，其中当该程序被处理器执行时，可实现本申请上文提出的待洗物品中遗留物件的识别方法。

以上对本申请的待洗物品中遗留物件的识别方法、装置及洗衣机和计算机可读存储介质，通过卷积神经网络模型对待洗物品的图像信息的分析，得到遗留物件的识别结果，能够无需人为干预而智能地识别出遗留物件，避免了因遗留物件在待洗衣物中而造成不可挽回的重要经济损失以及一些重要信息的丢失。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。