一种电子设备屏幕区域瑕疵检测方法与设备与流程

本申请涉及计算机技术领域，尤其涉及一种电子设备屏幕区域瑕疵检测方法与设备。

背景技术：

由于基于传统图像处理方式在很大程度上依赖于阈值的选取，而二手电子设备如手机等的屏幕区域由于在成色、外观、老化程度等各个方面都有不同程度的差异，故很难给出确定的阈值，因此基于传统图像处理方式的在本屏幕区域瑕疵检测中不适用。

技术实现要素：

本申请的目的是提供一种电子设备屏幕区域瑕疵检测方法与设备。

根据本申请的一个方面，提供了一种电子设备屏幕区域瑕疵检测方法，所述方法包括：

将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

进一步地，其中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。

进一步地，其中，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果之后，还包括：

识别所述瑕疵检测结果的置信度是否大于第一预设阈值，

若大于所述第一预设阈值，则输出包括电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置的结果信息。

进一步地，其中，将所述电子设备的屏幕区域图像输入fpn网络结合backbone网络的模型之前，还包括：

步骤一，预设fpn网络结合backbone网络的模型及其初始的模型参数；

步骤二，将样本电子设备的屏幕区域图像输入带有当前的模型参数的fpn网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；

步骤三，基于预设目标函数计算所述瑕疵预测结果与样本电子设备的屏幕区域的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，

若所述差值大于第二预设阈值，则步骤四，基于所述差值更新所述fpn网络结合backbone网络的模型参数后，重新从步骤二开始执行；

若所述差值小于等于第二预设阈值，则步骤五，将带有当前的模型参数的fpn网络结合backbone网络的模型作为训练结束后的fpn网络结合backbone网络的模型。

进一步地，其中，所述fpn网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数。

根据本申请的另一方面，还提供了一种电子设备屏幕区域瑕疵检测设备，所述设备包括：

第一装置，用于将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

第二装置，用于从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

进一步地，其中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。

进一步地，其中，第二装置还用于识别所述瑕疵检测结果的置信度是否大于第一预设阈值，若大于所述第一预设阈值，则输出包括电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置的结果信息。

进一步地，其中，还包括第三装置，包括：

第三一装置，用于预设fpn网络结合backbone网络的模型及其初始的模型参数；

第三二装置，用于将样本电子设备的屏幕区域图像输入带有当前的模型参数的fpn网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；

第三三装置，用于基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，若所述差值大于第二预设阈值，则执行第三四装置，用于基于所述差值更新所述fpn网络结合backbone网络的模型参数后，重新从第三二装置开始执行；

若所述差值小于等于第二预设阈值，则执行第三三装置，将带有当前的模型参数的fpn网络结合backbone网络的模型作为训练结束后的fpn网络结合backbone网络的模型。

进一步地，其中，所述fpn网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数。

根据本申请的再一方面，还提供了一种计算机可读介质，其中，

其上存储有计算机可读指令，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

步骤s1，将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

步骤s2，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

本发明还提供一种电子设备屏幕区域瑕疵检测设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

步骤s1，将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

步骤s2，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

与现有技术相比，本发明通过将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出本发明一实施例的屏幕区域瑕疵检测方法的流程图；

图2示出本发明一实施例的屏幕区域瑕疵检测结果的示意图；

图3示出本发明一实施例的fpn网络结合backbone网络的模型的示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，系统各模块和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及优选实施例，对本申请的技术方案，进行清楚和完整的描述。

图1示出本申请一个方面提供的一种用于电子设备屏幕区域瑕疵检测方法，其中，该方法包括：

s11将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

s12从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。其中，瑕疵种类包括但不限于分层、透字、漏液、断线、亮点(亮斑)、色斑(发黄发青)。

所述fpn网络结合backbone网络的模型可如图3所示。其中，所述fpn网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数，其中，归一化参数包括均值和方差，通过归一化确保每次输入都在合理的范围内变化，在此，所述归一化的参数随着输入数据的更新不断更新。

在此，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果，如图2所示，每个瑕疵检测结果包含cls，x1，y1，x2，y2，score，其中，cls是缺陷类型，x1，y1，x2，y2是屏幕区域区域图像中瑕疵所在位置的4个坐标，score为这个瑕疵的置信度。

本发明主要利用改进的特征金字塔(fpn)网络结合backbone网络的深度学习模型，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。

本发明的屏幕区域瑕疵检测方法一实施例中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。

本发明的屏幕区域瑕疵检测方法一实施例中，步骤s12，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果之后，还包括：

识别所述瑕疵检测结果的置信度是否大于第一预设阈值，

若大于所述第一预设阈值，则输出包括电子设备的屏幕的瑕疵种类、瑕疵在电子设备的屏幕中的位置的结果信息。

本实施例通过识别所述瑕疵检测结果的置信度，可以从瑕疵检测结果中筛选出可靠的结果进行输出。

本发明的屏幕区域瑕疵检测方法一实施例中，将所述屏幕区域图像输入fpn网络结合backbone网络的模型之前，还包括：

步骤一，预设fpn网络结合backbone网络的模型及其初始的模型参数；

步骤二，将样本电子设备的屏幕区域图像输入带有当前的模型参数的fpn网络结合backbone网络的模型，得到样本电子设备的屏幕的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；

步骤三，基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，

若所述差值大于第二预设阈值，则步骤四，基于所述差值更新所述fpn网络结合backbone网络的模型参数后，重新从步骤二开始执行；

若所述差值小于等于第二预设阈值，则步骤五，将带有当前的模型参数的fpn网络结合backbone网络的模型作为训练结束后的fpn网络结合backbone网络的模型。

在此，通过识别所述差值是否大于第二预设阈，来循环训练fpn网络结合backbone网络的模型，能够得到可靠的模型。

本发明还提供一种电子设备屏幕区域瑕疵检测设备，所述设备包括：

第一装置，用于将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

第二装置，用于从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。其中，瑕疵种类包括但不限于分层、透字、漏液、断线、亮点(亮斑)、色斑(发黄发青)。

在此，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果，每个瑕疵检测结果包含cls，x1，y1，x2，y2，score，其中，cls是缺陷类型，x1，y1，x2，y2是屏幕区域区域图像中瑕疵所在位置的4个坐标，score为这个瑕疵的置信度。

其中，所述fpn网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数，其中，归一化参数包括均值和方差，通过归一化确保每次输入都在合理的范围内变化，在此，所述归一化的参数随着输入数据的更新不断更新。

本发明主要利用改进的特征金字塔(fpn)网络结合backbone网络的深度学习模型，能够准确地识别二手电子设备如手机的屏幕区域的差异。

本发明的电子设备的屏幕区域瑕疵检测设备一实施例中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。

本发明的电子设备的屏幕区域瑕疵检测设备一实施例中，所述第二装置，还用于识别所述瑕疵检测结果的置信度是否大于第一预设阈值，若大于所述第一预设阈值，则输出包括电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕中的位置的结果信息。

本实施例通过识别所述瑕疵检测结果的置信度，可以从瑕疵检测结果中筛选出可靠的结果进行输出。

本发明的电子设备的屏幕区域瑕疵检测设备一实施例中，还包括第三装置，包括：

第三一装置，用于预设fpn网络结合backbone网络的模型及其初始的模型参数；

第三二装置，用于将样本电子设备的屏幕区域图像输入带有当前的模型参数的fpn网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；

第三三装置，用于基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，若所述差值大于第二预设阈值，则执行第三四装置，用于基于所述差值更新所述fpn网络结合backbone网络的模型参数后，重新从第三二装置开始执行；

若所述差值小于等于第二预设阈值，则执行第三三装置，将带有当前的模型参数的fpn网络结合backbone网络的模型作为训练结束后的fpn网络结合backbone网络的模型。

在此，通过识别所述差值是否大于第二预设阈，来循环训练fpn网络结合backbone网络的模型，能够得到可靠的模型。

根据本申请的再一方面，还提供了一种计算机可读介质，其中，

其上存储有计算机可读指令，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

步骤s1，将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

步骤s2，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

本发明还提供一种电子设备屏幕区域瑕疵检测设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

步骤s1，将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；

步骤s2，从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。

与现有技术相比，本发明通过将电子设备的屏幕区域图像输入训练结束后的fpn网络结合backbone网络的模型；从所述fpn网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。