缺陷手套识别多模型预测方法与流程

1.本发明涉及医用手套技术领域，具体为缺陷手套识别多模型预测方法。


背景技术：

2.一次性医用手套，大多用于医用检查或侵入性手术，扯断和拉断伸长的受力或手套缺的陷识别要求比检查手套更严格。
3.在一次性医用手套生产完成后，由于使用者大多为医护人员，所以对手套的缺陷识别更加严格，但现有的针对手套缺陷的识别大多还处于人工识别，不仅效率低下，且识别精度不高。
4.现有的机器识别手套缺陷大多为单模型识别，并且为整块区域进行识别，在手套的生产过程中，对于不同的产品批次，关于缺陷的检出率、误检率、严重缺陷的漏检率等指标可能有不同的要求，且不同的客户对于缺陷或者严重缺陷的定义及标准不同，现有技术的检测模型难以满足上述要求。
5.基于现有的技术不足，本发明设计了缺陷手套识别多模型预测方法。


技术实现要素：

6.为解决背景技术中的问题，本发明提供了如下技术方案：缺陷手套识别多模型预测方法，其包括如下的步骤：
7.s1、采集手套生产线不同工位的产品图像并进行预处理；
8.s2、建立缺陷预测模型m，所述缺陷预测模型m包括分类预测模型mc与目标检测预测模型mt；
9.s3、使用若干个缺陷预测模型对产品缺陷情况进行预测，所述缺陷预测模型包括分类预测模型mc、目标检测预测模型mt中的一种或若干种独立模型的组合。
10.进一步，分类预测模型mc和目标检测预测模型mt都是通过卷积神经网络或全连接神经网络一种或多种结合的深度学习方法去抽取检测图像的特征并进行处理，分类预测模型mc根据特征提取加全连接神经网络可以实现图像的分类，目标检测预测模型mt可以实现图像目标定位与分类。
11.进一步，所述分类预测模型mc设置有置信度阈值θc，预测基于置信度阈值θc的合格品与不合格品的分类结果；
12.所述目标检测预测模型mt设置有置信度阈值θ
t
，预测基于置信度阈值θ
t
的合格品与不合格品的分类结果,以及不合格品的缺陷所属类别、具体位置。
13.进一步，步骤s3中，采用双目标预测模型mt1+mt2，相互配合进行预测，其中mt1为主模型，mt2为辅助模型，其中：
14.mt1定义全品类缺陷d1i，在模型训练时主模型用d1i进行模型训练；
15.mt2定义严重缺陷d2i，在模型训练时主模型用d2i进行模型训练；
16.首先在主模型中设置某类别缺陷的置信度阈值σ1，主模型对待检测图像数据的该
类别缺陷进行预测，若检测到缺陷的置信度小于设定阈值σ1，则将此图像数据送入mt2再次进行预测；
17.mt2设定有置信度阈值σ2，σ2代表与d1i对应的严重缺陷d2i的置信度阈值；若mt2检测到缺陷的置信度大于设定阈值σ2，则认定为该图像数据对应的产品具有严重缺陷；所述mt1+mt2双模型用于避免严重缺陷的漏检。
18.进一步，步骤s3中，采用目标预测模型mt1+分类预测模型mc1，相互配合进行预测，具体为：
19.首先对mt1设置低水平的置信度阈值σ1；
20.其次用mt1将所有待检图像数据进行预测，检测到的缺陷区域包含大量的误检检测框，然后使用像素切割将预测框切割出来形成独立图像；
21.然后将切割下来的图像送入mc1判断是否误检。
22.进一步，步骤s3中，采用目标预测模型mt1+目标预测模型mt2+分类预测模型mc1，相互配合进行预测，用于在提高检出率的同时，降低误检率，其中：
23.mt1为主模型、mt2为辅助模型，主模型和辅助模型将预测框切割出来形成独立图像后，由mc1再一次进行分类预测。
24.本发明具备以下有益效果：
25.1、该缺陷手套识别多模型预测方法，通过分类检测+目标检测两种或多种模型组合的方式进行检测，从而弥补单模型的漏检率高的缺陷，以实现对不合格品的严格控制。
26.2、该缺陷手套识别多模型预测方法，通过针对完全未脱模处、撑口工位、半脱模下垂处单点位或多点位进行检测，便于在对手套进行检测时将其分为多个检测区域进行分区域检测，极大的增加了检测的精度与检测速度，并且在单区域中可细化出多个小区域进行细致检查，更好的提高了检测的精准度，以实现提高出货产品质量的作用。
27.3、该缺陷手套识别多模型预测方法，通过模型级联及模型集成方式，可以细粒度控制缺陷类别，灵活应对不同工厂对产品质量要求不一致的需求，模型进行细粒度识别，可以根据不同客户对缺陷标准的不同进行个性化定制，满足不同的客户要求。
28.4、多模型预测降低了单个模型预测所有缺陷类型的模型复杂度，提高了针对严重缺陷的模型的检出精度，让模型注意力更加集中，既提高了模型的检出精度又降低模型的误检程度，使整体剔除达到更好的检出效果。
附图说明
29.图1为本发明缺陷手套识别多模型预测方法流程图。
30.图2为本发明实施例1的方法流程图。
31.图3为本发明实施例2的方法流程图。
32.图4为本发明实施例3的方法流程图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
34.请参阅图1，缺陷手套识别多模型预测方法，其包括如下的步骤：
35.s1、采集手套生产线不同工位的产品图像并进行预处理；
36.s2、建立缺陷预测模型m，所述缺陷预测模型m包括分类预测模型mc与目标检测预测模型mt,其中：
37.所述分类预测模型mc和目标检测预测模型mt都是通过卷积神经网络或全连接神经网络一种或多种结合的深度学习方法去抽取检测图像的特征并进行处理，分类预测模型mc根据特征提取加全连接神经网络可以实现图像的分类，目标检测预测模型mt可以实现图像目标定位与分类；
38.所述单个缺陷预测模型m中对不同类别缺陷检测的置信度之和等于1；
39.所述分类预测模型mc设置有置信度阈值θc，预测基于置信度阈值θc的合格品与不合格品的分类结果；
40.所述目标检测预测模型mt设置有置信度阈值θ
t
，预测基于置信度阈值θ
t
的合格品与不合格品的分类结果,以及不合格品的缺陷所属类别、具体位置；
41.s3、使用若干个缺陷预测模型对产品缺陷情况进行预测，所述缺陷预测模型包括分类预测模型mc、目标检测预测模型mt中的一种或若干种独立模型的组合。
42.实施例1：
43.本实施例采用双目标预测模型mt1+mt2，相互配合进行预测，其中mt1为主模型，mt2为辅助模型，其中：
44.mt1定义全品类缺陷d1i，在模型训练时主模型用d1i进行模型训练；
45.mt2定义严重缺陷d2i，在模型训练时主模型用d2i进行模型训练；
46.首先在主模型中设置某类别缺陷的置信度阈值σ1，主模型对待检测图像数据的该类别缺陷进行预测，若检测到缺陷的置信度小于设定阈值σ1，则将此图像数据送入mt2再次进行预测；
47.mt2设定有置信度阈值σ2，σ2代表与d1i对应的严重缺陷d2i的置信度阈值；若mt2检测到缺陷的置信度大于设定阈值σ2，则认定为该图像数据对应的产品具有严重缺陷；所述mt1+mt2双模型用于避免严重缺陷的漏检。
48.其中，全品类缺陷d1i包括破损、碰伤、余料、油污、气泡、卷边不良等；
49.严重缺陷d2i包括严重破损、严重碰伤、大余料、多油污、多气泡、严重卷边不良等。
50.实施例2：
51.参照图2，本实施例采用目标检测预测模型mt1+分类预测模型mc1，相互配合进行预测，具体为：首先使用批量整张图像使用目标检测算法构建检测模型，待模型逐步收敛后，进行大规模数据的前向推理，将模型预测的缺陷区域使用切割方式抠出缺陷图像。人工将抠出的缺陷图像进行标注分类。使用标注数据送入分类模型进行训练，经过训练使模型收敛后，得到分类模型。
52.产线上使用方式为将模型进行串联，模型未检测到缺陷区域，即认定为ok手套，若检测模型检测到缺陷区域，将该区域抠下来送入分类模型，分类模型预测为ng，则组建剔除队列进行剔除，若所有预测框均预测为ok则认定手套为ok手套。其他实例与此过程类似，为满足不同客户需求，模型组合级联方式有所差别。
53.实施例3：
54.参照图3，本实施例采用目标检测预测模型mt1+目标检测预测模型mt2+分类预测模型mc1，相互配合进行预测，用于在提高检出率的同时，降低误检率，其中：
55.mt1为主模型、mt2为辅助模型，主模型和辅助模型将预测框切割出来形成独立图像后，由mc1再一次进行分类预测。
56.实施例4：
57.参照图4，本实施例中，初始状态时，通过分类检测(主模型)+目标检测(辅助模型)两种或多种模型组合的方式进行检测，从而弥补单模型的漏检率，以实现漏检率降低；当主模型首先判定某一生产线上的手套是良品手套，判定某一生产线上的哪些手套为不良品手套，辅助模型再将判定出来的良品手套进行二次检测，也可以将良品手套和不良品手套同时再次检测，如若主模型和辅助模型中某一环认为该手套为不良品，此时此手套将会被判定为不合格品，主模型和辅助模型的检测侧重点不一样；主模型自身设有面积阈值、置信度阈值等参数，辅助模型可以通过主模型阈值从而实现判定缺陷的级别，便于将手套区分出严重缺陷和不严重缺陷。
58.实施例5：
59.本实例中，本发明的预测模块的功能依托于硬件实现，硬件由工控机、io卡、相机、plc、剔除装置组成，通过使用远程控制软件，将在同一台工控机上快速切换到其他工控机，并且在前端ui提供远程操作时，在1台工控机上配置其他工控机，可有效解决现场单台计算机同时控制多台工控机的问题。
60.本发明的预测模块对多个相机进行连接，通过发送检测信号识别相机是否正常工作，在相机自检后通过发送拍照信号对手套进行图像采集，同时通过系统软件进行识别分析，做保存缺陷手套照片处理，同时控制io板卡控制剔除装置摘取手套工作，主要技术实现分为拍照取样分析，io板卡控制剔除；通过设置plc来判别io卡输出，对输出信号做合并，然后再控制剔除装置启动剔除不良品，可有效解决同一只手套在多台工控机上都检测到缺陷时，io卡都会输出剔除信号，由于系统时钟、运行速度等问题，会导致io输出的剔除信号不同步的问题。
61.此外，本发明基于java服务所开发的视觉模型预测架构，在接收到相机拍照图片后进行图像压缩预处理工作，同时将预处理压缩图像数据通过socket发送至模型服务数据库进行接收，将若干模型向前传播预测，最后将预测结果汇总，并根据阈值画出具体位置，通过socket的应用层进程利用网络协议交换数据的机制，可大幅度增加将压缩图像的发送速度和汇总模型预测的接收速度，并且通过视觉模型预测架构可有效的根据主模型的阈值画出具体缺陷位置。
62.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
63.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。