一种印刷电路板缺陷检测模型训练方法及缺陷检测方法与流程

1.本发明涉及pcb缺陷检测领域，尤其涉及一种印刷电路板缺陷检测模型训练方法及缺陷检测方法。


背景技术：

2.自动光学检测（automated optical inspection，简称aoi）设备现已成为电子制造业确保产品质量的重要检测工具和过程质量控制工具，aoi设备的检测原理为：当自动检测时，aoi设备通过高清ccd摄像头自动扫描pcb产品以采集图像，测试的检测点与数据库中的合格参数进行比较，经过图像处理，检查出被测产品上的缺陷。
3.通常由aoi设备检测到缺陷后，就会将缺陷信息发送给检修工进行检修。但是aoi设备的检测精度较低，比如电路板上的灰尘或者污点都会被aoi设备误判为缺陷，因此，需要提高现有技术中的pcb缺陷精测精度。
4.以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

5.本发明的目的是提供一种印刷电路板缺陷检测模型的训练方法，以训练得到改进的ai模型，能够精确并快速地识别出电路板的缺陷。
6.为达到上述目的，本发明采用的技术方案如下：一种印刷电路板缺陷检测模型训练方法，包括以下步骤：获取印刷电路板的设计文档信息，所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息；并利用扫描相机设备对所述印刷电路板进行扫描，得到所述印刷电路板的扫描图像；基于所述印刷电路板的扫描图像和设计文档信息，生成一个或多个学习样本，每个学习样本包括样本图像及对应的标签，包括：截取所述扫描图像中的局部图像，得到样本图像，并对所述样本图像进行人工打标，其中，人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息；建立样本库，包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本；利用所述样本库的学习样本，对基础模型进行训练，得到印刷电路板缺陷检测模型。
7.进一步地，所述基础模型配置有第一学习子模块和第二学习子模块，其中，所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练，得到中间模型；
所述第二学习子模块基于学习样本中的标签，学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息；并且，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习，得到所述印刷电路板缺陷检测模型。
8.进一步地，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习包括：若样本图像对应的层信息为电源层或接地层，则所述中间模型的学习目标为将样本图像中的特征学习为非短路的特征。
9.进一步地，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习包括：若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域，则所述中间模型将学习注意力集中在特定学习样本上，所述特定学习样本的标签中的缺陷信息为有缺陷，且缺陷类型为短路、断路以外的其他类型，或者所述特定学习样本的标签中的缺陷信息为无缺陷。
10.进一步地，所述中间模型学习所述特定学习样本的方法为：若所述特定学习样本的样本图像中存在两个分开的铜特征或连接着两根排线的线特征，则弱化该样本图像中两个分开的铜特征的识别力或连接着两根排线的线特征的识别力。
11.进一步地，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习包括：若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域，则所述中间模型学习缺陷类型为短路的缺陷信息所对应的样本图像的方法为：强化该样本图像中两个分开的铜特征的识别力，或者，强化该样本图像中连接着两根排线的线特征的识别力。
12.进一步地，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习包括：若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域，则所述中间模型学习缺陷类型为断路的缺陷信息所对应的样本图像的方法为：强化该样本图像中排线上存在缺口的特征的识别力。
13.进一步地，对所述样本库进行预处理，包括：遍历样本库中的样本图像，若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域，则利用图像处理器对该样本图像中的电子器件和铜导线分别标记不同的颜色；利用完成预处理后的样本库的学习样本，对基础模型进行训练，得到印刷电路板缺陷检测模型。
14.进一步地，所述扫描相机设备集成在aoi设备上，所述印刷电路板的设计文档信息被输入至所述aoi设备，所述基础模型为所述aoi设备的检测模型或其后端的ai模型。
15.进一步地，利用所述样本库构建训练集和测试集，利用所述训练集对所述基础模型进行多轮次的训练；利用所述测试集对训练后的模型进行验证，包括：利用均方差误差损失函数或平均绝对值误差损失函数来计算训练后的模型的损失值；并且根据预测结果与标签一致的预
测次数以及预测总次数来计算训练后的模型的准确率；验证所述损失值和准确率是否均满足预设的训练目标，则将当前训练后的模型作为所述印刷电路板缺陷检测模型；否则利用所述训练集进行迭代训练，直至迭代训练得到的模型的损失值和准确率均通过验证。
16.根据本发明的另一方面，提供了一种印刷电路板缺陷检测方法，包括以下步骤：获取待检测的印刷电路板的图像及其层信息和/或区域块位置信息；将所述印刷电路板的图像及其层信息和/或区域块位置信息输入预先完成训练的印刷电路板缺陷检测模型；所述印刷电路板缺陷检测模型输出检测结果；其中，所述印刷电路板缺陷检测模型通过以下步骤完成训练：获取印刷电路板的设计文档信息，所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息；并利用扫描相机设备对所述印刷电路板进行扫描，得到所述印刷电路板的扫描图像；基于所述印刷电路板的扫描图像和设计文档信息，生成一个或多个学习样本，每个学习样本包括样本图像及对应的标签，包括：截取所述扫描图像中的局部图像，得到样本图像，并对所述样本图像进行人工打标，其中，人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息；建立样本库，包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本；利用所述样本库的学习样本，对基础模型进行训练，所述基础模型配置有第一学习子模块和第二学习子模块，所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练，得到中间模型；所述第二学习子模块基于学习样本中的标签，学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息；所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习，得到所述印刷电路板缺陷检测模型。
17.进一步地，所述印刷电路板缺陷检测模型通过如上所述的印刷电路板缺陷检测模型训练方法训练得到。
18.本发明提供的技术方案带来的有益效果如下：a. 充分利用电路板的区域信息，去学习区域信息与缺陷之间的规律，训练得到改进的ai模型，改进后的ai模型结合电路板的区域信息对电路板图像进行精准识别；b. 掌握电路板区域与电路板缺陷的关联特征，可以快速排除某些区域不可能存在的缺陷类型，提高缺陷检测效率和检测结果的精准度。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明的一个示例性实施例提供的构思图；
图2为本发明的一个示例性实施例提供的印刷电路板缺陷检测模型训练的流程示意图；图3为本发明的一个示例性实施例提供的利用电路板区域信息对ai基础模型进行训练的流程示意图；图4为本发明的一个示例性实施例提供的印刷电路板缺陷检测的信息流图。
具体实施方式
21.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
22.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
23.在印刷电路板（pcb）缺陷检测中，通常是将电路板的扫描图像输入ai模型，通过图像分析技术去提取图像中的特征，分析是否符合缺陷的特征，也就是说，目前的缺陷检测技术中，仅对电路板图像进行分析检测。本发明提出了一种电路板图像结合其相应区域信息来作出缺陷检测的技术，利用电路板的整层所属区域信息或局部所属区域信息来协助ai模型更快、更准地得出pcb缺陷检测结果。如图1所示，每个电路板/每种类型的电路板均有相应的设计文档，里面会详细记录电路板的各个层信息，以及每层上的分布设计信息，称之为区域块位置信息；在利用aoi设备对电路板进行扫描之前，将设计文档输入aoi设备，aoi设备按照设计文档逐一地对对应的pcb各层进行扫描，本发明实施例中，aoi设备将扫描的pcb图像与相应的pcb区域信息（层信息和/或区域块位置信息）发送给后端的ai模型，ai模型根据这两个输入信息，得到pcb缺陷检测结果，在本发明的一个实施例中，aoi具备缺陷初步识别的功能，相应地，将aoi设备识别到有缺陷的区域截取出来，得到pcb子图像，再传给后端的ai模型。
24.pcb扫描图像上稍有异常的局部区域被aoi设备识别，根据经验，其中会有被误判的情况，比如一些灰尘或者污点，而被截取出的子图像发送给ai模型，由其结合各个pcb子图像的区域信息对各个pcb子图像进行精确识别，有效排除aoi设备误识别的假缺陷。不同于其他pcb缺陷检测模型，本发明中的ai模型是一种结合区域信息对pcb图像进行ai识别的模型，为此，本发明提出了一种对其训练的方法，如图2所示，印刷电路板缺陷检测模型训练方法包括以下步骤：获取印刷电路板的设计文档信息，所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息；并利用扫描相机设备对所述印刷电路板进行扫描，得到所述印刷
电路板的扫描图像；基于所述印刷电路板的扫描图像和设计文档信息，生成一个或多个学习样本，每个学习样本包括样本图像及对应的标签，包括：截取所述扫描图像中的局部图像，得到样本图像，并对所述样本图像进行人工打标，其中，人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息；建立样本库，包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本；利用所述样本库的学习样本，对基础模型进行训练，得到印刷电路板缺陷检测模型。
25.利用具有印刷电路板的层信息和/或区域块位置信息（在图3中简称为区域信息）的学习样本，对ai基础模型进行训练的具体方式如下：参见图3，所述基础模型配置有第一学习子模块和第二学习子模块，其中，所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练，得到中间模型；所述第二学习子模块基于学习样本中的标签，学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息；并且，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习，得到所述印刷电路板缺陷检测模型。
26.其中，所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习包括以下几个方面：第一方面、第二学习子模块学习到电源层或接地层的pcb图像不存在短路缺陷的特征信息，基于此学习成果，中间模型在学习层信息为电源层或接地层的样本图像时，中间模型的学习目标为将样本图像中的特征学习为非短路的特征。
27.第二方面、第二学习子模块学习到层信息为线路层或对应的区域块位置信息为铜面区域的图像中，缺陷类型大概率集中在短路、断路两大类型，基于此学习成果，中间模型在学习线路层或对应的区域块位置信息为铜面区域的样本图像时，中间模型将学习注意力集中在特定学习样本上，所述特定学习样本的标签中的缺陷信息为有缺陷，且缺陷类型为短路、断路以外的其他类型，或者所述特定学习样本的标签中的缺陷信息为无缺陷。即对小概率的缺陷类型进行学习，降低将线路层或铜面区域的图像中的缺陷误识别为短路或断路类型的概率，提高识别正确率。
28.具体地，中间模型学习所述特定学习样本的方法为：若所述特定学习样本的样本图像中存在两个分开的铜特征或连接着两根排线的线特征，则弱化该样本图像中两个分开的铜特征的识别力或连接着两根排线的线特征的识别力。
29.第三方面、除了第二方面的将学习注意力集中在特定学习样本上，同样也需要对非特定学习样本（即标签中的缺陷信息为短路或断路类型）进行学习，对于短路类型的样本图像，中间模型强化该样本图像中两个分开的铜特征的识别力；或者，中间模型强化该样本图像中连接着两根排线的线特征的识别力。对于断路类型的样本图像，所述中间模型结合所述第二学习子模块学习到的特征信息，强化该样本图像中排线上存在缺口的特征的识别力。
30.在本发明的一个实施例中，电路板的区域信息可以用来对所述样本库进行预处理，包括：遍历样本库中的样本图像，若样本图像对应的层信息为线路层或对应的区域块位置信息为铜面区域，则利用图像处理器对该样本图像中的电子器件和铜导线分别标记不同的颜色；利用完成预处理后的样本库的学习样本，对基础模型进行训练，得到印刷电路板缺陷检测模型。通过获知哪些区域是电子器件的所在区域，哪些区域是铜导线的所在区域，可以对电子器件和铜导线分别标记不同的颜色，可以使得模型更容易区分电子器件和铜导线，进一步提高缺陷识别的效率和精确度。
31.在印刷电路板缺陷检测模型的训练过程中，还涉及模型的收敛和验证：利用所述样本库构建训练集和测试集，利用所述训练集对所述基础模型进行多轮次的训练；利用所述测试集对训练后的模型进行验证，包括：利用均方差误差损失函数或平均绝对值误差损失函数来计算训练后的模型的损失值；并且根据预测结果与标签一致的预测次数以及预测总次数来计算训练后的模型的准确率：；验证所述损失值和准确率是否均满足预设的训练目标，则将当前训练后的模型作为所述印刷电路板缺陷检测模型；否则利用所述训练集进行迭代训练，直至迭代训练得到的模型的损失值和准确率均通过验证。
32.在本发明的一个实施例中，提供了一种印刷电路板缺陷检测方法，如图4所示，检测方法包括以下步骤：获取待检测的印刷电路板的图像及其层信息和/或区域块位置信息；将所述印刷电路板的图像及其层信息和/或区域块位置信息输入预先完成训练的印刷电路板缺陷检测模型；所述印刷电路板缺陷检测模型输出检测结果；其中，所述印刷电路板缺陷检测模型通过以下步骤完成训练：获取印刷电路板的设计文档信息，所述设计文档信息包括所述印刷电路板的层信息和/或区域块位置信息；并利用扫描相机设备对所述印刷电路板进行扫描，得到所述印刷电路板的扫描图像；基于所述印刷电路板的扫描图像和设计文档信息，生成一个或多个学习样本，每个学习样本包括样本图像及对应的标签，包括：截取所述扫描图像中的局部图像，得到样本图像，并对所述样本图像进行人工打标，其中，人工打标所得到的标签包括层信息、区域块位置信息中的一种或两种信息以及缺陷信息；建立样本库，包括按照上述步骤收集并存储基于多个印刷电路板各自生成的学习样本；利用所述样本库的学习样本，对基础模型进行训练，所述基础模型配置有第一学习子模块和第二学习子模块，所述第一学习子模块基于学习样本中的样本图像和标签中的缺陷信息进行学习训练，得到中间模型；所述第二学习子模块基于学习样本中的标签，学习所述层信息、区域块位置信息中的一种或两种信息与缺陷信息之间的特征信息；所述中间模型结合所述第二学习子模块学习到的特征信息，对所述学习样本中的样本图像进行再学习，得到所述印刷电路板缺陷检测模型。
33.本缺陷检测方法实施例是利用上述训练方法实施例所训练得到的印刷电路板缺
陷检测模型对输入的待检测的印刷电路板的图像及其层信息和/或区域块位置信息进行ai识别，进而输出缺陷检测结果。将上述印刷电路板缺陷检测模型训练方法实施例的全部内容通过引入本印刷电路板缺陷检测方法实施例。
34.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
35.以上所述仅是本技术的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。