一种焊接缺陷检测方法、装置、电子设备以及存储介质与流程
本申请涉及缺陷检测领域，具体而言，涉及一种焊接缺陷检测方法、装置、电子设备以及存储介质。
背景技术：
在现有的称重传感器制作过程中，应变片则是其最常采用的传感元件。应变片的焊点焊接质量直接影响其性能的好坏，因此监测传感器的焊点焊接的质量对提高传感器产品质量至关重要。
传感器焊接缺陷包含贴片多锡、少锡、漏焊、短路等，由于应变片尺寸小，靠人工观察发现缺陷增加了检测人员的工作量，容易误判，同时效率低，与生产流水线的速度不匹配。
为了更加迅速的实现缺陷检测，目前常用的焊接质量检测方法包括x射线检测、红外激光检测、电气检测以及传统机器视觉检测。然而，x射线和红外线激光检测虽然可以对多种类型的焊点进行检测，但由于设备价格昂贵，不适合大规模的应用。电气检测能有效地检查出目视检测所不能发现的微小裂痕和连桥等，但采用的离线检测不能及时反馈信息，同时也存在着效率低的缺点。传统视觉检测方法采用的基于统计特征的参考比较法对于焊锡过量、焊锡合适、焊锡少量的检测相对困难。
综上所述，目前基于传感器焊接缺陷检测的方法并不完善。
技术实现要素：
本申请的目的在于提供一种焊接缺陷检测方法、装置、电子设备以及存储介质，以解决现有技术中基于传感器焊接缺陷检测的方法并不完善的问题。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种焊接缺陷检测方法，包括：
构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
利用所述样本数据集训练所述多任务学习网络模型；
将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
第二方面，本申请实施例还提供了一种焊接缺陷检测装置，包括：
数据集构建模块，用于构建样本数据集；所述样本数据集包括多张包含焊点区域且经过预处理的图像；
网络模型构建模块，用于构建多任务学习网络模型，其中，所述多任务学习网络模型包括至少两个子网络，所述至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息；
训练模块，用于利用所述样本数据集训练所述多任务学习网络模型；
权重确定模块，用于将训练后的所述多任务学习网络模型输出的预测结果输入决策融合模型，以依据所述决策融合模型确定所述至少两个子网络的权重；
测试结果输出模块，用于对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据所述决策融合模型确定的权重输出预测结果。
第三方面，本申请实施例提供一种电子设备，包括：存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
相对于现有技术，本申请实施例具有以下有益效果：
本申请实施例提供了一种焊接缺陷检测方法、装置、电子设备以及存储介质，通过构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像，然后构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息，再利用样本数据集训练多任务学习网络模型，再将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重，最后对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。本申请能够通过训练多任务学习网络模型的方式，最终实现对焊点区域进行缺陷位置信息与缺陷分类信息的检测。一方面，其检测方式更加简单，在训练完成后，只需将焊点区域的图片输入该网络模型，即可输出相应的结果。另一方面，由于多任务网络模型中包括至少两个子网络，因此其预测精度更高，效果更好。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的框图。
图2为本申请实施例提供的焊接缺陷检测方法的流程图。
图3为本申请实施例提供的图2中s102的子步骤的流程图。
图4为本申请实施例提供的图2中s106的子步骤的流程图。
图5为本申请实施例提供的多任务学习网络模型的框图。
图6为本申请实施例提供的图2中s108的子步骤的流程图。
图7为本申请实施例提供的决策融合模型的框图。
图8为本申请实施例提供的焊接缺陷检测装置的模块示意图。
图9为本申请实施例提供的数据集构建模块的模块示意图。
图10为本申请实施例提供的训练模块的模块示意图。
图11为本申请实施例提供的权重确定模块的模块示意图。
图中：100-电子设备；101-处理器；102-存储器；103-通信接口；200-焊接缺陷检测装置；210-数据集构建模块；220-网络模型构建模块；230-训练模块；240-权重确定模块；250-测试结果输出模块；211-数据采集单元；212-图像处理单元；213-缺陷标注单元；214-数据增强单元；231-参数预设单元；232-模型训练单元；233-参数确定单元；241-结果获取单元；242-样本确定单元；243-数据处理单元；244-权重确定单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
正如背景技术中所述，为了更加迅速的实现焊点的缺陷检测，目前常用的焊接质量检测方法包括x射线检测、红外激光检测、电气检测以及传统机器视觉检测。
其中，x射线检测利用射线穿透物质的衰减特性来检测缺陷情况，主要用来检测内部缺陷。红外激光检测用红外激光照射焊点，使焊点的温度先升高再降回到室内气温，通过比较升降曲线和标准曲线来判别焊点的缺陷。电气检测是产品在加载条件下通电，以检测是否满足所要求的规范，其能有效地查出目视检测所不能发现的微小裂纹和桥连等。检测时可使用各种电气测量仪，检测导通不良及在钎焊过程中引起的元器件热损坏。传统机器视觉检测的焊点质量测量一般是基于统计特征的，采集合格产品的图像，提取标准图像分类特征，进行统计建模，通过运用参考比较法从待测图像中提取特征和标准焊点图像进行分析比较，能检测的焊点缺陷有桥连(相邻焊点短路)、收锡(焊点偏向收缩于单个被焊物)、虚焊(焊点脱离焊盘)、焊珠(焊点附近溅附微小焊料球)、空洞(焊点中间有气泡)等缺陷。
然而，x射线和红外线激光检测虽然可以对多种类型的焊点进行检测，但由于设备价格昂贵，不适合大规模的应用。电气检测能有效地检查出目视检测所不能发现的微小裂痕和连桥等，但采用的离线检测不能及时反馈信息，同时也存在着效率低的缺点。传统视觉检测方法采用的基于统计特征的参考比较法对于焊锡过量、焊锡合适、焊锡少量的检测相对困难。且需对图像预先提取特征，然而，显式的特征提取并不容易，容易导致后期图像处理算法效率较低，在一些应用问题中也并非总是可靠，与生产流水线的速度不匹配。
综上所述，目前基于传感器焊接缺陷检测的方法并不完善。
有鉴于此，本申请提供了一种焊接缺陷检测方法，以通过训练多任务学习网络模型的方式，实现对焊接缺陷的检测，其检测方法简单，且检测精度高。
需要说明的是，本申请提供的焊接缺陷检测方法可以应用于电子设备100中，图1示出本申请实施例提供的电子设备100的一种示意性结构框图，电子设备100包括存储器102、处理器101和通信接口103，该存储器102、处理器101和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器102可用于存储软件程序及模块，如本申请实施例提供的焊接缺陷检测装置200对应的程序指令或模块，处理器101通过执行存储在存储器102内的软件程序及模块，从而执行各种功能应用以及数据处理，进而执行本申请实施例提供的焊接缺陷检测方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器102可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除可编程只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。
处理器101可以是一种集成电路芯片，具有信号处理能力。该处理器101可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，电子设备100还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
下面以电子设备100作为示意性执行主体，对本申请实施例提供的焊接缺陷检测方法进行示例性说明。
图2示出了本申请实施例提供的焊接缺陷检测方法的一种示意性流程图，可以包括以下步骤：
s102，构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像。
s104，构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息。
s106，利用样本数据集训练多任务学习网络模型。
s108，将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重。
s110，对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。
其中，本申请采用基于深度学习多任务学习网络模型进行焊接缺陷的检测，通过经过预处理的图像数据构建出样本数据集，然后利用样本数据集训练构建好的多任务学习网络模型，并依据决策融合模型确定多任务学习网络模型中至少两个子网络的权重，进而确定出适用的多任务网络模型及其相应的权重。当需要进行焊接缺陷的检测时，可以直接将采集到的相应焊点区域图形输入至该多任务学习网络模型中，该网络模型即可自动输出检测结果。
与现有技术相比，本申请提供的焊接缺陷检测方法方便快捷，且由于采用至少两个自网络进行检测，因此其检测精度更高，更加适于实用。
作为一种实现方式，请参阅图3，s102包括：
s1021，对预设的样本图像进行采集。
s1022，对采集的图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像。
s1023，对焊点区域图像进行缺陷位置与缺陷分类信息标注。
s1024，将缺陷位置与缺陷分类信息标注后的焊点区域图像进行数据增强处理，以构建样本数据集。
在构建样本数据集时，首先需要对样本图像进行采集，可选地，采集的样本图像中可以包括存在焊接缺陷的图像，也可以包括不存在焊接缺陷的图像。例如，样本图像的数量为500张，该500张图像中，可以包括未存在焊接缺陷的图像以及存在焊接缺陷的图图像。由于焊接缺陷包括多锡、少锡、缺焊以及短路等多种缺陷，为了使样本图像尽量丰富，选取的样本图像中需包括所有缺陷类型的图像，进而在后续的训练过程中的效果更佳。
例如，样本图像的数量为500张，其中可以包括，存在多锡缺陷的图像为100张，存在少锡缺陷的图像为100张，存在缺焊缺陷的图像为100张，存在短路缺陷的图像为100张，未存在缺陷的图像为100张。
针对采集的图像，需要对图像进行预处理，其中，需要先对图像进行增强处理，进行增强处理后的图像的显示效果更好，然后再进行图像分割。作为一种实现方式，可以采用中值滤波算法进行平滑额处理，然后通过灰度变换处理进行图像增强。对于增强后的图像，采用基于边缘方向梯度的模板匹配算法，快速定位到应变片位置和焊盘位置，从而分割出有效的焊点区域图像。需要说明的是，在使用基于边缘方向梯度的模板匹配算法时，实质为将增强后的图像与模板进行匹配，若能匹配，则分割出焊点区域图像；若不能匹配，则重新进行中值滤波与图像增强的过程，直至模板匹配成功。
由于焊接缺陷包括多锡、少锡、缺焊以及短路等类型，因此在进行训练之前，需要先对分割后的图像进行标注，其中，标注的数据包括缺陷位置与缺陷分类信息。
需要说明的是，由于在分割后的图像中包括没有焊接缺陷的图像，因此对于没有焊接缺陷的图像，也需要对其进行标注，例如标注为正常，表示该分割后的图像中未出现焊接缺陷。
可选地，工作人员可采用labelimg对分割后的图像进行标注，当然地，在其它的一些实施例中，也可以采用其它方式对分割后的图像进行标注，本申请对此并不做任何限定。
由于在训练过程中，样本数据集中的样本数量越大，其训练精度越高，因此，还需要对标注后的图像进行数据增强处理，进而构建样本数据更加完善的样本数据集。其中，本申请所述的数据增强，指扩大样本数据集中的样本数量，数据增强的处理方式包括但不限于将批注后的图像进行平移、旋转以及镜像等处理，进而使样本数据集中的数量更多。例如，批注的图像为500张，在进行数据增强处理后，样本数据集中的数量扩大为00张，进而以该00张图像作为样本数据集，以实现后续对网络模型的训练。
作为一种实现方式，s104包括：
s1041，构建包括主干网络、多标签分类子网络以及缺陷目标检测网络的多任务学习网络模型；其中，主干网络用于依据深度卷积神经网络提取待训练目标的特征向量；多标签分类子网络用于将特征向量经过自适应最大池化层与自适应平均池化层，得到两个一维张量，并将一维张量经过全连接层与激活函数，以获取每个缺陷分类信息的置信度，并选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息；缺陷目标检测网络用于将特征向量输入凸集单元与第一卷积，再经过第二卷积，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。
其中，焊接质量缺陷检测任务包含分类任务和检测任务。分类任务解决图像包含哪些缺陷的问题，由于一幅图像中包含多个焊点，可能存在多种缺陷，因此该分类问题属于多标签分类。检测任务要解决图像中的缺陷分类和定位问题，属于目标检测。因此，本申请提供了一种多任务学习网络模型，能够同时对缺陷位置与缺陷分类信息进行检测。
请参阅图4，本申请提供了一种示例性的多任务学习网络模型，其包括主干网络、多标签分类子网络以及缺陷目标检测网络，当然地，在其它的一些实施例中，子网络的数量可能更多，本申请对此并不做任何限定。
作为一种可选的实现方式，本申请提供的主干网络选用深度卷积神经网络darknet-53，如图所示，其能够对网络输出的8倍降采样特征图进行2倍上采样，将得到的特征图与第2个残差块输出的4倍降采样特征图进行张量拼接，从而得到4倍降采样的目标检测特征图，供后续两个任务分支网络共享使用。
多标签分类网络能够将上述的特征向量(即目标检测特征图)，分别经过自适应最大池化层和自适应平均池化层，得到的两个一维的张量，经过拼接，再经过全连接层和sigmoid激活函数，得到每个类别的置信度，选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息，从而判断图像中包含哪些种类的缺陷。可选地，该阈值可以设置为0.5。
缺陷目标检测网络将上述的特征向量(即目标检测特征图)，输入到凸集单元与第一卷积，再输入第二卷积，进而得出目标位置的回归预测和目标分类的概率预测，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。可选地，凸集单元可以为convset单元，第一卷积可以为conv3*3卷积，第二卷积可以为1*1卷积。
作为一种实现方式，请参阅图5，s106包括：
s1061，预设多任务学习网络模型的训练参数。
s1062，预设目标函数，以对至少两个子网络的任务损失进行正则化约束。
s1063，将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，并保存训练的过程中的训练参数。
s1064，当训练停止时，选取任务损失最小的训练参数作为目标训练参数。
当需要进行训练时，首先需要对多任务学习网络模型进行网络超参数设置。作为一种实现方式，可将多任务学习网络模型的参数设置为网络的输入为416×416大小的三通道彩色图像，训练时batch_size(批尺寸)设置为20，学习率设为0.001，衰减系数设为0.0005。
在设置训练参数后，还需要设置目标函数，对每项任务损失进行正则化约束。可选地，本申请采用高斯过程对多任务学习网络模型的失进行正则化约束。
作为一种实现方式，单项任务的损失函数为：
其中，loss表示损失函数，σ表示噪声，l(w)表示每项任务损失。由于本申请提供的对多任务学习网络模型中包括多标签分类子网络与缺陷目标检测网络，因此，该多任务学习网络模型的损失函数实际为两个子网络的任务损失之和。
即该对多任务学习网络模型的损失函数可以表示为：
其中，σ1与σ2均表示任务噪声，ltotal表示所述多任务学习网络模型总的任务损失，llabel与lobj分别表示至少两个子网络的任务损失。可以理解地，作为一种实现方式，llabel为多标签分类子网络的损失，σ1为多标签分类子网络的噪声；lobj为缺陷目标检测网络的损失，σ2为缺陷目标检测网络的噪声。
作为一种实现方式，设置多标签分类子网络的损失函数包括：
在多标签分类网络训练过程中，通过计算每个样本在各个标签上的损失，将其转换为每个标签二分类问题的损失。使用二分类交叉熵作为损失函数。
在此基础上，多标签分类子网络的损失函数满足公式：
其中，yi和
作为一种实现方式，缺陷目标检测网络的损失函数的公式可以为：
lobj＝lcoord+lconf+lclass
其中，lcoord为预测框中心和宽高误差，其计算公式如下：
其中，i表示第几个网格，一共有s*s个网格；j表示某个网格的第几个预测边框，一共有b个预测框；obj代表该框对应了真实物体；noobj代表该框没有真实物体。
lconf为置信度误差，其计算公式如下：
其中，
lclass为分类误差，其计算公式如下：
其中，
在设置训练参数与目标函数后，可将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，在训练网络中并保存模型的网络结构和参数。对多任务的训练，将任务权重作为网络参数进行学习，对每项任务的损失进行加权求和作为总网络的损失，采用随机梯度下降，动量因子为0.9，权重衰减系数为0.0001。本发明对网络进行500次epoch训练，保存过程中的部分模型。训练停止时，选取在测试集上表现最好的模型，并保存网络参数及各项任务的权重。作为一种实现方式，可以选取任务损失最小的模型作为训练好的模型，其对应的训练参数即为目标训练参数，可以理解地，该训练参数即为上述的网络参数及各项任务的权重。
作为一种实现方式，请参阅图6，s108包括：
s1081，将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，其中，测试结果中包括多个训练样本，且每个训练样本均对应一个样本置信度。
s1082，依据每个样本置信度与预设的置信度阈值的比较结果确定是否保留训练样本。
s1083，依据至少两个子网络对应保留的训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集。
s1084，利用第二测试集与第二训练集对决策融合模型进行测试，并以训练后的结果确定至少两个子网络的权重。
由于多任务学习网络模型包括两个子网络，因此其两个子网络均会输出预测结果。有鉴于此，还需要确定两个子网络输出的预测结果的权重，进而实现数据融合。
作为一种实现方式，本申请采用基于stacking的决策融合模型，模型采用mutilabel-knn作为预测算法，进而确定出两个自网络的输出结果的权重。
其中，在确定样本数据集时，实际可将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，分别记为p1，t1，p2，t2，其中，p表示训练集预测结果，t表示测试集预测结果，进一步，p1表示多标签分类子网络的训练集预测结果，t1表示多标签分类子网络的测试集预测结果，p2表示缺陷目标检测网络的训练集预测结果，t2表示缺陷目标检测网络的测试集预测结果。可以理解地，p1，t1，p2，t2均包括多个训练样本对应的结果。
其中，对缺陷目标检测子网络的预测结果为(x′，y′，w′，h′，c′)，先按照焊点位置和大小的先验知识，设定几组目标位置和宽高阈值(x，y，w，h，c)，其中x，y表示焊点所在位置横纵坐标，w，h表示焊盘区宽高，c为预设的置信度阈值，取0.5为初始值。若的预测结果中的置信度c′若大于置信度阈值c，则进一步计算预测框与各先验位置的欧式距离，如果计算的欧式距离超出设定阈值，则从p2或t2中去除该项训练样本。其中，欧式距离公式为
通过上述处理后，可筛选出部分训练样本，同时，将剩余训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集，并通过第二训练集与第二测试集对决策融合模型进行测试，以依据训练后的结果确定至少两个子网络的权重。
作为一种实现方式，预设初始权重值可以为w1，w2，分别把p1，p2以及t1，t2乘以初识权值w1，w2，再分别合并，进而可以得到第二训练集train2与第二测试集test2。其中，第二训练集train2与第二测试集test2可以表示为：
可选地，当利用第二训练集train2与第二测试集test2训练决策融合模型时，采用mutilabel-knn作为算法预测规则，预测最终标签结果，其预测过程如图7所示。
在进行训练后，可设置权重调整策略，根据测试集的验证数据不断迭代子任务的权重wi，通过引入奖惩因子
在上述多任务学习网络模型与决策融合模型均训练完成后，可通过搭建在生产流水线上的视觉设备，例如光源、工业相机或镜头等设备，采集称重传感器的产品图像，然后对该产品图像进行预处理与图像分割，得到待检测的图像。
将上述待检测的图像放入多任务学习网络模型进行缺陷检测，经过决策融合系统，输出并保存预测结果。当产品合格时，输出产品合格信号；当产品不合格时输出不合格信号，并标记出缺陷位置和缺陷类型。
基于与上述焊接缺陷检测方法相同的发明构思，请参阅图8，本申请还提供了一种焊接缺陷检测装置200，该焊接缺陷检测装置200包括数据集构建模块210、网络模型构建模块220、训练模块230、权重确定模块240以及测试结果输出模块250。其中，
数据集构建模块210，用于构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像。
可以理解地，通过数据集构建模块210能够执行上述的s102。
网络模型构建模块220，用于构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息。
可以理解地，通过网络模型构建模块220能够执行上述的s104。
训练模块230，用于利用样本数据集训练多任务学习网络模型。
可以理解地，通过训练模块230能够执行上述的s106。
权重确定模块240，用于将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重。
可以理解地，通过权重确定模块240能够执行上述的s108。
测试结果输出模块250，用于对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。
可以理解地，通过测试结果输出模块250能够执行上述的s110。
其中，请参阅图9，数据集构建模块210包括：
数据采集单元211，用于对预设的样本图像进行采集。
可以理解地，通过数据采集单元211能够执行上述的s1021。
图像处理单元212，对采集的图像进行图像增强处理，并对增强后的图像进行图像分割，以分割出焊点区域图像。
可以理解地，通过图像处理单元212能够执行上述的s1022。
缺陷标注单元213，用于对焊点区域图像进行缺陷位置与缺陷分类信息标注；
可以理解地，通过缺陷标注单元213能够执行上述的s1023。
数据增强单元214，用于将缺陷位置与缺陷分类信息标注后的焊点区域图像进行数据增强处理，以构建样本数据集。
可以理解地，通过数据增强单元214能够执行上述的s1024。
其中，网络模型构建模块220用于构建包括主干网络、多标签分类子网络以及缺陷目标检测网络的多任务学习网络模型；其中，主干网络用于依据深度卷积神经网络提取待训练目标的特征向量；多标签分类子网络用于将特征向量经过自适应最大池化层与自适应平均池化层，得到两个一维张量，并将一维张量经过全连接层与激活函数，以获取每个缺陷分类信息的置信度，并选取置信度大于阈值的类别作为分类结果，以输出缺陷分类信息；缺陷目标检测网络用于将特征向量输入凸集单元与第一卷积，再经过第二卷积，以输出缺陷位置的回归预测值和缺陷的分类的概率预测值。
请参阅图10，训练模块230包括：
参数预设单元231，用于预设多任务学习网络模型的训练参数。
可以理解地，通过参数预设单元231能够执行上述的s1061。
参数预设单元231，还用于预设目标函数，以对至少两个子网络的任务损失进行正则化约束。
可以理解地，通过参数预设单元231能够执行上述的s1062。
模型训练单元232，用于将样本数据集输入多任务学习网络模型，并依据训练参数与目标函数对多任务学习网络模型进行训练，并保存训练的过程中的训练参数。
可以理解地，通过模型训练单元232能够执行上述的s1063。
参数确定单元233，用于当训练停止时，选取任务损失最小的训练参数作为目标训练参数。
可以理解地，通过参数确定单元233能够执行上述的s1064。
其中，请参阅图11，权重确定模块240包括：
结果获取单元241，用于将样本数据集划分为第一训练集与第一测试集，并将多任务学习网络模型分别在第一训练集与第一测试集上进行预测，并获取测试结果，其中，测试结果中包括多个训练样本，且每个训练样本均对应一个样本置信度。
可以理解地，通过结果获取模块能够执行上述的s1081。
样本确定单元242，用于依据每个样本置信度与预设的置信度阈值的比较结果确定是否保留训练样本。
可以理解地，通过样本确定单元242能够执行上述的s1082。
数据处理单元243，用于依据至少两个子网络对应保留的训练样本与预设初始权重值相乘后进行和合并，以获取第二训练集与第二测试集。
可以理解地，通过数据处理单元243能够执行上述的s1083。
权重确定单元244，用于利用第二测试集与第二训练集对决策融合模型进行测试，并以训练后的结果确定至少两个子网络的权重。
可以理解地，通过数据处理单元243能够执行上述的s1084。
综上所述，本申请实施例提供了一种焊接缺陷检测方法、装置、电子设备以及存储介质，通过构建样本数据集；样本数据集包括多张包含焊点区域且经过预处理的图像，然后构建多任务学习网络模型，其中，多任务学习网络模型包括至少两个子网络，至少两个子网络均用于同时检测缺陷位置信息与预测缺陷分类信息，再利用样本数据集训练多任务学习网络模型，再将训练后的多任务学习网络模型输出的预测结果输入决策融合模型，以依据决策融合模型确定至少两个子网络的权重，最后对焊点区域图形进行采集，将采集后的图像输入训练好的多任务学习网络模型，并依据决策融合模型确定的权重输出预测结果。本申请能够通过训练多任务学习网络模型的方式，最终实现对焊点区域进行缺陷位置信息与缺陷分类信息的检测。一方面，其检测方式更加简单，在训练完成后，只需将焊点区域的图片输入该网络模型，即可输出相应的结果。另一方面，由于多任务网络模型中包括至少两个子网络，因此其预测精度更高，效果更好。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和或流程图中的每个方框、以及框图和或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
- 还没有人留言评论。精彩留言会获得点赞！