产品质量检测方法及装置与流程
本发明涉及自动检测技术领域，尤其涉及一种产品质量检测方法及装置。
背景技术：
在电子器件的制造过程中，焊接是一种常见且重要的工序。由于生产环境、生产设备以及生产工艺等多方面因素的影响，在焊接过程中不可避免地会出现各种缺陷，并有可能会进一步导致产品质量出现问题。实际生产中，常见的缺陷包括焊点小、漏焊等等。
伴随着生产线上对加工工艺的严格要求，对电子器件缺陷的检出能力也提出了更高的要求。因此，如何准确地识别出电子器件是否存在缺陷就显得尤为重要。
技术实现要素：
有鉴于此，本发明实施例提供一种产品质量检测方法及装置，用以减小检测设备计算压力的同时提高缺陷类型确定的准确性。
第一方面，本发明实施例提供一种产品质量检测方法，包括：
获取在第一光源下拍摄设备拍摄的对应于待检测产品的第一图像和第二图像；
获取在第二光源下所述拍摄设备拍摄的对应于所述待检测产品的第三图像和第四图像，其中，所述第一图像和所述第三图像对应于第一视角，所述第二图像和所述第四图像对应于第二视角；
根据所述拍摄设备拍摄的图像生成对应于所述待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；
若根据所述点焊区域确定出所述待检测产品无缺陷，则获取所述拍摄设备在第三视角拍得的所述待检测产品的第五图像；
根据第一分类模型对所述第五图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；
根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。
第二方面，本发明实施例提供一种产品质量检测装置，包括：
获取模块，用于获取在第一光源下拍摄设备拍摄的对应于待检测产品的第一图像和第二图像；以及获取在第二光源下拍摄设备拍摄的对应于所述待检测产品的第三图像和第四图像，其中，所述第一图像和所述第三图像对应于第一视角，所述第二图像和所述第四图像对应于第二视角；
生成模块，用于根据所述拍摄设备拍摄的图像生成对应于所述待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；
所述获取模块，还用于若根据所述点焊区域确定出所述待检测产品无缺陷，则获取所述拍摄设备在第三视角拍得的所述待检测产品的第五图像；
分类模块，用于根据第一分类模型对所述第五图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；
缺陷类型确定模块，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。
本发明实施例提供的产品质量检测方法，检测设备先获取拍摄设备在第一光源下拍得的待检测产品的第一图像、第二图像，再获取在第二光源下拍得的第三图像和第四图像，其中，第一、第三图像对应于第一视角、第二、第四图像对应于第二视角。然后，根据上述的多个图像生成对应于待检测产品的三维产品图像，此三维产品图像中包括待检测产品经过点焊工艺后形成的点焊区域。接着，检测设备根据三维产品图像中的点焊区域，对待检测产品进行初步检测。对于通过初步检测的待检测产品也即是初步检测确定不存在缺陷的待检测产品，则检测设备会进一步获取拍摄设备在第三视角拍得的第五图像，并利用第一分类模型对待检测产品进行再次检测也即是对第五图像进行分类识别，以得到包括至少一种缺陷类型的分类结果，分类结果具体可以为待检测产品具有各种缺陷类型的概率值。由于不同的缺陷类型具有不同的确认处理逻辑，因此，检测设备可以根据分类结果中的至少一种缺陷类型对应的确认处理逻辑来最终确定待检测产品对应的目标缺陷类型。
可见，本发明提供的产品质量检测方法是一个分步、多次的检测方法，即先根据待检测产品的三维产品图像对其进行初步检测。仅对通过初步检测的待检测产品进行再次检测，这样可以大大减小检测设备进行再次检测时的计算压力。然后，检测设备根据再次检测过程中得到的至少一种缺陷类型对应的确认处理逻辑最终确定出待检测产品具有哪种缺陷。在再次检测的过程中，使用的确认处理逻辑具有针对性。同时经过两次检测也可以进一步提高检测的准确率，并且初步以及再次检测过程中都不存在任何的人为干预。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种产品质量检测方法的流程图；
图2为图1实施例中步骤103的一种可选实现方式的流程图；
图3为拍摄设备光心位于待检测产品正中心时，测量模型建立的示意图；
图4为本发明实施例提供的一种可选地目标缺陷类型的确认处理逻辑；
图5为本发明实施例提供的对应于第二分类模型的训练数据的一种可选地确定方式；
图6为本发明实施例提供的一种产品质量检测装置的结构示意图；
图7为与图6所示实施例提供的产品质量检测装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述xxx，但这些xxx不应限于这些术语。这些术语仅用来将xxx彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一xxx也可以被称为第二xxx，类似地，第二xxx也可以被称为第一xxx。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明实施例提供的产品质量检测方法实施例一的流程图，本实施例提供的该产品质量检测方法的执行主体可以为检测设备，如图1所示，该方法包括如下步骤：
s101，获取在第一光源下拍摄设备拍摄的对应于待检测产品的第一图像和第二图像。
s102，获取在第二光源下拍摄设备拍摄的对应于待检测产品的第三图像和第四图像，其中，第一图像和第三图像对应于第一视角，第二图像和第四图像对应于第二视角。
产品在生产流水线上进行各道工艺加工后，都可以被拍摄设备拍摄，并根据拍得的图像确认经过各道加工工艺后的产品是否合格。
需要说明的是，本实施例以及下述各实施例涉及的待检测产品均可以为经过点焊工艺后的产品。在一个具体的点焊场景中，焊接设备可以借助引线将麦克风中的发音部件即音圈点焊在焊盘上。接着，拍摄设备会对点焊后成为一体的音圈和焊盘进行拍摄，从而得到下述的第一图像～第四图像，当然也可以得到下述的第五图像。
下面对拍摄设备和光源的设置、位置关系等相关内容进行说明。
可选地，拍摄设备的数量可以设置为两台，两台拍摄设备平行设置，两台拍摄设备所处的位置分别对应于待检测产品的第一视角和第二视角，这两个视角可以理解为是模拟人眼的两个视角，以便后续得到三维产品图像。并且拍摄设备之间的距离小于拍摄设备镜头到待检测产品的距离。可选地，拍摄设备具体可以为工业相机。另外，还可以设置有不同光源。第一光源可以是普通的照明光源，比如白炽灯、led灯等。第二光源可以是结构光光源，并且结构光光源用于向待检测产品上投射特定的预设图案。
基于上述描述，拍摄设备可以在第一光源开启时拍得的对应于第一视角的第一图像以及对应于第二视角的第二图像。在第二光源开启时，拍得对应于第一视角的第三图像以及对应于第二视角的第四图像。此时，拍摄设备可以直接将拍得的图像发送至检测设备。
可选地，为了保证后续三维产品图像生成的准确性，在利用拍摄设备对待检测产品进行拍摄前，还可以对拍摄设备进行标定也即是校准。
s103，根据拍摄设备拍摄的图像生成对应于待检测产品的三维产品图像，三维产品图像中包括待检测产品经点焊工艺后的点焊区域。
检测设备在得到上述的第一图像～第四图像后，可以根据其生成对应于待检测产品的三维产品图像。由于待检测产品是经过点焊工艺的，因此，生成的三维产品图像中自然也是包括点焊工艺后产生的点焊区域的。
三维图像的生成过程实际上就是一个三维建模过程，其可以采用现有技术中的任一种方式，比如利用建模软件进行建模，建模软件可以为3dmax、maya等；比如利用仪器设备进行建模，仪器设备具体可以为基于激光或结构光的三维扫描仪；再比如利用图像进行建模。当然，可选地，也可以将上述多种建模方式结合使用，本申请并不对建模方式进行限定。
另外，可选地，本发明还提供了一种将图像建模和仪器设备建模相结合的建模方式，也即是先利用仪器设备对待检测产品进行照射，然后拍摄照射时的图像，再进一步根据拍得的图像生成三维产品图像。具体的建模过程可以参见图2所示实施例中的相关描述。
s104，若根据点焊区域确定出待检测产品无缺陷，则获取拍摄设备在第三视角拍得的待检测产品的第五图像。
在得到待检测产品对应的三维产品图像后，检测设备还会进一步利用自身配置的测量模型对此三维产品图像中的点焊区域进行识别，以得到点焊区域的区域参数。检测设备可以根据此区域参数对待检测产品进行初步检测。其中，可选地，区域参数可以包括点焊区域内焊料的高度或者焊料的面积。其中，对于测量模型的建立过程，一种可选地方式，可以参见图3所示实施例中的相关描述。
当测量模型测量出的区域参数包括点焊区域的面积时，若面积小于预设面积，则确定待检测产品存在虚焊或引线翘起。若面积属于预设范围，则确定待检测产品无缺陷。若面积大于预设面积，则确定待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。
当测量模型测量出的区域参数包括点焊区域的高度时，若高度高于预设范围，则确定待检测产品存在虚焊或引线翘起。若高度属于预设范围，则确定待检测产品无缺陷。若高度低于预设范围，则确定待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。在实际应用中，高度的预设范围通常设置为0.5mm～0.7mm。
经过上述初步检测后，当检测设备确定出待检测产品存在某缺陷类型a时，表明此待检测产品未通过初步检测，则直接将此缺陷类型a确定为待检测产品的目标缺陷类型。其中，缺陷类型a可以为待检测产品经过点焊工艺后可能出现的任一种缺陷。
经过上述初步检测后，当确定待检测产品无缺陷时，表明此待检测产品通过初步检测，则拍摄设备会进一步从第三视角对此产品进行拍摄，以得到第五图像，其中，第三视角通常可以对应于待检测产品的中心，比如待检测产品的正上方，且第五图像中同样包括点焊区域。可选地，点焊区域可以包括引线、焊点和焊盘。然后，拍摄设备同样可以将第五图像发送至检测设备，以使检测设备获取到第五图像。
s105，根据第一分类模型对第五图像进行分类识别，以识别待检测产品对应的至少一种缺陷类型。
s106，根据至少一种缺陷类型对应的确认处理逻辑，确定待检测产品对应的目标缺陷类型。
接着，检测设备可以将获取到的第五图像输入至第一分类模型中，以使第一分类模型对图像进行分类识别，并输出分类结果。其中，可选地，分类模型可以输出待检测产品对应的至少一种缺陷类型，也即是输出的分类结果可以包括待检测产品具有各种缺陷类型的概率值。一种可选地分类结果形式：缺陷类型i：95％，缺陷类型ii：87％，缺陷类型iii：40％，缺陷类型iv：15％。此分类结果表明，待检测产品具有缺陷类型i、缺陷类型ii、缺陷类型iii以及缺陷类型iv的概率分别为95％、87％、40％和15％。
在得到待检测产品对应的至少一种缺陷类型后，则可以根据至少一种缺陷类型的具体内容以及对应的确认处理逻辑，进一步确定待检测产品的目标缺陷类似。为了本实施例以及下述各实施例的描述简洁，可以将待检测产品对应的至少一种缺陷类型中概率最高的缺陷类型称为第一备选缺陷类型，将待检测产品对应的至少一种缺陷类型中概率次高的缺陷类型称为第二备选缺陷类型。
基于此，可选地，一种最简单的方式，若第一备选缺陷类型为预设缺陷类型，则直接确定此第一备选缺陷类型为目标缺陷类型。若第一备选缺陷类型为非预设缺陷类型，则直接确定此第二备选缺陷类型为目标缺陷类型。
在此需要说明的是，在上述提及的点焊场景下，待检测产品有可能出现的缺陷类型可以包括以下几种：无缺陷、引线翘起、焊接有待检测产品的焊盘上无引线、虚焊、点化、引线存在偏移(具体包括引线内偏和引线外偏)、焊接有待检测产品的焊盘上存在多余引线(具体包括单残线、多残线和残线头)、焊点存在杂质或者待检测产品的外壳存在损伤。
其中，在实际生产中，引线翘起、无引线、虚焊、点化、引线外偏、引线内偏这几种缺陷可以认为是重度缺陷。具有重度缺陷的待检测产品通常会被生产线上的机械手夹出。单残线、双残线、残线头这几种缺陷可以认为是中度缺陷，其通常会被整版排出。具有中度缺陷的待检测产品通过人为处理后，还可以重新进行点焊工艺。焊点存在杂质或者待检测产品的外壳存在损伤这几种缺陷可以认为是轻度缺陷。这些轻度缺陷通通常是点焊设备造成的，其不影响产品性能，具有这种缺陷的产品会继续保留在生产线上，以进行下一步工艺。当一定时间段内具有这种轻度缺陷的产品数量大于阈值时，工人则会对点焊设备进行重新调试。
基于上述举例的多种缺陷类型，前述的预设缺陷类型通常可以是无缺陷。
本实施例中，提供了一个分步、多次的检测方法，即先根据待检测产品的三维产品图像对其进行初步检测。仅对通过初步检测的待检测产品进行再次检测，这样可以大大减小检测设备进行再次检测时的计算压力。然后，检测设备根据再次检测过程中得到的至少一种缺陷类型对应的确认处理逻辑最终确定出待检测产品具有哪种缺陷。在再次检测的过程中，使用的确认处理逻辑具有针对性。同时经过两次检测也可以进一步提高检测的准确率，并且初步以及再次检测过程中都不存在任何的人为干预。
另外，对于步骤105中提及的第一分类模型，其可以是采用深度学习的方式训练得到的分类模型。可选地，对于训练第一分类模型所使用的训练数据，可以根据如下过程得到：先获取到拍摄设备在第三视角对各类型缺陷的产品拍得的图像，此时，每个图像对应的缺陷类型是已知的。然后，再将这些图像转换为模型训练所支持的格式，比如tf-record格式，且每一张图像对应于一个tf-record格式的文件。将此格式的文件作为训练数据，以训练得到第一分类模型。可选地，对于得到的图像，可以根据缺陷类型，将属于同一缺陷类型的图像保存至一个文件夹内，并以文件夹为单位，对其中的图像进行格式转换。
此外，在实际应用中，第一分类模型训练的过程通常由处理设备来完成，比如计算机，而不同处理设备的处理能力也是参差不齐。因此，在对图像进行格式转换之前，还会根据设备的处理能力调整图像尺寸，以使其在保证图像信息不丢失的同时满足处理设备的处理能力。并且，对于处理能力较低的处理设备，由于其不能一次性处理大量的训练数据，因而在得到tf-record格式的文件之后，还可以按照预设数量将文件进行分组，以得到至少一组文件，并依次将每组文件作为训练数据，并最终训练得到第一分类模型。可选地，每一组文件中可以对应于全部或者部分的缺陷类型。
还需要说明的是，在进行第一分类模型训练的过程中，为了提高第一分类模型的分类准确度，可以使用如下的损失函数loss：loss＝α(1-p)γlog(p)。其中，α为预设系数，p为待检测产品具有某一缺陷类型的概率值，log(p)为交叉熵。
对于图1所示实施例的中生成三维产品图像的步骤103，可选地，一种具体实现方式可以如图2所示。
s201，根据第一图像和第二图像生成第一视差图。
具体来说，首先，检测设备采用匹配块算法(blockmatching，简称bm算法)、半全局块匹配算法(semi-globalblockmatching，简称sgbm算法)、绝对误差和最大算法(sumofabsolutedifferences，简称sad算法)中的任一种生成第一视差图。上述算法都是立体匹配算法中比较成熟的，因此其具体实现过程在此不再赘述。
s202，分别生成第三图像对应的第一包裹相位图以及第四图像对应的第二包裹相位图。
可选地，检测设备可以按照下述可选地方式生成第一相位包裹图和第二相位包裹图：
第一，对第三图像和第四图像进行二维离散傅里叶变换。
第二，对变换结果进行频域带通滤波，以分别滤除第三图像和第四图像中非预设图案的部分。
第三，分别对滤波后的图像进行二维离散傅里叶逆变换，以生成第三图像对应的第一包裹相位图和第四图像对应的第二包裹相位图。
需要说明的是，拍摄设备通常拍得的是彩色图像，本发明中提及的第一图像～第四图像均为对彩色图像进行处理后的灰度图像。
基于此，具体来说，首先对第三图像和第四图像进行二维离散傅里叶变换。经过变换后则可以到第三图像和第四图像各自对应的频域图像。频域图像可以直观的表示图像中灰度变化的剧烈程度。图像中频率越高的部分表明灰度变化越剧烈，反之则越平缓。
然后，再对变换后得到的两张频域图像进行带通滤波处理，其中，滤波器的滤波系数可以根据结构光光源的特定图像进行预先设定。经过滤波，只保留第三图像和第四图像中结构光光源向待检测产品投射的特定图案对应的部分。最终，对经过滤波处理后的两张图像进行二维离散傅里叶逆变换，从而分别得到第三图像对应的第一相位包裹图和第四图像对应的第二相位包裹图。
s203，根据第一视差图、第一包裹相位图和第二包裹相位图生成第二视差图。
s204，根据第二视差图生成对应于待检测产品的三维产品图像。
检测设备可以以步骤201中的第一视差图为约束条件，对第一包裹相位图和第二包裹相位图进行相位匹配，从而得到第二视差图。
其中，可选地，可以采用局部相位匹配的思想进行相位匹配。举例来说，可以先在第一相位包裹图中确定一个原始匹配点，此原始匹配点可以为第一相位包裹图中的任一图像点。由于第一、第二相位包裹图具有相同数量的图像点，因此，可以根据原始匹配点在第一相位包裹图中的位置，在第二相位包裹图中确定与此原始匹配点左右m个相邻的n个待匹配点，其中，m、n均为正整数。进一步地，分别计算n个待匹配点和原始匹配点之间的相位差，并确定最小相位差对应的待匹配点为与原始匹配点匹配的第一目标匹配点。对于原始匹配点和任一待匹配点之间的相位差，具体计算公式如下：
phasemin(tmin，y)＝min{abs(rightphase(x,y)-leftphase(x+d+i，y))}
其中，leftphase和rightphase分别为第一相位包裹图和第二相位包裹图中图像点的相位值，tmin＝x+d+i.，i＝0,±1,±2，...，tmin为与原始匹配点匹配的第一目标匹配点的横坐标。
当对第一相位包裹图中的每个图像点都进行上述相位匹配后，即可以得到像素级的第二视差图。检测设备则可以根据此第二视差图生成三维点云图，此三维点云图即可以理解为待检测产品的三维产品图像。
此外，为了提高三维产品图像的精细度，在步骤204之前，还可以包括以下步骤：对第二视差图进行平滑处理，以生成第三视差图。则图2中的步骤204相应地变为：根据第三视差图和标定矩阵生成对应于待检测产品的三维产品图像。其中，标定矩阵即为在拍摄前对拍摄设备进行标定后得到的。
可选地，可以运用线性比例关系对第二视差图进行精细化处理，以得到亚像素级的视差图即第三视差图。这一过程主要可以分为以下两种情况来求解：
第一相位包裹图和第二相位包裹图中具有相同数量的图像点，为了描述简洁，将在第一相位包裹图中与目标匹配点具有相同位置的图像点称为参考匹配点。则在上述相似匹配过程中，得到的目标匹配点无外乎两种情况，一种是目标匹配点位于参考匹配点右边，另一种是位于目标匹配点位于参考匹配点左边。
当目标匹配点位于参考匹配点右边时，可以采用以下公式进行平滑处理：
tsub＝[leftphase(tsub,y)-leftphase(t,y)]*[(tmin-t)+t]/[leftphase(tmin,y)-leftphase(t,y)].
当目标匹配点位于参考匹配点左边时，可以采用以下公式进行平滑处理：
tsub＝[leftphase(tsub,y)-leftphase(tmin,y)]*[(t-tmin)+tmin]/[leftphase(t,y)-leftphase(tmin,y)
其中，t为参考匹配点的横坐标，tsub为第二目标匹配点的横坐标。第二目标匹配点属于亚像素级。
最终由经过平滑处理的亚像素级的点构成第三视差图。
另外，上述图1实施例步骤103中已经涉及到，检测设备会根据自身配置的测量模型对待检测产品的三维产品图像中的点焊区域进行识别，以根据识别结果得到待检测产品的初次检测结果。
在通常情况下，拍摄设备的光心正对于待检测产品，也即是拍摄设备位于待检测产品的正上方，则在建立测量模型的过程中，除了上述提及的第二光源，还需要其他设备，比如多面转镜、高速电机等。其中，多面转镜在高速电机的驱动下旋转，多面转镜用于将结构光光源输出的结构光反射后投射在待检测产品表面。可选地，可以采用光学三角法按照以下方式建立测量模型。
具体来说，可以直接利用下述公式建立测量模型：
其中，如图3所示，oxyz为空间坐标系，uov为图像坐标系，图像坐标系对应于三维产品图像，
其中，由于第二光源发出的光线会被多面转镜发射投射到待检测产品上，在多面转镜随电机旋转的过程中，会在待检测产品表面形成测量条纹。θp为此任一图像点所在的测量条纹对应的角度。
通过上述公式可以得到三维产品图像中每个图像点的坐标，此坐标用于表示待检测产品的三维信息，得到三维信息也就相当于建立起了测量模型。
上述图1所示实施例的描述中，已经提到了多种类型的缺陷。并且第一分类模型确定出的至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型也有可能是上述多种缺陷类型中的任一种。除了图1所示实施例中提供的确定目标缺陷类型的方式之外，在实际应用中，如图4所示，检测设备根据至少一种缺陷类型确定目标缺陷类型的过程具体还可以为：
若至少一种缺陷类型中概率最高的缺陷类型即第一备选缺陷类型为无缺陷，并且此无缺陷对应的概率值大于或等于第一预设值，则直接确定此待检测产品的目标缺陷类型为无缺陷。其中，第一预设值通常设置为55％。
若第一备选缺陷类型为无缺陷，并且无缺陷对应的概率值小于第一预设值，则根据至少一种缺陷类型中概率值次高的缺陷类型即第二备选缺陷类型确定待检测产品对应的目标缺陷类型。
具体来说，若第二备选缺陷类型为虚焊，并且此虚焊对应的概率值小于第二预设值，则直接确定待检测产品对应的目标缺陷类型为第一缺陷类型。其中，虚焊具体可以表现为焊点小，第二预设值通常设置为25％。第二分类模型可以理解为是用以确定待检测产品是否存在虚焊的焊点小分类模型。
若第二备选缺陷类型为虚焊，并且虚焊对应的概率值大于或等于第二预设值，则将待检测产品对应的第五图像输入至第二分类模型，再根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。
具体来说，若第二分类模型确定出待检测产品存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，生产线上的机械手会将此产品夹出。若第二分类模型确定出待检测产品不存在虚焊，则将确定待检测产品无缺陷。
在上述如图4所示实施例中，提及了第二分类模型即焊点小分类模型。此模型的训练过程与第一分类模型相同，同样可以采用深度学习的方式。而此第二分类模型的训练数据，可选地，可以采用如下方式获得：
在具有各个缺陷类型的已识别产品对应的已识别图像中，获取缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像，此无缺陷以及虚焊分别对应着训练的正负训练数据。接着，生成对应于此已识别图像的语义分割图，语义分割图中同样使用不同的颜色来分别表示已检测产品经点焊工艺后的引线和焊点。在语义分割图中进一步获取引线对应的最小外接矩形和焊点对应的最小外接矩形。然后，根据语义分割图中引线和焊点各自对应的最小外接矩形确定已识别图像中的有效图像。最终以此有效图像为训练数据，训练得到第二分类模型。
一种有效图像确定的可选方式，如图6所示，将引线对应的最小外接矩形p拟合成一条直线l1，确定此直线l1与焊点对应的最小外接矩形n下底边的交点a。以此点a作为对称轴下顶点，确定一个预设长度为l的线段ab，并以直线l1为对称轴，做一个矩形m，此矩形的长与线段ab相同，并且，矩形m的宽也为预设值。最终在已识别图像中截取出对应于矩形m的一个有效图像，并将此有效图像作为训练数据，以训练得到第二分类模型。此有效图像在已识别图像中的位置与矩形m在语义分割图中的位置完全一致。
图6为本发明实施例提供的产品质量检测装置实施例一的结构示意图，如图6所示，该产品质量检测装置包括：获取模块11、生成模块12、分类模块13和缺陷类型确定模块14。
获取模块11，用于获取在第一光源下拍摄设备拍摄的对应于待检测产品的第一图像和第二图像；以及获取在第二光源下拍摄设备拍摄的对应于所述待检测产品的第三图像和第四图像，其中，所述第一图像和所述第三图像对应于第一视角，所述第二图像和所述第四图像对应于第二视角。
生成模块12，用于根据所述拍摄设备拍摄的图像生成对应于所述待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域。
所述获取模块11，还用于若根据所述点焊区域确定出所述待检测产品无缺陷，则获取所述拍摄设备在第三视角拍得的所述待检测产品的第五图像。
分类模块13，用于根据第一分类模型对所述第五图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型。
缺陷类型确定模块14，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。
可选地，该产品质量检测装置中的生成模块12具体包括：第一生成单元121、第二生成单元122、第三生成单元123和第四生成单元124。
第一生成单元121，用于根据所述第一图像和所述第二图像生成第一视差图。
第二生成单元122，用于分别生成所述第三图像对应的第一包裹相位图以及所述第四图像对应的第二包裹相位图。
第三生成单元123，用于根据所述第一视差图、所述第一包裹相位图和所述第二包裹相位图生成第二视差图。
第四生成单元124，用于根据所述第二视差图生成对应于所述待检测产品的三维产品图像。
可选地，该产品质量检测装置中的第一生成单元121具体用于：根据匹配块算法、半全局块匹配算法、绝对误差和最大算法中的任一种生成第一视差图。
可选地，所述第三图像和所述第四图像中包括所述第二光源照射所述待检测产品后产生的对应于所述第二光源的预设图案；
该产品质量检测装置中的第二生成单元122具体用于：对所述第三图像和所述第四图像进行二维离散傅里叶变换；对变换结果进行频域带通滤波，以分别滤除所述第三图像和所述第四图像中非所述预设图案的部分；以及分别对滤波后的图像进行二维离散傅里叶逆变换，以生成所述第三图像对应的第一包裹相位图和所述第四图像对应的第二包裹相位图。
可选地，该产品质量检测装置中的第三生成单元123具体用于：以所述第一视差图为约束条件，对所述第一包裹相位图和所述第二包裹相位图进行相位匹配，以得到第二视差图。
可选地，该产品质量检测装置还包括：标定模块21。
标定模块21，用于对所述拍摄设备进行标定，以得到标定矩阵。
可选地，该产品质量检测装置还包括：平滑处理模块22。
平滑处理模块22，用于对所述第二视差图进行平滑处理，以生成第三视差图。
该产品质量检测装置中的第四生成单元124具体用于：根据所述第三视差图以及所述标定矩阵生成对应于所述待检测产品的三维产品图像。
可选地，该产品质量检测装置还包括：测量模块23。
测量模块23，用于若所述三维产品图像中点焊区域的高度高于预设范围，则确定所述待检测产品存在虚焊或引线翘起；若所述三维产品图像中点焊区域的高度属于所述预设范围，则确定所述待检测产品无缺陷；以及若所述三维产品图像中点焊区域的高度低于所述预设范围，则确定所述待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。
可选地，该产品质量检测装置中的缺陷类型确定模块14具体用于：
若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值大于或等于第一预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。
可选地，该产品质量检测装置中的缺陷类型确定模块14具体用于：
若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。
可选地，该产品质量检测装置中的缺陷类型确定模块14具体用于：
若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值小于第二预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。
可选地，该产品质量检测装置中的缺陷类型确定模块14具体用于：
若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；以及根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。
图6所示装置可以执行图1～图5所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图5所示实施例中的描述，在此不再赘述。
以上描述了产品质量检测装置的内部功能和结构，在一个可能的设计中，产品质量检测装置的结构可实现为一电子设备。图7为本发明实施例提供的电子设备实施例一的结构示意图，如图7所示，该电子设备包括：存储器31，以及与存储器连接的处理器32，存储器31用于存储电子设备执行上述任一实施例中提供的产品质量检测方法的程序，处理器32被配置为用于执行存储器31中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器32执行时能够实现如下步骤：
获取在第一光源下拍摄设备拍摄的对应于待检测产品的第一图像和第二图像；
获取在第二光源下所述拍摄设备拍摄的对应于所述待检测产品的第三图像和第四图像，其中，所述第一图像和所述第三图像对应于第一视角，所述第二图像和所述第四图像对应于第二视角；
根据所述拍摄设备拍摄的图像生成对应于所述待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；
若根据所述点焊区域确定出所述待检测产品无缺陷，则获取所述拍摄设备在第三视角拍得的所述待检测产品的第五图像；
根据第一分类模型对所述第五图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；
根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。
可选地，处理器32还用于执行前述各方法步骤中的全部或部分步骤。
其中，电子设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1～图5所示方法实施例中产品质量检测方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！