结构缺陷检测系统及结构缺陷检测方法与流程

本发明涉及器件检测技术领域，特别涉及一种结构缺陷检测系统及结构缺陷检测方法。

背景技术：

现有技术中，消费类电子产品比如手机、电脑、以及各种便携式移动设备在组装生产过程中需要对其中的各种微电子器件进行表面贴装器件贴装(surfacemounteddevice，简称smd)、卡扣按合、连接器插拔、激光焊接板材，胶水粘合各种辅料泡膜。例如，手机内部通常以pcb板为载体进行微电子器件的装配。在微电子器件装配的过程中，机械损伤、疲劳、蠕变和过热等原因都会引起产品的装配缺陷。常见的装配缺陷有脱粘、变形、压皱、划伤、裂纹、气孔、以及电子元件的损坏等。微电子器件的装配缺陷类型非常多样，部分装配缺陷是表面可见的，部分装配缺陷则是隐蔽在内部而无法直接检测到的，电子产品因为这些装配缺陷而引起的断裂或损坏，在断裂或损坏之前几乎没有什么先兆，因此其破坏、损坏具有突然性，对用户使用电子产品形成了安全隐患。因此对复杂、细小的电子器件装配缺陷进行无损检测十分重要。

现有技术中，物体表面的装配缺陷可以采用视觉方法进行检测，例如通过图像处理技术进行检测，常用的是自动光学检测(automaticopticinspection，简称aoi)方法。然而，发明人经研究发现，由于是自动光学检测仅仅对外观进行检测，其无法透视产品内部结构，也就不能对产品进行内部透视，因此无法检测到产品的所有实际缺陷。相对而言，现有技术中的x射线(x-ray)检测比自动光学检测能够更好地完成产品内部装配缺陷的探测、成像。但是，x射线存在放射性危害，同时，发明人经研究发现，对于复杂多层的内部结构，穿透型x射线难以区分产品内部的三维结构，在产品内部存在遮挡的区域无法准确定位出装配缺陷的位置，从而使得x射线检测在面对各种装配方式复杂的微电子器件pcb板的缺陷检测时无法达到很好的检测效果。

技术实现要素：

本发明的技术方案中，采用频率连续变化的声波信号从各个方向作用于被测物体的表面，被测物体的结构缺陷部位受简谐波作用而进行受迫振动，随着声波信号频率的不断增加，当某一声波信号的频率与被测物体内部缺陷部分的固有频率相等或接近时，缺陷处就会出现共振，此时振动的振幅最大，因此在物体表面缺陷部分将会出现较大的离面位移。

基于此，为解决现有技术中的技术问题，特提出了一种结构缺陷检测系统。

所述结构缺陷检测系统包括激光器、分光镜、扩束镜、半透半反镜、声波发生器、声波频率调节器、成像透镜、光电传感器、计算机；

其中，所述声波发生器连接至所述声波频率调节器，所述声波频率调节器连接至所述计算机；所述光电传感器连接至所述计算机；

具体地，所述计算机发出频率控制信号至声波频率调节器，所述频率控制信号经过声波频率调节器的数模(d/a)转换后传输至声波发生器；所述声波发生器发出频率控制信号相应的声波信号；

其中，所述激光器发出的激光经过分光镜、扩束镜、成像透镜、半透半反镜后构成了干涉光路；

具体地，所述干涉光路包括，所述激光器发出激光，所述激光首先经过所述分光镜分束后形成物光和参考光；所述物光经过所述扩束镜扩束后变成平行光投射到被测物体上；被测物体表面产生漫反射光，所述漫反射光先后经过所述成像透镜、所述半透半反镜的透射被所述光电传感器接收；所述参考光经过半透半反镜反射后被所述光电传感器接收；调节所述结构缺陷检测系统的光路使得所述物光和所述参考光的光程相等；所述参考光经过所述半透半反镜反射后，和所述漫反射光同时投射在所述光电传感器上形成散斑干涉场；所述散斑干涉场由所述光电传感器进行数字化处理后生成散斑图像；

其中，所述光电传感器将生成散斑图像传输至所述计算机；利用计算机计算散斑图像的相位变化，从而得到被测物体在不同频率声波激发下的振动波形分布；进一步地，还可以利用计算机计算被测物体在不同频率声波激发下的相位差图。

在一种实施例中，所述光电传感器为ccd光电传感器或者cmos光电传感器；

在一种实施例中，所述声波发生器为压控式声波发生器，包括功率放大器、扬声器。

此外，为解决现有技术中的技术问题，特提出了一种结构缺陷检测方法。

所述结构缺陷检测方法包括训练阶段及检测阶段；

所述训练阶段包括：

定义多个不同的检测状态，根据定义的检测状态对多个被测物体样品的不同缺陷进行分类，分类的结果作为神经网络输出层的输出特征；针对每类缺陷，分别获取1000幅及以上的被测物体样品的相位差图，构成用于训练神经网络的训练数据集，所述训练数据集中的检测状态与所述相位差图之间存在对应关系；

从所述训练数据集中提取多个相位差图及其对应的检测状态；将所述相位差图作为所述神经网络的输入特征，将所述检测状态作为所述神经网络的输出特征，利用所述输入特征、所述输出特征对所述神经网络进行训练，得到所述被测物体的相位差图与所述被测物体的缺陷之间关系的神经网络模型；

所述检测阶段包括：

获取被测物体的相位差图；

将获取的所述相位差图作为输入特征输入至所述神经网络中进行检测；

所述神经网络的输出层输出检测状态，所述检测状态为所述神经网络的输出特征。

在一种实施例中，所述定义的检测状态包括无缺陷、气孔、变形、其它缺陷。

在一种实施例中，所述神经网络为基于深度学习的深度神经网络。

在一种实施例中，获取所述相位差图具体包括：

声波发生器发出不同频率的声波信号；

激光器发出的激光形成干涉光路；所述干涉光路在光电传感器上形成散斑干涉场，所述散斑干涉场由光电传感器进行数字化处理后生成散斑图像，并传输至计算机；

当声波频率发生改变时，在不同声波频率下通过相移法获得的不同频率声波下被测物体表面形变的相位图，所述相位图之间相减便获得了不同声波频率下被测物体表面形变的相位差图。

在一种实施例中，所述干涉光路包括，激光器发出的激光首先经过分光镜分束后形成物光和参考光；所述物光经过扩束镜扩束后变成平行光投射到被测物体上；被测物体表面产生漫反射光，所述漫反射光先后经过成像透镜、半透半反镜的透射被光电传感器接收；所述参考光经过半透半反镜反射后，和所述漫反射光同时投射在光电传感器上形成散斑干涉场。

在一种实施例中，在训练阶段，针对每类缺陷获取多幅被测物体样品的相位差图的数量大于等于1000；所述多幅相位图的数量为大于等于3。

实施本发明实施例，将具有如下有益效果：

本发明中，被测物体内部缺陷受激振动后的微小形变通过照射到被测物体表面的相干激光干涉得到的散斑可以精细地测量和计算出相位差图，不需要对散斑图像进行相位重构还原物体的真实图像，而是直接计算干涉散斑随声波信号频率变化的振动位移，即能够间接地求解出被测物体在声波作用下主动应激后的受迫振动波形。声波的强度和频率可以设定一个较合适的范围来适应各种结构缺陷，物体的材料属性、结构分布以及不同器件连接装配的方式不同都会产生不同的振动信号分布，所述振动信号分布可以通过高精度的散斑图像进行相位差图的测量，再利用人工神经网络对缺陷发生的区域和缺陷类型进行检测和识别，本发明的技术方案是一种非接触、高精度、在线式、实时性的无损检测方法。

附图说明

下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中结构缺陷检测系统的示意图；

图2为本发明中当声波频率改变时获取相位差图的示意图；

图3为本发明中利用神经网络进行缺陷检测的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开了一种结构缺陷检测系统，所述结构缺陷检测系统包括：激光器1、分光镜2、扩束镜3、半透半反镜7、声波发生器4、声波频率调节器5、成像透镜6、光电传感器9、计算机8；其中，所述声波发生器4连接至所述声波频率调节器5，所述声波频率调节器5连接至所述计算机8；所述光电传感器9连接至所述计算机8；其中，所述声波发生器包括功率放大器、扬声器。

其中，激光器1的激光光源发出相干激光；所述相干激光首先经过分光镜2分束后形成物光和参考光；物光经过扩束镜3扩束后变成平行光投射到被测物体上，由此，包含了被测物体变形或振动信息的漫反射光经过成像透镜后被光电传感器9接收；

调节所述结构缺陷检测系统的光路使得物光和参考光的光程相等；其中，参考光经过半透半反镜7反射后，和所述漫反射光同时投射在光电传感器9上形成干涉，并形成散斑干涉场；所述散斑干涉场由光电传感器9进行数字化处理后生成灰度图像，所述灰度图像为散斑图像；

在一种实施例中，所述光电传感器为ccd光电传感器或者cmos光电传感器，利用光电传感器采用非成像的方法对干涉得到的散斑图像进行高速检测，而不需要复杂的光学镜头对散斑进行成像；

其中，所述光电传感器9采集到散斑图像后，将散斑图像传输至与所述光电传感器9相连接的计算机8；利用计算机8计算散斑图像的相位变化，从而得到被测物体在不同频率声波激发下的振动波形分布；

被测物体各个区域振动的波形主要受两方面的影响：第一，与声波发生器所激发的声波频率和被测物体缺陷引起的谐振相关；第二，与被测物体自身材料以及各种微电子器件的连接方式有关；利用上述信息可以有效地判断、检测装配过程中是否有变形、压皱、裂纹等不良缺陷。

所述计算机8发出频率控制信号至声波频率调节器5，所述频率控制信号经过声波频率调节器5的数模(d/a)转换后传输至声波发生器4；所述声波发生器4发出频率控制信号相应的声波信号。

在一种实施例中，所述声波发生器4为压控式声波发生器，包括功率放大器、扬声器；声波发生器4能够产生控制信号所要求的声波信号，通过所述功率放大器放大使声波信号能够满足缺陷检测任务所需要的频响和声强，并输送给扬声器发出相应的声波，从而实现了连续频率的宽带声波扫描。

在本发明中，被测物体内部结构缺陷能够被检测的原理是：由声波发生器输出频率连续变化的宽带声波信号，所述声波信号从不同的方向作用于被测物体的表面，被测物体内部的缺陷部位受到简谐波作用而进行受迫振动，随着声波信号频率的不断增加，当某一声波信号的频率与被测物体内部缺陷部位的固有频率相等或接近时，缺陷部位处就会出现共振现象，此时振动的振幅最大，因此在物体表面缺陷部分将会出现较大幅度的离面位移；同时，考虑到每种被测物体的结构安全，需要对激发的声波强度和激发位置进行有效设计，避免激发的声波强度过大而引起被测物体的损坏。上述这种方式被称为宽带声波扫描激振。

在宽带声波扫描激振的过程中，所述光电传感器持续拍摄物光与参考光干涉后形成的散斑图像，通过多幅散斑图像计算出被测物体在形变状态下的包裹相位分布图，利用图像处理技术从反映缺陷信息的相位分布变化图中检测和识别出所述被测物体的缺陷区域和非缺陷区域，从而对被测物体进行快速准确的缺陷检测处理。

在被测物体变形过程中需要通过改变所述结构缺陷检测系统的参考光路相位来拍摄多幅散斑图像；其中，所述散斑图像的数量为大于等于3；接着，通过相移法计算在当前激发声波频率下的被测物体表面相位分布，以下公式给出了相移法计算中的相位公式，其中φ(x,y)为相位分布，m为散斑图像的数量。

如图2所示为声波发生器发出的声波频率发生改变时，在不同声波频率下，例如f1、f2、f3的频率下通过相移法获得的不同频率声波情况下的相位图，所述相位图之间相减便能得到不同声波频率f下被测物体表面形变的相位差图，通过相位差图在不同区域分布上的异常情况可以判别缺陷是否存在以及缺陷的大致位置。

然而，通过载有缺陷信息的相位差图进行缺陷的自动识别，包括是否存在缺陷的判断、缺陷位置的判断和相关特征的判断，并不能很好地表征缺陷检测目标以及完成缺陷检测任务。

在本发明的技术方案中，公开了一种采用神经网络对能够间接反映结构缺陷的相位差图进行分类、训练、检测的方法；其中，所述神经网络为基于深度学习的深度神经网络；所述基于深度学习的深度神经网络可以通过无监督和有监督的学习方式由输入的相位差图中获得层级化的视觉特征，从而提供更为有效的缺陷检测方案。

获取相位差图：

在本发明的技术方案中，在训练与检测阶段都需要获取相位差图：

计算机发出频率控制信号至声波频率调节器，所述频率控制信号经过声波频率调节器的数模(d/a)转换后传输至声波发生器；所述声波发生器发出频率控制信号相应的声波信号；

同时，激光器的激光光源发出相干激光；所述相干激光首先经过分光镜分束后形成物光和参考光；物光经过扩束镜扩束后变成平行光投射到被测物体上，由此，包含了被测物体变形或振动信息的漫反射光经过成像透镜后被光电传感器接收；

调节光路使得物光和参考光的光程相等；其中，参考光经过半透半反镜反射后，和物光同时投射在光电传感器上形成干涉，并形成散斑干涉场；所述散斑干涉场由光电传感器进行数字化处理后生成灰度图像，所述灰度图像为散斑图像；

所述光电传感器采集到散斑图像后，将散斑图像传输至与所述光电传感器相连接的计算机；利用计算机计算散斑图像的相位变化，得到被测物体在不同频率声波激发下的振动波形分布；

在宽带声波信号扫描激振的过程中，所述光电传感器持续拍摄物光与参考光干涉后形成的散斑图像，通过多幅散斑图像计算出被测物体在形变状态下的包裹相位分布图；

在被测物体形变过程中需要通过改变所述结构缺陷检测系统的参考光路相位来拍摄多幅散斑图像；其中，散斑图像的数量为大于等于3；接着，计算机通过相移法计算在当前激发声波频率下的被测物体表面相位分布，如下公式给出了相移法计算中的相位公式，其中φ(x,y)为相位分布，m为采样的散斑图像的数量：

当声波发生器发出的声波频率发生改变时，在不同声波频率下通过相移法获得的不同频率声波下被测物体表面形变的相位图，所述相位图之间相减便获得了不同声波频率下被测物体表面形变的相位差图。

在训练阶段：

首先，定义多个不同的检测状态，根据定义的检测状态对多个被测物体样品的不同缺陷进行分类，分类的结果作为神经网络输出层的输出特征，即所述输出特征为检测状态；针对每类缺陷，分别获取1000幅及以上的被测物体样品的相位差图，构成用于训练神经网络的训练数据集，所述训练数据集中的检测状态与相位差图之间存在对应关系；

其中，定义无缺陷、气孔、变形、其它为检测状态，即所述输出特征包括无缺陷、气孔、变形、其它；

接着，从训练数据集中提取多个相位差图及其对应检测状态；将所述间接反映结构缺陷的相位差图作为神经网络输入层的输入特征，将检测状态作为神经网络输出层的输出特征，利用所述输入特征、输出特征对神经网络进行训练，得到所述被测物体的相位差图与所述被测物体的缺陷之间关系的神经网络模型。

在检测阶段：

获取被测物体的相位差图；

将获取的相位差图输入至神经网络的输入层中进行检测，其中，所述相位差图为神经网络的输入特征；

所述神经网络的输出层输出检测状态，其中所述检测状态为神经网络的输出特征；所述检测状态包括无缺陷、气孔、变形、其它。

对于本发明的技术方案来说，针对不同的应用场合和不同的产品缺陷类型，可以改变外界的激发方式，除了本发明实施例中的宽带声波扫描激振加载之外，还可以采用热加载、真空加载、电磁激振加载等各种方式，通过分析变形的情况，从而获得缺陷的相关信息。部分被测物体的缺陷特征和分布非常复杂，外界激发源加载的参数，比如加载时间、强度、均匀性都是所述结构缺陷检测系统可以调节的参数。

实施本发明实施例，将具有如下有益效果：

本发明的技术方案能够检测消费电子产品内部复杂、细小电子器件的装配缺陷，是一种非接触、高精度、在线式、实时性的无损检测方法。

本发明的技术方案通过主动的声波激发被测物体引起受迫振动，可检测各种工程机械及设备的变形、振动、冲击、刚度和强度等特性，对产品品质检验和生产过程最优化参数控制来说是一种有利的检测工具。

本发明的技术方案可以通过监测物体随激发源改变而发生的位移变化以及变形，实现对激光焊接、胶水粘接质量、以及复合材料的粘接质量的快速、在线检测，有效地表征和评价结构的粘接质量，评估加载时间与变形之间的关系。

本发明的技术方案可以进行物体结构特性的分析，从而使其应用场合更为广泛，比如工业生产设备运行状态的监控、气体泄漏的监控、设备加工部件的变形监控等，上述监控结果可以用于物联网行业的工业大数据分析。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。