一种半导体锡球的3D检测系统和方法与流程

一种半导体锡球的3d检测系统和方法
技术领域
1.本发明涉及3d视觉检测技术，特别是涉及一种半导体锡球的3d检测系统和方法。


背景技术：

2.随着科技发展，对各种工件和零件的测量精度和效率要求越来越高，尤其在半导体制造业中对检测的要求也是越来越苛刻。影像测量将影像测量技术、光学技术、控制技术与软件技术完美结合，实现产品的无接触精准测量，由于其非接触特性，是许多表面要求高的产品检测的首选。全自动影像测量具有高度智能化与自动化特点，让整个测量过程变得简单而轻松。通过简单的编程，自动影像测量可以轻松学会操作员的所有实操过程，具有高精度重复性。从而使操作人员从疲劳的精确目视对位，频繁选点、重复走位、功能切换等单调操作和日益繁重的待测任务中解脱出来，成倍地提高工件批测效率，满足工业抽检与大批量检测的需要。
3.公开号为cn208921053u的中国实用新型专利公开了.一种用于具有焊点锡球的电路板的检测设备，包括安装台、检测单元和动力单元，所述动力单元用于驱动所述检测单元相对所述焊点锡球在平面内运动，所述检测单元包括3d相机，所述安装台包括用于承接所述具有焊点锡球的电路板的承载部，所述安装台上设置有立板，所述动力单元设置在所述立板上，所述3d相机设置在所述动力单元上，所述3d相机位于所述动力单元靠近所述焊点锡球的一侧，所述安装台和所述立板均由大理石材料制成，所述检测单元还包括与所述3d相机电性连接并用于接收所述3d相机的反馈信号并获得所述焊点锡球的高度信息的控制装置。
4.公开号为cn 111429405 a的中国发明专利公开了一种基于3d cnn的pcb锡球缺陷检测方法，包括如下步骤：1)读取pcb板的三维重建模型，获取锡球平面的横截面并切割出检测的目标区域；2)对目标区域进行二值化与图像分割，得到单个的锡球图像数据；3)将步骤2)中获得的单个锡球图像数据分类为训练、验证和测试集；4)建立基于focal loss损失函数和triplet loss损失函数的线性组合的3d cnn网络，将所得数据输入建立的cnn进行训练，得到检测网络模型，用以检测pcb锡球缺陷。
5.现有技术中并没有实现半导体锡球的高度测量，从而提高测量效率的技术方案。


技术实现要素：

6.针对现有技术中存在的缺陷，本发明的目的在于提供一种半导体锡球的3d检测系统和方法，可以实现高速测量，从而提高测量效率。
7.为了达到上述目的，本发明所采用的具体技术方案如下：
8.一种半导体锡球的3d检测系统，包括
9.结构光控制模块，根据编程控制输出与3d相机同步的不同编码和不同光谱的高速频闪结构光；
10.3d相机标定模块，根据预设程序标定3d相机和结构光的内外参数；
11.多频光栅编码解码模块，根据编码生成多张多频光栅图案并通过结构光控制模块投影到半导体锡球上，对3d相机获取的图像进行解码，得到3d点云数据；
12.3d点云处理模块，利用预先训练的3d点云模型对3d点云数据进行滤波、去噪、分割和拟合处理；
13.软件处理模块，实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互，向所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块发送控制数据并接收反馈数据。
14.优选的，所述软件处理模块实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互具体指的是
15.所述软件处理模块基于软件ui设计、参数设计和cnc编程操作模块设计实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互。
16.优选的，所述结构光控制模块和多频光栅编码解码模块中的编码为格雷码；
17.分辨率m*n的n
‑
bit格雷码编码图像的生成公式为
[0018][0019]
其中表示不大于2
i
·
y
′
/n+0.5的最大整数，x
′
y
′
指在投影图像中的像素坐标，i表示格雷码编码中最低有效位到最高有效位的顺序；
[0020]
对格雷码编码图像进行取反操作，图像生成公式为
[0021][0022]
g
2i
(x
′
,y
′
)和g
2i+1
(x
′
,y
′
)按照i的取值顺序投向半导体锡球。
[0023]
优选的，还包括云端处理模块，与所述软件处理模块连接。
[0024]
优选的，根据预设程序标定3d相机和结构光的内外参数具体指的是
[0025]
标定3d相机和结构光的内外参数分为两部分，第一部分是3d相机自身的标定，主要标定3d相机的内参数；第二部分是对数字光投影仪的标定，主要标定数字光投影仪的外参数，即求出线结构光光束平面的位置参数，求出数字光投影仪的投影平面在3d相机坐标系的位置关系，最后利用三角测量原理实现图像坐标和空间坐标的转换；3d相机包括两个镜头，分别为两个镜头建立坐标系，p是三维空间中的一点，点p1(x1,y1)、p2(x2,y2)分别是p在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设p在第一个镜头对应的坐标系中的坐标为p(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为p(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(x1，y1)的关系为和是镜头在图像坐标上两个方向的像元尺寸，因此，同理可求出p(x2，y2，z2)。
[0026]
一种半导体锡球的3d检测方法，具体包括以下步骤：
[0027]
s1，根据预设程序标定3d相机和结构光的内外参数；
[0028]
s2，根据编程控制输出与3d相机同步的不同编码和不同光谱的高速频闪结构光；
[0029]
s3，根据编码生成多张多频光栅图案并投影到半导体锡球上，对3d相机获取的图像进行解码，得到3d点云数据；
[0030]
s4，利用预先训练的3d点云模型对3d点云数据进行滤波、去噪、分割和拟合处理，得到半导体锡球的3d检测结果。
[0031]
优选的，步骤s3中的编码为格雷码；
[0032]
分辨率m*n的n
‑
bit格雷码编码图像的生成公式为
[0033][0034]
其中表示不大于2
i
·
y
′
/n+0.5的最大整数，x
′
y
′
指在投影图像中的像素坐标，i表示格雷码编码中最低有效位到最高有效位的顺序；
[0035]
对格雷码编码图像进行取反操作，图像生成公式为
[0036][0037]
g
2i
(x
′
,y
′
)和g
2i+1
(x
′
,y
′
)按照i的取值顺序投向半导体锡球。
[0038]
优选的，步骤s4中预先训练的3d点云模型为基于云计算技术训练得到的3d点云模型。
[0039]
优选的，步骤s1具体包括以下步骤
[0040]
标定3d相机和结构光的内外参数分为两部分，第一部分是3d相机自身的标定，主要标定3d相机的内参数；第二部分是对数字光投影仪的标定，主要标定数字光投影仪的外参数，即求出线结构光光束平面的位置参数，求出数字光投影仪的投影平面在3d相机坐标系的位置关系，最后利用三角测量原理实现图像坐标和空间坐标的转换；3d相机包括两个镜头，分别为两个镜头建立坐标系，p是三维空间中的一点，点p1(x1,y1)、p2(x2,y2)分别是p在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设p在第一个镜头对应的坐标系中的坐标为p(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为p(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(x1，y1)的关系为和是镜头在图像坐标上两个方向的像元尺寸，因此，同理可求出p(x2，y2，z2)。
[0041]
本发明的有益效果在于：融合了3d相机的标定、多频光栅编码和解码、3d点云生成、自动控制等技术内容，是影像测量领域的发展趋势，可以广泛应用于3c和半导体等多种工业产品的测量，可以实现高速测量，从而提高测量效率。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1是本发明实施例提供的一种半导体锡球的3d检测系统的原理框图；
[0044]
图2是三角测量的原理示意图；
[0045]
图3是本发明实施例提供的一种半导体锡球的3d检测方法的流程图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
[0047]
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0048]
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0049]
如图1所示，本发明提出了一种半导体锡球的3d检测系统，包括
[0050]
结构光控制模块，根据编程控制输出与3d相机同步的不同编码和不同光谱的高速频闪结构光；结构光控制模块与数字光投影仪连接，控制数字光投影仪发出投影图像。
[0051]
在具体实施过程中，结构光控制模块的编码可从时域编码、空间编码、时间空间域混合编码的多种编码中选择一种或多种编码，在本发明的实施例中采用格雷码编码方式，即所述结构光控制模块和多频光栅编码解码模块中的编码可采用格雷码。
[0052]
分辨率m*n的n
‑
bit格雷码编码图像的生成公式为
[0053][0054]
其中表示不大于2
i
·
y
′
/n+0.5的最大整数，x
′
y
′
指在投影图像中的像素坐标，i表示格雷码编码中最低有效位到最高有效位的顺序，提高光栅数可有效地提高空间分辨率。
[0055]
为了进一步提高格雷码编码的抗干扰能力，对格雷码编码图像进行取反操作，图像生成公式为
[0056][0057]
g
2i
(x
′
,y
′
)和g
2i+1
(x
′
,y
′
)按照i的取值顺序投向半导体锡球。
[0058]
3d相机标定模块，根据预设程序标定3d相机和结构光的内外参数；
[0059]
标定3d相机和结构光的内外参数可以分为两部分，第一部分是3d相机自身的标
定，主要标定3d相机的内参数，以便实现纠正镜头畸变对成像的影响，3d相机的标定可采用平面法进行标定；第二部分是对数字光投影仪的标定，主要标定数字光投影仪的外参数，即求出线结构光光束平面的位置参数，求出数字光投影仪的投影平面在3d相机坐标系的位置关系，最后利用三角测量原理实现图像坐标和空间坐标的转换。3d相机包括两个镜头，分别为两个镜头建立坐标系，如图2所示，p是三维空间中的一点，点p1(x1,y1)、p2(x2,y2)分别是p在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设p在第一个镜头对应的坐标系中的坐标为p(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为p(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(x1，y1)的关系为和是镜头在图像坐标上两个方向的像元尺寸，因此，同理可求出p(x2，y2，z2)。
[0060]
多频光栅编码解码模块，根据编码生成多张多频光栅图案并通过结构光控制模块投影到半导体锡球上，对3d相机获取的图像进行解码，得到3d点云数据；
[0061]
3d点云处理模块，利用预先训练的3d点云模型对3d点云数据进行滤波、去噪、分割和拟合处理；对3d点云数据进行滤波、去噪处理具体指的是针对系统特点，先去除平台平面，进一步限制半导体锡球的成像范围，然后利用统计滤波器去除明显离群点。
[0062]
软件处理模块，实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互，向所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块发送控制数据并接收反馈数据。
[0063]
本发明采用高频结构光，可以快速获取半导体锡球的3d图像的相关数据，对3d相机获取的图像进行解码，得到3d点云数据；利用预先训练的3d点云模型对3d点云数据进行滤波、去噪、分割和拟合处理，最终得到半导体锡球的检测结果。
[0064]
优选的，所述软件处理模块实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互具体指的是
[0065]
所述软件处理模块基于软件ui设计、参数设计和cnc编程操作模块设计实现所述结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块之间的数据交互。
[0066]
具体的，软件ui是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示结构光控制模块、3d相机标定模块、多频光栅编码解码模块、3d点云处理模块的运行参数、默认参数和自定义参数；cnc编程操作模块设计用于显示产品的运行状态和工业机器人/机械臂/plc的运行状态，还可向工业机器人/机械臂/plc发送控制信息。
[0067]
软件处理模块包括操作界面，操作界面还分为多个区域，包括但不限于模式切换区域、伺服控制区域、模式界面区域和功能选择区域，模式切换区域包括手动模式、自动模式、程序编辑和参数设置。
[0068]
优选的，还包括云端处理模块，与所述软件处理模块连接。云端处理模块可用于预选训练3d点云模型，减小本地终端的计算压力。
[0069]
如图3所示，本发明还提出了一种半导体锡球的3d检测方法，具体包括以下步骤：
[0070]
s1，根据预设程序标定3d相机和结构光的内外参数；
[0071]
标定3d相机和结构光的内外参数可以分为两部分，第一部分是3d相机自身的标定，主要标定3d相机的内参数，以便实现纠正镜头畸变对成像的影响，3d相机的标定可采用平面法进行标定；第二部分是对数字光投影仪的标定，主要标定数字光投影仪的外参数，即求出线结构光光束平面的位置参数，求出数字光投影仪的投影平面在3d相机坐标系的位置关系，最后利用三角测量原理实现图像坐标和空间坐标的转换。3d相机包括两个镜头，分别为两个镜头建立坐标系，如图2所示，p是三维空间中的一点，点p1(x1,y1)、p2(x2,y2)分别是p在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设p在第一个镜头对应的坐标系中的坐标为p(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为p(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(x1，y1)的关系为和是镜头在图像坐标上两个方向的像元尺寸，因此，同理可求出p(x2，y2，z2)。
[0072]
s2，根据编程控制输出与3d相机同步的不同编码和不同光谱的高速频闪结构光；
[0073]
s3，根据编码生成多张多频光栅图案并投影到半导体锡球上，对3d相机获取的图像进行解码，得到3d点云数据；
[0074]
步骤s2和s3中的编码可从时域编码、空间编码、时间空间域混合编码的多种编码中选择一种或多种编码，在本发明的实施例中采用格雷码编码方式。
[0075]
分辨率m*n的n
‑
bit格雷码编码图像的生成公式为
[0076][0077]
其中表示不大于2
i
·
y
′
/n+0.5的最大整数，x
′
y
′
指在投影图像中的像素坐标，i表示格雷码编码中最低有效位到最高有效位的顺序，提高光栅数可有效地提高空间分辨率。
[0078]
为了进一步提高格雷码编码的抗干扰能力，对格雷码编码图像进行取反操作，图像生成公式为
[0079][0080]
g
2i
(x
′
,y
′
)和g
2i+1
(x
′
,y
′
)按照i的取值顺序投向半导体锡球。
[0081]
s4，利用预先训练的3d点云模型对3d点云数据进行滤波、去噪、分割和拟合处理，得到半导体锡球的3d检测结果。对3d点云数据进行滤波、去噪处理具体指的是针对系统特点，先去除平台平面，进一步限制半导体锡球的成像范围，然后利用统计滤波器去除明显离群点。
[0082]
步骤s4中预先训练的3d点云模型为基于云计算技术训练得到的3d点云模型，减小
本地终端的计算压力。
[0083]
本发明的有益效果在于：解决了半导体锡球3d的测量问题，而是把影像测量技术和半导体锡球3d测量完美融合在一台机器上，从而使影像测量设备提升到了一个新高度。融合了3d相机的标定、多频光栅编码和解码、3d点云生成、自动控制等技术内容，是影像测量领域的发展趋势，可以广泛应用于3c和半导体等多种工业产品的测量，可以实现高速测量，从而提高测量效率。
[0084]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。