一种快速的QFN芯片引脚图像获取与放大方法与流程

本发明专利属于图像处理算法设计领域，涉及一种针对qfn(quadflatno-leads，方形扁平无引脚)封装形式芯片的引脚面图像获取与图像放大方法。

背景技术：

qfn(quadflatno-leads，方形扁平无引脚)是一种焊盘尺寸小、体积小、以塑料为密封材料的新兴表面贴装芯片封装技术。封装底部引脚面中心位置有一大面积裸露焊盘用于导热，具有极佳的电性能与热性能，因此被广泛应用于手机、数码相机等便携小型电子设备的高密度印刷电路板。qfn封装芯片其引脚表面产生的如擦痕、划痕、缺损等缺陷，将直接影响到芯片的稳定性与耐久性。因此需要通过检测设备对qfn芯片引脚表面进行必要的视觉质量检测，而这个任务通常是由自动化的半导体测试设备完成。在进行视觉质量检测时，一定量的qfn芯片通过料盘承载，料盘中的芯片以行为单位由真空吸嘴吸起，移动至环形led光源的中心位置，由光源下方的相机完成图像的拍摄，如图1所示。完成芯片引脚面图像拍摄后，再由真空吸嘴送回料盘。要对所有qfn芯片引脚表面进行准确而快速的表面缺陷检测，首先要从如图2a所示的包含多幅qfn芯片引脚面图像的料盘图像，以下简称为多幅引脚图像中提取出所有单幅qfn芯片引脚图像，以下简称为单幅引脚图像，并进行适当的预处理，形成单幅的、缺陷特征突出的qfn芯片引脚图像，如图2b所示，然后依据这些单幅引脚图像进行后续的缺陷分割与分类识别。为了能清晰展示各图效果，将背景设置成了灰色。现有的针对qfn芯片研究，主要集中在qfn芯片制造与封装工艺，如申请号cn201310650663.3、cn201510408608.2，以及适用于qfn芯片表面缺陷图像分割算法，如申请号cn201410649123.8、wang等于2009年wang等针对qfn芯片引脚面溢胶、熔化两种缺陷提出的快速分割和分类算法；陈恺等于2014年提出的萤火虫算法优化最大二维kapur熵的多阈值图像分割算法。然而没有查阅到与qfn芯片引脚图像提取与图像放大技术相关的文献与专利，因此设计一种快速的qfn芯片引脚图像提取与放大方法，填补这一方面研究的缺失、对于后续高精度的qfn芯片表面缺陷在线检测显得尤为重要。

技术实现要素：

1、要解决的技术问题

本发明针对现有文献在qfn芯片引脚图像快速提取与放大方面研究的缺失，提出了一种快速的qfn芯片引脚图像获取与放大方法。

2、技术方案

本发明的目的主要通过以下的技术方案来实现。

本发明的一种快速的qfn芯片引脚图像获取与放大方法，包括以下步骤：

(1)多幅引脚图像的图像预处理，具体包括：

(1.1)多幅引脚图像的图像滤波：

取以图像中某像素点为中心的邻域内所有像素统计排序中值作为该像素的滤波输出，计算式如下：

g(x,y)＝med{f(x-k,y-l),(k,l∈w)}

其中f与g分别为输入像素与输出像素值，w为邻域窗口；

(1.2)多幅引脚图像的图像二值化处理；

使用固定阈值对图像进行二值化处理，计算式定义如下

其中固定阈值thr＝180；

(1.3)多幅引脚图像的数学形态学处理：

对于引脚图像的二值化结果，采用尺寸为3×3的矩形结构元素进行闭运算处理，达到填充芯片内部孔洞、连接并平滑芯片边缘的目的，计算式如下：

其中a为待处理的二值图像，b为结构元素。与aθb分别表示a被b膨胀与a被b腐蚀，a与b公共点组成的集合记为a∩b，a与b所有点组成的集合记为a∪b，ab＝{a+b|a∈a}表示集合a关于矢量b的平移；

(2)多幅引脚图像的连通区域标记与判定：

在对多幅图像进行形态学处理之后，接着对当前图像进行连通区域的属性分析，提取出符合芯片特征的连通区域，并将原输入图像中符合条件连通区域中的内容作为单幅芯片图像输出；

(3)单幅引脚图像的图像预处理，具体包括：

(3.1)单幅引脚图像的图像滤波：

对于单幅引脚图像，使用窗口为3*3的中值滤波，抑制图像采集系统产生的噪声，并为下一步图像二值化提供可靠的输入；

(3.2)单幅引脚图像的边缘检测：

单幅引脚图像经过图像滤波处理后，应用高斯滤波标准差σ＝3的canny算子进行边缘检测，得到的单幅引脚边缘图像；

(4)单幅引脚图像的旋转校正：

通过对芯片倾斜角度α的计算对单幅引脚图像进行旋转校正，并将经过旋转校正以后的单幅引脚图像存在的白边进行去除；

(5)单幅引脚图像的放大：

利用输入图像距离它最近的4×4邻域内采样点像素值做双三次插值，双三次插值使用采样点周围16个点做三次运算，得到更接近高分辨率图像的放大结果；

(6)当前单幅qfn引脚图像处理完毕，作为最终输出的单幅qfn引脚图像，以供后续高精度图像分割与缺陷分类识别使用；若当前还有符合条件的未处理的连通区域，则回到步骤(2)处理下一个符合条件的连通区域，否则当前多幅qfn芯片引脚图像处理完毕，进行下一幅qfn多幅引脚图像的处理。

进一步的，在所述步骤(2)中，所述连通区域的属性选定为区域长度regionlength、区域宽度regionwidth；在这两个几何属性上对所有连通区域进行判定，如下式，当两个几何属性同时处于预先设定的属性值上下限常量区间内，此连通区域即为符合条件的连通区域；

进一步的，在所述步骤(4)中，所述芯片倾斜角度α由以下计算式算出：

l²＝(lmax-x)²+x²

按芯片在水平方向偏移值x取两个解中的较小值，可求得

则芯片倾斜角度α计算式为

其中，lmax为用于承载芯片的托盘的承载口的最大尺寸，l为芯片尺寸，x为芯片在水平方向偏移值；

进一步的，在所述步骤(5)中，所述双三次插值算法在matlab环境下快速并行实现，其具体实现步骤为：首先在c++语言开发环境中，利用openmp技术编写基于多核cpu并行计算的双三次图像插值算法，通过多线程和多核cpu来加速传统串行的图像插值算法的执行；然后编写c++与matlab进行数据传递的接口函数；接着用matlab将算法与接口函数编译成mex动态链接库程序；最后在matlab算法中通过mex文件形式调用c++语言编写的图像插值算法，并集成到快速qfn芯片引脚图像获取与放大方法中，作为单幅引脚图像的放大方法。

3、有益效果：

与现有技术相比，本发明的一种快速的qfn芯片引脚图像获取与放大方法的有益效果在于：

本发明提出的一种快速qfn引脚图像获取与放大方法，是一种速度快、效率高的qfn引脚图像获取与放大方法，可用于qfn芯片引脚图像表面缺陷在线检测的图像获取与放大环节，为后续图像分割与缺陷分类识别提供高质量的单幅qfn芯片引脚图像。

附图说明

图1是qfn芯片视觉检测系统示意图；

图2a是视觉检测系统拍摄到的多幅qfn芯片引脚图像；

图2b是经过图像处理获取到的单幅qfn芯片引脚图像之一；

图3a-3f是本发明图像处理中的多幅引脚图像切分成单幅引脚图像结果；

图4a-4b是单幅引脚图像倾斜示意图；

图5a-5f是本发明图像处理中的单幅引脚图像旋转校正与优化结果图；

图6是本发明图像处理中的倾斜角度计算示意图；

图7是本发明快速qfn引脚图像获取与放大方法的流程图；

图8是快速双三次与传统双三次插值算法时间比较图示。

图中：1-芯片，2-真空吸嘴，3-光源，4-相机。

具体实施方式

在下文中，将参考附图对本发明的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本发明，并能够实施本发明。在不违背本发明原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

参照附图1-7，本发明公开了一种快速qfn芯片引脚图像获取与放大方法，以图2a、2b中尺寸分别为2048*2048，220*220的灰度图像作为本发明内容解释的对象，包括以下步骤。

(1)多幅引脚图像的图像预处理

(1.1)多幅引脚图像的图像滤波

为了提高芯片切分效果与精度，避免因图像采集环节产生的各种噪声干扰，首先对多幅引脚图像进行滤波窗口为3*3的中值滤波处理，经过中值滤波后的图像作为下一步图像处理的输入。中值滤波本质上是一种统计排序滤波器，取以图像中某像素点为中心的邻域内所有像素统计排序中值作为该像素的滤波输出，计算式如下：

g(x,y)＝med{f(x-k,y-l),(k,l∈w)}

其中f与g分别为输入像素与输出像素值，w为邻域窗口。作为一种典型的非线性滤波器，中值滤波相比传统平滑滤波器能在降噪的过程中能保护边缘，显著降低模糊效应。

(1.2)多幅引脚图像的图像二值化处理

多幅引脚图像，经过中值滤波后结果如图3b，因其背景色为白色，与目标引脚图像像素值差别较大，因此可以使用固定阈值对图像进行二值化处理，计算式定义如下

其中固定阈值thr＝180。应用上式处理滤波后图像，得到结果如图3c。

(1.3)多幅引脚图像的数学形态学处理

对于多幅引脚图像，观察图3c的二值化结果，芯片的矩形边界存在一些断裂，矩形内部存在一些孔洞。闭运算相比膨胀运算，在弥合狭窄间断、填充细小孔洞、平滑边界的同时，不会对物体的面积造成明显影响。因此对于引脚图像的二值化结果，采用尺寸为3×3的矩形结构元素进行闭运算处理，处理结果如图3d所示，达到填充芯片内部孔洞、连接并平滑芯片边缘的目的，计算式如下：

其中a为待处理的二值图像，b为结构元素。与aθb分别表示a被b膨胀与a被b腐蚀，a与b公共点组成的集合记为a∩b，a与b所有点组成的集合记为a∪b，ab＝{a+b|a∈a}表示集合a关于矢量b的平移。

(2)多幅引脚图像的连通区域标记与判定

在对多幅图像进行形态学处理之后，接着对当前图像进行连通区域的属性分析，提取出符合芯片特征的连通区域，并将原输入图像中符合条件连通区域中的内容作为单幅芯片图像输出。为了能快速、有效地将矩形芯片从背景中提取出，根据本发明实验对象芯片矩形特征，分析当前图像所有连通区域的几何及统计学属性。考虑到芯片引脚面图像与背景灰度值区分度较大，所以连通区域的属性选定为区域长度regionlength、区域宽度regionwidth。在这两个几何属性上对所有连通区域进行判定，如下式，当两个几何属性同时处于预先设定的属性值上下限常量区间内，此连通区域即为符合条件的连通区域。

经过对多幅图像所有连通区域判定后，得到的所有单幅芯片切分结果及原图切分后剩余图像展示分别如图3e、3f，其中矩形框标注了原始输入图像上符合条件的连通区域。

(3)单幅引脚图像的图像预处理

芯片在生产过程中存在尺寸公差，因此托盘的芯片承载口在设计时也会留有一定余量，以便所有芯片都能准确放置于承载口。这就导致芯片放置于承载口时存在一定程度的倾斜现象，如图4a、4b所示。因此在获得单幅芯片图像输出后，必须对图像进行必要的旋转校正与优化工作。要对单幅芯片的倾斜图像进行旋转校正，首先要获取到芯片在图像中的边缘，依据相应边缘所在直线计算倾斜角度，从而进行倾斜校正，对校正后的图像再进行必要的优化，作为最终的单幅芯片图像输出。

(3.1)单幅引脚图像的图像滤波

对于单幅引脚图像，使用窗口为3*3的中值滤波，抑制图像采集系统产生的噪声，并为下一步图像二值化提供可靠的输入。

(3.2)单幅引脚图像的边缘检测

单幅引脚图像经过图像滤波处理后，观察到引脚面与背景色区分度较大，且自身图像对比度较高，因此应用高斯滤波标准差σ＝3的canny算子进行边缘检测，得到的单幅引脚边缘图像如图5b。从图中可以看到，芯片引脚面外围轮廓边缘与内部引脚、焊盘边缘均已被准确检测出。

(4)单幅引脚图像的旋转校正

用于承载本文实验对象芯片的托盘，设其承载口最大尺寸为lmax*lmax，芯片尺寸为l*l，当芯片达到最大倾斜角度时，如图6所示，要求解此时芯片倾斜角度α与芯片在水平方向偏移值x，就转化为的简单的数学求解问题。

根据图6中标注的直角三角形关系，有

l²＝(lmax-x)²+x²

按芯片在水平方向偏移值x取两个解中的较小值，可求得

则芯片倾斜角度α计算式为

单幅引脚图像需要提取的直线集中在芯片的四边轮廓，以及中心焊盘与水平轮廓垂直或平行的直线。若芯片旋转偏差为0且芯片轮廓边缘与图像边界重合，这种情况下hough变换提取到的直线易受引脚表面产生的直线形状缺陷的干扰，计算到的倾斜角度会超出[0,α]区间。因此设定线段合并阈值12，线段最小长度阈值10对边缘检测结果图像直接进行hough变换提取最长直线，以倾斜角度区间[0,α]为限对图像进行旋转校正。当满足以上条件时，根据最长直线的倾斜角度对图像进行旋转校正。单幅引脚图像直线检测与旋转校正结果如图5d所示。

经过旋转校正以后的单幅引脚图像存在白边等无用像素需要去除。首先当前图像选用与多幅引脚切分时相同的二值化阈值，进行二值化处理，然后按照步骤(2)所述的连通区域判定要求，求取当前图像内容符合条件的连通区域，则原旋转校正图像在该连通区域内的部分即可作为最终优化后的图像输出，结果如图5f所示。

(5)单幅引脚图像的放大

双三次插值又称为立方卷积插值，利用输入图像距离它最近的4×4邻域内采样点像素值做三次插值。双三次插值使用采样点周围16个点做三次运算，可以得到更接近高分辨率图像的放大结果。双三次插值常采用如下式的三次多项式来逼近理论上的最佳插值函数sinx/x。

待插值点(x,y)的灰度值f(x,y)由其周围16个点的灰度值加权插值得到。假定与点(x,y)最近像素点坐标为(u,v)，且满足x＝u+i与y＝v+j，其中i,j∈[0,1)。则待插值点(x,y)的灰度值f(x,y)的计算式为：

本发明实现了matlab环境下的双三次图像插值算法的快速并行实现方法。首先在c++语言开发环境中，利用openmp技术编写基于多核cpu并行计算的双三次图像插值算法，通过多线程和多核cpu来加速传统串行的图像插值算法的执行。然后编写c++与matlab进行数据传递的接口函数。接着用matlab将算法与接口函数编译成mex动态链接库程序。最后在matlab算法中通过mex文件形式调用c++语言编写的图像插值算法，并集成到本发明的快速qfn芯片引脚图像获取与放大方法中，作为单幅引脚图像的放大方法。

(6)当前单幅qfn引脚图像处理完毕，作为最终输出的单幅qfn引脚图像，以供后续高精度图像分割与缺陷分类识别使用。若当前还有符合条件的未处理的连通区域，则回到步骤(2)处理下一个符合条件的连通区域，否则当前多幅qfn芯片引脚图像处理完毕，进行下一幅qfn多幅引脚图像的处理。

综上所述，本发明快速qfn芯片引脚图像获取与放大方法的实现流程，如图7所示。

将本发明提出的快速qfn芯片引脚图像获取与放大方法进行实验验证。

(1)单幅qfn芯片引脚图像获取实验

以从图像采集系统获取到的314张多幅引脚图像(尺寸均为2048*2048的灰度图像)为实验对象，以双核四线程cpu@2.4ghz、内存8gb、matlab2015b为实验环境。利用matlab多核计算机并行计算技术，使用4workers进行从多幅qfn芯片引脚图像提取单幅引脚图像并进行旋转校正实验，实验结果如表1。表中存储内容包括每次处理得到的多幅图像切分结果、剩余结果(如图3e、3f)、单幅图像切分结果、单幅图像旋转校正与优化结果(如图5a-5f)。从表中可知，单幅芯片引脚从切分到旋转校正与优化至最终输出，整个预处理时间仅需24.8ms。

表1多幅芯片图像切分与单幅芯片图像旋转校正与优化结果

(2)单幅qfn芯片引脚图像放大实验

双三次图像插值的快速实现基于matlab2015b与microsoftvisualstudio2013开发环境。以双核四线程cpu@2.4ghz、内存8gb为实验环境，以图5f单幅芯片引脚图像(213*213)为实验对象，使用基于matlab与c/c++的混合编程技术的双三次图像插值快速并行计算算法、传统串行双三次图像插值算法进行4倍的图像插值放大(放大至852*852)，执行50次比较不同算法所使用的平均计算时间，分别如表2、图8所示。以耗时最短的4线程为例，单幅引脚使用快速双三次与传统双三次图像插值算法相比，在计算时间上提升了288％。

表2单幅引脚图像插值算法时间比较

综上所述，本发明提出的一种快速qfn引脚图像获取与放大方法，是一种速度快、效率高的qfn引脚图像获取与放大方法，可用于qfn芯片引脚图像表面缺陷在线检测的图像获取与放大环节，为后续图像分割与缺陷分类识别提供高质量的单幅qfn芯片引脚图像。

尽管在上文中参考特定的实施例对本发明进行了描述，但是所属领域技术人员应当理解，在本发明公开的原理和范围内，可以针对本发明公开的配置和细节做出许多修改。本发明的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。