专利名称：基于机器视觉的焊球表面缺陷检测装置与方法
技术领域：
本发明涉及一种光学检测技术领域的检测装置与方法，具体地说，涉及的 是一种基于机器视觉的焊球表面缺陷检测装置与方法。
背景技术：
随着芯片生产和4装技术的发展，传统的基于焊脚的芯片生产方式已经无 法满足要求，取而代之的是基于焊球的表面贴装技术，典型代表为球形栅格阵 列芯片BGA。作为重要的连接部件，焊球质量对芯片质量起着重要作用。由于焊 球体积微小，人工目测检测不仅效率低下，而且误检率很高，因此，出现了众 多焊球质量检测装置和方法。
经对现有技术的文献检索发现，中国专利公开号CN101136346，
公开日2008 年3月5日，专利名称 一种芯片焊点在线检测和缺陷辨识装置及芯片封装装 置，公开了一种基于热成像的检测装置，可以对贴装后的焊点进行在线检测， 但需要对芯片加热，同时需要红外热像仪，装置比较复杂。中国专利授权号 CN1306582C，授权日2007年3月21日，专利名称基于机器视觉的球栅阵列 半导体器件品质检测系统，公开了一种球栅阵列半导体器件品质光学检测方法， 但主要集中在对焊球高度、大小、形状和位置的检测，不能有效检测焊球表面 缺陷。焊球表面缺陷包括表面刮伤，表面坍陷，大的刮伤或塌陷会造成焊球接 触不良，影响芯片质量，因此有必要研究一种针对焊球表面缺陷的光学检测方 法。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于机器视觉的焊球表 面缺陷检测装置与方法，利用光学成像系统和图像采集系统获取焊球图像，通 过图像特征提取，概率神经网络分类，实现对焊球表面缺陷的无损检测。
本发明是通过以下技术方案实现的-
本发明所涉及的基于机器视觉的焊球表面缺陷检测装置包括光学成像系统、图像采集系统、图像分割模块、特征提取模块和概率神经网络模块。其中 所述光学成像系统采用黑白CCD摄像机采集芯片图像；
所述图像采集系统从黑白CCD摄像机接收集芯片图像，并传输至计算机， 使用软件触发采集信号，从光学成像系统输出的视频流信号中截取单帧灰度图 像，以二维整数矩阵的形式存储在计算机内存中；
所述图像分割模块以图像采集系统输出的二维整数矩阵为输入，将整幅图 像对应的二维整数矩阵分割为一个个包含单一焊球的子矩阵；
所述图像特征提取模块接收图像分割模块输出的二维整数子矩阵，通过对 该矩阵的处理，即图像特征提取，输出一个一维浮点数向量，该向量包含三个 元素，依次为图像的表面纹理熵，团块面积比和相似度比三个特征；
所述概率神经网络模块接收图像特征提取模块输出的一维浮点数向量，经 训练和测试后，将焊球分成良好焊球和缺陷焊球两类。
所述光学成像系统包括光学显微镜、黑白CCD摄像机、LED白光源。LED白 光源固定在显微镜物镜下方，CCD摄像机固定在光学显微镜目镜上方，芯片图像 经光学显微镜放大后被黑白CCD摄像机采集。
所述图像采集系统使用1394火线接口将图像从黑白CCD摄像机传输至台式 计算机。
所述概率神经网络模块完成概率神经网络的训练、测试和分类，将焊球分 成良好焊球和缺陷焊球两类，其中
在训练阶段，该模块接收图像特征提取模块输出的一维浮点数向量和相应 的训练目标值，通过反复迭代，输出一个包含输入、径向基层和竞争层的概率 神经网络；
在测试阶段，该模块接收图像特征提取模块输出的一维浮点数向量，利用 训练阶段生成的网络，输出网络分类值，并与相应的分类目标值比较，若与目 标值相等，则分类正确，否则分类错误，统计该网络在整个测试样本集上的准 确率，若未达到期望准确率值，则调整径向基层的分布密度spread,再次训练； 若准确率达到期望准确率值，则可以应用该网络对输入向量进行分类；在分类 阶段，该模块接收图像特征提取模块输出的一维浮点数向量，利用通过测试的 网络，输出网络分类值，即所检测焊球为良好焊球或表面缺陷焊球。本发明所涉及的基于机器视觉的焊球表面缺陷检测方法，包括以下步骤 第一步，图像采集模块通过软件触发采集信号，从光学成像模块输出的视
频流中截取一帧图像，将该图像以二维整数矩阵的形式存储在计算机内存中。 第二步，图像分割模块以图像采集系统输出的二维整数矩阵为输入，根据
芯片上焊球的分布，将整幅图像对应的二维整数矩阵分割为一个个包含单一焊
球的子矩阵。
第三步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像的表面纹理熵特征。 .
表面纹理熵用来度量焊球表面的光滑程度。表面越光滑，则熵越小；反之， 若表面有较大刮伤、塌陷，则熵较大。对输入的二维整数子矩阵，根据其对应 图像的灰度阶和总像素数，统计每个灰度阶范围内的像素数目比例，建立归一 化的灰度直方图。利用该直方图和纹理熵计算公式，输出图像的纹理熵。
第四步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像的团块面积比特征。
对输入的二维整数子矩阵，用0tSU阈值分割法计算全局阈值，对图像的每 个像素，若其灰度值大于阈值则置一，小于或等于阈值则置零，从而将灰度图 像转变为二值图像。刮伤和塌陷部分一般灰度较低，图像二值化后形成比较大 的黑色连通团块。将二值图像取反，刮伤和塌陷部分对应的黑色连通团块转变 为白色连通区域，统计白色连通区域的像素数，即为白色团块面积，输出白色 团块与整幅图像的面积比。
第五步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像与模板图像的相似度比特征。
从样本图像中取若干幅良好焊球图像和有缺陷焊球图像作为模板，并将模 板图像的灰度范围归一化。对输入的待检测灰度图像对应的二维矩阵，做同样 的归一化操作。将归一化后的待检测图像对应的二维矩阵分别与良好焊球模板 图像和有缺陷焊球模板图像对应的二维矩阵做相关度计算，输出两者的比值， 即为相似度比。
经过上述三个步骤，图像特征提取模块为每幅焊球图像输出一个一维浮点 数向量，该向量包含三个元素，分别为上述三个步骤的输出值。第六步，以图像特征提取模块输出的一维浮点数向量和相应的训练目标值 为输入，对概率神经网络模块进行训练和测试。
取良好焊球和缺陷焊球，分别利用前述步骤采集焊球图像，将图像特征提 取模块输出的一维浮点数向量作为概率神经网络的输入向量，同时利用训练目 标值为网络标明每幅图像所属分类。设定径向基层的分布密度spread,则网络 自动通过反复迭代，为每层分配权值和偏置。训练结束后另取一部分样本图片 对网络的分类能力进行检验，若对检验样本集的准确率大于设定准确率，则网 络通过测试，否则则调整spread值，再次训练网络。
第七步，利用通过测试的网络对焊球表面是否有缺陷进行分类判别。即将 图像特征提取模块输出的一维浮点数向量输入到经过测试的概率神经网络，则 网络自动输出相应的分类值，即所检测焊球为良好焊球或表面缺陷焊球。
本发明采用黑白CCD摄像机捕捉图像，用机器视觉算法提取图像特征，用 概率神经网络对焊球图像分类，实现对焊球表面缺陷的无损检测。装置结构简 单，特征提取方法区分度高，概率神经网络分类能力强，解决了准确检测焊球 表面缺陷的问题。
图1为本发明基于机器视觉的焊球表面缺陷检测装置结构框图； 图中，1为光学成像系统，2为图像采集系统，3为图像分割模块，4为特 征提取模块，5为概率神经网络模块。
图2为本发明光学成像系统和图像采集系统示意图中，101为黑白CCD摄像机，102为显微镜目镜，103为支架，104为光 学显微镜，105为显微镜物镜，106为待测芯片，107为LED白光源；201为1394 火线，202为台式计算机。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方 案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的 保护范围不限于下述的实施例。
如图1所示，本实施例涉及的基于机器视觉的焊球表面缺陷检测装置，由 光学成像系统l、图像采集系统2、图像分割模块3、特征提取模块4和概率神经网络模块5组成，其中
光学成像系统1采用黑白CCD摄像机采集芯片图像；
图像采集系统2从黑白CCD摄像机接收集芯片图像，并传输至计算机，使
用软件触发采集信号，从光学成像系统1输出的视频流信号中截取单帧灰度图
像，以二维整数矩阵的形式存储在计算机内存中；
图像分割模块3根据焊球在芯片上的分布，将输入的1024*768的整数矩阵 分割成一个个包含单一焊球的子矩阵，每个子矩阵大小为80*80。
图像特征提取模块4接收图像分割模块3输出的二维整数子矩阵，通过对 该矩阵的处理，输出一个一维浮点数向量，该向量包含三个元素，依次为图像 的表面纹理熵，团块面积比和相似度比三个特征。
概率神经网络模块5接收图像特征提取模块4输出的一维浮点数向量，经 训练和测试后，将焊球分成良好焊球和缺陷焊球两类。
本实施例中，光学成像系统1和图像采集系统2的详细结构如图2所示。
光学成像系统1包括黑白CCD摄像机101，光学显微镜104, LED白光源107， 支架103。黑白CCD摄像机101焦距2.8毫米，分辨率1024*768像素，光学显 微镜104放大倍率20X，待测芯片106焊球间距1. 27毫米。黑白CCD摄像机101 置于显微镜目镜102上方，待测芯片106置于光学显微镜的载物台上，距离显 微镜物镜82毫米，LED光源107固定在显微镜物镜105下方。芯片图像经显微 镜104放大后进入CCD摄像机101。
图像采集系统2包括1394火线201和台式计算机202，摄像机采集的视频 流通过1394火线201传输至台式计算机202，使用软件触发信号，从光学成像 系统l输出的视频流信号中截取单帧灰度图像，图像大小为1024*768像素，位 深为8，以二维整数矩阵的形式存储在计算机内存中。
概率神经网络模块完成概率神经网络的训练、测试和分类，将焊球分成良 好焊球和缺陷焊球两类，其中
在训练阶段，该模块接收图像特征提取模块4输出的一维浮点数向量和相 应的训练目标值，通过反复迭代，输出一个包含输入、径向基层和竞争层的概
率神经网络；
在测试阶段，该模块接收图像特征提取模块4输出的一维浮点数向量，利用训练阶段生成的网络，输出网络分类值，并与相应的分类目标值比较，若与 目标值相等，则分类正确，否则分类错误，统计该网络在整个测试样本集上的 准确率，若未达到期望准确率值，则调整径向基层的分布密度spread,再次训 练；若准确率达到期望准确率值，则可以应用该网络对输入向量进行分类；
在分类阶段，该模块接收图像特征提取模块4输出的一维浮点数向量，利 用通过测试的网络，输出网络分类值，即所检测焊球为良好焊球或表面缺陷焊 球。
本实施例涉及的基于机器视觉的焊球表面缺陷检测方法包括如下步骤
1. 图像采集系统2通过软件触发采集信号，从光学成像模块l输出的视频 流中截取一帧大小为1024*768像素，位深为8的图像，将该图像以二维整数矩 阵的形式存储在计算机内存中，矩阵行数为1024，列数为768。
2. 图像分割模块3以图像采集系统2输出的二维整数矩阵为输入，将整幅 图像对应的二维整数矩阵分割为一个个包含单一焊球的子矩阵，每个子矩阵大 小为80*80。
3. 图像特征提取模块3接收图像分割模块2输出的二维整数子矩阵，提取 图像的表面纹理熵特征。对输入的大小为80*80的二维矩阵，根据其对应图像 的灰度阶256和总像素数6400，统计每个灰度阶范围内的像素数目比例，建立 归一化的灰度直方图。利用该直方图和纹理熵计算公式，输出图像的纹理熵 entropyQ
4. 图像特征提取模块4接收图像分割模块3输出的二维整数子矩阵，提取 图像的团块面积比特征。对输入的大小为80*80的二维矩阵，用Otsu阈值分割 法计算全局阈值，对图像的每个像素，若其灰度值大于阈值则置一，小于或等 于阈值则置零，将灰度图像转变为二值图像。将二值图像取反，统计白色连通 区域的像素数，即为白色团块面积，输出白色团块与整幅图像的面积比 area—ratio。
5. 图像特征提取模块4接收图像分割模块3输出的二维整数子矩阵，提取
图像与模板图像的相似度比特征。从样本图像中取五幅良好焊球图像和五幅有 缺陷焊球图像作为模板，并将模板图像的灰度范围归一化。对输入的待检测灰
度图像对应的二维矩阵，做同样的归一化操作。将归一化后的待检测图像对应的二维矩阵分别与良好焊球模板图像和有缺陷焊球模板图像对应的二维矩阵做 相关度计算，输出两者的比值，即为相似度比similarity_rati0。经过上述三 个步骤，图像特征提取模块为每幅焊球图像输出一个一维浮点数向量， [entropy, area—ratio, similarity—ratio]。
6. 以图像特征提取模块输出的一维浮点数向量和相应的训练目标值为输 入，对概率神经网络模块进行训练和测试。利用前述步骤采集焊球图像，取良 好焊球和缺陷焊球图像各二十五幅，利用图像特征提取模块输出相应的一维浮 点数向量作为概率神经网络的输入向量，同时利用训练目标值为网络标明每幅 图像所属分类，用l表示良好焊球，2表示缺陷焊球。设定径向基层的分布密度 spreacN). 1，则网络自动通过反复迭代，为每层分配权值和偏置。训练结束后 网络为每幅图像输出分类值均等于设定目标值。另取50幅图像用来网络的分类 能力进行检验，若对检验样本集的准确率大于设定准确率，本例为97%，则网络 通过测试，否则则调整spread值，再次训练网络。
7. 利用通过测试的网络对焊球表面是否有缺陷进行分类判别。即将图像特 征提取模块输出的一维浮点数向量输入到经过测试的概率神经网络，则网络自 动输出相应的分类值，本例中输出1时表示待检测焊球表面良好，输出2时表 示待检测焊球表面有较大缺陷。
本实施例是一种针对焊球表面缺陷的光学检测，利用光学成像系统和图像 采集系统获取焊球图像，通过图像特征提取，概率神经网络分类，实现对焊球 表面缺陷的无损检测。
权利要求
1、一种基于机器视觉的焊球表面缺陷检测装置，其特征在于包括光学成像系统、图像采集系统、图像分割模块、特征提取模块和概率神经网络模块，其中所述光学成像系统采用黑白CCD摄像机采集芯片图像；所述图像采集系统从黑白CCD摄像机接收集芯片图像，并传输至计算机，使用软件触发采集信号，从光学成像系统输出的视频流信号中截取单帧灰度图像，以二维整数矩阵的形式存储在计算机内存中；所述图像分割模块以图像采集系统输出的二维整数矩阵为输入，将整幅图像对应的二维整数矩阵分割为一个个包含单一焊球的子矩阵；所述图像特征提取模块接收图像分割模块输出的二维整数子矩阵，通过对该矩阵的处理，即图像特征提取，输出一个一维浮点数向量，该向量包含三个元素，依次为图像的表面纹理熵，团块面积比和相似度比三个特征；所述概率神经网络模块接收图像特征提取模块输出的一维浮点数向量，经训练和测试后，将焊球分成良好焊球和缺陷焊球两类。
2、 根据权利要求1所述的基于机器视觉的焊球表面缺陷检测装置，其特征 是，所述光学成像系统包括光学显微镜、黑白CCD摄像机、LED白光源，其中 LED白光源固定在显微镜物镜下方，CCD摄像机固定在光学显微镜目镜上方，芯 片图像经光学显微镜放大后被黑白CCD摄像机采集。
3、 根据权利要求1所述的基于机器视觉的焊球表面缺陷检测装置，其特征 是，所述图像采集系统使用1394火线接口将图像从黑白CCD摄像机传输至台式 计算机。
4、 根据权利要求1所述的基于机器视觉的焊球表面缺陷检测装置，其特征 是，所述概率神经网络模块完成概率神经网络的训练、测试和分类，将焊球分 成良好焊球和缺陷焊球两类，其中在训练阶段，该模块接收图像特征提取模 块输出的一维浮点数向量和相应的训练目标值，通过反复迭代，输出一个包含 输入、径向基层和竞争层的概率神经网络；在测试阶段，该模块接收图像特征 提取模块输出的一维浮点数向量，利用训练阶段生成的网络，输出网络分类值，并与相应的分类目标值比较，若与目标值相等，则分类正确，否则分类错误， 统计该网络在整个测试样本集上的准确率，若未达到期望准确率值，则调整径 向基层的分布密度spread,再次训练；若准确率达到期望准确率值，则应用该 网络对输入向量进^分类；在分类阶段，该模块接收图像特征提取模块输出的 一维浮点数向量，利用通过测试的网络，输出网络分类值，即所检测焊球为良 好焊球或表面缺陷焊球。
5、 一种基于机器视觉的焊球表面缺陷检测方法，其特征在于包括以下步骤: 第一步，图像采集模块通过软件触发采集信号，从光学成像模块输出的视频流中截取一帧图像，将该图像以二维整数矩阵的形式存储在计算机内存中；第二步，图像分割模块以图像采集系统输出的二维整数矩阵为输入，根据 芯片上焊球的分布，将整幅图像对应的二维整数矩阵分割为一个个包含单一焊 球的子矩阵；第三步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像的表面纹理熵特征；第四步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像的团块面积比特征；第五步，图像特征提取模块根据图像分割模块输出的二维整数子矩阵，提 取图像与模板图像的相似度比特征；经过上述三个步骤，图像特征提取模块为每幅焊球图像输出一个一维浮点 数向量，该向量包含三个元素，分别为上述三个步骤的输出值；第六步，以图像特征提取模块输出的一维浮点数向量和相应的训练目标值 为输入，对概率神经网络模块进行训练和测试；第七步，利用通过测试的网络对焊球表面是否有缺陷进行分类判别。
6、 根据权利要求5所述的基于机器视觉的焊球表面缺陷检测方法，其特征 是，第三步中，所述表面纹理熵用来度量焊球表面的光滑程度，对输入的二维 整数子矩阵，根据其对应图像的灰度阶和总像素数，统计每个灰度阶范围内的 像素数目比例，建立归一化的灰度直方图，利用该直方图和纹理熵计算公式， 输出图像的纹理熵。
7、 根据权利要求5所述的基于机器视觉的焊球表面缺陷检测方法，其特征 是，第四步中，对输入的二维整数子矩阵，用0tsu阈值分割法计算全局阈值，对图像的每个像素，若其灰度值大于阈值则置一，小于或等于阈值则置零，从 而将灰度图像转变为二值图像，将二值图像取反，刮伤和塌陷部分对应的黑色 连通团块转变为白色连通区域，统计白色连通区域的像素数，即为白色团块面 积，输出白色团块与整幅图像的面积比。
8、 根据权利要求5所述的基于机器视觉的焊球表面缺陷检测方法，其特征 是，第五步中，从样本图像中取若干幅良好焊球图像和有缺陷焊球图像作为模 板，并将模板图像的灰度范围归一化，对输入的待检测灰度图像对应的二维矩 阵，做同样的归一化操作，将归一化后的待检测图像对应的二维矩阵分别与良 好焊球模板图像和有缺陷焊球模板图像对应的二维矩阵做相关度计算，输出两 者的比值，即为相似度比。
9、 根据权利要求5所述的基于机器视觉的焊球表面缺陷检测方法，其特征 是，第六步中，取良好焊球和缺陷焊球，分别利用前述步骤采集焊球图像，将 图像特征提取模块输出的一维浮点数向量作为概率神经网络的输入向量，同时 利用训练目标值为网络标明每幅图像所属分类，设定径向基层的分布密度 spread,则网络自动通过反复迭代，为每层分配权值和偏置，训练结束后另取 一部分样本图片对网络的分类能力进行检验，若对检验样本集的准确率大于设 定准确率，则网络通过测试，否则则调整spread值，再次训练网络。
10、 根据权利要求5所述的基于机器视觉的焊球表面缺陷检测方法，其特 征是，第七步，将图像特征提取模块输出的一维浮点数向量输入到经过测试的 概率神经网络，则网络自动输出相应的分类值，即所检测焊球为良好焊球或表 面缺陷焊球。
全文摘要
本发明涉及一种自动光学检测领域的基于机器视觉的焊球表面缺陷检测装置与方法，其中光学成像系统采集芯片图像，图像采集系统接收集芯片图像，从光学成像系统输出的视频流信号中截取单帧灰度图像，以二维整数矩阵的形式存储；图像分割模块将整幅图像对应的二维整数矩阵分割为包含单一焊球的子矩阵；图像特征提取模块接收图像分割模块输出的二维整数子矩阵，并进行处理，输出一个一维浮点数向量；概率神经网络模块接收图像特征提取模块输出的一维浮点数向量，经训练和测试后，将焊球分成良好焊球和缺陷焊球两类。本发明装置结构简单，特征提取方法和概率神经网络的结合区分度好，准确率高，实现了对焊球表面缺陷的无损检测。
文档编号G01N21/88GK101424645SQ20081020301
公开日2009年5月6日 申请日期2008年11月20日 优先权日2008年11月20日
发明者曹其新, 扬 杨, 袁肇飞 申请人:上海交通大学