专利名称：机器视觉分析系统和方法
技术领域：
本发明涉及由自动光学检查(AOI)机器所执行的机器视觉检查。
背景技术：
在先美国专利No.US6580961描述了一种系统，其中检查数据以闭环形式被反馈到贴装机，从而可以在贴装错误过量之前校正贴装错误。而且公知的是，检查机器可以向引导修理站和用于进一步更详细分析特定方面的更复杂的检查系统提供数据。
但是，在这种机器对机器接口以及实际的机器对操作者接口上的限制在于检查数据的可信赖程度。
本发明针对这个问题。
发明内容
根据本发明，提供了一种机器视觉检查系统，其包括照相机和存储目标元件属性和测量数据的图像处理器，其中所述图像处理器产生缺陷指示，以及用于指示缺陷指示的置信度的置信度分数值。
在一个实施例中，所述系统确定置信度因子，并将所述因子组合以产生置信度分数。
在另一实施例中，所述系统产生属性置信度因子值和测量置信度因子值，并且组合所述因子值以确定置信度分数。
在另一实施例中，通过计算元件的封装面积(footprint area)来确定测量置信度因子。
在一个实施例中，所述面积是通过确定从平面图角度观察到的元件边界上的多个点的二维位置数据而计算出的。
在另一实施例中，通过确定元件的歪斜程度来计算测量置信度因子。
在另一实施例中，通过确定存在焊膏的元件侧的数目来计算属性置信度因子。
在一个实施例中，在照相机视场内的元件图像的位置被用于确定属性置信度因子。
在另一实施例中，图像处理器围绕视场中心加上边界，在所述边界之内置信度较高。
在另一实施例中，所述系统使用先验假设来提供置信度因子。
在一个实施例中，先验假设是特定测量对特定设备的预期有效性。
在另一实施例中，所述系统使用后验知识来改善置信度因子。
在另一实施例中，所述后验知识是通过如下方式被应用的通过回顾缺陷和假失败(false failure)来推测先前检查的结果如何不同于期望的结果。
在一个实施例中，所述系统将缺陷数据与置信度分数一起实时反馈到生产机器。
在另一实施例中，所述系统将缺陷数据与置信度分数一起反馈到引导修理站。
在另一实施例中，所述系统使用置信度分数来确定检查图像的输出顺序。
在一个实施例中，所述系统使用置信度分数来确定应该对产品中的哪个被检查部分输出一系列视觉观察点图像。
在另一实施例中，所述系统根据在所述部分的生产过程中涉及的生产机器部件来选择所述部分。
在另一方面中，本发明提供了一种由上述检查系统和生产机器所执行的生产控制过程，所述检查系统检查由所述生产机器输出的产品，所述过程包括以下步骤检查系统将缺陷数据和相关的置信度分数一起反馈到所述生产机器；并且所述生产机器参考所述置信度分数而自动在对所述缺陷数据的响应上作出判决。
在一个实施例中，所述生产机器是电子元件贴装机，并且所述缺陷数据与所述贴装机的一部分相关联。
在另一实施例中，所述检查系统输出一类产品的一部分的一系列图像，并且根据所述置信度分数来选择所述部分。
从以下参考附图以示例方式给出的对本发明某些实施例的描述中，将更清晰地理解本发明，在附图中图1示出了被贴装元件的图；图2示出了位置参数计算点的图；图3示出了照相机视场以及视场内边界的图；以及图4示出了正确和不正确元件贴装和相关置信度分数的一对照片。
具体实施例方式
参考图1，元件具有引线2和3，并且被放置在PCB上的焊盘4和5处，在焊盘4和5上有焊锡沉淀6和7。本发明的检查系统对在每个引线2和3的三个外露侧中的每一侧处的颜色进行分析。因此，要对元件1的总共六侧进行分析以用于锡膏检查。
检查系统以如下方式对每个焊盘自动产生置信度分数在一侧存在锡膏50％确信存在缺陷；在两侧存在锡膏25％确信存在缺陷；在三侧存在锡膏0％确信存在缺陷，系统将两焊盘的置信度分数组合起来，以得到存在缺陷的总置信度分数。对存在/不存在锡膏的确定被称为属性置信度因子。
在本示例中，元件的每个经分类部件提供置信度因子，该置信度因子用于产生存在缺陷的置信度的总分数。
参考图2，该系统产生用于元件尺寸核实的置信度分数。对于元件10，系统绕其外周标识出六个位置A-F。位置参数x和y按如下方式确定x＝(A+B)/2y＝((C+D)+(E+F))/4
尺寸参数X和Y按如下方式确定X＝B-AY＝C-D，E-F所确定的值与目标值相比较，并且该比较产生存在缺陷的置信度分数。所执行的测量产生测量置信度因子。
参考图3，检查系统的照相机具有视场20。图像处理器被编程为在该视场内识别边界21。如果在边界21内出现图像数据(例如元件22)，则应用比在外面(例如在23处)出现图像数据的情况下更高的置信度加权。这些加权被归入属性置信度因子的范畴。
以上处理结果被用于产生以下的置信度分数Measure_Confdence＝function(x-Confidence，y-Confidence，skew-Confidence)Attribute_Confidence＝function(Presence_Confidence，Orientation_Confidence，Joint_Confidence，OCR_Confidence，OCV_Confidence)单独的置信度因子非常重要——每个置信度分数都是从单独的置信度因子中导出的。例如，Joint_Confidence是从用于计算焊点分数的特征数据中导出的。它也可以作为用于判断焊点是好还是坏的分类器的输出而被导出。因此，置信度分数将是对其测量和属性置信度因子的量度。
上述两个置信度分数被组合，以提供从0.00到1.0的范围中的总置信度分数。0.0分指示具有很小置信度的缺陷，而1.0分指示具有最大置信度的缺陷。例如，当元件未表现出以下状况时将出现1.0分产生非常高的测量和属性置信度。
如果检查系统对偏移执行测量，并且发现该偏移刚好略高于可允许的偏移限度，那么这将导致较低的测量置信度分数。这可以被用于降低SMT生产线上的闭环或前馈设置中的这部分测量结果的重要性。
一般而言，存在置信度因子的三个主要范畴，包括(a)先验因子，属性或测量。这依赖于被测量或检测物和缺陷概率之间的关系的预期强度。例如，可能已知，对设备的特定检查的结果正确与否将具有较高或较低概率。例如考虑同一设备的2D和3D检查之间的差异。可能会有2D检查指示存在，而3D检查由于无法测量到轮廓而指示不存在的情况。系统可以将较高置信度分数应用于3D测量，因为它在第三维度上观察。
(b)实际性能，属性或测量。这包含实际检测的、测量的或检测的，例如上述焊膏检查(属性)和位置测量(测量)。
(c)后验因子，属性或测量。系统回顾过去的置信度性能。它使用这种回顾而通过使用后验知识来修改未来的分数产生。
已产生的缺陷置信度分数可以被用于为执行回顾或修理的操作者排序缺陷，因此真实缺陷调用更可能首先出现。为了增强这种思想，缺陷图像和已知完好部件的图像(被用作检查系统的训练/设置阶段的一部分)被呈现给操作者，如图4所示。
在另一示例中，当两个或更多个检查机器(例如AOI、AXI和ICT)被组合时，可以使用置信度分数和测量结果来组合对于相同设备的分数。
贝叶斯投票(Bayesian voting)可以被用于组合分数。
在另一示例中，系统可以具有错误重试功能当部件失败时，以某种其他方式对其进行重新检查，以提高测量的准确度，该过程可能非常慢。如果可获得置信度分数，那么如果缺陷置信度很高，则不必执行重新检查以节省检查时间。如果测量接近通过/失败阈值，并且置信度很低，则可以执行重新检查。
下面概述更多置信度因子属性到阈值的距离测量中的置信度OCR/OCV匹配分数极性灰度等级的差异测量使用不同的测量技术，并检查结果之间的差异到视场中心的距离(距离越远，置信度越低)部件和背景、边缘强度、边缘距离之间的对比测量由检查机器确定的置信度分数被用于自动产生输出。在一个实施例中，该分数以闭环反馈形式被反馈到贴装机。从而，工程师可以设置贴装机采取校正行为的最小置信度分数以及需要操作者输入的分数段。
在另一实施例中，系统使用分数来为操作者排序可能发生故障的元件的图像。最高置信度分数的图像被首先显示，以使操作者对系统的输出具有较高置信度。
在另一实施例中，分数被用于确定应该对哪个贴装机部件(例如芯片器件或SOIC)捕获一系列“视觉观察点”图像。该系列将从视觉上向操作者示出贴装机部件的操作进展。这可能从视觉上表明特定故障是一次性的，或者可能表明部件在逐渐偏离。
一个重要优点在于，由于系统已自动产生分数，因此可以自动或手动执行判决以最佳地使用被检查数据。可以受益的机器/站包括具有闭环反馈形式的贴装或焊膏沉淀机器，引导修理站，以及视觉观察点图像捕获和显示功能。
本发明并不局限于所述实施例，而是可以在结构和细节上有所变化。
权利要求
1.一种机器视觉检查系统，包括照相机和存储目标元件属性和测量数据的图像处理器，其中所述图像处理器产生缺陷指示，以及用于指示所述缺陷指示中的置信度的置信度分数值。
2.如权利要求1所述的机器视觉检查系统，其中所述系统确定置信度因子，并将所述因子组合以产生置信度分数。
3.如权利要求2所述的机器视觉检查系统，其中所述系统产生属性置信度因子值和测量置信度因子值，并且组合所述因子值以确定置信度分数。
4.如权利要求3所述的机器视觉检查系统，其中通过计算元件的封装面积来确定测量置信度因子；并且所述面积是通过确定从平面图角度观察到的元件边界上的多个点的二维位置数据而计算出的。
5.如权利要求2到4中的任意一个所述的机器视觉检查系统，其中通过确定存在焊膏的元件侧的数目来计算属性置信度因子；并且在照相机视场内的元件图像的位置被用于确定属性置信度因子；并且所述图像处理器围绕视场中心加上边界，在所述边界之内置信度较高。
6.如权利要求2到5中的任意一个所述的机器视觉检查系统，其中所述系统使用先验假设来提供置信度因子；并且其中先验假设是特定测量对特定设备的预期影响。
7.如权利要求2到6中的任意一个所述的机器视觉检查系统，其中所述系统使用后验知识来改善置信度因子；并且其中所述后验知识是通过如下方式被应用的通过回顾缺陷和假失败来推测先前检查的结果如何不同于期望的结果。
8.如权利要求1到7中的任意一个所述的机器视觉检查系统，其中所述系统将所述缺陷数据与所述置信度分数一起实时反馈到生产机器。
9.如权利要求1到8中的任意一个所述的机器视觉检查系统，其中所述系统使用所述置信度分数来确定应该对产品中的哪个被检查部分输出一系列视觉观察点图像；并且其中所述系统根据在所述部分的生产过程中涉及的生产机器部件来选择所述部分。
10.一种由权利要求1到9中的任意一个所述的检查系统和生产机器所执行的生产控制过程，所述检查系统检查由所述生产机器输出的产品，其中所述过程包括以下步骤所述检查系统将缺陷数据和相关的置信度分数一起反馈到所述生产机器；并且所述生产机器参考所述置信度分数而自动在对所述缺陷数据的响应上作出判决。
11.如权利要求10所述的生产控制过程，其中所述生产机器是电子元件贴装机，并且所述缺陷数据与所述贴装机的一部分相关联。
12.如权利要求10或11所述的生产控制过程，其中所述检查系统输出一类产品的一部分的一系列图像，并且根据所述置信度分数来选择所述部分。
全文摘要
本发明公开了一种机器视觉检查系统，它捕获被贴装元件的图像并且产生缺陷数据。所述缺陷数据指示缺陷元件以及相关的置信度分数。所述置信度分数根据如下因子而被产生例如已经检测到焊膏的元件引线侧的数目(属性因子)，或者测得的元件位置(测量因子)。置信度分数使贴装机能够对如何按照缺陷数据行事作出判决。所述置信度分数还被检查系统用于对在哪个“视觉观察点”上输出一系列元件图像以用于操作者的视觉检查作出判决。
文档编号G01R31/28GK1734228SQ20051009048
公开日2006年2月15日 申请日期2005年8月15日 优先权日2004年8月13日
发明者詹姆士·马洪, 詹姆士·特蕾西, 马拉奇·赖斯 申请人:Mv研究有限公司