专利名称：图像处理装置和方法
技术领域：
本发明涉及将被摄体分割为多个部分图像来拍摄，并贴合所拍摄的部分图像来构成被摄体的整体图像的图像处理装置和方法。
本申请根据2004年7月9日申请的日本特愿2004-203108号请求优先权，此处引用其内容。
背景技术：
在检查FPD(平板显示器)基板和PDP(等离子体显示器)基板、半导体晶片等的工业用途的显微镜和检查装置中，一般通过使用了图像信息的方法来作为检察成为基板的功能性问题的缺陷的方法。
在上述检查中，以高精度来检查影响图形形成等的细微缺陷时，由于需要将检查对象的图形与正常的基准图形进行比较来检测缺陷，所以不只需要用低倍率来覆盖被摄体整体的图像，还需要能以更高倍率来覆盖被摄体整体的“高精细(高分辨率)”的图像的情况逐渐增多。
但是，在高精细图像中，根据被摄体的大小，无法一次获得该被摄体整体或者需要的范围。
因此，作为获得该高精细图像的方法的一种，经常使用将被摄体整体分割为多个区域，对这些区域分别摄像，通过把摄像所得的部分图像互相贴合，来获得被摄体整体的高精细图像的方法。
在上述获得高精细图像的方法中，大多使用以倍率低的整体图像为基础，拍摄倍率高的部分图像，将所拍摄的部分图像进行贴合处理的方法，这不限于工业用途，还用于各种各样的应用。
作为现有技术，具有拍摄整体图像和扩大后的整体图像中的部分图像，推断部分图像对应于整体图像中的哪个部位来进行贴合，从而获得高精细图像的方法(例如参照专利文献1)。
另外，还具有根据低倍率的显微镜图像指定一部分区域，用多个高倍率的显微镜图像来拍摄该指定的区域来进行贴合处理，从而获得高精细图像的方法(例如参照专利文献2)。
专利文献1日本特开2000-59606号公报专利文献2日本特开平11-271645号公报但是，在专利文献1所示的高精细图像制作装置中，与拍摄了风景的图像不同，在用工业用途的检查装置以FPD基板或PDP基板这种周期性图形的图像作为对象的情况下，找出部分图像对应于整体图像的哪个部位的工作很困难，即，由于图形形状周期性地相同，所以在贴合部分图像彼此时，难以确定对准的位置，会产生无法取得重合部分的对应的情况。
另外，专利文献2所示的显微镜图像显示装置在用工业用途的检查装置以图形密度较疏的图像作为对象时，根据指定区域的场所，在部分图像的贴合处理时，有时出现在不存在图形的部位重复贴合的现象，具有由于没有贴合时的重复区域的图形而不能进行贴合处理，或者生成贴合区域极端错位的贴合图像等的缺点的问题。
发明内容
本发明是鉴于这种情况而完成的，其目的在于提供一种图像处理装置和方法，该图像处理装置和方法即使对FPD基板和PDP基板等那样的图形(电路图形和布线图形)包含周期性和/或稀疏的部分的图像，也能贴合部分图像，从而生成高精细(高分辨率)图像。
本发明的图像处理装置使以规定的分辨率拍摄的被拍摄对象物的部分图像具有规定的重复区域来进行贴合，生成规定的大小的该对象物的整体或者一部分的对象图像，其特征在于，该图像处理装置具有以第1倍率拍摄被拍摄对象物来获得第1图像信息的第1摄影单元；以作为高于上述第1倍率的倍率的第2倍率拍摄上述被拍摄对象物来获得第2图像信息作为上述部分图像的第2摄影单元；根据上述对象图像的大小和表示部分图像中重复区域的程度的重复区域信息，生成将上述部分图像贴合起来所生成的对象图像的模型的图像模型生成单元；用上述模型来检索贴合上述部分图像所生成的对象图像在第1图像信息中的配置位置的摄影位置计算单元(例如实施例中的图形密度评价值计算部17和摄影位置计算部18)；以及根据上述配置位置将上述部分图像贴合起来生成上述对象图像的高精细图像生成单元。
本发明的图像处理方法使以规定的分辨率拍摄的被拍摄对象物的部分图像具有规定的重复区域来进行贴合，生成规定的大小的该对象物的整体或者一部分的对象图像，其特征在于，该图像处理方法具有以第1倍率拍摄被拍摄对象物来获得第1图像信息的第1摄影过程；以作为高于上述第1倍率的倍率的第2倍率拍摄上述被拍摄对象物来获得第2图像信息作为上述部分图像的第2摄影过程；根据上述对象图像的大小和表示部分图像中重复区域的程度的重复区域信息，生成将上述部分图像贴合起来所生成的对象图像的模型的图像模型生成过程；用上述模型来检索贴合上述部分图像所生成的对象图像在第1图像信息中的配置位置的摄影位置计算过程；以及根据上述配置位置将上述部分图像贴合起来生成上述对象图像的高精细图像生成过程。
通过上述结构，本发明的图像处理装置在贴合部分图像时，通过低分辨率(低倍率)的第1图像信息预先形成用部分图像贴合而成的对象图像的模型，使用该模型在宽范围的第1图像信息的规定的区域内来调整包含重复区域在内的生成高分辨率的对象图像的部分图像的摄影位置，所以与以往贴合事先用高分辨率拍摄的部分图像的手法相比，能够在更广泛的视野区域内通过运算求出适当的部分图像的摄影位置，能容易地生成期望的高分辨率(高倍率)的高精细图像。
本发明的图像处理装置的特征在于，上述摄影位置计算单元通过检测上述模型的贴合时的重复区域在上述第1图像信息中的最佳的配置位置，来检索对象图像的配置位置。
根据上述结构，本发明的图像处理装置由于在贴合时积极地将重叠合成的重复部分用于检索部分图像的摄影位置(即，可以在贴合时提取易于贴合重复区域的图像图形的部分)，所以在生成对象图像时，可以提高部分图像的贴合位置即重复部分的贴合精度，与以往相比，能易于以高精度来生成期望的高分辨率的高精细图像。
本发明的图像处理装置的特征在于，上述摄影位置计算单元在上述第1图像信息的预先设定的检索区域内，按规定的移动距离使上述模型移动，同时检索重复区域的配置位置。
根据上述结构，本发明的图像处理装置在生成用重复图形构成的对象物的高精细图像的情况等时，特别地预先设定规定大小的检索区域，在该检索区域内使上述模型从规定位置向所定义的方向分别移动规定的移动距离(例如为多个像素单位)，同时进行重复区域的配置位置的检索，所以可以高速进行检索处理。
本发明的图像处理装置的特征在于，上述摄影位置计算单元根据上述重复区域的图形信息，检索上述检索区域内的重复区域的配置位置。
根据上述结构，本发明的图像处理装置由于通过重复区域的图形信息(例如表示图形密度的图形密度评价值)来设定重复区域的配置位置，所以可以检测出重复的区域的图形较密的位置，因而在贴合部分图像时，能够将可易于进行贴合对准的位置选择为重复区域，可以以高精度生成期望的高分辨率的高精细图像。
本发明的图像处理装置的特征在于，上述摄影位置计算单元根据上述重复区域的图形信息，在上述检索区域内改变模型中的重复区域信息，来检索配置位置。
根据上述结构，本发明的图像处理装置由于根据图像的图形信息(例如图形的疏密信息)来变更部分图像的贴合处理时所需要的重复区域信息、例如重复区域的重复率，所以不管基板的图形是疏还是密，都可以根据需要将图形信息变更为适于匹配的数值，可以计算最佳的部分图像的位置即对象图像的生成位置，能够易于生成高精细的图像。
本发明的图像处理装置的特征在于，该图像处理装置具有使对象物相对于上述第1摄影单元和上述第2摄影单元在X-Y方向上分别以规定的距离单位进行相对移动的移动单元，上述摄影位置计算单元根据由上述模型所检测的对象图像的配置位置，来设定上述对象物中对象图像的摄影位置。
根据上述结构，本发明的图像处理装置由于具有相对的移动单元，所以可在检测出摄影位置的时刻将其移动到该位置来进行摄影处理，所以可以实时进行摄影位置的计算和摄影的处理，可以提高高分辨率的高精细图像的生成速度。
本发明的图像处理装置的特征在于，根据上述摄影位置和由上述模型所检测的对象图像的配置位置，来计算用于贴合的部分图像的摄影位置。
根据上述结构，本发明的图像处理装置由于通过模型设定重复区域的配置位置，所以检测出重复区域的图形较密的位置，因此可以计算对象图像的摄影位置，由此能容易地计算用于贴合的部分图像的摄影位置，可以高精度生成期望的高分辨率的高精细图像。
本发明的图像处理装置的特征在于，上述第1和第2摄影单元所得到的第1图像信息和第2图像信息分别被进行了失真校正和/或阴影校正。
根据上述结构，本发明的图像处理装置可以生成不受失真或阴影影响的高精细图像。
如上所述，根据本发明，在贴合部分图像时，通过低分辨率的第1图像信息预先形成用部分图像贴合而成的对象图像的模型，使用该模型在宽范围的第1图像信息的规定区域内调整包含重复区域在内的生成高分辨率的对象图像的部分图像的摄影位置，所以能够在基于第1图像信息的宽范围的视野区域内通过运算求出适当的部分图像的摄影位置，能够易于生成期望的高分辨率的高精细图像。
图1是表示本发明的一个实施例的显微镜装置的结构例的概念图。
图2是表示图1的图像处理部5的结构例的框图。
图3是用于说明图2的图像模型生成部16所生成的模型的概念图。
图4是用于说明Sobel滤波器的概念图。
图5是用于说明图形密度评价值的概念图。
图6是表示第1实施例的图像处理部5所构成的显微镜装置的动作例的流程图。
图7是说明第1实施例的图像处理部5的动作的概念图。
图8是说明第1实施例的图像处理部5的动作的概念图。
图9是说明第1实施例的图像处理部5的动作的概念图。
图10是说明图形密度评价值的检索区域内的最大值检测处理的概念图。
图11是表示第2实施例的图像处理部5所构成的显微镜装置的动作例的流程图。
图12是说明第2实施例的图像处理部5的动作的概念图。
图13是说明第2实施例的图像处理部5的动作的概念图。
图14是说明第2实施例的图像处理部5的动作的概念图。
图15是说明第2实施例的图像处理部5的动作的概念图。
图16是说明第2实施例的图像处理部5的动作的概念图。
图17是说明第2实施例的图像处理部5的动作的概念图。
图18是用于说明部分图像框的重复率的最大值和最小值的概念图。
图19是说明第3实施例的检查装置的概念图。
图20是说明第4实施例的检查装置的概念图。
符号说明1镜筒2物镜3摄像相机4载物台5图像处理部6载物台移动控制部7系统控制部8显微镜Z轴移动控制部11摄像控制部12阴影/失真校正处理部
13摄像图像数据存储缓冲部14第1摄影图像读入部15第2摄影图像读入部16图像模型生成部17图形密度评价值计算部18摄影位置计算部19图像生成部20图像存储部F1、F2、F3、F4部分图像框具体实施方式
<第1实施例>
下面参照
本发明的第1实施例的图像处理装置。图1是表示该实施例的结构例的框图。
在该图中，第1实施例在显微镜上安装了本发明的图像处理功能，在显微镜上具有上下驱动机构，该上下驱动机构可沿Z轴方向(从图中看为上下方向)驱动具有物镜2的镜筒1。
显微镜Z轴移动控制部8控制上述上下驱动机构，使镜筒1上下移动，对配置在载物台4上的被拍摄对象物进行焦点调整。
上述载物台4设于显微镜的下部，具有向X方向和Y方向(从图中看为左右方向和深度方向)驱动的机构(2轴移动驱动机构)，在上部放置有作为观察用的样本的上述被拍摄对象物。
载物台移动控制部6进行载物台4的2轴上的移动控制，对物镜2与被拍摄对象物进行相对的位置调整。
另外，在镜筒1的上部设有摄像用相机3，从该摄像用相机3输出的影像信号(图像信号)被发送到图像处理部5进行各种图像处理。
摄像用相机3是CCD相机，例如将每个RGB对应像素的灰度(亮度)数据作为图像信息输出。
系统控制部7根据需要对图像处理部5、载物台移动控制部6、显微镜Z轴移动控制部8分别进行控制。
下面参照
本发明的第1实施例的图像处理部5。图5是表示该实施例的图像处理部5的结构例的框图。
用波状线围绕的部分是图像处理部5，其具有摄像控制部11、阴影/失真校正处理部12、摄像图像数据存储缓冲部13、第1摄影图像读入部14、第2摄影图像读入部15、图像模型生成部16、图形密度评价值计算部17、摄影位置计算部18、图像生成部19和图像存储部20。
摄像控制部11通过系统控制部7的控制，进行物镜2的透镜更换下的倍率变更和利用显微镜Z轴移动控制部8进行的焦点调整，输入摄像相机3所拍摄的低倍率的图像信息(第1图像信息、即拍摄了被拍摄对象物的整体的整体图像)或者高倍率的图像信息(第2图像信息、即部分图像)，并输出到阴影/失真校正处理部12。
对于上述第1图像信息和第2图像信息，阴影/失真校正处理部12分别对由包含物镜2的摄像系统产生的阴影和失真进行阴影校正和失真校正后，向摄像图像数据存储缓冲部13附加各自倍率的信息进行存储。
该倍率的信息作为物镜2的透镜信息经过系统控制部7在摄像控制部11中被分别附加到第1图像信息和第2图像信息上。
第1摄影图像读入部14从摄像图像数据存储缓冲部13中读取所附加的倍率的信息表示低倍率的第1图像信息，并暂时存储该第1图像信息。
第2摄影图像读入部15从摄像图像数据存储缓冲部13中读取所附加的倍率的信息为高倍率的第2图像信息(以下称为部分图像)，并暂时存储该部分图像。
图像模型生成部16生成贴合部分图像而最终生成的对象图像的模型。该模型中包含贴合部分图像时成为重合部分的重复区域。
即，图像模型生成部16根据系统控制部7所输入的、预先由用户设定的作为低倍率的第1倍率和作为高倍率的第2倍率、贴合部分图像所生成的图像大小、以及贴合时重叠的重复区域的尺寸来生成上述模型。
图形密度评价值计算部17从上述图像模型生成部16中读入模型，另外，从第1摄影图像读入部14中读入第1图像信息，由系统控制部7在第1图像信息中设定(用户一边确认画面一边设定)对生成对象图像的部分进行检索的检索区域。
另外，图形密度评价值计算部17如图3所示，在上述检索区域内，以规定位置、例如检索区域的左上为开始位置，以规定的移动距离、例如多个像素单位，使上述模型向X轴方向和Y轴方向移动，同时计算出重复区域内的图形密度评价值(图形信息)，将它们依次与计算出的位置对应起来进行存储。
此处，检索区域内的移动距离可以以1个像素单位进行，但根据成为对象的图形不同，有时移动前后没有变化，所得的图形密度评价值也为几乎相同的值，所以在本发明中为了削减无效的计算时间，提高重复区域的检索效率，使用规定的像素数单位。
作为该移动距离，如果像本实施例那样，被拍摄对象物是周期性的图形，则可以像构成一个周期的像素数的1/5、1/10、1/50、1/100、......那样，按照图形周期的像素数来进行设定。
另外，重复区域中包含的成为对象的图形的最小尺寸(例如流过电流的信号线的宽度等)如果已知，则也可以像最小图形的宽度的像素数的1倍、2倍、3倍，.....那样，按照图形的尺寸来设定移动距离。
考虑到如下的情况对应于图形的尺寸的移动距离在移动前后通过使图形整体从重复区域中显现或者消失，使图形密度评价值发生变化。
图形密度评价值按照每个部分图像的尺寸的块(每个横向和纵向)计算为相邻的块的重合单位，即按每一个计算位置计算为4个计算值(后述的垂直方向和水平方向的边缘强度)。
此处，图形密度评价值根据下面所示的流程在图形密度评价值计算部17中被计算出来。
在本实施例中，着眼于每个方向的边缘强度(图形中的亮度变化的大小)来求出图形密度评价值。
上述每个方向的边缘强度是指对于垂直(画面的上下)方向和水平(画面的左右)方向分别表示边缘强度。
作为计算边缘强度的方法，使用Sobel滤波器。该Sobel滤波器以某个关注像素为中心，对附近、即相邻的上下左右的9个像素值分别乘以图4所示的系数(中央为关注像素)掩码来合计结果，使用垂直方向和水平方向的2个系数矩阵进行该处理。
即，以I(X，Y)表示像素(X，Y)的亮度值，另外以Abs(R)作为数值R的绝对值，通过下式，将对于掩码中心的像素(X，Y)(X为关于水平方向的画面上的坐标值，关于原点以右方向为正，以左方向为负，Y为关于垂直方向的画面上的坐标值，关于原点以下方向为正，以上方向为负)的各方向的边缘强度作为水平方向的强度EH(X，Y)和垂直方向的强度EV(X，Y)求出。
强度EH(X，Y)＝Abs{I(X+1，Y-1)+2×I(X+1，Y)+I(X+1，Y+1)-I(X-1，Y-1)-2×I(X-1，Y)-I(X-1，Y+1)}强度EV(X，Y)＝Abs{ I(X-1，Y+1)+2×I(X，Y+1)+I(X+1，Y+1)-I(X-1，Y-1)-2×I(X，Y-1)-I(X+1，Y-1)}使用上述算式对成为对象的区域(重复区域)内的各像素分别进行计算(此时，由于图像的端部无法计算边缘强度所以在对象之外)。
此处，图形密度评价值计算部17在成为对象的区域中，在方向单位上加上计算出的每个像素的边缘强度，求出水平方向的边缘强度总和值AEH和垂直方向的边缘强度总和值AEV。
但有时某个方向的边缘强度极端低下，例如如图5所示，如果重复区域的内部只由水平方向的线图形形成，则由于在垂直方向上存在图形的边缘，所以会求出某个数值的边缘强度总和值AEV，但由于在横向上不存在亮度变化，所以水平方向的边缘强度总和值AEH大致为“0”。
此时，如果要仅以单方向的图形进行贴合处理，则由于无法限定匹配部位，所以不能进行最佳的匹配处理。
因此，图形密度评价值计算部17对边缘强度总和值AEH和边缘强度总和值AEV求出规定的阈值Thres，只有在各边缘强度总和值大于等于上述阈值Thres时，才把该大于等于阈值Thres的值作为图形密度评价值输出。
该阈值Thres考虑了噪声的影响，例如用下式将检测为关于1个像素的Sobel滤波器的边缘的最小亮度差表示为Q。
Thres＝4·Q×(重复区域的Sobel滤波器运算对象的像素数)在上述阈值Thres中使用乘以了规定系数的值作为实际阈值。作为该相乘的系数，只要用于抑制噪声影响，可以为1或2等的小值。
另外，在提取边缘强度较大、即图形特征明显的区域时，根据Q值而为较大的值(亮度的灰度等级为256，如果Q是10，则为10～15之间的值等)。
另外，图形密度评价值计算部17使用上式按以下所述计算图形密度评价值PDEV。
在AEH＜Thres或者AEV＜Thres时，设PDEV为0，在AEH Thres并且AEV Thres时，设PDEV＝AEH+AEV。
由此，计算出的图形密度评价值在某一个边缘强度低于阈值时(极小时)，在贴合部分图像之际，由于图形匹配失败的可能性较高而从之后的评价对象中被除去，在贴合处理时只剩余可进行正确的图形匹配的配置位置的数值。
此处，表现出边缘强度越大亮度差也越大，贴合时的重复区域的部分图像的匹配精度也提高。
即，即使为图形较稀疏的整体图像，也能够检索重复区域的图形较密的模型的位置。
下面返回图2，摄影位置计算部18根据图形密度评价值计算部17选择的图形密度评价值最大的位置、即第1图像信息(整体图像)中的对象图像的摄影位置，求出各部分图像的摄影场所，向系统控制部7输出该摄影场所的摄影位置信息。
图像生成部19根据上述摄影位置计算部18输出的摄影位置，由系统控制部7控制显微镜Z轴移动控制部8、载物台移动控制部6、摄像控制部11和摄影用相机3，使模型的块那么多的多张所拍摄的部分图像贴合。
图像存储部20存储在图像生成部19中贴合了部分图像所生成的对象图像(高精细图像)。
系统控制部7通过来自用户的访问，从图像存储部20中读取对象图像，显示于未图示的显示装置上。
另外，作为图形信息，在上述第1实施例中，使用了表示图像的亮度值的变化的边缘强度，但不是以该图像的亮度值为基础使用方向这样的“空间特性”，也可以用纯粹由亮度值构成的评价值、例如图像的亮度值形成的直方图相关的亮度平均值、最小值和最大值之间的差(动态范围)、最大频度值、中央值、方差(标准偏差)分别作为图形信息。
此处，使用重复区域相关的最大频度值的亮度值所相关的直方图的度数FR和该直方图的标准偏差SD作为图形信息，根据该度数FR和标准偏差SD形成图形密度评价值PDEV，将2的幂记作2^x。
PDEV＝FR+(2^x)×SD该图形密度评价值PDEV在0～2^x-1的范围内用度数FR表示，另外，大于等于2^x时用标准偏差SD表示。其中，在上述算式中，FR＜2^x。
由此，首先图形密度评价值计算部17仅着眼于度数FR，判定是否为规定的阈值以上，当为阈值以上时，也对标准偏差进行评价。
通过使FR最大值为(2^x)，可以实现上述检索方法。
另外，上述运算由位运算(逻辑运算)实现，也可以将特性不同的图形信息用作一个图形密度评价值。
接下来，参照图1、图2和图6说明上述图像处理装置的动作。图6是具体表示图1的第1实施例的图像处理装置的一个动作例的流程图。
此处，作为被拍摄对象物，以图7所示的FPD基板为例进行说明。FPD基板上周期性地排列着像素部分和驱动该像素的晶体管。
用户通过未图示的输入装置对系统控制部7设定整体图像的倍率(第1倍率)、部分图像的倍率(第2倍率)、贴合图像(对象图像)的尺寸和各部分图像的重复率来作为处理的参数(步骤S1)。
接着，当开始取得对象图像的处理时，系统控制部7通过载物台移动控制部6驱动载物台4，调整物镜2和被拍摄对象物之间的相对位置，切换物镜2以成为上述第1倍率。
然后，系统控制部7经过显微镜Z轴移动控制部8使镜筒1上下运动进行焦点调整，拍摄被拍摄对象物的图7所示的整体图像，把该整体图像经过摄像控制部11发送给阴影/失真校正处理部12。
另外，对于图7的上述整体图像，作为部分图像的视野框(以第2倍率拍摄时的可拍摄范围部分图像框)成为图8所示的虚线内的区域。
然后，阴影/失真校正处理部12对所输入的整体图像进行失真校正和阴影校正，并暂时存储在摄像图像数据存储缓冲部13中(步骤S2)。
接着，图像模型生成部16根据对象图像的尺寸(纵的像素数×横的像素数)和生成该对象图像之际贴合时的部分图像的重复率，来生成图3所示那样的具有重复区域的对象图像的模型(步骤S3)。
然后，图像模型生成部16通过运算来求出部分图像的数量和该重复区域的尺寸，以使重复区域相对于部分图像成为上述重复率(步骤S4)。
例如，在图9中，图8所示的部分图像框中的部分图像的框为4个，重复区域被定义为4个部分图像框中任意2个以上相互重合的斜线部分(画面中央用+的图形表示的部分)。
其结果，在本实施例中，对象图像由4个部分图像形成，对象图像的尺寸的模型由4个部分图像框构成。
接着，用户在显示于显示装置上的整体图像中，根据上述模型设定检索对象图像的摄影位置的检索区域(步骤S5)。
该检索区域可以为整体图像的整体，如果大于模型的大小，则也可以为整体图像的任意的一个部分。
然后，图形密度评价值计算部17以规定的移动距离使模型沿X轴方向和Y轴方向移动(偏移)，同时在各个移动位置上计算图形密度评价值，重复上述处理直到检索范围整体被检索到为止，依次将所计算的图形密度评价值与整体图像中的坐标值(所计算的位置)对应起来，存储在内部的存储部中，当检索区域整体中的图形密度评价值的计算结束后，将处理移动到步骤S7(步骤S6)。
接着，图形密度评价值计算部17检索存储在内部的存储部中的图形密度评价值中最大的值，将所检索的图形密度评价值对应的坐标值作为贴合时的对象图像的最佳位置输出(步骤S7)。
此时，图形密度评价值计算部17如图10所示，在Z轴方向上表示图形密度评价值的大小的3维图上，将进行了评价的每个坐标值(X-Y平面上)与各坐标值的图形密度评价值依次进行比较，检索最大的图形密度评价值。
例如，在图10中，由于左侧的图形密度评价值最大，所以将该模型的位置、即坐标值作为最佳的对象图像的生成位置输出。
接着，摄影位置计算部18根据图形密度评价值计算部17输出的对象图像的生成位置，运算部分图像的摄影位置(步骤S8)。
此时，摄影位置计算部18将上述生成位置的模型的部分图像框的配置位置作为以第2倍率(高倍率)拍摄的部分图像的摄影位置输出，将与构成对象图像的多个部分图像分别对应的部分图像框的坐标值作为部分图像位置输出。
另外，在本实施例中由于对象图像由4个部分图像构成，所以摄影位置计算部18将与该4个部分图像对应的部分图像框的坐标值输出给系统控制部7。
接着，系统控制部7通过显微镜Z轴移动控制部8将物镜2变更为对应第2倍率的透镜，使其对应于摄影位置计算部18所输入的上述部分图像位置，经由载物台移动控制部6将载物台4移动到用摄像用相机3拍摄的坐标位置，用显微镜Z轴移动控制部8对准焦点，用摄像用相机3拍摄各部分图像。
此处，系统控制部7通过上述处理来拍摄构成对象图像的所有的多个部分图像。
然后，摄像用控制部11将摄像用相机3所输入的部分图像分别输出到阴影/失真校正处理部12中。
由此，阴影/失真校正处理部12对依次输入的部分图像进行失真校正和阴影校正处理，并存储在摄像图像数据存储缓冲部13中(步骤S9)。
接着，图像处理部5从摄像图像数据存储缓冲部13中读取构成对象图像的部分图像，并暂时存储在第2摄影图像读入部15中。
然后，图像生成部19从第2摄影图像读入部15中依次读取部分图像，根据图9所示的模型即按照每个模型的部分图像框，配置与该部分图像框的部分图像位置对应地拍摄的部分图像，贴合部分图像来进行对象图像的生成处理，将生成的高精细图像即对象图像存储在图像存储部20内(步骤S10)。
此时，图像生成部19使配置在重复区域内的图形重合，进行图形匹配，对准贴合的位置。因此，需要使用图形密度评价值超过规定密度的区域即超过规定的阈值的区域来作为重复区域。
因此，在本实施例中，由于用图形密度评价值等的图形信息决定贴合的重复区域的配置位置，所以如图7所示的FPD基板的图形那样，形成于基板上的图形中较疏的部分多，即使是具有不适于贴合处理的周期性的被拍摄对象物，也可以以高精度生成贴合图像。
系统控制部7根据需要从图像存储部20中读取上述对象图像，并在显示部上显示该对象图像。
<第2实施例>
第2实施例与第1实施例结构一样，以下只说明与第1实施例不同的点。
图11是具体表示第2实施例的一个动作例的流程图。
不同之处在于第1实施例的步骤S8变为了步骤S15，说明该步骤。
在第1实施例中，根据贴合部分图像的模型的最佳位置到模型内的部分图像框的位置来决定获得高精细的部分图像的部分图像位置即摄影位置，以模型的部分图像框间的重复区域作为固定来进行检索区域内的检索。
另一方面，在第2实施例中，在决定贴合模型的最佳位置时，使用低倍率的整体图像(第1图像信息)来决定构成贴合模型的部分图像框的位置。
在步骤S6中，通过固定的重复区域的模型，按照规定的移动距离，使检索区域移动，同时计算各位置上的图形密度评价值。
此时，设定最低图形密度阈值PDEV Min作为下式。
PDEV_Min＝AEH_Min+AEV_Min＝4·Q×PixNum+4·Q×PixNum＝8·Q×PixNum此处，PixNum＝“重复区域中的Sobel滤波器运算对象的像素数”然后，图形密度评价值计算部17在各个移动位置上计算图形密度评价值，重复上述处理直到检索范围整体都被检索出为止，将依次计算了超过上述阈值PDEV_Min的值所得的图形密度评价值与整体图像中的坐标值(所计算的位置)对应起来，存储在内部的存储部中，当检索区域整体的图形密度评价值的计算结束时将处理进到步骤S7。
在步骤S7中，图形密度评价值计算部17与第1实施例同样地，选择内部存储部中最大的图形密度评价值输出。
接着，在步骤S15中，再次进行该选择的图形密度评价值所对应的坐标值的模型中的重复区域的图形密度评价值的计算。
此时，模型中的部分图像框的重复区域成为图12的部分图像框F1和F2的区域A、图13的部分图像框F3和F4的区域B、图14的部分图像框F1和F3的区域C、图15的部分图像框F2和F4的区域D。
关于这些，根据低倍率的整体图像的对应的位置的图像来对各部分图像框计算区域A～D的各自的图形密度评价值。
此处，图形密度评价值计算部17判定各区域A～D分别是否超过了规定的阈值。
该阈值在第1实施例中被求作横向和纵向的图形密度评价值，但在第2实施例中由于成为在横向和纵向相邻的2个部分图像框的重复区域单位，所以成为由下式定义的值。
Thres＝2·Q×(重复区域中的Sobel滤波器运算对象的像素数)然后，图形密度评价值计算部17检测出区域A～D的所有的图形密度都超过了上述阈值时，使处理进到步骤S9，之后进行与第1实施例同样的处理。
将上述阈值Thres2乘以了规定的系数所得的值用作实际的阈值。作为该相乘的系数，只要用于抑制噪声的影响，可以是1或2等的小值。
另外，在提取边缘强度较大、即图形特征明显的区域时，根据Q值而为较大的值(亮度的灰度等级为256，如果Q是10，则为10～15之间的值等)。
另一方面，当图形密度评价值计算部17对没有超过上述阈值Thres2的区域，例如检测出图16的斜线所示的区域A的图形密度评价值没有超过阈值Thres2时，如图17所示，按照规定的移动距离向右方向移动部分图像框F1，拓宽作为部分图像框F1和部分图像框F2的重复区域的区域A的面积。
然后，图形密度评价值计算部17再次计算上述区域A的图形密度评价值，检测该图形密度评价值是否超过了阈值Thres2，检测到超出时使处理进到步骤S9，另外，如果没有超过则再次使部分图像框F1向右方向移动，判定区域A的图形密度评价值。
此处，参照
移动部分图像框时对重复区域的重复率的限制。图18是用于说明重复区域的重复率的概念图。
作为重复率的最大值，当要使同一图形包含于2个部分图像中时，50％比较适合。
即，当使重复率大于等于50％时，同一图形将包含于3个部分图像中。
然后，图形密度评价值计算部17在重复区域的重复率超过最大值时，在重复区域整体的图形密度评价值为第2大的数值的模型的坐标上再次进行上述处理。
另一方面，作为重复率的最低值，在形成于基板上的图形中，对于最小图形的像素数，设定1倍以上的实数倍的像素数的规定值，求出该规定值在部分图像整体上的比例。
例如，如果对于部分图像的尺寸为640(水平方向)×480(垂直方向)的像素，最小图形为4(水平方向)×4(垂直方向)的像素，则设该最小图形的2倍的像素数为规定值。
由此，水平方向的最小的重复率为(4×2/640)＝1.25％，垂直方向的最小的重复率为(4×2/480)＝1.67％。
如上所述，在第2实施例中，在决定贴合的模型的最佳位置之际，如果检索区域整体的模型中的区域A～D的所有的图形密度评价值没有超过阈值，则在最初将在整体图像中评价值为最大的位置决定为整体，在该坐标值中关于各个部分图像框的重复部分，调整部分图像框的位置以使图形密度评价值超过阈值，使重复区域的重复率变化，决定摄影的部分图像的摄影位置。
另外，由于使重复区域的重复率变化，以适时调整图形密度评价值，所以检索的自由度相对于实施例1增加，即使以适当设定的摄影位置为起点(即使不对检索区域整体进行检索)，也能使用图形密度评价值来自动决定最适于贴合的摄影位置。
因此，由于在本实施例中，通过图形密度评价值等图形信息来决定贴合的重复区域的配置位置，所以即使是如图7所示的FPD基板的图形那样，形成于基板上的图形稀疏的部分较多，具有不适于贴合处理的周期性的被拍摄对象物，或者在适当设定的重复部分中贴合处理失败等的情况下，也能以高精度生成贴合图像。
<第3实施例>
图19所示的第3实施例是安装了显微镜的大型基板检查装置。图19所示的基板检查装置在显微镜、物镜2、摄像相机3等的观察系统等的结构上与第1和第2实施例相同。
不同之处在于使被拍摄对象物的FPD基板相对于物镜2移动的驱动机构，载物台移动控制部6只在1轴方向(在图19上为右上-左下方向箭头O)上驱动配置有被拍摄对象物的载物台4。
另一方面，系统控制部7将显微镜T本身向与载物台4垂直的方向(在图19上为左上-右下方向箭头P)的1轴方向进行驱动。
由此，可以使物镜2和被拍摄对象物之间的相对位置向X-Y方向移动。
<第4实施例>
作为在第1～第3实施例中生成的高精细图像的对象图像在检查装置中，在检测基板的缺陷时，被用作与正被检查的基板的图像进行比较的基准图像(用于比较而从正常的基板生成的图像)。
例如在FPD基板的检查中，如图20所示的检查装置设置有线传感器作为摄像单元，当使用校正用样本调整了摄像单元之后，用保持移动单元沿箭头G方向移动载物台，按照规定的每个移动距离用线传感器检测照明单元所发射的光的反射光。
然后，综合控制单元比较所检测出的反射光的强度和在此之前取样的反射光的检测值，当超过规定的范围而不同时，检测为不合格候选，并存储该基板上的坐标值。
然后，在第1～第3实施例的图像处理装置的载物台4上放置上述FPD基板，向系统控制部7输入不合格候选的坐标值。
由此，系统控制部7经由载物台移动控制部6移动载物台4，不合格候选的位置移动到了物镜2的位置、即摄像相机3可以拍摄到不合格候选的基板部分的位置。
此时，系统控制部7移动到作为高精细图像、即在包含第2倍率下的不合格候选的位置的状态下，而且在第1～第3实施例中生成对象图像的场所，即与最佳的模型位置对应的场所。
然后，系统控制部7通过图形匹配来比较所拍摄的包含不合格候选的图像信息和在第1～第2实施例中生成的对象图像，比较不合格候选的图形形状和作为基准图像的对象图像的对应部分的图形形状，判定是否不同。
此时，当系统控制部7检测为相同时，判定该不合格候选为合格品，另外，当检测为不同时，判定该不合格候选为不合格品，例如将判定结果显示在显示装置上。
使用上述本发明的检查方法，可将在线传感器的高速检查下判定为不合格品的产品，通过与实际的正常的基板图形进行比较而进行正确的判定，从而可以提高检查速度，而且可以提高检查的精度。
而且，也可以将用于实现图1和图2的图像处理部的功能的程序记录在计算机可读取的记录介质上，使计算机系统读入并执行记录在该记录介质上的程序，从而进行图像处理。而且，此处所说的“计算机系统”包括OS和周边设备等的硬件。另外，“计算机系统”包含具有主页提供环境(或者显示环境)的WWW系统。再有，所谓“计算机可读取的记录介质”，是指软盘、光盘、ROM、CD-ROM等的可搬运介质、内置于计算机系统的硬盘等的存储装置。进而，所谓“计算机可读取的记录介质”，包含经由因特网等的网络和电话线路等的通信线路来发送程序时的服务器和成为客户端的计算机系统内部的易失性存储器(RAM)那样的在一定时间内保持程序的设备。
另外，也可以将上述程序从在存储装置等中保存了该程序的计算机系统经由传送介质或者通过传送介质中的传送波来传送到其他的计算机系统中。此处，传送程序的“传送介质”是指因特网等的网络(通信网络)和电话线路等的通信线路(通信线)那样的具有传送信息的功能的介质。另外，上述程序也可以是用于实现上述功能的一部分的程序。进而，也可以是与已经将上述功能记录在计算机系统中的程序组合起来能够实现的、所谓差分文件(差分程序)。
产业上的可利用性根据本发明的图像处理装置和图像处理方法，在贴合部分图像时，使用低分辨率的第1图像信息预先形成用部分图像贴合而成的对象图像的模型，使用该模型在宽范围的第1图像信息的规定区域内对包含重复区域在内的生成高分辨率的对象图像的部分图像的摄影位置进行调整，所以在第1图像信息下的宽范围的视野区域内，可以通过运算求出适当的部分图像的摄影位置，可以易于生成期望的高分辨率的高精细图像。
权利要求
1.一种图像处理装置，该图像处理装置使以规定的分辨率拍摄的被拍摄对象物的部分图像具有规定的重复区域来进行贴合，生成规定的大小的该对象物的整体或者一部分的对象图像，其特征在于，该图像处理装置具有第1摄影单元，其以第1倍率拍摄被拍摄对象物来获得第1图像信息；第2摄影单元，其以作为高于上述第1倍率的倍率的第2倍率拍摄上述被拍摄对象物来获得第2图像信息作为上述部分图像；图像模型生成单元，其根据上述对象图像的大小和表示部分图像中重复区域的程度的图像区域信息，生成将上述部分图像贴合起来所生成的对象图像的模型；摄影位置计算单元，其用上述模型来检索贴合上述部分图像所生成的对象图像在第1图像信息中的配置位置；以及高精细图像生成单元，其根据上述配置位置，将上述部分图像贴合起来生成上述对象图像。
2.根据权利要求1所述的图像处理装置，其特征在于，上述摄影位置计算单元通过检测上述模型的贴合时的重复区域在上述第1图像信息中的最佳的配置位置，来检索对象图像的配置位置。
3.根据权利要求2所述的图像处理装置，其特征在于，上述摄影位置计算单元在上述第1图像信息的预先设定的检索区域内，按规定的移动距离使上述模型移动，同时检索重复区域的配置位置。
4.根据权利要求2或3所述的图像处理装置，其特征在于，上述摄影位置计算单元根据上述重复区域的图形信息，检索上述检索区域内的重复区域的配置位置。
5.根据权利要求1至4所述的图像处理装置，其特征在于，上述摄影位置计算单元根据上述重复区域的图形信息，在上述检索区域内改变模型中的重复区域信息，来检索配置位置。
6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，该图像处理装置具有使对象物相对于上述第1摄影单元和上述第2摄影单元在X-Y方向上分别以规定的距离单位进行相对移动的移动单元，上述摄影位置计算单元根据由上述模型所检测的对象图像的配置位置，来设定上述对象物中对象图像的摄影位置。
7.根据权利要求6所述的图像处理装置，其特征在于，根据上述摄影位置和由上述模型所检测的对象图像的配置位置，计算用于贴合的部分图像的摄影位置。
8.根据权利要求1至7中的任一项所述的图像处理装置，其特征在于，上述第1和第2摄影单元所得到的第1图像信息和第2图像信息分别被进行了失真校正和/或阴影校正。
9.一种图像处理方法，该图像处理方法使以规定的分辨率拍摄的被拍摄对象物的部分图像具有规定的重复区域来进行贴合，生成规定的大小的该对象物的整体或者一部分的对象图像，其特征在于，该图像处理方法具有第1摄影过程，其以第1倍率拍摄被拍摄对象物来获得第1图像信息；第2摄影过程，其以作为高于上述第1倍率的倍率的第2倍率拍摄上述被拍摄对象物来获得第2图像信息作为上述部分图像；图像模型生成过程，其根据上述对象图像的大小和表示部分图像中重复区域的程度的重复区域信息，生成将上述部分图像贴合起来所生成的对象图像的模型；摄影位置计算过程，其用上述模型来检索贴合上述部分图像所生成的对象图像在第1图像信息中的配置位置；以及高精细图像生成过程，其根据上述配置位置，将上述部分图像贴合起来生成上述对象图像。
10.根据权利要求9所述的图像处理方法，其特征在于，在上述摄影位置计算过程中，通过检测上述模型的贴合时的重复区域在上述第1图像信息中的最佳的配置位置，来检索对象图像的配置位置。
11.根据权利要求10所述的图像处理方法，其特征在于，在上述摄影位置计算过程中，在上述第1图像信息的预先设定的检索区域内，按规定的移动距离使上述模型移动，同时检索重复区域的配置位置。
全文摘要
本发明提供一种图像处理装置和方法，该图像处理装置使被拍摄对象物的部分图像具有规定的重复区域来贴合，生成规定的大小的被拍摄对象物的整体或者一部分的对象图像，该装置具有以第1倍率拍摄被拍摄对象物来获得第1图像信息的第1摄影单元；以作为高于第1倍率的倍率的第2倍率拍摄被拍摄对象物来获得部分图像的第2摄影单元；根据对象图像的大小和重复区域在部分图像中的比例即重复率来生成把部分图像贴合起来生成的对象图像的模型的图像模型生成单元；利用模型来检索从部分图像中生成的对象图像在第1图像信息中的配置位置的摄影位置计算单元；和利用配置位置将上述部分图像贴合起来生成上述对象图像的高精细图像生成单元。
文档编号G01N21/88GK1981302SQ200580022858
公开日2007年6月13日 申请日期2005年7月8日 优先权日2004年7月9日
发明者堀内一仁 申请人:奥林巴斯株式会社