专利名称：图像匹配方法、程序和图像匹配系统的制作方法
技术领域：
本发明涉及用于根据图像中的线性成分匹配两个血管图像、指纹图像、静止图像、移动图像以及其他图像的图像匹配方法，以及用于它的程序和图像匹配系统。
背景技术：
作为用于匹配图像信息的系统，过去已经知道各种图像匹配系统。例如已经知道一种信息处理设备，用于例如将登记的图像与成预定位置关系的用于进行比较的图像、也就是“匹配图像”进行比较以计算相关值，并根据该相关值来将登记的图像与匹配图像进行匹配；或者一种信息处理设备，通过处理像素单元来生成相关值(参考例如日本未经审查的专利公开2000-194862)。
但是在上述信息处理设备中，当在登记的图像和匹配图像之间发生平行移动、旋转、放大、缩小或者其他偏离时，就难以适当地生成相关值，有时不能获得足够的匹配精度。因此尚需要改进。
发明内容
本发明的一个目的是提供一种能够高精度地匹配图像的图像匹配方法，以及用于它的程序和图像匹配系统。
根据本发明的第一个方面，提供一种用于匹配第一图像和第二图像的图像匹配方法，包括第一步骤，根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成第一转换图像和第二转换图像；以及第二步骤，根据沿着在第一步骤中所生成的第一转换图像和第二转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，进行第一图像对第二图像的匹配处理。
优选地，在第一步骤中，根据从参考位置至经过图像中点的直线上的最近点的距离，以及由经过参考位置和该最近点的直线与包括参考位置的参考轴所形成的夹角，将每个图像中的点转换为曲线图案，并将每个图像中的线性成分转换为多个重叠曲线的图案，从而该方法进行图像转换处理，以生成第一转换图像和第二转换图像。
另外，根据本发明的第二方面，提供一种由用于匹配第一图像和第二图像的信息处理设备来运行的程序，包括第一程序，根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成第一转换图像和第二转换图像；以及第二程序，根据沿着在第一程序中所生成的第一转换图像和第二转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，进行第一图像对第二图像的匹配处理。
优选地，在第一程序中，根据从参考位置至经过图像中点的直线上的最近点的距离，以及由经过参考位置和该最近点的直线与包括参考位置的参考轴所形成的夹角，将每个图像中的点转换为曲线图案，并将每个图像中的线性成分转换为多个重叠曲线的图案，从而该程序进行图像转换处理，以生成第一转换图像和第二转换图像。
另外，根据本发明的第三方面，提供一种用于匹配第一图像和第二图像的图像匹配系统，包括转换装置，用于根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成第一转换图像和第二转换图像；以及匹配装置，用于根据沿着在第一程序中所生成的第一转换图像和第二转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，进行第一图像对第二图像的匹配处理。
优选地，在转换装置中，根据从参考位置至经过图像中点的直线上的最近点的距离，以及由经过参考位置和该最近点的直线与包括参考位置的参考轴所形成的夹角，将每个图像中的点转换为曲线图案，并将每个图像中的线性成分转换为多个重叠曲线的图案，从而执行图像转换处理，以生成第一转换图像和第二转换图像。
根据本发明，第一步骤、第一程序以及转换装置中的每一个都根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，以在由所述距离和所述角度限定的二维空间中生成第一转换图像和第二转换图像，第二步骤、第二程序和匹配装置中的每一个都根据沿着所生成的第一转换图像和第二转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，进行第一图像对第二图像的匹配处理。
通过结合附图参考本发明实施方式的以下说明将更加了解本发明的上述和其他的目的和特征，其中 图1是根据本发明的图像匹配系统的类似硬件的功能块图； 图2是图1所示的图像匹配系统的类似软件的功能块图； 图3A和3B是用于解释图2所示的转换单元的操作的示图； 图4A-4F是用于解释图2所示的转换单元的操作的示图，其中图4A是样品图像va1的示图，图4B是通过将图4A所示的图像va1确切地以预定角度θ进行旋转而获得的图像va2的示图；图4C是通过将图4B所示的图像va2平行移动而获得的图像va3的示图；图4D是通过对图4A所示的图像va1进行图像转换处理而得到的图像hva1的示图；图4E是通过对图4B所示的图像va2进行图像转换处理而得到的图像hva2的示图；图4F是通过对图4C所示的图像va3进行图像转换处理而得到的图像hva3的示图； 图5A-5F是用于解释图2所示的转换单元的操作的示图； 图6是图2所示的相关值生成单元的具体示例的功能块图； 图7A-7C是用于解释相关强度图像G(p，q)的相关值的示图，其中图7A和7B是作为转换的图像的信号S1621和S1622的示图，图7C是相关强度图像G(p，q)的强度峰值的示图； 图8是用于解释相关强度图像G(p，q)的示图； 图9是用于解释图1所示的图像匹配系统的操作的流程图； 图10是根据本发明第二实施方式的图像匹配系统的功能块图； 图11A和11B是用于解释图10所示的位置相关单元的操作的示图； 图12A和12B是用于解释相似度生成单元的操作的示图； 图13A-13C是用于解释图10所示的相似度生成单元的操作的示图； 图14是用于解释图10所示的图像匹配系统的操作的示图； 图15A-15C是用于解释根据本发明第三实施方式的图像匹配系统的操作的示图；以及 图16是用于解释根据本发明第三实施方式的图像匹配系统的操作的流程图。
具体实施例方式 图1是根据本发明第一实施方式的图像匹配系统的类似硬件的功能块图。例如图1所示的该实施方式的图像匹配系统(信息处理设备)1具有图像输入部分11、存储器12、转换处理单元13、抽取处理单元14、快速傅立叶变换(FFT)处理单元15、中央处理单元(CPU)16以及操作处理单元17。例如，图像输入部分11连接至存储器12。存储器12、转换处理单元13、抽取处理单元14、FFT处理单元15和CPU处理单元16通过总线BS连接。
图像输入部分11是用于从外界接受图像输入的输入部分。例如，图像输入部分11接受登记的图像AIM和要与该登记的图像AIM相比较的图像(也称为“匹配图像RIM”)作为输入。存储器12存储例如从其图像输入部分输入的图像。另外，存储器12例如存储登记的图像AIM、匹配的图像RIM、程序PRG等等，如图1所示。程序PRG由例如CPU16运行，并包括用于实现与本发明的转换处理、相关处理、匹配处理等相关的程序。
转换处理单元13在CPU16的控制下执行将在以后解释的图像转换处理，并将处理结果输出至CPU16。转换处理单元13优选采用由硬件构成的专用电路从而以高速进行例如图像转换处理。
抽取处理单元14在CPU16的控制下执行将在以后解释的抽取处理(也称为“遮蔽处理”)，并将结果输出至CPU16。抽取处理单元14优选采用由硬件构成的专用电路从而以高速进行例如抽取处理。
快速傅立叶变换(FFT)处理单元15根据存储器12存储的图像在例如CPU16的控制下执行二维傅立叶变换处理，并将处理结果输出至CPU16等。
在例如登记的图像AIM根据将在以后解释的CPU16的处理结果与匹配图像RIM匹配的时候，操作处理单元17执行用于释放电子锁等的预定处理。
CPU16根据例如存储在存储器12中的程序PRG、登记的图像AIM和匹配图像RIM执行本发明该实施方式的匹配处理。另外，CPU16控制图像输入部分11、存储器12、转换处理单元13、抽取处理单元14、FFT处理单元15、操作处理单元17等等，以实现该实施方式的处理。
图2是图1所示的图像匹配系统的类似软件的功能块图。例如，如图2所示，运行存储器12中的程序的CPU16实现转换单元161、抽取单元162、相关值生成单元163、以及匹配单元164的功能。转换单元161对应于本发明的转换装置，相关值生成单元163和匹配单元164对应于本发明的匹配装置。
转换单元161使得转换处理单元13就例如执行图像转换处理的硬件进行专门的图像处理。更详细地说，例如转换单元161根据登记的图像AIM进行图像转换处理，并将处理结果输出作为信号S1611。另外，转换单元161根据匹配的图像RIM执行图像转换处理，并将处理结果输出作为信号S1612。
图3A和3B是用于解释图2所示的转换单元的操作的示图。转换单元161根据例如从第一图像和第二图像中每一个内的参考位置的距离以及由穿过参考位置的直线和包括参考位置的参考轴所形成的夹角来执行图像转换处理，以在由该距离和夹角所限定的二维空间内生成第一转换图像和第二转换图像。
更详细地说，转换单元161执行图像处理，用于根据从参考位置O至经过该图像中的点的直线L0上的最近点P0的距离ρ0以及由经过参考位置O和该最近点P0的直线n0和包括参考位置O的参考轴所形成的夹角θ0而将每个图像中的点转换为曲线图案，并将图像中的线性成分转换为多个重叠的曲线图案，以生成第一转换图像和第二转换图像。
为了简化解释，例如如图3A所示，假设直线L0和该直线L0上的点P1(x1，y1)、点P2(x2，y2)和点P3(x3，y3)存在于一个X-Y平面上。如果例如经过原点(参考位置)O并垂直于直线L0的直线是n0，直线n0和作为参考轴的x轴具有呈θ0角度的相互关系。从原点O至直线L0呈距离为|ρ0|的相互关系。直线L0可以由参数例如(ρ0，θ0)来实现。在X-Y平面上的坐标(x，y)上进行的本发明的图像转换处理由例如以下公式(1)来限定 ρ＝X·cosθ+y·sinθ(1) 例如，当对P1、P2和P3中的每个点进行公式(1)所示的转换处理时，如图3B所示在ρ-θ空间内将点转换为曲线。更详细地说，转换处理用于将点P1(x1，y1)转换为曲线PL1(x1·cosθ+y1·sinθ)、将点P2(x2，y2)转换为曲线PL2(x2·cosθ+y2·sinθ)，以及将点P3(x3，y3)转换为曲线PL3(x3·cosθ+y3·sinθ)。这些曲线PL1、PL2和PL3的图案在ρ-θ空间内在交点CP(ρ0，θ0)处相交。在ρ-θ空间内，交点(ρ0，θ0)对应于X-Y平面上的线性成分L0。相反如图3A所示，X-Y平面上的线性成分对应于ρ-θ空间内的图案PL1、PL2和PL3的交点CP。
如上所解释的，进行用于数字化的图像转换处理。根据在处理结果的ρ-θ空间内的曲线图案的重叠程度可以确定，在处理之前哪个线性成分在X-Y平面上是占支配地位的。图像在该XY平面上的旋转和平行移动对应于在图像处理之后在ρ-θ空间内沿着θ方向和ρ方向的平行移动。
图4A-4F是用于解释图2所示的转换单元的操作的示图，其中图4A是样品图像va1的示图，图4B是通过将图4A所示的图像va1确切地以预定角度θ进行旋转而获得的图像va2的示图；图4C是通过将图4B所示的图像va2平行移动而获得的图像va3的示图；例如在图4A-4C中，X轴画在纵坐标上，Y轴画在横坐标上。图4D是通过对图4A所示的图像va1进行图像转换处理而得到的图像hva1的示图；图4E是通过对图4B所示的图像va2进行图像转换处理而得到的图像hva2的示图；图4F是通过对图4C所示的图像va3进行图像转换处理而得到的图像hva3的示图。例如在图4D-4F中，ρ轴画在纵坐标上，θ轴画在横坐标上。
当转换单元161对包括直线La1和La2的图像va1进行例如如图4A所示的图像转换处理时，它通过如图4D所示将指示ρ-θ空间的图像中的曲线图案进行重叠生成一个包括两个点的图像hva1。为了简化解释，只显示了具有曲线图案的大重叠程度的点。当转换单元161如图4B所示对通过将图像va1确切地以预定角度θ进行旋转而获得的图像va2进行图像转换处理时，它生成如图4E所示的图像hva2。与图4D所示的图像hva1相比，该图像hva2沿着θ方向基于在指示ρ-θ的空间的图像中的旋转角度θ而准确地平行移动一定的量。当转换单元161如图4C所示对通过将图像va2确切地以预定量平行移动而获得的图像va3进行图像转换处理时，它生成如图4F所示的图像hva3。与图4E所示的图像hva2相比，该图像hva3沿着ρ方向基于在指示ρ-θ的空间的图像中的平行移动量而准确地平行移动一定的量。从上述特征，通过检测在在图像转换过程之后在图像之间的平行移动量而计算相关程度，可以考虑在图像转换处理之前的图像的旋转角度和平行移动而进行图像匹配。
图5A-5F是用于解释图2所示的转换单元的操作的示图。转换单元161对例如图5A中所示的登记的图像AIM进行图像转换处理，生成如图5C所示的图像S1611，对图5B所示的匹配图像RIM进行图像转换处理，生成图像S1612。在图像S1611和图像S1612中的像素内设定与曲线图案的重叠程度相一致的值。在该实施方式中由预定的半色调显示的图像之中，曲线图案的重叠程度越高，所显示的图像越白。如后面所解释的那样，匹配单元164根据曲线图案的重叠程度进行匹配处理，从而根据原始XY空间内的线性成分进行匹配处理。
抽取单元162抽取其在一个转换的图像中的曲线图案的重叠程度大于为第一转换图像和第二转换图像中的每个先前设定的阈值的区域。更详细地说，例如抽取单元162抽取其一个转换的图像中的曲线图案的重叠程度大于如图5C所示根据第一转换图像的信号S1611而先前设定的阈值的区域，产生如图5E所示的图像信号S1621，并将其输出至相关值生成单元163。另外例如，抽取单元162抽取其一个转换的图像中的曲线图案的重叠程度大于如图5D所示根据第二转换图像的信号S1612而先前设定的阈值的区域，产生如图5F所示的图像信号S1622，并将其输出至相关值生成单元163。通过进行这种抽取处理，消除了例如与例如登记的图像AIM和匹配的图像RIM的XY空间中的线性成分不同的噪音成分，例如点成分。例如，抽取单元162使得抽取处理单元14就例如执行如上所述的抽取处理的抽取处理(遮蔽处理)的硬件而进行专门的抽取处理(也称之为遮蔽处理)。
相关值生成单元163根据基于第一转换图像和第二转换图像的信号S1621和信号S1622在沿着第一方向和与该第一方向正交的第二方向的多个不同相对位置处的相关处理结果进行第一图像和第二图像的匹配处理。此处，第一方向和第二方向表示在转换的图像中的X方向和Y方向(或者θ轴方向和ρ轴方向)。
更详细地说，相关值生成单元163根据第一转换图像和第二转换图像中的图案的重叠程度以及基于第一和第二转换图像的第一转换图像和第二转换图像中的图案的一致/不一致，生成相关值，并将所生成的相关值作为信号S163输出至匹配单元164。
图6是图2所示的相关值生成单元162的具体示例的功能块图。如图6所示，相关值生成单元163具有相关单元1631和相关值检测单元1632。相关单元1631采用例如相位限制滤波器基于信号S1621和S1622进行相关处理，并将处理结果作为信号S1631输出至相关值检测单元1632。相关单元1631例如图6所示，具有傅立叶变换单元16311和16312，结合单元16313，相位抽取单元16314，以及反向傅立叶变换单元16315。
在例如M×N个像素的图像pA(m，n)的情况下，傅立叶变换单元16311如公式(2)所示对信号S1621进行傅立叶变换，生成傅立叶图像数据X(u，v)，并将其作为信号S16311输出至结合单元16313。在例如M×N个像素的图像pB(m，n)的情况下，傅立叶变换单元16312如公式(3)所示对信号S1622进行傅立叶变换，生成傅立叶图像数据Y(u，v)，并将其作为信号S16312输出至结合单元16313。
傅立叶图像数据X(u，v)如公式(2)所示由振幅谱C(u，v)和相位谱θ(u，v)构成，同时傅立叶图像数据Y(u，v)如公式(3)所示由振幅谱D(u，v)和相位谱(u，v)构成。
结合单元16313结合在傅立叶变换单元16311和16312处生成的数据X(u，v)和Y(u，v)，并求相关。例如，结合单元16313生成X(u，v)·Y＊(u，v)，并将其输出给相位抽取单元16314。此处，Y＊(u，v)是Y(u，v)的复共轭。
相位抽取单元16314基于来自结合单元16313的结合信号输出消除了振幅成分，并抽取相位信息。例如相位抽取单元16314根据X(u，v)·Y＊(u，v)抽取相位成分Z(u，v)＝exp{j(θ(u，v)-(u，v))}。
相位信息的抽取不限于上述形式。例如，可以在基于傅立叶变换单元16311和16312的输出根据公式(4)和公式(5)抽取相位信息之后仅如公式(6)所示结合相位成分，并生成Z(u，v)。
X′(u，v)＝ejθ(u，v)(4) Y′(u，v)＝ej(u，v)(5) Z(u，v)＝X′(u，v)(Y′(u，v))*＝ej(θ(u，v)-(u，v))(6) 反向傅立叶变换单元16315根据仅是从相位抽取单元16314输出的信号Z(u，v)进行反向傅立叶变换处理，以生成相关强度图像。更详细地说，反向傅立叶变换单元16315如公式(7)所示基于信号Z(u，v)进行反向傅立叶变换处理，并生成相关强度图像G(p，q)，然后将其作为信号S1631输出至相关值检测单元1632。
相关值检测单元1632根据例如基于从相关单元1631输出的信号S1631的相关强度图像G(p，q)中的峰值强度检测相关值，并将所检测的相关值作为信号S163输出至匹配单元164。例如，相关值检测单元1632将相关强度图像G(p，q)中的最大峰值强度定义为相关值。
图7A-7C是用于解释相关强度图像G(p，q)的相关值的示图。图7A和7B是显示转换的图像的信号S1621和S1622的示图；图7C是相关强度图像G(p，q)的强度峰值的示图。图8是用于解释相关强度图像G(p，q)的示图。例如，相关值生成单元163如例如图7A和7B所示基于图像S1621和S1622进行相关处理，生成相关强度图像G(p，q)，如图7C所示，并将其作为信号S1631输出。在图7C中，z轴指示在点(p，q)的相关强度。相关值检测单元1632向匹配单元164输出具有最大相关强度的峰PP的相关强度作为相关值信号S163。当在例如图像S1621和S1622之间没有旋转偏离和平行移动偏离的时候，相关强度图像S1631被设定为使得具有最大相关强度的峰PP在如图8所示的相关强度图像S1631的图像中央位置O处形成。当在例如图像S1621和S1622之间存在旋转偏离或者平行移动偏离的时候，相关强度图像S1631被设定为使得具有最大相关强度的峰PP根据旋转偏移或者平行移动偏离而从其图像中央位置O准确地偏离一定量来形成。
当通过上述相关处理生成相关强度图像的时候，即使在图像S1621和S1622之间存在旋转偏离或者平行移动偏离，也可以找到相关峰作为基于相关强度图像的相关值。
匹配单元164将登记的图像AIM和匹配图像RIM基于指示从相关值生成单元163输出的相关值的信号S163进行匹配。更详细地说，当相关值大于预定阈值的时候，匹配单元164确定登记的图像AIM和匹配图像RIM一致，而当相关值小于阈值的时候，确定它们不一致。例如当将该实施方式的图像匹配系统用于安全领域的脉匹配系统时，CPU16使得操作处理单元17执行预定的处理，例如根据匹配单元164的匹配结果解锁电子锁。
图9是用于解释图1所示的图像匹配系统的操作的流程图。通过参考图3A和3B、图5A-5F以及图7A-7C到图9，主要就CPU16的操作来解释图像匹配系统1的操作。
例如，先前将登记的图像AIM从图像输入部分11输入，并存储在存储器12中。在步骤ST1，匹配图像RIM从图像输入部分11输入并存储在存储器12中。在步骤ST2，转换单元161执行图像处理，用于基于例如图5B所示的匹配图像RIM如图3A所示根据从参考位置O至穿过图像中的点的直线L0上的最近点P0的距离ρ0以及穿过该参考位置O和最近点P0的直线n0与作为包括参考位置O的参考轴的x轴之间的夹角θ将图像中的点转换为曲线图案，并将图像中的线性成分L转换为多个重叠的曲线PL的图案，生成信号S1612作为在ρ-θ空间上的转换的图像，例如如图5D所示。
在步骤ST3，抽取单元162基于转换的图像S1612，对其在一个转换的图像中的曲线图案的重叠程度大于先前设置的阈值的区域进行抽取处理(遮蔽处理)。更详细地说，如上所述，在图像S1612的每个像素中，根据曲线图案的重叠程度设定一个值。在由预定的半色调所显示的图像之中，曲线图案的重叠程度越高，所显示的图像越白。例如，抽取单元162抽取其在如图5F所示的转换的图像S1612中的曲线图案的重叠程度大于先前设置的阈值的区域，生成例如图5E所示的图像S1622，并将其输出至相关值生成单元163。
在步骤ST4，CPU16读取在存储器12中存储的登记的图像AIM。在步骤ST5，转换单元161执行图像处理，用于基于例如图5A所示的登记的图像AIM如图3A所示根据从参考位置O至穿过图像中的点的直线L0上的最近点P0的距离ρ0以及穿过该参考位置O和最近点P0的直线n0与作为包括参考位置O的参考轴的x轴之间的夹角θ将图像中的点转换为曲线图案，并将图像中的线性成分L转换为多个重叠的曲线PL的图案，生成信号S1611作为在ρ-θ空间上的转换的图像，例如如图5C所示。
步骤ST1-ST5对应于本发明的根据从第一图像和第二图像中的每一个的参考位置的距离以及由穿过该参考位置的直线与包括参考位置的参考轴所形成的夹角进行图像转换处理、并在由该距离和角度所限定的二维空间中生成第一转换图像和第二转换图像的第一步骤。
在步骤ST6，抽取单元162基于转换的图像S1611，对其在一个转换的图像中的曲线图案的重叠程度大于先前设置的阈值的区域进行抽取处理(遮蔽处理)。例如，抽取单元162抽取其在如图5C所示的转换的图像S1611中的曲线图案的重叠程度大于先前设置的阈值的区域，生成例如图5E所示的图像S1621，并将其输出至相关值生成单元163。
相关值生成单元163基于在转换的图像S1621和转换的图像S1622中的图案的重叠程度以及在转换的图像S1621和转换的图像S1622中的图案的一致/不一致来生成登记的图像AIM和匹配的图像RIM的相关值。更详细地说，在步骤ST7，相关单元1631的傅立叶变换单元16311和16312对转换的图像S1621和S1622进行例如公式(2)和(3)所示的傅立叶变换处理，并将处理结果作为信号S16311和S16312输出至结合单元16313。
步骤ST1-ST7的处理不需要按照上述顺序。例如在转换单元161对登记的图像AIM和匹配的图像RIM进行转换处理之后，可以由抽取单元162对转换的图像进行抽取处理。
在步骤ST8，结合单元16313基于信号S16311和S16312进行如上所述的结合处理，并将处理结果作为信号S16313输出至相位抽取单元16314。在步骤ST9，相位抽取单元16314仅根据信号S16313抽取相位成分，并将其作为信号S16314输出至反向傅立叶变换单元16315。
在步骤ST10，反向傅立叶变换单元16315基于信号S16314进行反向傅立叶变换处理，并将其作为如图7C所示的信号S1631输出至相关值检测单元1632。该相关强度图像S1631的相关强度峰的幅度显示了在图像转换之后的转换的图像之间的相关程度。例如当在转换的图像之间有平行移动偏离的时候，相关强度图像S1631的相关强度峰的位置以与转换的图像之间的平行移动偏离的量相对应的量准确地从中央位置O偏离，但是不会对相关强度产生影响。
在步骤ST11，相关值检测单元1632将相关强度峰PP的强度定义为相关值，并将信号S163输出至匹配单元164。
在步骤ST12，匹配单元164基于指示来自相关值检测单元1632的相关值的信号S163进行匹配。更详细地说，匹配单元164确定该相关值是否大于先前确定的阈值，并且当确定该相关值更大时，输出指示该登记的图像AIM和匹配的图像RIM一致的匹配结果信号S164。另一方面，在步骤ST12，当确定该相关值小于先前决定的阈值的时候，匹配单元164输出指示该登记的图像AIM和匹配的图像RIM不一致的匹配结果信号S164，并结束这一系列处理。
步骤ST7至ST12对应于根据在本发明第一步骤中生成的第一转换图像和第二转换图像中沿着第一方向和与第一方向正交的第二方向的多个不同的相关位置处的相关处理结果进行第一图像和第二图像的匹配处理的第二步骤。
如上所述，在该实施方式中，前提是，转换单元161根据从第一图像和第二图像中的每一个的参考位置的距离以及由穿过该参考位置的直线与包括参考位置的参考轴所形成的夹角进行图像转换处理，并在由该距离和角度所限定的二维空间中生成第一转换图像和第二转换图像，更详细地说，转换单元161用于根据登记的图像AIM和匹配的图像RIM进行图像处理，用于根据从参考位置O至穿过图像中的点的直线L0上的最近点P0的距离ρ0以及穿过该参考位置O和最近点P0的直线n0与作为包括参考位置O的参考轴的x轴之间的夹角θ将图像中的点转换为曲线图案，并将图像中的线性成分L转换为多个重叠的曲线PL的图案，生成转换的信号S1611和S1612作为在ρ-θ空间上的转换的图像，相关值生成单元163用于基于转换的图像S1611和S1612进行相关处理，并生成相关值S163，匹配单元164用于根据指示相关值生成单元163所生成的相关值的信号S163对登记的图像AIM和匹配的图像RIM进行匹配，因此可以高精度地进行图像的匹配。
也就是，匹配单元164根据在转换单元161所生成的转换的图像S1611和转换的图像S1612中的图案的重叠程度以及在转换的图像S1611和转换的图像S1612中的图案的一致/不一致进行匹配，因此可以高精度的匹配图像。另外，即使当登记的图像AIM和匹配的图像RIM之间存在平行移动偏离和旋转角度偏离的情况下，在根据本发明的图像转换处理之后，该平行移动偏离和旋转角度偏离也表现为在转换的图像S1611和S1612之间的平行移动偏离和旋转角度偏离。在本发明的相关处理中，即使当转换的图像S1611和S1612之间存储平行移动偏离时，也可以生成相关值，并可以利用简单的处理进行匹配。
例如在通常的图像匹配处理中，在要匹配的图像之间的平行移动偏离和旋转角度偏离的校正处理进行之后，必须进行大负荷的处理，例如以像素为单位进行匹配处理，但是在该实施方式的图像匹配中，不必进行这种校正处理，从而可以低负荷并且高速地进行匹配处理。
图10是本发明第二实施方式的图像匹配系统的功能块图。该实施方式的图像匹配系统1a根据登记的图像AIM和匹配的图像RIM进行Huff转换处理，校正所转换的图像的平行移动偏离，生成作为位置校正之后的转换图像之间的相关值的相似度，基于该相似度在登记的图像AIM和匹配的图像RIM之间进行匹配处理。
就例如硬件而言，图像处理设备1a与图1所示的功能块图具有相同的组成，因此省略对它们的描述。就软件而言，图像处理设备1a例如如图10所示通过由CPU16执行在存储器12中存储的程序PRG而实现转换单元161、抽取单元162、相关值生成单元163a、位置校正单元170、以及匹配单元164a的功能。第一实施方式和第二实施方式之间的差异在于增加了位置校正单元170、相关值生成单元163a输出用于位置校正处理的信号S1631、以及匹配单元164a的功能是不同的。在第一实施方式和第二实施方式之间具有相同功能的组分用同样的标记来表示，省略对它们的解释。
相关值生成单元163a例如如图7A和7B所示基于图像S1621和S1622进行相关处理，并如图7C所示生成相关强度图像G(p，q)，将其作为信号S1631输出。
位置校正单元170基于从相关值生成单元163a输出的信号S1631、从抽取单元162输出的信号S1621和S1622进行位置校正处理，也就是基于在第一转换图像和第二转换图像中的图案进行位置校正处理，将位置校正处理的结果作为信号S1701和信号S1702输出至匹配单元164a。
图11A和11B是用于解释图10所示的位置校正单元的操作的示图。数值显示在相关图像数据的X-Y平图像面上的相关数据的相关峰强度。例如在登记的图像AIM和匹配的图像RIM包括数字化的线性成分(线性形状)的图案时，即使在具有较大相关性的图像之间，相关峰强度(也称之为相关强度)具有如图11A和11B所示的小的数值。
例如，位置校正单元170指定具有较高相关强度的N个相关值以及相关峰位置，也就是在该实施方式中指定8个相关值和相关峰位置，作为例如在图11A所示的登记的图像AIM和匹配的图像RIM之间在二维中的位置关系的候选。位置校正单元170通过根据需要例如平行移动进行多个位置校正处理而进行位置校正，从而基于多个校正值和与它们相对应的校正峰位置，登记的图像AIM和匹配的图像RIM之间的图案基本一致。
匹配单元164a基于在两个转换的图像中的图案生成校正值，并基于所生成的校正值和先前设定的阈值在登记的图像AIM和匹配的图像RIM之间进行匹配处理。另外，匹配单元164a基于和不同位置相对应的相关值的总和以及根据多个位置校正处理的结果先前设定的阈值进行匹配处理。
更详细地说，匹配单元164a具有相似度生成单元1641、判决单元1642、以及加和单元1643。图12A和12B是用于解释相似度生成单元1641的操作的示图。相似度生成单元1641对在第一转换图像和第二转换图像中的例如多个不同的位置关系中的每一个进行比较处理，基于比较处理的结果生成相似度作为相关值。更详细地说，相似度生成单元1641例如图12A和12B所示基于信号S1701和1702对两个图像中的多个不同位置关系中的每一个进行比较处理，基于比较处理的结果生成作为相关值的相似度。
例如，当两个图像是fl(m，n)和f2(m，n)时，相似度生成单元1641例如通过公式(8)计算相似度Sim并将计算结果输出作为S1641。
图13A-13C是用于解释图10所示的相似度生成单元的操作的示图。当例如图13A和13B所示生成包括线性成分(也称之为线性形状)的两个图像的相似度的时候，相似度生成单元1641根据如图13C所示两个图像的交点CP的数量生成相似度。此处为了简化解释，由比特值为“1”的黑色像素表示线性成分，由比特值为“0”的白色像素表示其他成分。
加和单元1643将基于信号S1641的相似度Sim加和，并将加和结果作为信号S1643输出至判决单元1642。判决单元1642将登记的图像AIM和匹配的图像RIM基于指示由相似度生成单元1641所生成的相似度的信号S1641来进行匹配。例如，当相似度大于预定值时，判决单元1642确定该登记的图像AIM和匹配的图像RIM一致。另外，当来自加和单元1643的相似度Sim的值加和的信号S1643大于预定阈值的时候，判决单元1642确定登记的图像AIM和匹配的图像RIM一致。
图14是用于解释如图10所示的第二实施方式的图像匹配系统的操作的示图。主要就图14所示的CPU的操作来说明图像匹配系统的操作。和第一实施方式中相同的操作采用相同的附图标记，并省略对它们的解释。步骤ST1-ST10的处理与第一实施方式的相同。因此省略对它们的描述。步骤ST2和步骤ST6对应于本发明的第四步骤和第四程序。在步骤ST111，位置校正单元170基于从相关值生成单元163a输出的作为信号S1631的相关强度图像G(p，q)以及从抽取单元162输出的信号S1621和S1622、也就是在第一转换图像和第二转换图像中的图案进行位置校正处理，将位置校正处理结果输出至匹配单元164a作为信号S1701和信号S1702。步骤ST111对应于本发明的第三步骤和第三程序。
例如更详细地说，基于信号S1631，位置校正单元170例如在如图11A所示的该实施方式中指定(选择)8个相关值和相关峰位置，作为在登记的图像AIM和匹配的图像RIM之间在二维空间内的位置关系的候选，例如更高的N个候选Pi(P0，P1，...PN-1)。
在步骤ST112，加和单元1643对用于加和的变量进行初始化。例如，它将变量i初始化为0，并将加和值S初始化为0。在步骤ST113，位置校正单元170基于例如每个候选的(坐标)Pi和从与其相对应的相关图像数据的中央的偏离量来进行登记的图像AIM和匹配的图像RIM的位置校正处理。
在步骤ST114，通过相似度生成单元1641计算相似度Sim(i)，并输出至加和单元1643和判决单元1642。
判决单元1642对相似度Sim(i)和先前设定的第一个阈值th1进行比较。当相似度Sim小于第一阈值th1(步骤ST115)时，加和单元1643将相似度Sim(i)加和，更详细地说，通过公式S＝S+Sim(i)进行加和，并将其输出至判决单元S1642(ST116)。在步骤ST117，匹配单元1642对加和的值S与先前设定的第二阈值th2进行比较。当加和值S小于第二阈值th2时，它将变量i和值N-1进行比较(ST118)。当变量i和值N-1不一致的时候，它对变量i加1(ST119)，返回至步骤ST113的处理。在步骤ST118，当变量i和值N-1一致的时候，它确定该图像不一致(ST120)。
另一方面，在步骤ST115的比较处理中，当相似度Sim(i)大于第一阈值th1时，匹配单元1642确定该图像一致。在步骤ST117的比较处理中，当加和值S大于第二阈值th2时，匹配单元1642确定图像一致(ST121)。当该实施方式的图像匹配系统用于例如安全领域的血管图案匹配系统时，操作处理单元17执行例如将电子锁解锁的操作。
如上所述，在该实施方式中，位置校正单元170生成指示校正位置的多个相关值，并根据所生成的多个相关值进行登记的图像AIM和匹配的图像RIM的多个位置校正处理，判决单元1642根据在转换的图像中的图案基于作为相关值的相似度的加和值进行匹配处理。因此例如，即使在要比较的两个图像数据之间的相关度小的情况下，与仅通过相似度进行匹配的情况相比，通过将为多个候选的每个位置关系所计算的相似度进行加和，可以高精度地进行匹配。
另外，当相似度Sim大于第一阈值th1时确定转换的图像一致，因此可以高速进行匹配处理。
需要指出，本发明不限于该实施方式。可以作出各种优选的改进。例如，在该实施方式中，相似度生成单元通过公式(8)计算相似度，但是本发明不限于此。例如，相似度生成单元可以进行适合于线性成分(线性图案)的相关的相似度计算处理。
另外，第一阈值th1和第二阈值th2是固定值，但是本发明不限于此。例如可以通过使得每个阈值根据图像图案发生变化而进行更高精度的匹配。
以下情况也是可以的，即本发明的第三实施方式的图像匹配系统1b存储多个图像作为登记的图像或者匹配的图像，当进行图像的匹配处理的时候首先在具有小分辨率(也就是具有小的图像尺寸)的转换图像之间进行相关处理，并基于相关处理结果根据第一实施方式或者第二实施方式在具有正常分辨率(也就是正常的图像尺寸)的图像之间进行匹配处理。
更详细地说，该实施方式的图像匹配系统1b基于距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成其分辨率低于第一转换图像和第二转换图像的第三转换图像和第四转换图像，基于在沿着所生成的第三转换图像和第四转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，确定是否进行高分辨率(正常分辨率)相关处理和匹配处理，当相关值低于预定阈值的时候，搁置匹配处理，并对其他图像进行匹配处理，仅对分辨率高于阈值的图像连续进行高分辨率匹配处理。该实施方式的图像匹配系统1b的功能块图具有与第一实施方式的图像匹配系统同样的组成，因此省略对它的解释。
图15是用于解释本发明第三实施方式的图像匹配系统的操作的示图。根据该实施方式的图像转换处理所产生的ρ-θ平面(也称之为参数空间)的尺寸，确定X-Y平面上的直线被以何种程度精细地分段为参数。参数空间的尺寸越大，直线可以被越精细的分段，从而分辨率按照这个量而更高。例如转换单元161基于包括具有如图15A所示的旋转角度偏离的直线的图像vb1而以高分辨率的参数空间尺寸(例如180×180像素)进行图像转换处理，并连续生成图15B所示的图像vb2。另外，转换单元161基于包括具有如图15A所示的旋转角度偏离的直线的图像vb1，生成指示出按照低分辨率的参数空间尺寸(例如30×30像素)的图像转换处理结果的图像vb3。
当比较图像vb2和图像vb3的时候，在例如图15B所示的高分辨率的图像vb2中，在图像转换之前的具有角度偏离的每个直线被分类为其他的θ参数(θ1，θ2)，但是相反，在如图15C所示的低分辨率的图像vb3中，它们被分类为相同的θ参数(θ3)。在本发明的图像转换处理之后在图像之间的匹配处理的处理速度取决于参数空间的处理速度。更详细地说，例如，参数空间的尺寸越大，也就是分辨率越高，处理时间越长，处理负荷越大。参数空间的尺寸越小，也就是分辨率越低，处理时间越短，处理负荷越小。在该实施方式的图像匹配系统中，当在输入的匹配图像RIM和存储在存储器12中的多个登记的图像AIM之间进行匹配的时候，首先，基于在具有低分辨率的参数空间中的相关值的计算结果，通过从一致性候选中排除具有低相关值的图像作为其结果，缩短了用于整个匹配处理所花费的时间。
图16是用于解释本发明第三实施方式的图像匹配系统的操作的流程图。通过参考图16，主要就图像匹配系统的CPU的操作解释与第一实施方式和第二实施方式之间的区别。
例如，先前从图像输入部分11输入多个登记的图像AIM，并存储在存储器12中。在步骤ST201，从图像输入部分11输入匹配的图像RIM，并存储在存储器12中。
在进行高分辨率(正常分辨率)的匹配处理之前，基于第一图像和第二图像，根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成其分辨率低于第一转换图像和第二转换图像的第三转换图像和第四转换图像，基于在沿着所生成的第三转换图像和第四转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，确定是否进行高分辨率转换处理和匹配处理。
具体地说，在步骤202，设定低分辨率的参数空间。在步骤ST203，转换单元161基于匹配的图像RIM如图3A所示根据从参考位置O至穿过图像中的点的直线L0上的最近点P0的距离ρ0以及穿过该参考位置O和最近点P0的直线n0与作为包括参考位置O的参考轴的x轴之间的夹角θ将图像中的点转换为曲线PL图案，并将图像中的线性成分L转换为多个重叠的曲线PL的图案，从而进行图像处理，并且生成信号S1612作为在ρ-θ空间上的转换的图像。
在步骤ST204，抽取单元162基于转换的图像S1612，对其在一个转换的图像中的曲线图案的重叠程度大于先前设置的阈值的区域进行抽取处理(遮蔽处理)。更详细地说，如上所述，在图像S1612的每个像素中，根据曲线图案的重叠程度设定一个值。在由预定的半色调所显示的图像之中，曲线图案的重叠程度越高，所显示的图像越白。例如，抽取单元162抽取其在转换的图像S1612中的曲线图案的重叠程度大于先前设置的阈值的区域，生成图像S1622，并将其输出至相关值生成单元163。
在步骤ST205，CPU16读取在存储器12中存储的登记的图像AIM。在步骤ST206，转换单元161进行图像处理，用于基于登记的图像AIM如图3A所示根据从参考位置O至穿过图像中的点的直线L0上的最近点P0的距离ρ0以及穿过该参考位置O和最近点P0的直线n0与作为包括参考位置O的参考轴的x轴之间的夹角θ将图像中的点转换为曲线图案，并将图像中的线性成分L转换为多个重叠的曲线PL的图案，生成信号S1611作为在ρ-θ空间上的转换的图像。
在步骤ST207，抽取单元162基于转换图像S1611，对其在一个转换图像中的曲线图案的重叠程度大于先前设置的阈值的区域进行抽取处理(遮蔽处理)。例如，抽取单元162抽取其在转换图像S1611中的曲线图案的重叠程度大于先前设置的阈值的区域，生成图像S1621，并将其输出至相关值生成单元163。
相关值生成单元163基于在转换图像S1621和转换的图像S1622中的图案的重叠程度以及在转换图像S1621和转换图像S1622中的图案的一致/不一致来生成在登记的图像AIM和匹配的图像RIM之间的相关值。更详细地说，在步骤ST208，相关单元1631的傅立叶变换单元16311和16312对转换图像S1621和S1622进行例如公式(2)和(3)所示的傅立叶变换处理，并将处理结果作为信号S16311和S16312输出至结合单元16313。
步骤ST201-ST208的处理不需要按照上述顺序。例如在转换单元161对登记的图像AIM和匹配的图像RIM进行转换处理之后，也可以由抽取单元162对转换图像进行抽取处理(遮蔽处理)。
在步骤ST209，结合单元16313基于信号S16311和S16312进行如上所述的结合处理，并将处理结果作为信号S16313输出至相位抽取单元16314。在步骤ST210，相位抽取单元16314仅根据信号S16313抽取相位成分，并将其作为信号S16314输出至反向傅立叶变换单元16315。
在步骤ST211，反向傅立叶变换单元16315基于信号S16314进行反向傅立叶变换处理，并将其如图7C所示的作为信号S1631输出至相关值检测单元1632。该相关强度图像S1631的相关强度峰的幅度显示了在图像转换之后的转换的图像之间的相关程度。例如当在转换图像之间有平行移动偏离的时候，相关强度图像S1631的相关强度峰的位置以与转换图像之间的平行移动偏离的量相对应的量准确地从中央位置O偏离，但是不会对相关强度产生影响。
在步骤ST212，相关值检测单元1632限定相关强度峰PP的强度作为相关值，并将信号S163输出至匹配单元164。
在步骤ST213，匹配单元164基于指示来自相关值检测单元1632的相关值的信号S163进行匹配。更详细地说，匹配单元164决定该相关值是否大于先前确定的阈值，并且当确定该相关值更小时，搁置该登记的图像AIM的匹配，读取在存储器12中的另一个登记的图像AIM，并返回值步骤206的处理。
另一方面，当确定该相关值大于在步骤ST213中先前决定的阈值的时候，匹配单元164确定该登记的图像AIM与匹配的图像RIM一致的候选，并设定高分辨率参数空间。
以下以相同的方式，对高分辨率参数空间的图像进行与步骤ST203-步骤ST212相同的处理(步骤ST216-ST224)。
在步骤ST225，匹配单元164基于指示来自相关值检测单元1632的相关值的信号S163进行匹配。更详细地说，匹配单元164确定相关值是否大于先前确定的阈值。当确定相关值更大时，输出指示该登记的图像AIM和匹配的图像RIM一致的结果信号S164(步骤ST226)。另一方面，当确定该相关值小于在步骤ST225中先前设定的阈值的时候，匹配单元164输出指示该登记的图像AIM和匹配的图像RIM不一致的结果信号S164(步骤ST227)，读取在存储器12中的另一个登记的图像AIM(ST228)，设定低分辨率(ST229)，返回至步骤206的处理。
如上所述，在该实施方式中，在高分辨率(正常分辨率)匹配处理之前，基于第一图像和第二图像，根据距离第一图像和第二图像的每一个中的参考位置的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来进行图像转换处理，并在由所述距离和所述角度限定的二维空间中生成其分辨率低于第一转换图像和第二转换图像的第三转换图像和第四转换图像，基于在沿着所生成的第三转换图像和第四转换图像中的第一方向和与第一方向正交的第二方向的多个不同的相对位置处的相关处理结果，确定是否进行高分辨率转换处理和匹配处理。当相关值较低时，搁置图像的匹配，并进行另一个图像的匹配处理，从而可以缩短整个匹配处理的处理时间。另外，由于首先进行低分辨率图像处理，因此减少了处理负荷。
需要指出，本发明不限于该实施方式。可以作出任何适当的改进。例如通过先前对登记的图像AIM进行低分辨率图像转换处理，并在这些图像之间进行匹配处理，可以进一步缩短匹配时间。
例如，本发明可以用于有关安全的用途，用于基于图像中的线性成分匹配两个血管图像、指纹图像、静态图像、以及移动图像。
总结本发明的效果，根据本发明，可以提供一种能够高精度匹配图像的图像匹配方法，以及用于它的程序和图像匹配系统。
尽管已经参考了为了进行解释所选择的特定实施方式来描述本发明，但是可以理解，本领域的技术人员可以对其作出各种改进，而不会脱离本发明的基本理念和范围。
权利要求
1.一种用于对通过近红外光所获取的图像进行鉴别的鉴别装置，包括
获取部分，用于通过近红外光获取一幅图像，
转换部分，用于将该图像转换为表示每个直线单元上的相应强度的信息，
获取部分，用于获取表示每个直线单元上的相应强度的适当血管信息，
匹配部分，用于所述信息和所述适当的血管信息进行匹配，
鉴别部分，用于根据匹配部分的结果对通过近红外光所获取的图像进行鉴别。
2.如权利要求1的鉴别装置，其中所述转换部分是一个霍夫变换部分。
3.如权利要求1的鉴别装置，其中所述直线单元用距离ρ和角度θ来表示。
4.如权利要求1的鉴别装置，还包括抽取部分，用于抽取比一个预定强度要强的直线单元。
5.如权利要求4的鉴别装置，其中所述直线单元的强度用图像上的亮度来表示。
6.如权利要求5的鉴别装置，其中所述匹配部分基于多个所述较强的直线单元的关系来进行匹配。
7.一种用于对通过近红外光所获取的图像进行鉴别的鉴别方法，包括
获取步骤，用于通过近红外光获取一幅图像，
转换步骤，用于将该图像转换为表示每个直线单元上的相应强度的信息，
获取步骤，用于获取表示每个直线单元上的相应强度的适当血管信息，
匹配步骤，用于所述信息和所述适当的血管信息进行匹配，
鉴别步骤，用于根据匹配步骤的结果对通过近红外光所获取的图像进行鉴别。
8.如权利要求7的鉴别方法，其中所述转换步骤是通过霍夫变换实现的。
9.如权利要求7的鉴别方法，其中所述直线单元用距离ρ和角度θ来表示。
10.如权利要求7的鉴别方法，还包括抽取步骤，用于抽取比一个预定强度要强的直线单元。
11.如权利要求10的鉴别方法，其中所述直线单元的强度用图像上的亮度来表示。
12.如权利要求11的鉴别方法，其中在所述匹配步骤中基于多个所述较强的直线单元的关系来进行匹配。
全文摘要
一种图像匹配方法，能够高精度的匹配图像，还提供用于它的程序和图像匹配系统。提供转换单元，用于根据登记的图像和匹配的图像进行图像处理，用于根据从参考位置至经过图像中每个点的直线上的最近点的距离以及由穿过参考位置的直线与包括所述参考位置的参考轴所形成的夹角来将每个图像中的点转换为曲线图案，将图像中的线性成分转换为多个重叠曲线，并生成转换的图像；相关值生成单元，用于根据所转换的图像进行相关处理，并生成相关值；以及匹配单元，用于根据指示由相关值生成单元所产生的相关值的信号进行匹配。
文档编号G06T7/00GK101149789SQ200710137048
公开日2008年3月26日 申请日期2004年9月29日 优先权日2003年10月7日
发明者饭塚健 申请人:索尼株式会社