照相机和校准照相机的方法

专利名称：照相机和校准照相机的方法
技术领域：
本发明涉及用于产生IR图像和可见光图像以及包括混合的IR数据和可见光数据
的图像的照相机，并且涉及使用这种照相机的方法。
背景技术：
近年来，已经提出了通常称为图像融合的用于以各种方式结合IR图像和可见光 图像的方法和照相机。典型地，照相机具有用于捕获IR图像数据的成像部件、用于捕获可 见光图像数据的另一个成像部件以及用于以可将所述图像数据显示在同一图像中的方式 处理所述图像数据的装置。例如在识别热物体或冷物体的位置时这种功能可能是有帮助 的。 典型地，可见光图像的视场大于IR图像的视场。在任何情况下，由于捕获这两种 图像的光学系统不位于完全相同的位置处，所以视场不同。这是被称为视差的公知光学现 象。因此，在显示融合图像或混合图像之前，必须对准这两种图像。此外，由于可见光图像 的分辨率典型地与IR图像的分辨率不同，所以必须重新调节(rescale)至少一个图像以使 图像相互匹配。 EP专利1299699公开了一种在同一图像中显示可见光图像数据和IR图像数据的 方法以及包括用于IR辐射和可见光二者的成像装置的照相机。例如可以根据各像素的温 度以多种不同的方式结合所述数据。 该专利还提到需要校正由彼此相距一定距离放置的分别用于IR和可见光的图像 捕获装置引起的视差。提出了两种主要的视差校正方法通过光学装置(例如镜)或者通 过电子装置。但没有详细讨论如何通过电子装置校正视差。 国际专利申请W02006/060746公开了基于与物体相距的距离的视差校正。而与物 体相距的距离又由聚焦距离(focusing distance)确定。在W02006/060746中提出的方法 是使用安装在IR镜头上的磁体和安装在光学器件壳体中的霍尔传感器，反之亦然，从而霍 尔传感器将测量与磁体的距离并由此测量聚焦距离。通过转动聚焦环(focusring)以本身 已知的方式手动进行照相机的实际聚焦。作为选择，还提出了通过相对于一个图像手动移 位另一个图像直到它们正确交叠来对准图像。 W02006/060746中提出了结合IR图像数据和可见光图像数据的多种方式。例如， 可以以灰度级(grey scale)示出可见光图像并将IR图像以彩色叠加在该图像上。作为选 择，可以显示可见光图像，但是对于温度值超过一定阈值的像素，可以用IR图像像素代替 可见光像素。 然而，当对准IR图像和可见光图像时，应该考虑到相对于彼此的图像实际位移不 简单的是视差的函数，所述视差是由IR成像部件和可见光成像部件之间的距离引起的位 移。典型地，在所述成像部件的光轴之间还存在角度。 尽管纯视差误差总是随着与物体相距的距离减小，但是在此情况下图像之间的实 际位移可能根据光轴之间的角度随着与物体相距的距离减小或增加。
本发明提出了一种对准可见光图像和IR图像的方法代替W02006/060746中提出 的方法，特别是提出了一种考虑到图像实际位移而不仅仅是视差误差的方法。

发明内容
在第一方面，本发明涉及一种照相机，该照相机包括第一成像部件，其用于捕获 第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获 至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学 器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件或第二 成像部件的聚焦距离而相对于彼此调节第一视场和第二视场的装置，所述照相机包括存 储器单元，在所述存储器单元中存储了由第二成像部件提供的物体的可见光图像中的固定 点和所述激光点之间的距离d与照相机和物体之间的距离z之间的关系；以及处理器，其被 配置成使用所存储的关系通过距离d确定照相机和正在被成像的物体之间的距离z。
本发明还涉及一种确定照相机和物体之间的距离z的方法，所述照相机至少包括 可见光成像部件和激光指示器，所述方法包括以下步骤从照相机的激光指示器向物体发 射激光束以在该物体上产生激光斑点；使用照相机的可见光成像部件13捕获包括该激光 斑点的该物体的可见光图像；确定该图像中的例如该图像的中心的预定点和该激光斑点之 间的距离；使用所存储的照相机和物体之间的距离z与图像中的预定点和激光斑点之间的 距离d之间的关系通过距离d确定照相机和物体之间的距离z。 因此，根据本发明，可以基于可见光图像中的激光斑点的位置确定与物体相距的 距离z。与物体相距的距离z又可以以若干种不同的方式使用。它可被用于使IR光学器件 正确地聚焦。因为它可被用于确定可见光图像和IR图像之间的位移，所以它还可被用于适 当地对准可见光图像和IR图像。此外，距离z本身可能是受关注的，因此可以例如在显示 器上将其直接输出给操作者。 本发明的方法的一个优点是无论IR图像和可见光图像是否被正确聚焦，都可以 对准所述图像。这对于难以对其进行聚焦的物体来说特别有利。根据本发明的方法的实施 例获得的和与物体相距的距离有关的信息还可被用于照相机的调焦。 优选地，所述处理器被配置成基于距离d确定对准分别由第一成像部件和第二成
像部件提供的物体的IR图像和可见光图像所需的位移。 可以将所述关系存储为公式和在该公式中使用的至少一个常数。 本发明的另一方面涉及校准照相机的方法，所述照相机包括第一成像部件，其用
于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用
于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见
光光学器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件
或第二成像部件的聚焦距离相对于彼此调节第一视场和第二视场的装置，所述方法包括以
下步骤产生物体与照相机相距第一已知距离时该物体的第一可见光图像以及与照相机相
距第二已知距离时该物体的第二可见光图像；确定第一可见光图像和第二可见光图像中的
预定点和激光指示器之间的距离；基于所确定的距离和第一、第二已知距离确定激光指示
器和预定点之间的距离d与照相机和物体之间的距离z之间的一般关系。 根据该另一方面，本发明提 一种校准方法，可以进行该方法，从而能够根据本发明的第一方面确定距离z。 在优选实施例中，所述一般关系被存储在照相机的存储器单元中。
可以采用在以下公式中使用的至少一个常数的至少一个近似的形式确定所述一 般关系，所述公式描述图像中的预定点和激光指示器之间的距离d与照相机和物体之间的 距离z之间的关系。通常，需要两个常数。 当在本文献中使用时，术语"聚焦距离"是指聚焦镜头相对于另一个固定点的位 置，所述另一个固定点例如是另一个镜头或目标中的固定位置。


图1示出可以在其中使用根据本发明的对准方法的照相机。
图2是根据本发明实施例的校准照相机的流程图。 图3示出根据图1的照相机中可见光成像部件的光轴和激光束之间的关系。
图4是根据本发明实施例的如何对准图像的流程图。 图5是图像中的预定点和激光斑点之间的距离d同与该物体相距的距离之间的关 系的示例曲线。
具体实施例方式
图1示意性地示出照相机l，其具有用于捕获IR图像的第一成像部件3和用于捕 获可见光图像的第二成像部件5。第一成像部件3包括IR光学器件7，所述IR光学器件7 以本身已知的方式将进入的IR辐射聚焦在IR感测元件阵列9上。优选地，该IR光学器件 部件包括一个或多个IR镜头IO，其中一个可以由调焦电机11驱动。第二成像部件包括可 见光光学器件13，所述可见光光学器件13用于以本身已知的方式将进入的可见光聚焦在 可见光感测元件阵列15上。由阵列9、 15记录的数据被传送到处理单元17，处理单元17处 理该数据以产生适当的图像，该图像可以是可见光图像、IR图像或者IR图像和可见光图像 的混和图像。优选地，该照相机还包括显示单元19和用于存储所记录的图像数据和/或处 理后的图像的至少一个存储器单元21。 该照相机还提供有本身已知的激光指示器23，其可被用于指出图像中的物体。典 型地，在一定的容差内，以已知的相互距离提供第一成像部件3和第二成像部件5以及激光 指示器23。理想地，光轴应该平行，但是通常它们之间会有微小的角度。
根据本发明，该激光指示器还被用于确定与物体相距的距离，以便正确对准IR图 像和可见光图像。理想地，该激光指示器安装在照相机上与IR光学器件7和可见光光学器 件13相距一确定距离处，并且指向与它们的光轴平行的方向。实际上，如上所述，所述距离 和方向可能在一定的容差内变化。因此，对准这两个图像所需的位移量随与物体相距的距 离而变化，不仅是IR光学器件和可见光光学器件13之间距离的函数，还与它们之间的角度 有关。该激光指示器必须足够强，以在可见光图像中能够被检测。 根据本发明，处理单元17被具体配置成用于确定位移、重新调节以及对准IR图像 和可见光图像所需的其它功能。下面将讨论根据本发明的各方面的确定位移的方法。本领 域技术人员将会理解，该方法优选地以存储在处理单元中的或者与处理单元相关的计算机 代码的形式实施。
例如可以在照相机校准期间以图2中示出的以下方式通过经验确定图像中激光 点的位移 步骤S21 :产生物体与照相机相距第一已知距离Zl时该物体的第一可见光图像。
步骤S22 :确定第一可见光图像中激光指示器的位置。 步骤S23 :典型地相对于图像中的预定点，产生物体与照相机相距第二已知距离 z2时该物体的第二可见光图像。 步骤S24 :确定第二可见光图像中激光指示器的位置。 步骤S25 :针对步骤S2和S4中确定的激光指示器的每个位置，确定图像中的距离 与照相机和图像之间的距离之间的关系。激光指示器的位置还可被用于估计作为与物体相 距的距离的函数的位移的公式或曲线。该公式或曲线存储在照相机的存储器中，例如存储 在存储器单元21中，并且可被用于根据与物体相距的距离z确定IR图像和可见光图像所 需的位移，将结合图4讨论这一点。 图3示出照相机的可见光成像部件13的视场，该视场被表示为角度9。该成像部件
的光轴用虚线示出。实线l代表激光束。正如所看到的，激光束1在与可见光成像部件13 的光轴相距一距离处发射并且相对于该光轴成一定的角度a 。提供平行于光轴的虚线来示 出角度a。图3中示出了关于图2提到的距离zl和z2。正如所看到的，激光束投射在物 体上的点与图像中的固定点之间的距离随照相机和物体之间的距离z而变化。当与物体相 距第一距离zl时，激光点和固定点之间的距离是第一物体距离dl。当与物体相距第二距离 z2时，激光点和固定点之间的距离是第二物体距离d2。 根据公式(1)，和物体相距的给定距离z与可见光图像中的预定点和激光斑点之 间的距离d之间的关系基本上如图5中所示
d = a/z+b (1)
因此，可以获得距离z:
z = a/(d_b) 其中a和b是要确定的常数，d是图像中的固定点和激光点之间的距离，而z是照 相机和物体之间的距离。常数a取决于激光指示器和光学系统之间的距离，常数b取决于 它们的光轴之间的角度。这样，在校准期间确定a和b之后，图像中的固定点和激光点之间 的距离d可被用于在正常操作期间确定照相机和成像的物体之间的距离z。如果激光指示 器指向应处于聚焦状态的物体，则该距离z将是聚焦距离。因此，该信息可被用于照相机的 精确聚焦。针对某一距离镜头的正确聚焦位置可能随镜头的温度而变化。然而，典型地，IR 照相机包括为其它目的测量镜头温度的装置。因此，例如处理单元17可以将该温度信息与 距离信息一起使用以确定镜头10的正确聚焦距离。 为了增加准确度，可以产生多于两个的不同已知距离的图像，并且可以以本领域 技术人员已知的多种方式之一对于该数据进行线性曲线适配。将该关系存储在存储器单元 21中，由处理单元17在成像期间使用，用于确定IR图像相对于可见光图像的位移，反之亦 然。 图4是在照相机的正常使用期间在校准之后如何对准IR图像和可见光图像的流 程图。 步骤S41 :从照相机的激光指示器23向物体发射激光束以在物体上产生激光斑点。 步骤S42 :使用照相机的可见光成像部件13捕获包括该激光斑点的该物体的可见 光图像。 步骤S43 :确定该图像中的预定点(例如该图像的中心)和该激光斑点之间的距 离d。 步骤S44 :使用在步骤S43中确定的距离d来确定照相机和物体之间的距离z。
步骤S45 :按照下面解释的，使用距离z确定将在距离z处拍摄的物体的可见光图 像和IR图像对准所需的位移量。 可以根据以下公式使用距离z确定IR图像和可见光图像相对于彼此所需要的位 移 Tx = ax/z+bx (3)
Ty = ay/z+by (4) 此处Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分别代表水平位移和 垂直位移的常数。代替位移，Tx和Ty可以表示可见光图像中的点，IR图像中的例如左上角 或中心或其它点将位于该点。 在交付(delivery)之前的校准程序中，针对每个照相机确定常数ax、bx、ay和by。 如何进行是本领域中公知的。 图5示出图像中的预定点和激光斑点之间(沿着水平轴)的距离d与照相机和该 物体之间(沿着垂直轴)的距离z之间的关系的示例曲线。实际形状随公式(1)和(2)的 常数a和b而变化。正如所看到的，以实线示出的该曲线对于d和z的小值具有陡峭部分， 并且随着d增加该曲线渐进地接近最大值。在图5中该最大值被表示为虚线。可以使用两 组d和z值来近似一曲线以提供对常数a和b的估计。这在照相机的校准期间进行。为了 提供更精确的估计，可以使用更多组的d和z值。本领域中已知多种基于数值组获得近似 曲线的方法，在此不进行讨论。 进行上述计算所需的公式和常数优选存储在存储器单元21中或者照相机中的另 一个存储器单元中。
权利要求
一种照相机，包括第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与所述第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在所述第二视场中提供激光点；以及用于根据所述第一成像部件或所述第二成像部件的聚焦距离而相对于彼此调节所述第一视场和所述第二视场的装置，其特征在于，所述照相机包括存储器单元，在所述存储器单元中存储了由所述第二成像部件提供的物体的可见光图像中的固定点和所述激光点之间的距离d与所述照相机和所述物体之间的距离z之间的关系；以及处理器，其被配置成使用所存储的关系通过距离d确定所述照相机和被成像的物体之间的距离z。
2. 根据权利要求1所述的照相机，其中所述处理器被配置成基于所述距离d确定对准 分别由所述第一成像部件和所述第二成像部件提供的所述物体的IR图像和可见光图像所需的位移。
3. 根据权利要求1所述的照相机，其中所述关系被存储为公式和在该公式中使用的至 少一个常数。
4. 一种校准照相机的方法，所述照相机包括第一成像部件，其用于捕获第一视场的 IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地 与所述第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件； 激光指示器，其用于在所述第二视场中提供激光点；以及用于根据所述第一成像部件或所 述第二成像部件的聚焦距离而相对于彼此调节所述第一视场和所述第二视场的装置，所述 方法包括以下步骤产生物体与所述照相机相距第一已知距离(zl)时该物体的第一可见光图像以及与所 述照相机相距第二已知距离(z2)时该物体的第二可见光图像；确定所述第一可见光图像中以及所述第二可见光图像中的预定点和激光指示器之间 的距离(dl，d2);基于所确定的距离(dl，d2)及所述第一和第二已知距离(zl，z2)确定所述激光指示器 和所述预定点之间的距离d与所述照相机和所述物体之间的距离z之间的一般关系。
5. 根据权利要求4所述的方法，还包括将所述一般关系存储在所述照相机的存储器单 元中的步骤。
6. 根据权利要求4所述的方法，其中以在以下公式中使用的常数的至少一个近似的形 式确定所述一般关系，所述公式描述所述激光指示器和所述预定点之间的距离d与所述照 相机和所述物体之间的距离z之间的关系。
7. —种确定照相机和物体之间的距离z的方法，所述照相机至少包括可见光成像部件 和激光指示器，所述方法包括以下步骤从所述照相机的所述激光指示器向物体发射激光束以在所述物体上产生激光斑点； 使用所述照相机的所述可见光成像部件13捕获包括所述激光斑点的所述物体的可见 光图像；确定所述图像中的例如所述图像的中心的预定点和所述激光斑点之间的距离d ; 使用存储的所述照相机和所述物体之间的距离z与所述图像中的预定点和所述激光 斑点之间的距离d之间的关系，通过距离d，确定所述照相机和所述物体之间的距离z。
8.根据权利要求7所述的方法，还包括以下步骤使用以上所确定的距离z，确定对准 在距离z处的物体的可见光图像和由所述照相机的IR成像部件拍摄的IR图像所需的位移
全文摘要
一种照相机，包括第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件或第二成像部件的聚焦距离而相对于彼此调节第一视场和第二视场的装置。所述照相机被配置成使用存储的关系通过距离d确定照相机和被成像的物体之间的距离z。距离z可被用于将IR图像和可见光图像对准。
文档编号H04N5/33GK101796817SQ200880105768
公开日2010年8月4日 申请日期2008年6月27日 优先权日2007年7月6日
发明者K·斯特兰德玛, M·英格黑德 申请人:前视红外系统股份公司