专利名称：图像处理方法和热成像仪的制作方法
技术领域：
本发明涉及一种用于红外图像序列的图像处理方法，其中序列包括至少ー个第一红外图像和第二红外图像，且第一红外图像对应于第一时刻，第二红外图像对应于迟些的第二时刻。本发明还涉及ー种具有图像处理装置的热成像仪。
背景技术：
为了记录在旁边运行的程序或者进行长时间测量，从ー个场景制作ー个红外图像序列——例如以影片的形式——已经是普遍的了。已经证实这对于手持热成像仪比较困难，尤其是对小的对象准确瞄准并长时间捕 获。所以推荐将此种热成像仪在测量时期内安装在三脚架或类似设备上。
发明内容
本发明的基本任务在于利用热成像仪简化测量时期持续较长的測量。该任务的解决办法是在先前提到的图像处理方法中规定在第一时刻生成场景的第一图像，在第二时刻生成场景的第二图像，在第一图像中选择第一图像区域，从第一图像中为第一图像区域提取至少ー个特征，在第二图像中利用特征和/或图案识别算法确定并选择第二图像区域，使得对于所选择的第二图像区域而言至少ー个所提取的特征和为第一图像区域提取的至少ー个特征的匹配是最佳的，并且通过将第一图像中的第一图像区域的图像位置和第二图像中的第二图像区域的图像位置进行比较来确定平移矢量，该平移矢量将第一红外图像的至少ー个像点和第二红外图像中的至少ー个像点相关联。本发明的优点是，在红外图像上看起来由于拍摄设备——即热成像仪——的不受控自身运动而运动的或者实际运动的场景可以通过多个红外图像被追踪。该运动因而可以借助确定的平移矢量抵消，由此可简单地实现持续几秒或更长的长时间測量。结构尤其简单的实施形式可规定将第一红外图像用作第一图像且将第二红外图像用作第二图像。如果所使用的热成像仪额外有可见光相机，也可以安排在可见光谱范围内拍摄第一图像和第二图像。本发明因此利用了下列知识，即，特征提取对于可见光图像而言可以更简单地实行。如果没有使用红外图像作为第一或第二图像，可以规定使用在一个时刻生成的图像的像点(像素)和对应于该时刻的红外图像的像点(像素)之间规定的对应，用于确定所述平移矢量(18)。规定的对应定义了利用各相应的图像可以覆盖红外图像的规则。为了可以识别特征的最佳匹配，可以定义并提供概率函数，其中如果概率函数超过规定的阈值，最佳匹配即被识别。根据本发明的图像处理方法可以尤其应用于由影片顺序的帧组成的红外线图像的序列。
为了达到尽可能短的处理时间间隔，可安排第二图像区域的选择和序列中其它红外图像的拍摄同时实行。通常所选择的图像区域可以安排为点状或扩展为平面的。为了实现通过电影顺序的多个红外图像测量和/或观察对象，可以规定该序列包括第三红外图像，其中第三红外图像对应于第二时刻之后的第三时刻，在第三时刻生成场景的第三图像，在第二图像中选择新的第一图像区域，新的第一图像区域从第二图像的之前确定的第二图像区域导出，从第二图像中为新的第一图像区域提取至少ー个特征，在第三图像中用特征和/或图案识别算法确定并选择新的第二图像区域，使得对于所选择的新的第二图像区域而言至少ー个特征和为新的第一图像区域提取的至少ー个特征的匹配是最佳的，并且通过将第二图像中新的第一图像区域的图像位置和第三图像中新的第二图像区域的图像位置进行比较来确定新的平移矢量，新的平移矢量将第二红外图像的至少ー个像点和第三红外图像中的至少ー个像点相关联。在第一方法步骤中优选第二图像中的新的第一图像区域和第二图像的第二图像区域相同，或者考虑首先确定的平移矢量——尤其是考虑对象的运动——选择新的第二图像区域。因此可以避免各自所选和所评估的图像区 域在电影顺序的图像之间跳动，由此可实现在多个图像过程中连续捕捉対象。也可以安排在考虑两个红外图像的两个通过平移矢量相关联的像点之间的温度变化的情况下，从先前确定的第二图像区域导出新的第一图像区域。在此有利的是，如果对象的温度随着时间变化并且基于该温度变化，形式、亮度和/或对比度也变化，则对象的运动或发展也可以被追踪。为了进行长时间温度測量，可以规定为各红外图像中通过平移矢量相关联的像点确定并给出至少两个、尤其是至少三个温度值的序列。替代的或者附加的可以规定为各红外图像中通过平移矢量相关联的像点确定并给出至少ー个温度差异值、尤其是至少两个温度差异值的序列。为了弥补透视失真，可以规定矫正第一和第二图像或者红外图像。矫正优选在特征提取和/或图像区域选择之前进行。矫正理解为图像加工程序，其中实际上平整场景的映像的透视失真得到更正。有利的是，矫正之后可以简单且错误少地确定特征的最佳匹配。可以规定第一红外图像和相对第一红外图像移动了平移矢量的第二红外图像产生和/或给出叠加。因此在红外图像中所拍摄对象的时间的变化可以简单的方式示出或者显不O为了解决任务在之前提到的热成像仪中規定设置图像处理工具用于执行根据本发明的图像处理方法。图像处理工具可以具有带操作程序的数据处理装置，其中編制操作程序使得根据本发明的图像处理方法用操作程序实行。尤其有利的是热成像仪构造为手持热成像仪，并且/或者其具有用于给出红外图像和/或可见光图像的显示单元。
现在借助实施例描述本发明，但是并不受限于该实行例。其他实施例通过权利要求中单个或多个特征之间和/或与实施例中单个或者多个特征之间组合获得。以部分简化的方式
图I示出了根据本发明的热成像仪的从前面的斜视图，图2示出了根据图I的热成像仪的从后面的斜视图，图3示出了利用根据本发明的图像处理方法处理的第一红外图像，图4示出了利用图3的图像处理方法加工的第二红外图像，图5示出了利用其它根据本发明的图像处理方法加工的第一图像和第一红外图像，以及图6示出了利用图5的图像处理方法加工的第二图像和第二红外图像。
具体实施例方式
在图I和图2中示出的根据本发明的热成像仪I具有红外镜头2，在它后方以本身已知的方式设置用于拍摄红外图像的不进一歩可见的红外传感装置3。热成像仪I还具有可见光(VIS)相机，其设置为拍摄可见光图像。在构造为显示屏的显示单元5上可以单个地或者叠加或叠化地示出所拍摄的红外或者可见光图像，其中显示形式可以通过控制元件6选择或者改变。在示出的图像中可以在相应的图像位置处使所测量的温度值淡入。热成像仪I作为手持设备具有手柄7，且在手柄7的手柄区域安置并设置了拍摄红外图像或者可见光图像的快门按键8。运作热成像仪I的必要能量由集成到手柄7中或者一般集成到热成像仪I中的能
量供给单元提供。在热成像仪I中构造不进ー步可见的图像处理装置9，其包括数据处理単元。在数据处理単元中存有操作程序，其程序步骤实现根据本发明的图像处理方法，在下文中会详细描述。为了说明发明原理，图3和图4高度简化地示出用红外传感装置3拍摄的红外图像序列的第一红外图像10和第二红外图像11。红外图像10和11包括场景对象的不同映像12和13，其中出自第一红外图像10的映像12为了说明发明原理在第二红外图像11中重复。通过比较图3和图4可见，热成像仪I和包括对象的场景在拍摄之间相对移动。为了能够抵消或追踪这个移动，在第一红外图像10中选择第一图像区域14，为此从第一红外图像10中提取不进ー步可见的特征。此选择可以人工地例如通过控制元件6或自动地通过识别重要特征实现。作为特征可以提取每个在图像处理中可使用或者已知的特征，例如边或其他几何结构、亮度或色彩分布、图像内容或此类。接下来在第二红外图像11中确定并选择第二图像区域15，使对于所选择的第二图像区域15至少ー个提取特征和为第一图像区域14提取的至少ー个特征最佳匹配。首先为第二红外图像从多个图像区域中提取多个特征，并且选出和从第一红外图像10中提取的特征显示出最一致的特征。选择从中提取此特征的图像区域作为第二图像区域15。可以使用用于评估特征的概率函数，其中超出由概率函数规定的阈值显示特征的最佳地匹配。通过比较对应于第一图像区域14和第二图像区域15的图像位置16和17，尤其通过形成差异，确定平移向量18。该平移向量18将像点16、17和红外图像10、11的其他像点相互关联，使得通过将红外图像10、11相对移动平移矢量18可以近似或者甚至是准确地使映像12、13相吻合。现在可以为图像位置16、17从红外图像10、11中导出温度值，其描述所拍摄对象的温度的时间变化。根据本发明的图像处理方法可利用未示出的第三红外图像继续，使得第二红外图像11的第二图像区域15用作新的第一图像区域。利用所确定的平移矢量18可进ー步在显示单元5上以叠化或叠加的方式相互移动地显示红外图像10、11，使得映像12、13相吻合。图5和图6以非常简化的示意图示出其他的根据本发明的方法。与之前所描述方法的相同构造的组件具有相同的附图标记并不再特别描述。 和之前所描述的方法不同，在这种方法中分别和第一红外图像10同时或者几乎同时地拍摄第一可见光图像19并且和第二红外图像11同时或者几乎同时地拍摄第二可见光图像20。可见光图像19、20包括在可见光谱范围内拍摄的对象或场景的可见光映像21、22，其和图像12、13 —起在红外图像10、11中显现。为了说明原理，在第二可见光图像20中也已经示出可见光图像19中的可见光映像21，虽然该图在第二可见光图像20中不是必须包括的。于是在第一可见光图像19中选择第一图像区域14，为此从第一可见光图像19中导出特征。第一图像区域14的选择可以在本发明中手动或者自动通过确定最合适图像区域实现。接下来和图3/4已经描述的一祥，在第二可见光图像20中选择第二图像区域15，为此提取的特征和为第一图像区域14所提取的特征最佳地匹配。通过比较图像区域14、15的图像位置16、17最后确定平移矢量18，其将图像位置16、17相关联。为了可以在相应的红外图像10、11上使用所确定的平移矢量18，在热成像仪I中存有第一可见光图像19和第一红外图像10的像点之间或者第二可见光图像20和第二红外图像11之间的对应23，利用该对应23平移矢量18可以换算为红外图像10、11的相应的
平移矢量。通过将第一红外图像10相对于第二红外图像11平移如此确定的平移矢量，映像12、13可以如所述完全或者近似地相吻合。如通过网格线24所示，已经在根据本发明的图像处理方法中矫正红外图像10、11或可见光图像19、20，以便校正可能引起測量错误的透视失真。根据本发明的图像处理方法在热成像仪I中持续运行，其中在评估和处理已拍摄图像时拍摄新红外图像10、11或可见光图像19、20并将之供给处理。用这种方法可以实现将红外图像10、11的影片序列实时处理并且在显示单元5上示出。在根据本发明的热成像仪I中显示单元5可以构造为接触敏感的显示屏，使得可以通过在接触敏感的显示屏上标识来手动选择第一图像区域14。借助接触敏感的显示屏和/或借助控制元件6可以额外限制红外图像10、11中待检查的图像区域，以便改善准确性。在热成像仪I中建议从至少两个红外图像10、11或者其相应的可见光图像19、20的序列中利用特征分析提取特征，并且确定从图像9、10、19、20中所提取特征的最佳匹配，并且为匹配特征的照片位置16、17确定平移矢量18，其将第一红外图像10中的像点和
第二红外图像11的像点相关联。
权利要求
1.一种用于红外图像(10、11)序列的图像处理方法，其中序列至少包括第一红外图像(10)和第二红外图像(11)，其中第一红外图像(10)对应于第一时刻并且第二红外图像(11)对应于迟些的第二时刻，其特征在于，在第一时刻生成场景的第一图像(10、19)，在第ニ时刻生成场景的第二图像(11、20)，在第ー图像(10、19)中选择第一图像区域(14)，从第ー图像(10、19)中为第一图像区域(14)提取至少ー个特征，在第二图像(11、20)中利用特征和/或图案识别算法确定并选择第二图像区域(15)，使得对于所选择的第二图像区域(15)而言至少ー个所提取的特征和为第一图像区域(14)提取的所述至少一个特征的匹配是最佳的，并且通过将第一图像(10、19)中的第一图像区域(14)的图像位置(16)和第二图像中的第二图像区域(15)的图像位置(17)进行比较来确定平移矢量(18)，所述平移矢量将第一红外图像(10)的至少ー个像点和第二红外图像(11)中的至少ー个像点相关联。
2.按照权利要求I的图像处理方法，其特征在于，第一红外图像(10)用作第一图像(10、19)并且第ニ红外图像(11)用作第ニ图像(11、20)，并且/或者第ー图像(10、19)和第ニ图像(11、20)在可见光谱范围内或红外光谱范围内拍摄。
3.按照权利要求I或者2的图像处理方法，其特征在于，使用在一个时刻生成的图像(19、20 )的像点和对应于该时刻的红外图像(10、11)的像点之间规定的对应(23 )，用于确定所述平移矢量(18)，并且/或者在概率函数超过规定的阈值时识别出最佳的匹配。
4.按照权利要求I至3的图像处理方法，其特征在干，红外图像(10、11)的序列由影片顺序的帧形成并且/或者在拍摄所述序列中其他红外图像(10、11)的同时选择第二图像区域(15)。
5.按照权利要求I至4之ー的图像处理方法，其特征在于，所述序列包括第三红外图像，其中第三红外图像对应于第二时刻之后的第三时刻，在第三时刻生成场景的第三图像，在第二图像(11、20)中选择新的第一图像区域，所述新的第一图像区域从第二图像(11、20)的之前确定的第二图像区域(15)导出，从第二图像(11、20)中为所述新的第一图像区域提取至少ー个特征，在第三图像中用特征和/或图案识别算法确定并选择新的第二图像区域，使得对于所选择的新的第二图像区域而言至少ー个特征和为所述新的第一图像区域提取的所述至少一个特征的匹配是最佳的，并且通过将第二图像(11、20)中所述新的第一图像区域的图像位置和第三图像中新的第二图像区域的图像位置进行比较来确定新的平移矢量，所述新的平移矢量将第二红外图像(11、20)的至少ー个像点和第三红外图像中的至少ー个像点相关联。
6.按照权利要求I至5之ー的图像处理方法，其特征在于，第二图像(11、20)中的所述新的第一图像区域和第二图像(11、20)中的之前确定的第二图像区域(15)相同，并且/或者在考虑两个红外图像(10、11)的两个通过所述平移矢量(18)相关联的像点之间的温度变化的情况下，从之前确定的第二图像区域(15)中导出所述新的第一图像区域。
7.按照权利要求I至6之ー的图像处理方法，其特征在于，为各红外图像(10、11)中通过所述平移矢量(18)相关联的像点确定并给出至少两个温度值、尤其是至少三个温度值的序列和/或至少ー个温度差值、尤其是至少两个温度差值的序列。
8.按照权利要求I至7之ー的图像处理方法，其特征在于，尤其在特征提取之前，矫正第一(19)和第二(20)图像和/或红外图像(10、11)。
9.按照权利要求I至8之ー的图像处理方法，其特征在于，第一红外图像(10)和相对第一红外图像(10)移动了所述平移矢量(18)的第二红外图像(11)产生和/或给出叠加。
10.ー种具有图像处理装置(9)的热成像仪(1)，其特征在于，所述图像处理装置(9)被设置用于执行按照前述权利要求之ー的图像处理方法。
全文摘要
在热成像仪(1)中建议，从至少两个红外图像(10、11)或者其相应的可见光图像(19、20)的序列中利用特征分析提取特征，并且确定从图像(9、10、19、20)中所提取特征的最佳匹配，并且为匹配特征的照片位置(16、17)确定平移矢量(18)，其将第一红外图像(10)中的像点和第二红外图像(11)的像点相关联。
文档编号G06T7/20GK102823233SQ201180016488
公开日2012年12月12日 申请日期2011年3月12日 优先权日2010年3月30日
发明者M·施米德尔, M·斯特拉特曼 申请人:特斯托股份公司