一种红外测温成像装置及检测方法与流程

本发明涉及红外成像测温技术领域，更具体的，涉及一种红外测温成像装置及其检测方法。

技术背景

红外热像仪是一种利用红外图像探测器将不可见的红外辐射信号转换成可见图像的被动成像测温仪器，能直接测量物体表面的温度及温度分布，并将物体的温度分布转换为可视的图像，在监视器上以灰度或伪彩色显示出来，从而直观得到被测目标的温度分布场。

目前大量使用的红外热像仪主要是由红外成像镜头、红外焦平面阵列(fpa)、信号处理电路，显示与控制等几部分构成，可以获取目标的温度分布图像，并考虑了目标物体的发射率对测温精度的影响，因此当目标物体正对着热像仪时，可以很好地测量物体表面的温度。

实际上，由于热像仪红外焦平面阵列接收到的红外热辐射功率的大小不仅与目标物体的温度和发射率有关，而且与其到目标的距离及相对方位有关，而现有的热像仪无法测量与目标物体表面的相对方位关系，因此当目标物体表面与红外焦平面阵列不平行(即目标物体不正对着热像仪)时，所测得的温度与目标表面实际温度有较大差异，无法精确地反映温度在物体表面的空间分布。

技术实现要素：

针对上述问题，本发明提供了一种红外测温成像装置及检测方法，旨在解决现有技术中由于没有考虑目标物体方位对成像元件接收到热辐射功率的影响而导致所获得被测物体表面温度准确度低的技术问题。

为实现上述目的，本发明提供的一种红外测温成像装置，包括：

红外测温成像模块，用于对检测到的被测对象发射的红外光进行平面成像处理获得被测对象的二维温度图像数据；

三维成像模块，用于对检测到的被测对象反射的可见光进行三维成像处理获得被测对象表面位置数据；

数据处理模块，其第一输入端与三维成像模块的第一输出端连接，其第二输入端与红外测温成像模块的输出端连接，用于根据被测对象表面位置数据、被测对象的二维温度图像数据、红外测温成像模块和三维成像模块之间的位置关系数据以及红外测温成像模块的参数进行匹配处理获得被测对象表面的三维温度数据；

校正处理模块，其第一输入端与数据处理模块的输出端连接，其第二输入端与三维成像模块的第二输出端连接，用于根据被测对象表面的三维温度数据、被测对象的二维温度图像数据、被测对象表面位置数据、红外测温成像模块的参数、三维成像模块的参数以及红外测温成像模块和三维成像模块之间位置关系数据获得被测对象表面的校正温度数据。

进一步地，校正处理模块根据公式获得被测对象表面上坐标为(x,y,z)处的校正温度数据；

其中，tx,y,z为被测对象表面上坐标为(x,y,z)处的温度数据，cx,y,z为被测对象表面上坐标为(x,y,z)处的温度校正系数，cx,y,z＝cos(θx,y,z)，θx,y,z为被测对象表面上坐标为(x,y,z)处的法向量和被测对象表面上坐标为(x,y,z)的点到红外测温成像模块的矢量之间的夹角。

进一步地，三维成像模块(3)包括：

第一可见光成像单元，用于对被测对象反射的可见光进行聚焦处理输出第一聚焦后的可见光信号，并将第一聚焦后的可见光信号转化为第一可见光图像数据；

第二可见光成像单元用于对被测对象反射的可见光进行聚焦处理输出第二聚焦后的可见光信号，并将第二聚焦后的可见光信号转化为第二可见光图像数据；

第一可见光图像处理单元，其第一输入端与第一可见光成像单元的输出端连接，其第二输入端与第二可见光成像单元的输出端连接，用于对第一可见光图像数据、第二可见光图像数据、第一可见光成像单元的焦距、第二可见光成像单元的焦距以及第一可见光成像单元和第二可见光成像单元之间的位置关系数据根据立体视觉法进行三维重建处理获得被测对象表面位置数据。

进一步地，校正处理模块根据公式v＝rv^*+u获得被测对象表面上坐标为(x,y,z)点到红外测温成像模块的矢量；

其中，r为旋转矩阵，u为平移向量，v^*为被测对象表面上坐标为(x,y,z)点到可见光成像单元的矢量，v^*＝zk^-1(x′,y′,1)，z为被测对象表面上坐标为(x,y,z)点的z轴分量；f是可见光成像单元的焦距，b是两个可见光成像单元之间的距离，s是被测对象表面上坐标为(x,y,z)点对应的可见光像素的视差值；k为可见光成像单元的内参矩阵，(x',y')为被测对象表面上坐标为(x,y,z)点映射到二维温度图像数据上的像素坐标。

作为本发明的另一方面，本发明提供一种红外测温成像方法，包括以下步骤：

s1对由三维成像模块检测到的被测对象反射的可见光信号进行三维成像处理获得被测对象表面位置数据；

s2对由红外测温成像模块检测到的被测对象发射的红外光信号进行平面成像处理获得被测对象的二维温度图像数据；

s3对被测对象表面位置数据、被测对象的二维温度图像数据、三维成像模块与红外测温成像模块之间的位置关系以及红外测温成像模块参数进行匹配处理获得被测对象表面的三维温度数据；

s4根据被测对象的二维温度图像数据、被测对象表面位置数据、红外测温成像模块的内参矩阵、三维成像模块的内参矩阵以及红外测温成像模块和三维成像模块之间位置关系数据获得被测对象表面的温度校正系数；

s5根据被测对象表面的三维温度数据以及被测对象表面的温度校正系数获得被测对象表面的校正后温度数据。

进一步地，步骤s1中，当采用第一可见光成像单元获得第一可见光图像数据，第二可见光成像单元获得第二可见光图像数据时，根据第一可见光图像数据、第二可见光图像数据、第一可见光成像单元的焦距、第二可见光成像单元的焦距以及第一可见光成像单元和第二可见光成像单元之间的位置关系数据采用立体视觉方法进行三维重建处理获得被测对象表面位置数据。

进一步地，当红外测温成像模块为红外相机时，步骤s3中根据公式获得被测对象表面坐标为(x,y,z)处的温度数据；

其中，为坐标为(x',y')像素的温度值，且p1＝rp+u，p＝(x,y,z)^t，kr为红外相机的内参矩阵，p1为被测对象在红外相机坐标系下坐标，z1为被测对象在红外相机坐标系下坐标z轴分量，p为被测对象在可见光成像单元坐标系下坐标，r为旋转矩阵，u为平移向量。

进一步地，步骤s4中根据公式cx,y,z＝cos(θx,y,z)获得被测对象表面上坐标为(x,y,z)处的温度校正系数；

其中，θx,y,z为被测对象表面上坐标为(x,y,z)点的法向量和被测对象表面上坐标为(x,y,z)点到红外相机的矢量之间的夹角。

进一步地，步骤s4中根据公式v＝rv^*+u获得被测对象表面上坐标为(x,y,z)点到红外相机的矢量；

其中，r为旋转矩阵，u为平移向量，v^*为被测对象表面上坐标为(x,y,z)点到可见光相机的矢量，v^*＝zk^-1(x′,y′,1)，z被测对象表面上坐标为(x,y,z)点的z轴分量；f是可见光成像单元的焦距，b是两个可见光成像单元之间的距离，s是被测对象表面上坐标为(x,y,z)点对应的可见光像素的视差值；k为可见光成像单元的内参矩阵，(x',y')为被测对象表面上坐标为(x,y,z)点映射到二维温度图像数据上的像素坐标。

进一步地，步骤s5中获得被测对象表面上坐标为(x,y,z)处的校正温度数据，其中，tx,y,z为被测对象表面上坐标为(x,y,z)处的温度数据。

本发明提供的上述技术方案，与现有技术相比，取得如下有益效果：

1、本发明提供的红外测温成像装置中，将通过将由红外测温成像模块输出的被测对象红外热图像与三维成像模块输出的被测对象的三维模型一一映射，可以获得温度在目标上的空间分布；同时使用立体视觉法或结构光法对目标进行三维重建，重建速度快。利用目标的三维信息与红外测温成像模块之间的位置关系对红外相机所测温度进行校正，使校正后的温度更接近目标表面的真实温度，进而实现精密温度测量。

2、本发明提供的红外测温成像方法，该方法将目标的红外热图像和目标的三维数据结合，可以获得温度在目标上的空间分布；同时利用红外测温成像模块与被测目标的三维信息校正所测的被测目标的温度，使其接近目标表面的实际温度。

附图说明

图1为本发明提供的红外测温成像装置的结构示意图；

图2为本发明提供的红外测温成像装置的第三实施例的结构示意图；

图3是本发明进行温度校正的原理图；

其中，1为红外测温成像模块，2为三维成像模块，3为数据处理模块，4为校正处理模块，5是被测物表面。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明提供的红外测温成像装置第一实施例的结构示意图，该红外测温成像装置包括红外测温成像模块1、三维成像模块2、数据处理模块3、校正处理模块4。三维成像模块2的第一输出端与数据处理模块3的第一输入端连接，红外测温成像模块1的输出端与数据处理模块3的第二输入端连接，数据处理模块3的输出端与校正处理模块4的第一输入端连接，三维成像模块2的第二输出端与校正处理模块4的第二输入端连接。

由红外测温成像模块1检测被测对象发射的红外光，并对所检测的被测对象发射的红外光进行平面成像处理获得被测对象的二维温度图像数据；三维成像模块2检测被测对象反射的可见光，并对所检测的被测对象反射的可见光进行三维成像处理获得被测对象表面位置数据。数据处理模块3根据红外测温成像模块1与三维成像模块3之间的位置数据关系、红外测温成像模块1的参数(具体为红外光成像单元的内参矩阵，内参矩阵包括焦距、分辨率以及主点坐标)和被测对象表面位置数据确定被测对象表面各点与被测对象的二维温度图像数据之间的映射关系，得知被测对象表面各点的温度数据，实现被测对象表面位置数据与被测对象的二维温度图像数据匹配，获得被测对象表面的三维温度数据。校正处理模4首先根据由三维成像模块2输出的被测对象表面位置数据获得被测对象表面各点的法向量，然后根据红外测温成像模块1和三维成像模块2之间位置关系数据以及被测对象表面位置数据确定被测对象表面各点到红外测温成像模块4所在位置之间的矢量，以被测对象表面各点的法向量与被测对象表面各点到红外测温成像模块4所在位置的矢量之间的夹角的余弦作为被测对象各点的校正系数，由红外测温成像模块1输出的被测对象表面各点温度图像数据与被测对象各点的校正系数相除获得被测对象表面的校正后温度数据。

本发明提供的红外测温成像装置，将被测对象表面的二维温度图像数据与被测对象表面位置数据进行匹配，可以精确的反映被测目标表面的空间温度分布，同时考虑到被测对象的方位对接收热辐射功率元件的影响，用红外测温成像模块与三维成像模块之间的位置关系数据以及被测对象表面位置数据对被测对象表面的三维温度数据进行校正处理，获得被测对象表面的校正温度数据，使得获得被测物体表面温度分布准确度更高。

本发明提供的红外测温成像装置的第二实施例中，三维成像模块包括第一可见光成像单元，第二可见光成像单元和第一可见光图像处理单元，第一可见光成像单元与第二可见光成像单元之间的位置关系固定，第一可见光图像处理单元的第一输入端与第一可见光成像单元的输出端连接，第一可见光图像处理单元的第二输入端与第二可见光成像单元的输出端连接，第一可见光图像处理单元输出端作为三维成像模块的输出端。

第一可见光成像单元对被测对象反射的可见光进行聚焦处理输出聚焦后的第一可见光信号，并将第一可见光信号转化为第一可见光图像数据；第二可见光成像单元对被测对象反射的可见光进行聚焦处理输出聚焦后的第二可见光信号，并将第二可见光信号转化为第二可见光图像数据；第一可见光图像处理单元根据第一可见光图像数据、第二可见光图像数据、第一可见光成像单元的焦距、第二可见光成像单元的焦距以及第一可见光成像单元和第二可见光成像单元之间的位置关系数据根据立体视觉法进行三维重建处理获得被测对象表面位置数据。

数据处理模块根据公式获得被测对象表面坐标为(x,y,z)处的温度数据；

其中，为坐标为(x',y')像素的温度值，从被测对象的二维温度图像数据获得。(x',y')为被测对象表面上坐标为(x,y,z)点与二维温度图像数据上的像素坐标的关系为：

其中，p1＝rp+u，p＝(x,y,z)^t，kr为红外测温成像模块的内参矩阵，内参矩阵包括焦距、分辨率以及主点坐标，p1为被测对象在红外测温成像模块坐标系下坐标，z1为被测对象在红外测温成像模块坐标系下坐标z轴分量，p为被测对象在可见光成像单元坐标系下坐标，r为旋转矩阵，u为平移向量。

校正处理模块根据公式获得被测对象表面上坐标为(x,y,z)处的校正温度数据。

上式中，tx,y,z为被测对象表面上坐标为(x,y,z)处的温度数据，直接从被测对象表面的三维温度数据中提取。cx,y,z为被测对象表面上坐标为(x,y,z)处的温度校正系数，cx,y,z＝cos(θx,y,z)，θx,y,z为被测对象表面上坐标为(x,y,z)处的法向量和被测对象表面上坐标为(x,y,z)处到红外测温成像模块的矢量之间的夹角。

根据被测对象表面位置数据获得被测对象表面上坐标为(x,y,z)处的法向量。

根据公式v＝rv^*+u获得被测对象表面上坐标为(x,y,z)点到红外测温成像模块的矢量；可以用旋转矩阵r和u为平移向量来表示可见光相机与红外相机的之间的位置关系。

其中，v^*为被测对象表面上坐标为(x,y,z)点到可见光成像单元的矢量，v^*＝zk^-1(x′,y′,1)，z为被测对象表面上坐标为(x,y,z)点的z轴分量；f是可见光成像单元的焦距，b是两个可见光成像单元之间的距离，s是被测对象表面上坐标为(x,y,z)点对应的可见光像素的视差值，该值在对由两个可见光成像单元获得的可见光图像数据进行三维重建处理过程中可以直接获得；k为可见光成像单元的内参矩阵，可见光成像单元的内参矩阵包括焦距、分辨率以及主点坐标，(x',y')为被测对象表面上坐标为(x,y,z)点映射到二维温度图像数据上的像素坐标。

图2为本发明提供的红外测温成像装置的第三实施例的结构示意图，三维成像模块包括第一可见光相机21、第二可见光相机22以及第一可见光图像处理单元23。可见光相机使用cmos图像传感器作为成像元件，可以都是彩色相机或者都是单色相机，选用相同型号的cmos图像传感器和型号相同的镜头组，从而使两个相机的分辨率和焦距保持一致，使用较高分辨率的cmos传感器可以提高三维重建的精度，比如1920×1080。

红外测温成像模块为红外相机1，红外相机使用红外焦平面阵列(fpa)作为成像元件，分辨率为640×512。红外相机、第一可见光相机以及第二可见光相机并列置于一条直线上，红外相机位于中央，可见光相机位于两侧，可见光相机与红外相机中心之间的距离均为d，所有相机位置保持固定。

第一可见光图像处理单元23、图像数据处理模块3以及校正处理模块4均通过高性能计算机实现。所有相机通过数据线与高性能计算机相连，相机采集所得的可见光图像和红外图像均通过数据线传输到高性能计算机。

本发明提供的红外测温成像装置初次运行时，需要对相机进行标定，从而得到可见光相机焦距、可见光相机之间的位置关系、红外相机焦距以及红外相机与可见光相机之间的位置关系。

标定完成后，数据处理单元会控制两个可见光相机和红外相机同时对目标进行拍摄，得到两幅可见光图像和一副红外热图像。

拍摄完成后，第一可见光图像处理单元23根据两幅可见光图像、第一可见光相机的焦距、第二可见光相机的焦距以及第一可见光相机与第二可见光相机之间的位置关系，通过立体视觉法获取可见光图像中每个像素的深度，进而得到被测目标表面的三维坐标数据。

根据被测目标表面的三维坐标数据、红外相机获得的红外热图像、红外相机的内参矩阵以及红外相机与可见光相机之间的位置关系数据对被测目标表面位置数据与红外热图像进行匹配获得被测目标表面的三维温度数据。

本发明提供的红外测温成像装置的第四实施例的结构示意图，三维成像模块包括投影单元、第三可见光成像单元、第二可见光图像处理单元。第二可见光图像处理单元的输入端与第三可见光成像单元的输出端连接。

投影单元向被测对象投射结构光，投影单元使用dlp投影仪或lcd投影仪，分辨率为1920×1080。第三可见光成像单元对被测对象发射的结构光进行聚焦处理输出聚焦后的结构光信号，并将聚焦后的结构光信号转化为结构光图像数据，第三可见光成像单元使用cmos图像传感器作为成像元件；第二可见光图像处理单元根据结构光图像数据、投影单元和第三可见光成像单元之间的位置关系数据以及第三可见光成像单元的焦距对结构光图像数据进行解码处理，获得被测对象表面位置数据。

投影仪向目标投射一组变化的条纹状结构光，同时让可见光相机将不同结构光投射下的目标拍摄下来，得到一组结构光图像序列，再由红外相机对目标进行拍摄。由第二可见光图像处理单元对含有结构光编码信息的图像序列进行解码得到图像中每个像素的深度，进而得到目标的三维表面模型。

图像数据处理模块3根据红外相机与可见光相机之间的位置关系数据、红外相机的焦距以及被测对象表面位置数据确定被测对象表面各点与被测对象表面的二维温度图像数据之间的映射关系，从而获得该点的温度，进而将温度数据表征到三维模型上。

本发明提供的红外测温成像方法的第一实施例，具体包括如下步骤：

s1对由三维成像模块检测到的被测对象反射的可见光信号进行三维成像处理获得被测对象表面位置数据；

s2对由红外测温成像模块检测到的被测对象发射的红外光信号进行平面成像处理获得被测对象的二维温度图像数据；

s3对被测对象表面位置数据、被测对象的二维温度图像数据、三维成像模块与红外测温成像模块之间的位置关系以及红外测温成像模块参数进行匹配处理获得被测对象表面的三维温度数据；

s4根据被测对象的二维温度图像数据、被测对象表面位置数据、红外测温成像模块的内参矩阵、三维成像模块的内参矩阵以及红外测温成像模块和三维成像模块之间位置关系数据获得被测对象表面的温度校正系数；

s5根据被测对象表面的三维温度数据以及温度校正系数获得被测对象表面的校正后温度数据。

本发明提供的红外测温成像方法，该方法将目标的红外热图像和目标的三维数据结合，可以获得温度在目标上的空间分布；同时利用红外测温成像模块与被测目标的三维信息校正所测的被测目标的温度，使其接近目标表面的实际温度。

本发明提供的红外测温成像方法第二实施例中，包括如下步骤：

s1由两个位置相对固定的可见光成像单元获得两组可见光图像数据，具体的为用两个可见光相机获得两组可见光图像数据，且两个可见光相机的内参矩阵相同；根据两组可见光图像数据、两组可见光成像单元的焦距以及两组可见光成像单元之间的位置关系数据采用立体视觉方法进行三维重建处理获得被测对象表面位置数据。

s2对由红外相机检测到的被测对象发射的红外光信号进行平面成像处理获得被测对象的二维温度图像数据；

s3将被测对象表面位置数据与被测对象的二维温度图像数据进行匹配处理。

设被测对象表面某一点的空间坐标为p＝(x,y,z)^t，由于被测对象表面位置数据是通过可见光相机获得的，所以该坐标是在可见光相机坐标系下的，要与二维温度图像数据匹配，首先要将该坐标转换到红外相机的坐标系下。红外相机与可将光相机的位置变换关系可以表示为一个旋转矩阵r和平移向量u，则该点在红外相机坐标系下的坐标为：

将p1投影到红外相机的像面上，即可得到该空间点在红外图像中的像素坐标如下：

式中，kr为红外相机的内参矩阵，内参矩阵包括焦距、分辨率以及主点坐标。

通过上述公式即可获得被测对象表面上坐标为(x,y,z)点与二维温度图像数据上的像素坐标的映射关系。

根据如下公式获得被测对象表面坐标为(x,y,z)处的温度数据：

其中，为坐标为(x',y')像素的温度值。

s4在得到被测对象表面位置数据模型并三角化后，法向量n可以根据被测点所在三角面与相邻三角面的法线方向平均获得。

矢量v根据如下公式获得：

v＝v^*+

其中，r为旋转矩阵，v^*为被测对象表面上坐标为(x,y,z)点到可见光相机的矢量，u为平移向量，由于可见光相机与红外相机的位置固定，其位置变换关系用旋转矩阵r和平移向量u表示，f是可见光相机的焦距(以像素为单位)，b是两个可见光相机之间的距离(基线长度)，s是被测点对应的可见光像素的视差值，该值在对由两个可见光成像单元获得的可见光图像数据进行三维重建处理过程中可以直接获得，z为被测对象表面上坐标为(x,y,z)点的z轴分量。(x',y')为被测对象表面上坐标为(x,y,z)点映射到二维温度图像数据上的像素坐标，k为可见光相机的内参矩阵。

根据公式cx,y,z＝cos(θx,y,z)获得被测对象表面上坐标为(x,y,z)处的温度校正系数，其中，θx,y,z为被测对象表面上坐标为(x,y,z)处的法向量和被测对象表面上坐标为(x,y,z)处到红外测温成像相机的矢量之间的夹角。

s5根据获得被测对象表面上坐标为(x,y,z)处的校正温度数据，其中，tx,y,z为被测对象表面上坐标为(x,y,z)处的温度数据。

本发明提供的红外测温成像方法第三实施例中，包括如下步骤：

s1当被测目标缺少纹理时，采用投射变化的结构光至被测对象，由可见光成像单元获得一组结构光图像数据序列时，根据结构光图像数据序列、可见光成像单元与投影单元之间的位置关系和可见光成像单元的焦距对结构光图像数据进行解码得到图像中每个像素的深度，进而获得被测对象表面位置数据。

步骤s2至步骤s5与第一实施例中的相同。

本发明提供的红外测温成像方法的第三实施例中，可以用于缺少纹理的被测目标的温度检测。

图3为本发明的温度校正的原理图，首先根据标定所得参数，将被测对象的二维红外图像数据中的某一个像素点映射到对应被测对象的三维模型上，计算该点在被测对象表面的法向量n，以及该点到红外光成像单元的方向的矢量v，该点到红外光成像单元的距离即为方向的矢量的模长。

在有限距离内，红外测温成像模块的测温原理可以用以下公式表示：

式中，v为响应电压，ε为目标发射率，s(λ)为传感器灵敏度，e(λ,t)为红外光成像单元接收到的辐射照度，λ1和λ2是红外光成像单元测量波长范围的上下界。通过对红外测温成像模块进行标定，可得到一个分段线性函数将电压v转换为所测温度值。

当被测物体正对红外光成像单元，上式能较好成立，但当被测物体与红外光成像单元存在一定角度时，上式应该修正为：

式中，θ为被测点的法向量n和该点到红外光成像单元的矢量v之夹角。由于所测温度与相应电压v存在分段线性映射的关系，通过下式可以对所测温度进行校正

式中，t为被测对象表面温度，t'为校正后被测对象表面温度。

对被测对象表面温度数据的每一个点进行上述处理，即可对整个温度分布进行校正，使得所获得被测对象表面的温度分布更精确。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。