静态光反射显微热成像方法、装置及终端设备与流程

本发明属于温度检测及显微成像技术领域，尤其涉及一种静态光反射显微热成像方法、装置及终端设备。

背景技术：

光热反射测温技术是一种非接触测温技术，其基础是光热反射(thermoreflectance)现象。光热反射现象基本的特征是物体的反射率会随物体的温度变化而变化。基于光反射原理的显微热成像技术常用于微电子和光电子器件的温度检测，典型场景如微波功率器件的热阻测量、热点检测、失效分析，ic(integratedcircuits，集成电路)温度分布，半导体激光器和vcsel(verticalcavitysurfaceemittinglaser，垂直腔面发射激光器)的发射面毁伤等。

现有的基于光反射原理的热成像技术可以分为基于相机和基于扫描两类。基于扫描的热成像技术多使用光电二极管作为探测器，优点是响应时间短、可以实现更高的准确度，但是由于需要扫描来获得温度分布，整体的测温效率较低；基于相机的成热像同时获取整个画面区域的温度信息，测试效率更高，因而更适合追求高效率的工业应用。然而现有的基于相机的热成像技术均需要对被测目标的温度进行调制，无法测量未调制的静态目标。

技术实现要素：

有鉴于此，本发明实施例提供了一种静态光反射显微热成像方法、装置及终端设备，以解决现有的基于相机的热成像技术需要对被测目标的温度进行调制的问题。

本发明实施例的第一方面提供了一种静态光反射显微热成像方法，包括：

同时获取被测目标所对应的光源区域a的图像和所述被测目标区域b的图像；

通过所述光源区域a中的全部或部分像素所对应的读数，获取所述被测目标区域b所对应的漂移修正系数；

选取m个不同温度{t1，t2，...，tl，...，tm}下的所述被测目标区域b的图像，针对所述m个不同温度中的任一温度tl，获取所述温度tl下所述被测目标区域b所对应的n帧图像，结合所述被测目标区域b在所述n帧图像中每一帧图像所对应的漂移修正系数，计算所述被测目标区域b中任一像素bk的读数均值获得像素bk所对应的m个数据对

对所述m个数据对进行线性拟合得到斜率β，根据所述斜率β计算bk所对应的光热反射系数ctr(bk)；

分别计算参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值

根据所述参考温度t0、所述像素bk所对应的光热反射系数ctr(bk)、参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值计算所述像素bk的待测温度tx(bk)。

本发明实施例的第二方面提供了一种静态光反射显微热成像装置，该装置包括：

散射片、光阑、准直透镜、分束器、衰减片、反射镜、物镜和结像透镜，其中，照明光经过分束器后通过所述反射镜获取所述被测目标所对应的光源区域a的图像，所述衰减片用于调节所述光源区域a的亮度，所述光阑用于控制通光部分的形状，所述光源区域a的图像形状与所述被测目标区域b的图像形状与所述光阑的通光部分的形状相同，且所述光源区域a的图像与所述被测目标b的图像关于视场中央点呈中心对称；

若通过该装置得到的被测目标所对应的光源区域的图像与所述被测目标区域的图像包含重叠部分，则所述被测目标所对应的光源区域的图像去除所述重叠部分为所述光源区域a的图像，所述被测目标区域的图像去除所述重叠部分为所述被测目标区域b的图像。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

同时获取被测目标所对应的光源区域a的图像和所述被测目标区域b的图像；

通过所述光源区域a中的全部或部分像素所对应的读数，获取所述被测目标区域b所对应的漂移修正系数；

选取m个不同温度{t1，t2，...，tl，...，tm}下的所述被测目标区域b的图像，针对所述m个不同温度中的任一温度tl，获取所述温度tl下所述被测目标区域b所对应的n帧图像，结合所述被测目标区域b在所述n帧图像中每一帧图像所对应的漂移修正系数，计算所述被测目标区域b中任一像素bk的读数均值获得像素bk所对应的m个数据对

对所述m个数据对进行线性拟合得到斜率β，根据所述斜率β计算bk所对应的光热反射系数ctr(bk)；

分别计算参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值

根据所述参考温度t0、所述像素bk所对应的光热反射系数ctr(bk)、参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值计算所述像素bk的待测温度tx(bk)。

本发明提供了一种静态光反射显微热成像方法、装置及终端设备，包括：同时获取被光源区域a的图像和被测目标区域b的图像，通过光源区域a的像素读数，获取被测目标区域b的漂移修正系数；在m个不同温度下获取每个温度下被测目标区域b的n帧图像，计算被测目标区域b中任一像素bk的读数均值获得bk所对应的m个数据对；进行线性拟合得到斜率β并根据β计算bk所对应的光热反射系数ctr(bk)；分别计算参考温度t0下bk的读数均值和待测温度tx下bk的读数均值根据t0、bk所对应的ctr(bk)、和计算bk的待测温度tx(bk)。本发明通过独特设计的光路，使得相机获取的图像中同时包含2个区域，1个区域直接来自光源，另1个区域来自被测目标，从而能够实时的对每一帧被测目标的图像进行光源强度和相机响应度漂移进行修正，解决了现有技术中基于相机的热成像技术需要对被测目标的温度进行调制的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种静态光反射显微热成像方法的流程示意图；

图2a为现有技术所对应的一种典型光路示意图；

图2b为本发明实施例提供的一种静态光反射显微热成像装置的示意图；

图3a至图3e为本发明实施例提供的一种静态光反射显微热成像装置中光阑通部分的形状的示意图；

图3f为本发明实施例提供的一种同时获取区域a和区域b的图像的示意图；

图3g为本发明实施例提供的另一种同时获取区域a和区域b的图像的示意图；

图4本发明实施例提供的另一种静态光反射显微热成像装置的结构框图；

图5为本发明实施例提供的一种静态光反射显微热成像终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

光热反射现象基本的特征是物体的反射率会随物体的温度变化而变化，在现有技术中，反射率随温度的变化可以认为是线性的，因此可以用一个变化率系数来表征，通常称为光热反射系数或光热反射校准系数(thermoreflectancecoefficient/thermoreflectancecalibrationcoefficience)，用ctr来表示，定义式为：

式中，r为参考反射率，δr为反射率变化量，δt为温度变化量。

对于多数金属和半导体材料，ctr的范围通常在(10^-2～10^-5)k^-1，并且与材料、入射光波长、入射角相关，若物体表面有多层结构，则每层的材料构成以及光在多层材料之间的干涉也会直接影响ctr的量值。

在ctr已知的情况下，可以通过测量物体反射率的变化，根据下式计算温度：

式中，tx为待测温度，t0为参考温度，rx为待测温度下的反射率，r0为参考温度下的反射率。

当参考温度t0和光热反射系数ctr已知的情况下，要确定待测温度tx，关键的是要确定反射率的变化率(rx-r0)/r0，因而可以被测物体表面投射一束探测光(入射光)，然后使用探测器如pd(photo-diode，光电二极管)或ccd(charge-coupleddevice，电荷耦合元件)测量反射光强度的变化率即可实现温度测量，这也是目前光热反射测温技术主流实现方式。

现有技术中基于相机的热成像技术可以同时获取整个画面区域的温度信息，测试效率更高，更加适合工业应用。然而，现有的基于相机的热成像技术均需要对被测目标的温度进行调制，典型的如4-bucket方案，对测温器件施以频率f的激励(故温度也以频率f变化)，相机则以其四倍频信号4f进行触发，则器件调制的一个周期内相机得到4帧图像，记为i1，i2，i3，i4，若温度变化为正弦，则有：

由此结合式(2)即可计算出温度变化，得到所需温度信息。

受相机帧频的限制，该类方案对可选的调制频率范围很窄。常规相机帧频通常在每秒数十帧至上百帧的水平，而被测温度调制的频率仅为帧频的1/4。故该类方案既无法测量未调制的静态目标，也无法测量调制频率超出其上限的目标。

为解决这一问题，本发明实施例提供了一种静态光反射显微热成像方法。结合图1，该方法包括：

s101，通过所述光源区域a中的全部或部分像素所对应的读数，获取所述被测目标区域b所对应的漂移修正系数。

具体的，获取所述光源区域a所对应的第i帧图像中的全部m个像素{a1，a2，...，aj，...，am}，所述m个像素的读数集合为ca(i)，对应于被测目标区域b所对应的第i帧图像共包含n个像素，记为{b1，b2，...，bk，...，bn}，所述n个像素的读数集合为cb(i)，光源区域a中的像素aj对应的相机读数为记为c(aj)，被测目标区域b中的像素bk对应的相机读数记为c(bk)。

在本发明实施例中，引入漂移修正系数的概念，被测目标区域b所对应的第i帧图像的漂移修正系数记为d(i)，本发明实施例提出两种获取d(i)的可行的实施方式。

第一种，获取光源区域a所对应的i帧图像的全部像素的读数集合ca(i)，根据公式d(i)＝f(ca(i))计算得到d(i)。

第二种，获取所述光源区域a所对应的部分像素，所述部分像素的读数集合为a，被测目标区域b所对应的第i帧图像的漂移修正系数d(i)为：

式中，α为预设值，c(aj,i)为集合a中的像素aj所对应的读数。

可选的，α＝1；

或其中，m为所述光源区域内像素的总个数；

或α＝[∑ac(aj,r)]^-1，其中，c(aj,r)为a中的像素aj在预选定的参考帧r所对应的读数。

s102，选取m个不同温度{t1，t2，...，tl，...，tm}下的所述被测目标区域b的图像，针对所述m个不同温度中的任一温度tl，获取所述温度tl下所述被测目标区域b所对应的n帧图像，结合所述被测目标区域b在所述n帧图像中每一帧图像所对应的漂移修正系数，计算所述被测目标区域b中任一像素bk的读数均值获得像素bk所对应的m个数据对

可选的，m大于等于2。

通过步骤s101计算温度tl下被测目标区域b所对应的n帧图像中每一帧图像所对应的漂移修正系数，通过如下公式计算所述被测目标区域b中任一像素bk的读数均值

式中，cl(bk，i)为像素bk在第i帧的读数。

由此可得到像素bk在m个不同温度下每个温度所对应的平均读数得到m个数据对

s103，对所述m个数据对进行线性拟合得到斜率β，根据所述斜率β计算bk所对应的光热反射系数ctr(bk)。

对所述m个数据对进行线性拟合可得到斜率β，

通过如下公式计算bk所对应的光热反射系数ctr(bk)：

s104，分别计算参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值

通过如下公式计算参考温度t0下像素bk的读数均值

通过如下公式计算待测温度tx下像素bk的读数均值

s105，根据所述参考温度t0、所述像素bk所对应的光热反射系数ctr(bk)、参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值计算所述像素bk的待测温度tx(bk)。

具体的，通过如下公式计算所述像素bk的待测温度tx(bk)：

由此可得出被测目标区域中像素bk的待测温度，并通过相同方法得到被测目标区域中任一像素的待测温度。

本发明实施例一种静态光反射显微热成像方法，同时获取被光源区域a的图像和被测目标区域b的图像，通过光源区域a的像素读数，获取被测目标区域b的漂移修正系数；在m个不同温度下获取每个温度下被测目标区域b的n帧图像，计算被测目标区域b中任一像素bk的读数均值获得bk所对应的m个数据对；进行线性拟合得到斜率β并根据β计算bk所对应的光热反射系数ctr(bk)；分别计算参考温度t0下bk的读数均值和待测温度tx下bk的读数均值根据t0、bk所对应的ctr(bk)、和计算bk的待测温度tx(bk)。本发明通过独特设计的光路，使得相机获取的图像中同时包含2个区域，1个区域直接来自光源，另1个区域来自被测目标，从而能够实时的对每一帧被测目标的图像进行光源强度和相机响应度漂移进行修正，解决了现有技术中基于相机的热成像技术需要对被测目标的温度进行调制的问题。

在装置方面，本发明实施例提供了一种静态光反射显微热成像装置。

如图2a所示，为现有技术的一种典型光路，本发明所提供的静态光反射显微热成像装置在图2a的基础上进行改进，得到如图2b所对应的装置，该装置包括散射片、光阑、准直透镜、分束器、衰减片、反射镜、物镜和结像透镜，其中，照明光经过分束器后通过所述反射镜获取所述被测目标所对应的光源区域a的图像，所述衰减片用于调节所述光源区域a的亮度，所述光阑用于控制通光部分的形状，所述光源区域a的图像形状与所述被测目标区域b的图像形状与所述光阑的通光部分的形状相同，且所述光源区域a的图像与所述被测目标b的图像关于视场中央点呈中心对称；若通过该装置得到的被测目标所对应的光源区域的图像与所述被测目标区域的图像包含重叠部分，则所述被测目标所对应的光源区域的图像去除所述重叠部分为所述光源区域a的图像，所述被测目标区域的图像去除所述重叠部分为所述被测目标区域b的图像。

具体的，通过本发明提供的静态光反射显微热成像装置能够实现如图1所述静态光反射显微热成像方法中所需的内同时获取被测目标所对应的光源区域a的图像和所述被测目标区域b的图像。在散射片后增加一个光阑，该光阑需特殊设计，其通光部分形状决定了a、b区域的形状；照明光经分束器后的透射路上增加一个衰减片和一个反射镜，衰减片用于调节a区域的亮度。

a、b区域的形状与光阑通光部分相同，且关于视场中央点呈中心对称，故光阑通光部分不应包含有中心对称的部分。如图3a至图3d为光阑通光部分的几个实例。

若通光部分有中心对称的部分，会导致a、b区域有重叠部分，重叠部分既不可用于漂移修正也不可用于目标温度测量，需要从a、b中刨除。

如图3e所示，为光阑通光部分包含中心对称部分的一个示例，对应的相机图像中a、b区域有重叠，重叠部分需要刨除，如图3f所示。

进一步的，本发明结合光阑通光部分的具体形状，给出如下两个具体的实施例。

第一个实施例

该方法应用于如图2b所示的装置，该装置中光阑的通光部分形状如3b所示，则相机图像包含的a、b区域的形状如图3g所示，a、b区域不包含重叠部分。

阶段1，首先进行ctr测量。

选取两个不同温度t1＝50℃，选取t2＝150℃，选取n＝5000。

选取t1＝50℃，n＝5000，参考帧为c1第一帧，进行测量得到：

选取t2＝150℃，n＝5000，进行测量得到：

然后按照下式计算各像素ctr(bk)：

然后即可进行温度测量。

阶段2，进行温度测量：首先在参考温度t0＝70℃下，取n＝5000，参考帧为c0第一帧，进行测量得到：

待测温度tx下，测量5000帧得到

利用阶段1得到的各像素的ctr(bk)，按下式计算得到各像素的待测温度tx(bk)。

至此即得到了各像素的温度信息。

第二个实施例

该方法应用于如图2b所示的装置，该装置中光阑的通光部分形状如3e所示，则相机图像包含的a、b区域的形状如图3f所示，a、b区域包含重叠部分，重叠部分需要剔除。

阶段1，首先进行ctr测量。

选取三个不同温度t1＝100℃，t2＝200℃，t3＝300℃，选取n＝2000。

选取t1＝100℃，n＝2000，m为区域a中像素数，进行测量得到：

选取t2＝200℃，n＝2000，进行测量得到：

选取t3＝300℃，n＝2000，进行测量得到：

将三组数据进行线性拟合得到斜率β，按照下式计算每个像素点的ctr(bk)。

然后即可进行温度测量。

阶段2，进行温度的测量。首先在参考温度t0＝50℃下，取n＝6000，进行测量得到：

待测温度tx下，测量6000帧得到：

利用阶段1得到的各像素的ctr(bk)，按下式计算得到各像素的待测温度tx(bk)。

至此即得到了各像素的温度信息。

图4为本发明实施例提供的一种静态光反射显微热成像装置示意图，结合图4，该装置包括：漂移修正系数获取单元41，像素读数均值计算单元42，光热反射系数获取单元43和待测温度计算单元44；

漂移修正系数获取单元41，用于同时获取被测目标所对应的光源区域a的图像和所述被测目标区域b的图像，并通过所述光源区域a中的全部或部分像素所对应的读数，获取所述被测目标区域b所对应的漂移修正系数；

像素读数均值计算单元42，用于选取m个不同温度{t1，t2，...，tl，...，tm}下的所述被测目标区域b的图像，针对所述m个不同温度中的任一温度tl，获取所述温度tl下所述被测目标区域b所对应的n帧图像，结合所述被测目标区域b在所述n帧图像中每一帧图像所对应的漂移修正系数，计算所述被测目标区域b中任一像素bk的读数均值获得像素bk所对应的m个数据对

光热反射系数获取单元43，用于对所述m个数据对进行线性拟合得到斜率β，根据所述斜率β计算bk所对应的光热反射系数ctr(bk)；

像素读数均值计算单元42还用于分别计算参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值

待测温度计算单元44，用于根据所述参考温度t0、所述像素bk所对应的光热反射系数ctr(bk)、参考温度t0下像素bk的读数均值和待测温度tx下像素bk的读数均值计算所述像素bk的待测温度tx(bk)。

可选的，漂移修正系数获取单元41用于获取所述光源区域a所对应的第i帧图像中的全部m个像素{a1，a2，...，aj，...，am}，所述m个像素的读数集合为ca(i)，被测目标区域b所对应的第i帧图像的漂移修正系数d(i)为：

d(i)＝f(ca(i))

可选的，漂移修正系数获取单元41用于获取所述光源区域a所对应的部分像素，所述部分像素的读数集合为a，被测目标区域b所对应的第i帧图像的漂移修正系数d(i)为：

式中，α为预设值，c(aj,i)为集合a中的像素aj所对应的读数。

可选的，α＝1；

或其中，m为所述光源区域内像素的总个数；

或α＝[∑ac(aj,r)]^-1，其中，c(aj,r)为a中的像素aj在预选定的参考帧r所对应的读数。

可选的，像素读数均值计算单元42用于通过如下公式计算所述被测目标区域b中任一像素bk的读数均值

式中，cl(bk，i)为像素bk在第i帧的读数。

可选的，光热反射系数获取单元43用于通过如下公式计算bk所对应的光热反射系数ctr(bk)：

可选的，像素读数均值计算单元42还用于通过如下公式计算参考温度t0下像素bk的读数均值

通过如下公式计算待测温度tx下像素bk的读数均值

可选的，待测温度计算单元44用于通过如下公式计算所述像素bk的待测温度tx(bk)：

本发明实施例一种静态光反射显微热成像装置，通过同时获取被光源区域a的图像和被测目标区域b的图像，通过光源区域a的像素读数，获取被测目标区域b的漂移修正系数；在m个不同温度下获取每个温度下被测目标区域b的n帧图像，计算被测目标区域b中任一像素bk的读数均值获得bk所对应的m个数据对；进行线性拟合得到斜率β并根据β计算bk所对应的光热反射系数ctr(bk)；分别计算参考温度t0下bk的读数均值和待测温度tx下bk的读数均值根据t0、bk所对应的ctr(bk)、和计算bk的待测温度tx(bk)。该装置结合独特设计的光路，使得相机获取的图像中同时包含2个区域，1个区域直接来自光源，另1个区域来自被测目标，从而使得该装置能够实时的对每一帧被测目标的图像进行光源强度和相机响应度漂移进行修正，解决了现有技术中基于相机的热成像技术需要对被测目标的温度进行调制的问题。

图5为本发明实施例提供的一种终端设备的示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如静态光反射显微热成像程序。所述处理器50执行所述计算机程序52时实现上述各个静态光反射显微热成像方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块41至44的功能。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。

所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器50可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述静态光反射显微热成像方法的步骤。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。