水雾干扰下基于多源视觉的温度场在线检测方法及系统

本发明主要涉及温度测量，特指一种水雾干扰下基于多源视觉的温度场在线检测方法及系统。

背景技术：

1、温度场的在线检测是激光焊接、金属冶炼、航空航天、设备故障检测等多个领域的重要需求。常见的接触式测温方法中，热电偶只能检测有限个点的温度信息，而分布式光纤等方法会受测温对象的外形和结构限制，这些都导致接触式测温方法不利于温度场的构建。非接触式测温方法中，拉曼散射等方法可以准确测量测温对象温度场，但是对环境要求较高，难以应用在实际工业生产中。

2、红外热像仪通过对接收到的红外辐射进行信号处理，得到测温对象的温度场并以伪彩图像的形式显示，是目前常用的温度场检测设备。但是测温对象与热像仪间存在的水雾会降低大气透射率，导致红外热像仪检测到的温度场产生明显的误差，而工业现场中产生的水雾分布通常是不均匀的，无法设置统一的参数来对测温误差进行补偿。因此，在利用热像仪检测温度场时，如果检测场景中存在动态非均匀水雾的干扰，则要同步在线估计水雾透射率场，以实现测温对象温度场的准确检测。

3、考虑到动态非均匀水雾在红外热图像中难以辨识，仅通过红外热图像估计出的水雾分布状态会产生较为严重的偏差，而可见光图像包含丰富的纹理和色彩特征，因此，本发明提出了一种基于多源图像信息的双阶段透射率场在线估计方法，在线获取水雾透射率场。之后，基于红外测温原理，构建针对动态水雾影响的温度场在线检测模型，克服了动态非均匀水雾对红外热像仪的干扰，实现了测温对象表面温度场的在线精准检测。

4、公开号为cn 114136458 a的发明申请，公开了一种熔融金属流体温度多态在线检测方法及系统。该发明考虑了冶炼现场的粉尘对红外测温的干扰，对粉尘的干扰状态进行识别并分别建立不同干扰状态下的温度检测模型，实现了对熔融金属流体温度场的多态在线准确检测。但是该发明是将粉尘干扰状态分为轻微干扰和严重干扰两种状态，实际上是分类问题，无法实现粉尘分布场的准确识别，也就无法精确检测熔融金属流体的温度场。

5、公开号为cn 115060376 a的发明申请，公开了一种基于红外热成像与迭代算法的铝合金温度场测量方法，该方法针对测量过程中发射率不能动态调整的问题，提出了一种基于发射率温度曲线的迭代方法，恢复出最接近真实的温度场。但是该发明没有考虑环境因素对红外测温的干扰，直接应用于复杂的工业现场难以得到准确的测温结果。

技术实现思路

1、本发明提供的水雾干扰下基于多源视觉的温度场在线检测方法及系统，解决了现有动态水雾干扰下温度场检测精度低的技术问题。

2、为解决上述技术问题，本发明提出的水雾干扰下基于多源视觉的温度场在线检测方法包括：

3、采集多源视觉图像，多源视觉图像包括可见光图像与红外热图像。

4、对多源视觉图像进行时间和空间配准。

5、根据时间和空间配准后的多源视觉图像，获取可见光波段的水雾透射率场。

6、将可见光波段的水雾透射率场映射为红外光波段的红外透射率场。

7、基于红外测温原理建立温度场检测模型，并根据红外透射率场和温度场检测模型对水雾干扰下的温度场实现在线检测。

8、进一步地，采集多源视觉图像包括：

9、搭建由红外热像仪和可见光相机组成的多源视觉成像系统。

10、采用可以同时被红外热像仪和可见光相机识别的标定板对红外热像仪和可见光相机进行标定，标定板为具有不同发射率棋盘格方块的标定板。

11、基于相机标定后的多源视觉成像系统，同步获取可见光图像与红外热图像。

12、进一步地，对多源视觉图像进行空间配准包括：

13、分别提取多源视觉图像中红外热图像和可见光图像的红外轮廓图和可见边缘图。

14、对可见边缘图进行仿射变换，并计算仿射变换后的可见边缘图与红外轮廓图之间的相似度。

15、根据相似度，设计空间配准损失函数。

16、对空间配准损失函数进行最优值求解，获得最优仿射变换参数。

17、根据最优仿射变换参数，对多源视觉图像进行空间配准。

18、进一步地，空间配准损失函数的具体公式为：

19、

20、

21、

22、其中，代表损失函数，p和p0分别表示仿射变换参数和仿射变换参数初始值，eg为可见边缘图，ec为红外轮廓图，*表示仿射变换函数，α为反射变换参数的约束系数，和分别表示红外轮廓图中第i个轮廓点在x和y方向的梯度，和分别表示仿射变换后的可见边缘图中第i个轮廓点在x和y方向的梯度，nc为红外轮廓图和仿射变换后的可见边缘图的轮廓点数量，代表相似度，||α||2代表对α求二次范数。

23、进一步地，对多源视觉图像进行时间配准包括：

24、通过多源视觉成像系统获取红外光视频流、可见光视频流以及与红外光视频流、可见光视频流分别对应的第一时间戳和第二时间戳。

25、对第一时间戳和第二时间戳进行线性回归，并分别计算第一时间戳和第二时间戳与线性回归后的第一时间戳和第二时间戳之间的差值，获得第一差值和第二差值。

26、对第一差值和第二差值进行中值滤波，并将中值滤波后的第一差值和第二差值分别与线性回归后的第一时间戳和第二时间戳相加，获得第一标准时间戳和第二标准时间戳。

27、提取可见光视频流以及红外光视频流中的显著物体的质心，并记录可见光视频流以及红外光视频流中每帧图像的质心坐标与图像在x和y方向边缘的距离，获得第一距离和第二距离。

28、根据第一距离和第二距离，按照时间戳顺序进行曲线拟合，分别获得红外热像仪和可见光相机在x和y方向的距离曲线。

29、根据红外热像仪和可见光相机在x和y方向的距离曲线，计算时钟源时移。

30、根据第一标准时间戳、第二标准时间戳以及时钟源时移，对多源视觉成像系统的时钟源进行时间校准。

31、进一步地，根据红外热像仪和可见光相机在x和y方向的距离曲线，计算时钟源时移的计算公式为：

32、

33、其中，dx,tem(t)和dx,color(t)分别为红外热像仪和可见光相机在x方向的距离曲线，dy,tem(t)和dy,color(t)分别为红外热像仪和可见光相机在y方向的距离曲线，ηx和ηy分别为第一权重系数和第二权重系数，tend为多源视觉成像系统获取红外光视频流、可见光视频流的终止时间，tset为通过参考体标定的时钟源时移，δtdelay为设定的时移阈值。

34、进一步地，根据时间和空间配准后的多源视觉图像，获取可见光波段的水雾透射率场包括：

35、基于暗通道先验估计可见光图像的初步水雾透射率场。

36、根据温度场变化信息，对初步水雾透射率场进行校正，获得校正后的可见光波段的水雾透射率场，校正公式具体为：

37、

38、

39、其中，为可见光图像中坐标x1处校正后的水雾透射率，tf(x)为初步水雾透射率场，tm(x1)为检测到的原始温度场中坐标x1处的检测温度，t0f(x2)为根据tf(x)和红外测温原理计算的坐标x2处的温度，ε代表发射率，n为与热像仪探测器材质相关的拟合系数，tu为环境温度，tw为水雾温度，ωt(x1)为x1邻域内与tm(x1)温度接近的坐标点集。

40、进一步地，将可见光波段的水雾透射率场映射为红外光波段的红外透射率场的公式具体为：

41、

42、其中，tw(x)为红外光波段的红外透射率场，ai为多项式参数，m为多项式阶次，为校正后的可见光波段的水雾透射率场。

43、进一步地，基于红外测温原理建立的温度场检测模型具体为：

44、

45、其中，t0(x)为真实温度场，r、b、f分别为与红外热像仪相关的第一、第二和第三拟合系数，ε代表发射率，tw(x)为红外光波段的红外透射率场，tm(x)为检测到的原始温度场，tu为环境温度，tw为水雾温度。

46、本发明提供的水雾干扰下基于多源视觉的温度场在线检测系统包括：

47、存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的水雾干扰下基于多源视觉的温度场在线检测方法的步骤。

48、本发明旨在提出一种动态非均匀水雾干扰下水雾干扰下基于多源视觉的温度场在线检测方法。本发明设计了由红外热像仪和可见光相机组成的多源视觉成像系统，同步获取了红外热图像和可见光图像。为了实现多源图像的时空匹配，首先基于形状模板匹配和参数空间约束进行图像坐标配准，再基于质心运动轨迹提取对多图像传感器进行时间校准。为在线量化动态水雾对温度场的影响，本发明提出了一种基于多源图像信息的双阶段透射率场在线估计方法，利用温度信息对可见光图像初步估计出的透射率场进行校正，再基于多项式回归将校正后的透射率场映射为红外光波段透射率场。为了克服动态水雾造成的红外测温误差，构建了基于红外测温原理的温度场在线检测模型，结合实时估计的水雾透射率，实现了动态水雾干扰下测温对象温度场的准确检测。本发明提出的温度场检测方法能实时估计动态水雾的透射率场，进而准确检测动态非均匀水雾环境中的测温对象温度场。

49、本发明提出的动态非均匀水雾干扰下水雾干扰下基于多源视觉的温度场在线检测方法，构建了多源视觉成像系统，同步获取空间差异较小的红外热图像和可见光图像，并设计了可以同时被多源相机识别的标定板进行多源相机标定。提出了基于形状模板匹配和参数空间约束的图像坐标配准方法，并基于质心运动轨迹提取对多图像传感器进行时间校准，实现了多源图像对在空间和时序上的匹配。针对动态水雾透射率场难以在线估计的问题，提出了一种基于多源图像信息的双阶段水雾透射率场在线估计方法，获得的水雾透射率场可以准确反映动态非均匀水雾在光路中的分布状态。最后基于红外测温原理，构建了针对动态非均匀水雾干扰的温度场检测模型，将估计的透射率场和受影响的温度场代入测温模型中即可得到测温对象的真实温度场。本发明解决了存在动态非均匀水雾时大气透射率场难以准确估计的问题，进而通过构建基于红外测温机理的温度场检测模型，实现了动态水雾干扰下温度场的在线检测。

50、本发明的有益效果具体包括：

51、(1)本发明首次提出了一种动态非均匀水雾干扰下水雾干扰下基于多源视觉的温度场在线检测方法，克服了动态水雾对红外热像仪测温的干扰，实现了对测温对象温度场的准确在线检测。

52、(2)搭建了成像差异较小的多源视觉成像系统，并设计了可以同时被红外热像仪和可见光相机识别的具有高对比度的标定板。

53、(3)提出了一种基于形状模板匹配和参数空间约束的图像坐标配准方法，实现了图像信息差异极大的红外热图像与可见光图像间的空间配准。

54、(4)提出了一种基于多源图像信息的双阶段透射率场在线估计方法，首次在图像去雾过程中引入温度变化信息，克服了单一红外热图像难以量化水雾影响和单一可见光图像估计水雾透射率易受图像纹理干扰的问题，实现了对动态非均匀水雾透射率场的实时精准估计。

55、(5)建立了基于多项式回归的水雾透射率场映射模型，将可见光波段下的水雾透射率场映射为红外光波段下的水雾透射率场。

56、(6)基于红外测温原理，构建了针对动态水雾影响的温度场检测模型，结合实时估计的水雾透射率场，实现了对动态水雾造成的测温误差的在线补偿，提高了水雾环境中红外热像仪的测温精度。