一种高温物体表面三维形貌温度场可视化重建方法与流程

本发明属于高温物体温度测量标定及三维形貌温度场融合检测，更具体地说，本发明涉及一种高温物体表面三维形貌温度场可视化重建方法。

背景技术：

1、随着现代工业技术的持续进步，高温物体在包括冶金、能源、航空航天以及材料加工等多个重要领域得到了广泛的应用。这种趋势对高温物体的温度检测技术提出了更高的要求。特别是在钢铁冶炼、金属加工、热处理以及航空航天零部件检测等关键环节，对被测物体表面温度分布以及表面三维形貌的精确监测显得尤为重要，这对于优化工艺控制、确保设备安全以及提升和保证产品质量具有不可替代的作用。

2、然而，在实际工业生产及应用中，比如需要测温范围为1000℃～2000℃时，传统的测温方式会产生一些局限性。其中，传统方式主要包括点测温设备和面测温设备，如热电偶、高温计以及红外热像仪等。点测温设备，如热电偶和高温计，每次测量只能获取到物体表面某一点的温度，利用这个点的温度来代表整个高温物体的温度。这种方式显然难以全面反映高温物体表面的温度分布情况，而且可能会引入较大的测温误差。另外，面测温设备如红外热像仪，其设备成本较高，而成像分辨率较低，在面对极高温度环境时的测温准确性也会受到严重影响，并且也无法获得三维温度场数据。为了实现对被测高温物体的温度分布面进行整体温度分布测量的目的。利用高温物体中辐射光谱的比色信息对其进行温度场分布的非接触测量，其不仅可以在无接触、隔绝测量环境的条件下完成温度分布面的测量。并且，传统的测温设备都只能提供高温物体温度数值的信息，而基于彩色工业相机感光的比色测温，可以与双目结构光三维重建系统相结合，实现高温物体三维形貌与温度场分布信息的融合，从而获得三维温度场数据。

3、在2023年12月1日公布的，专利申请公布号为：cn117146733a，专利名称为“一种高温目标三维形貌与温度场综合测量方法”的中国发明专利中，通过对高温试件的图像颜色通道进行比色测温，并将温度计算结果利用矩阵扩维的方式实现赋值计算，实现了对高温目标三维形貌数据与二维温度场数据的融合。然而上述发明的测温参数标定的过程更加面向某一具体应用场景下的零部件，没有使用标准热源或辐射源来进行标定，其测试结果具有特殊性和局限性。同时，上述发明的算法虽然实现了在点云文件的三维点的温度赋值，即增加的温度维度将各个温度值与三维点进行对应，但是其仍无法直观地显示高温物体的三维温度分布，操作人员无法直观地判断高温物体各个区域所处的温度等级，不利于操作人员对高温物体三维温度场的可视化判读。

技术实现思路

1、本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

2、为了实现根据本发明的这些目的和其它优点，提供了一种高温物体表面三维形貌温度场可视化重建方法，包括以下步骤：

3、步骤一、获取高温物体比色测温标定参数原始图像；

4、步骤二、基于高温物体比色测温标定参数原始图像，对各个原始图像进行处理，对高温物体的比色测温参数进行标定；

5、步骤三、采集高温物体的彩色图像；并同时开启投光光机，使用双目结构光系统，获取被测试件的三维形貌；

6、步骤四、利用比色测温参数的标定结果，获取高温物体的温度分布矩阵；并利用变换关系，建立高温物体表面三维点云与温度的对应关系，获得温度点云；

7、步骤五、依据温度点云，建立可视化的温度分布伪彩点云，并依据彩色变换关系建立高温物体温度分布的颜色标尺。

8、优选的是，其中，所述步骤一中，获取高温物体比色测温标定参数原始图像的具体方法包括：

9、s11、通过高温物体的设计信息，获取待测高温物体的温度范围；对应其温度变化区间，使用经过校准的黑体炉，设定变温区间范围与每个温度区间的温度等级；

10、s12、使用彩色工业相机作为采集器件，对黑体炉窗口进行拍摄，得到该时段的黑体炉窗口温度辐射彩色图像ii；随着温度的升高，逐渐调整曝光时间，确保所获得的图像结果的各个颜色通道没有溢出；获取彩色工业相机待标定的各幅图像i1,i2,...,ip,...,it，其中，p＝1,2,...,t，对应各个黑体炉设定的温度等级t1,t2,...,tt。

11、优选的是，其中，所述步骤二的具体方法包括：

12、s21、对步骤s12中的各幅彩色图像i1,i2,...,ip,...,it进行灰度处理，并进一步使用最大类间方差法对各图像进行二值分割，获取黑体炉窗口区域分割图像i′p以及背景区域分割图像；

13、s22、遍历第p张黑体炉窗口区域分割图像i′p红色通道，考虑高温物体温度辐射的波长以及采集元件三通道颜色的响应特性，寻找分割图像i′p内部各个像素值三通道中红色响应的最大值，将其峰值记作像素点记作有：

14、

15、其中，为窗口区域分割图像i′p红色通道响应峰值的坐标，分别为红色峰值像素所对应的绿色、蓝色响应值；

16、s23、以点的坐标为中心，设置u×u的采集区域，得到邻域处u×u个像素点；考虑相机放置的角度可能造成的角度等误差，将该区域中不存在零响应像素点的三个颜色通道进行均值处理，即在均值处理的过程中舍弃了被u×u邻域覆盖的背景区域；得到红色通道响应峰值领域中有效像素的三通道响应均值rp、gp、bp；

17、s24、记录该张图像拍摄时的标准黑体炉温度tp；将上述信息融合，得到测温标定图像ip的比色测温信息特征向量[rp gp bp tp]t；

18、s25、遍历比色测温标定图像数据集i1,i2,...,ip,...,it，将各个图像的比色测温信息特征向量组成比色测温标定初始数据集datacm：

19、

20、s26、设置初始数据集中的蓝色通道阈值thb；若初始数据集行向量datacm-b中各个温度等级图像中的蓝色通道响应的数值存在小于蓝色阈值thb的情况，则选择对原始数据集中的双通道颜色信息进行比色处理；计算初始数据集datacm中前两行的比色信息，即红色、绿色两通道进行比色测温处理；有比色信息若初始数据集行向量datacm-b中各个温度等级图像中的蓝色通道响应的数值均大于蓝色阈值thb时，选择对原始数据集中的三通道颜色信息进行比色处理；计算初始数据集datacm中前三行的比色信息，即对红色、绿色以及蓝色三通道进行比色测温处理，有比色信息l＝ln(rb/g2)；

21、s27、依据比色测温公式，结合响应的温度范围t以及比色信息l，计算此时的比色测温响应k；若在s22中比色信息l为双通道时，采用如下公式进行双通道比色测温响应参数的计算：

22、

23、其中，c2为普朗克第二常数，λr、λg分别为国际照明委员会推荐的红色、绿色基色标准波长；同样地，若在步骤s22中比色信息l为三通道时，采用如下公式进行三通道比色测温响应参数的计算：

24、

25、其中，λb分别为国际照明委员会推荐的蓝色基色标准波长，获取的结果为测温响应参数行向量，k＝[k1 k2 l kt]，其与比色信息l，温度等级t一一对应；

26、s28、使用数值计算的方式，对比色信息l＝[l1 l2 l lt]与测温响应参数k＝[k1 k2l kt]之间的关系进行标定；如果在s22中，依据蓝色通道阈值使用了双通道比色信息时，使用三次多项式建立两者之间的关系；如果在步骤s22中，依据蓝色通道阈值使用了三通道比色信息时，使用一次多项式建立两者之间的关系；最终，获得比色测温响应参数k与比色信息l之间的函数关系，k＝f(l)，其中，比色信息l作为自变量，测温响应参数为因变量。

27、优选的是，其中，所述步骤三的具体方法包括：

28、s31、基于步骤一、步骤二中使用的彩色工业相机，以及基于三维结构光系统的双目成像系统，搭建高温物体表面三维形貌检测以及温度场重建设备；

29、s32、开启高精度投光光机，使用双目成像系统对高温设备进行表面三维形貌点云的获取；其中，记双目成像系统中，左相机获取的图像为ileft，右相机获取的图像为iright，经过1系统重建出的点云记作pcini；

30、s33、关闭投光光机，使用在步骤一、步骤二中标定过的彩色工业相机获取高温物体的彩色图像，调整曝光时间，确保其成像结果图像中的各个颜色通道未有溢出；记彩色工业相机的成像结果为icolor，其中，icolor的尺寸大小依赖于工业相机的分辨率，有长宽尺寸为mc、nc。

31、优选的是，其中，所述步骤四的具体方法包括：

32、s41、针对高温物体的彩色图像结果，利用步骤二中的相机标定结果k＝f(l)，对高温物体的温度场进行重建；同样地，若相机标定结果建立在双通道比色信息的基础上，利用如下的测温公式对高温物体的彩色图像进行温度分布的重建：

33、

34、其中，c2为普朗克第二常数，λr、λg分别为国际照明委员会推荐的红色、绿色基色标准波长；j为高温物体彩色图像结果icolor中的各个像素点，j＝1,2,...m,c×nc；同样地，若相机标定结果建立在三通道比色信息的基础上，利用如下的测温公式对高温物体的彩色图像进行温度分布的重建：

35、

36、其中，λb分别为国际照明委员会推荐的蓝色基色标准波长，得到了该高温物体的温度分布矩阵

37、s42、分别对彩色图像结果icolor与三维形貌点云pcini的成像基准图像左相机成像结果ileft进行非线性扩散滤波处理，保持其边缘梯度，并对边缘内外进行模糊处理；

38、s43、使用特征点检测手段，对两幅图像建立仿射变换关系，获得仿射变换矩阵hg；

39、s44、使用仿射变换矩阵hg，对彩色相机结果icolor中的点与三维形貌点云pcini中的三维点建立匹配关系，并依据步骤s41中的温度分布矩阵结果，对三维形貌点云中的三维点进行温度赋值；此时，原点云文件变为温度点云pctem，其中，各个三维温度点表示为pi＝[xi,yi,zi,ti′]t，xi,yi,zi为该三维点的位置坐标，ti′为三维形貌点云中的三维点所对应的温度场重建结果矩阵中的温度值。

40、优选的是，其中，所述步骤五的具体方法包括：

41、s51、利用三维温度点云中各个三维温度点pi＝[xi,yi,zi,ti′]t第四维温度信息，对所有的三维温度点进行降序排序，得到的三维温度点集为pcsort，有：

42、pcsort＝{p1′,p2′,...,p′n}

43、此时的三维温度点p′下标i＝1,2,3,...,n为按照三维温度点的温度ti′的降序规则重新排列的结果，即在集合中的各点满足ti′＞t′i+1，有温度最高的三维温度点p1′＝p′max，温度最低的三维温度点p′n＝p′min；

44、s52、寻找温度分布的边界点，即找到高温物体与背景环境的边界分界点；取出温度点云矩阵pcsort的第四行，将该行向量定义为有序温度矩阵tem，有：

45、tem＝[t1′,t2′,...,t′n]

46、对有序向量tem中的相邻两项作差，得到温度差值向量：

47、δtem＝[δt1,δt2,...,δtn-1]

48、其中，δtk＝t′k-t′k+1，k＝1,2,...,n-1，寻找到向量δtem中各个元素的最大值，记作δtm，最大值表示了在原始温度分布有序向量中，温度点p′m的温度tm与温度点p′m+1的温度δtm+1之间的温度差值达到峰值，即点p′m代表了由反应高温物体的温度点至反应背景温度的温度点的分界点；

49、s53、以p′m为分界点，将有序温度矩阵tem进行分割，记作有序子向量temhigh、temlow，分别有：

50、temhigh＝[t1′,t2′,...,tm′]

51、temlow＝[tm′+1,tm′+2,...,tn′]

52、则两个有序子向量可以分别表示以温度做区别的高温物体表面的三维点以及背景环境的三维点；

53、s54、对高温物体所处背景环境的三维点进行温度置零，即反应背景温度分布信息的有序字向量temlow置零，有：

54、temlow＝[0,0,...,0]1×(n-m)

55、该过程防止在后面针对高温物体表面温度场的温度-颜色映射过程中，因为背景温度与高温物体温度差过大，而导致高温物体的温度分布伪彩图的各个区域之间拉不开较大颜色差异；

56、s55、对高温物体表面的三维点温度有序子向量规范化至[0～255]区间，实现温度的灰度映射；在有序子向量temhigh中，其中温度最大值为t1′，温度最小值为边界点温度tm′，对向量中每个温度值tr′，r＝1,2,...,m，作如下处理：

57、

58、则当r＝1，即计算温度最大值为t1′的规范灰度区间值t1″时，有t1″＝255；当r＝m，即计算温度最大值为t1的规范灰度区间值tm″时，有tm″＝1；经过遍历之后的有序子向量temhigh记作tem′high，其仍为降序的向量，且有序子向量tem′high中的元素值被变换至了[0～255]区间；至此，已经实现了由温度点云至灰度颜色点云的颜色映射；

59、s56、针对灰度规范高温物体表面的三维点温度有序子向量tem′high，对其进行彩色颜色映射，考虑黑体辐射波长与可见光范围内颜色的关系，以及彩色图像传感器如ccd、cmos图像传感器对不同可见光颜色波长的响应，建立从蓝色至绿色、红色的颜色映射关系；将每个三维点的温度灰度映射值tr″对应的伪彩图颜色映射结果记作cr＝[rr,gr,br]t，r＝1,2,...,m，则对于有序向量temh′igh中每个三维点的温度灰度映射值tr″的伪彩图颜色映射结果cr，有：

60、红色颜色通道的映射规则：

61、

62、绿色颜色通道的映射规则：

63、

64、蓝色颜色通道的映射规则：

65、

66、s57、建立灰度规范高温物体表面的三维点温度有序子向量tem′high的伪彩图颜色映射结果矩阵corhigh，有：

67、

68、则在此伪彩图颜色映射结果矩阵corhigh中，以rgb三通道伪彩色的形式展现了高温物体表面的三维点温度的伪彩图颜色分布信息；

69、s58、依据伪彩图颜色映射结果矩阵corhigh的颜色分布，建立对应的温度标尺，以提升高温物体表面形貌温度点云颜色分布的可观察度，在灰度规范高温物体表面的三维点温度有序子向量tem′high中，由于各点的温度被规范至[0～255]区间内，故使用[0～255]区间内各整数g＝0,1,...,255，以及原有序子向量temhigh中的温度最大值为t1′，温度最小值为边界点温度t′m，利用温度反演公式计算温度均匀分布的集合tem，温度反演公式为：

70、

71、使用这些温度值作为标尺，自上而下温度降序，并使用温度分布伪彩图颜色映射关系s56中所述内容，将其对应的颜色色块展示在温度值的左侧；由于在灰度映射区间内的各个整数间隔不大，可以认为在颜色分布伪彩图中，各个颜色块随温度最大值t1′、最小值t′m的降序排列而成为渐变颜色的温度标尺；

72、s59、整合温度分布伪彩图矩阵，将灰度规范高温物体表面的三维点温度有序子向量tem′high的伪彩图颜色映射结果矩阵corhigh与背景区域温度的颜色零元素矩阵corlow进行拼接，得到反应整个形貌点云文件的颜色矩阵cor，其中，有：

73、

74、cor＝[corhigh,corlow]

75、s510、将反应整个形貌点云文件的颜色矩阵cor整合至原温度降序点云矩阵中，替换原矩阵中的温度值，得到建立温度分布伪彩色展示，且背景置零的三维点云pcsort-cor，有：

76、

77、其中，xi,yi,zi，i＝1,2,3,...,n代表了原三维形貌点云数据中各点的坐标值，通过s51中的温度降序排序，实现了以原数据中温度分界点的温度tm作为分界点，即当序号m＜i≤n时，各个点云点的温度值及其伪彩图映射关系置零，与之相反的是，当1≤i≤m时，属于高温物体表面高温区域的各三维点的温度信息使用伪彩图映射关系，得到了具有区分度的颜色信息，即ri,gi,bi，i＝1,2,3,...,m；

78、s511、配合步骤s58中建立的温度分布伪彩色点云的颜色标尺，可以直观地展示高温物体的三维表面形貌以及可视化的温度场重建结果。

79、本发明至少包括以下有益效果：

80、(1)本发明采用高温黑体炉作为标准热源以及标准辐射源，对高温物体的辐射信息采集设备进行了比色测温参数的校准。本发明基于双通道以及三通道测温方法的测温原理以及各自的适用条件，设置阈值，使各测温方法工作在其适当的温度范围。确保了标定及校准的精确程度；并且，分别使用符合标定样本点的数值计算手段，对不同通道数的比色测温方法进行了标定，提高了标定的效率及精度；

81、(2)在温度分布信息与三维形貌点云难得融合阶段，使用非线性扩散滤波算法对待处理的图像进行尺度空间的建立。并在其基础上进行特征变化特征点的寻找。进一步地，利用非线性扩散滤波特征空间的特征点，建立彩色相机与三维形貌点云基准位置信息之间的关系，使其变换关系的建立更加精准；

82、(3)本发明基于温度赋值点云，对其进行可视化伪彩色变换。使被测对象高温物体的温度分布在三维形貌点云中的展示更加直观；另外，配合在变换过程中生成的温度标尺，使得温度分布有对应的尺度参照，可以更直观地获得高温物体三维形貌中特定区域的温度信息。

83、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。