一种红外融合视觉探测方法与流程

本发明涉及一种红外融合视觉探测系统及方法,尤其涉及一种基于光纤束层析及红外多目视觉的融合视觉探测方法。

背景技术：

红外热像技术是利用红外探测器将不可见的红外辐射转换成可见图像的一种技术。其发展初期常采用红外单元传感器结合光机扫描装置获取目标红外图像。上世纪八十年代开始，国际上开始研究并应用红外焦平面阵列(IRFPA)作为热像仪中的传感器，包括制冷型及非制冷型IRFPA，及量子阱(QWIP)、量子点(QDIP)等基于量子效应的新型探测器等。国际上第三代IRFPA已在成像面积、像元规模及多色成像等方面取得进展，如美国Teledyne公司为NASA 2011年投入使用的韦伯太空望远镜提供了高达4096×4096像元的碲镉汞IRFPA；另外1024×1024像元的QWIP中长波IRFPA及四色IRFPA也已研制成功。

虽然高分辨IRFPA提高了热图像的分辨率，但常规红外热像方法只能获取目标局部成像平面热像图，其提供的信息有限。目前航空航天、国防军事、工业各部门对能提供目标精确信息的热像技术的需求迫切。由于实际目标大都包括部分光学厚表面或部分处于光学厚材料构成的外界障碍的包围之中，对目标的红外立体探测成为巨大的难题，急需目标红外体热像的测量方法与手段。

针对该问题，本发明提出一种红外融合视觉方法，将自由空间光纤束层析(Optical Fiber Bundle Tomography in Free Space，简称OFBT)与多目视觉(Multi-view Vision，简称MV)信息融合。以实现待测目标立体热成像并可计算发射率、透射率、温度等物理参数的三维分布。

技术实现要素：

本发明的目的在于提供一种基于光纤束层析及红外多目视觉的融合视觉探测方法。以MV重构目标表面光学厚区域黑体通带辐射强度分布，并将MV重构的目标表面不同区域边界点坐标及其对应的通带黑体辐射强度作为OFBT约束条件，高精度反演目标光学薄区域内部各点对应的通带黑体辐射强度场分布，从而实现待测目标立体热成像并计算出其空间三维热物理量分布。

本发明的技术方案是这样来实现的，基于光纤束层析及红外多目视觉的融合视觉探测的硬件系统主要由测试平台、光纤束层析子系统、红外视觉子系统、千兆交换机、计算机组成；

其中光纤束层析子系统包含有n个OFB(即Optical fiber bundle，光纤束)，即从第一个OFB、第二个OFB、第三个OFB一直到第n个OFB；n个三角架、n个空间滤波器；n个通带滤光片；n个长波器件阵列及其对应的模拟放大器和数字信号处理电路；

每个OFB由p根均匀分布的光纤传感单元组成。每根光纤传感单元由传感头、输入耦合器、传感光纤、输出耦合器、长波单元器件组成。属于一个OFB的p根光纤传感单元中的共计p个长波单元器件按顺序排列组成一个长波器件阵列。光纤传感单元的传感头的外径与空间滤波器的定位孔的内径相当，属于一个OFB的根光纤传感单元中的共计个传感头作为一组，按顺序装进空间滤波器的定位孔中并固定，传感头中心开有准直孔，允许光线沿直线进入传感头；空间滤波器前装配同尺寸的通带滤光片，对进入OFB所有光纤传感单元的光进行通带滤光；每个OFB都固定在三角架的云台上，其位置可方便调节；传感光纤通过输入耦合器与传感头连接，通过输出耦合器与长波单元器件相连；长波器件阵列的传感信号可经模拟放大器进行放大，再经数字信号处理电路进行处理，处理结果通过处理端RJ45网络接口向外传送；

红外视觉子系统包括有m个红外视觉模组；测试平台上有m个平动导轨和一个旋转导轨；m个红外视觉模组安装在这m个平动导轨上，可沿平动导轨作一维平动及绕旋转导轨旋转，到预期空间及角度位置后可固定；红外视觉模组主要包含红外变焦镜头和红外面阵，红外面阵控制与驱动电路上有传感端RJ45网络接口，红外图像数据可通过该接口向外传送；

千兆交换机将计算机、光纤束层析子系统与红外视觉子系统组成千兆局域网，所有处理端RJ45网络接口以及传感端RJ45网络接口及计算机的网络接口都通过双绞线与千兆交换机的网络接口相连。计算机通过该千兆局域网对光纤束层析子系统与红外视觉子系统进行控制，并获取光纤束层析子系统的处理结果及与红外视觉子系统输出的红外图像数据，从而实现计算机、光纤束层析子系统与红外视觉子系统之间的千兆级高速数据传输。

基于光纤束层析及红外多目视觉的融合视觉探测方法其步骤为：

(1)采用黑体炉进行OFB通带辐射标定

每个OFB中一根光纤传感单元探测一根红外辐射线，传感光纤采用红外光纤(空芯热红外元件可低损耗传输8～14μm热红外辐射)经输出耦合器耦合长波单元器件实现通带光纤束层析数据采集，把所受辐射转化为模拟电压,经放大及A/D变换后成为数字量。

n个OFB的共计n乘以p根光纤传感单元的每个长波单元器件位置所对应的通带黑体辐射强度I_t,j与数字量的关系都必须进行预先标定，n为大于等于4的整数，p为大于等于10的整数的平方，I_t为通带黑体辐射强度，j为待标定的长波单元器件所属光纤传感单元的序号，采用的方法为：

选择光纤束层析探测波长范围8～14μm，调节黑体炉温度至某一温度T，根据普朗克黑体辐射公式计算温度T对应的通带黑体辐射强度I_t(即黑体温度T下的辐射曲线在8～14μm范围的面积)。离黑体炉辐射腔距离L处，固定放置一待标定的光纤传感单元，使其传感头端面对准并垂直于辐射腔中心，测得光纤传感单元输出数字量为D。记录上述的一组参数值(L,I_t,D)。调节黑体炉温度T，记录另一组参数值(L,I_t,D),完成整个黑体炉温度范围的标定后，改变L，重复以上步骤，可实现不同距离下，不同通带黑体辐射强度下，光纤传感单元输出数字量的标定。由于每根光纤传感单元的长波单元器件存在个体差异，因此需要对每根光纤传感单元进行标定,减小系统误差。最终完成n个OFB的共计n乘以p根光纤传感单元在不同探测距离L对应的通带黑体辐射强度I_t,j与输出数字量D的关系I_t,j＝f₁(L,D,j)，建立OFB通带辐射数据库。

(2)采用黑体炉进行红外视觉通带辐射标定

为了实现光纤束层析及红外多目视觉信息融合，即提供光纤束层析重建的边界约束条件，必须解决通带红外图像(8～14μm)灰度与通带黑体辐射强度的转换问题，即进行红外视觉通带辐射标定。

m个红外视觉模组中的每个红外面阵输出的红外图像组成像素点灰度值G与通带黑体辐射强度I_t,i的关系都必须进行预先标定，m为大于等于4的整数，I_t为通带黑体辐射强度，i为待标定的红外视觉模组的序号，标定方法与步骤(1)类似：

调节黑体炉温度至某一温度T，根据普朗克黑体辐射公式计算温度T对应的通带黑体辐射强度I_t(即黑体温度T下的辐射曲线在8～14μm范围的面积)。离黑体炉辐射腔距离L处，固定放置一待标定的红外视觉模组，调节红外视觉模组的红外变焦镜头，使其准确聚焦到黑体炉辐射腔。读取该红外视觉模组的红外面阵输出的红外图像中黑体炉辐射腔部分的平均灰度值G，记录上述的一组参数值(L,I_t,G)。调节黑体炉温度T，记录另一组参数值(L,I_t,G),完成整个黑体炉温度范围的标定后，改变L，重复以上步骤，可实现不同距离下，不同通带黑体辐射强度下，红外视觉模组输出的红外图像组成像素点灰度值G的标定。由于每个红外视觉模组的红外面阵存在个体差异，因此对所有的红外面阵进行标定,可减小系统误差。最终完成m个红外视觉模组中的共计m个红外面阵在不同探测距离L下，输出的红外图像(8～14μm)组成像素点灰度值G与通带黑体辐射强度I_t,i的关系I_t,i＝f₂(L,G,i)，建立多目红外视觉通带辐射数据库。

(3)MV及OFBT数据采集

将待测目标放置于测试平台上，在球形空间(相等球半径R)的不同经纬方向角的位置上,由三角架云台上的安装板,固定放置n个OFB。同时，m个红外视觉模组安装在m个平动导轨8上，沿平动导轨作一维平动及绕旋转导轨旋转，直到各平动导轨之间的夹角相等，且m个红外视觉模组离球形空间球心距离都等于R后可固定，将所有红外视觉模组的红外变焦镜头的焦点调至R；

每个OFB的传感头为平行准直孔结构，该结构既保证直线信号采集又满足实时性要求。属于一个OFB的p根光纤传感单元中的共计p个传感头作为一组，按顺序装进空间滤波器的定位孔中并固定，传感头外径与定位孔直径相等，定位孔中心之间的水平与垂直距离相等，可满足对待测目标进行测试的空间分辨率要求。

进行待测目标的融合视觉测试，千兆交换机将计算机、光纤束层析子系统与红外视觉子系统组成千兆局域网，计算机通过千兆局域网得到红外视觉子系统输出的有关待测目标不同角度下的m路红外图像数据，对每路红外图像的所有像素点灰度G，对照多目红外视觉通带辐射数据库I_t,i＝f₂(R,G,i)进行转换，获得m幅以黑体通带辐射强度I_t表征的红外辐射图像。

同时，数字信号处理电路通过控制电子开关对所有n乘以p根光纤传感单元的每个长波单元器件进行工作电源的控制，从而实现以电子快门方式瞬时启动所有长波单元器件以采集待测目标进入各传感头的空间多点通带辐射强度信号，同时各长波单元器件的输出端接峰值保持电路，使采集到的空间多点通带辐射强度信号转换成电压信号锁存在峰值保持电路中。经过模拟放大器进行放大，再经数字信号处理电路进行处理，对所有数据进行模拟信号至数字信号的变换，得到数字量D，再对照OFB通带辐射数据库I_t,j＝f₁(R,D,j)，获得待测目标空间多点的通带辐射强度原始数据I_t。

(4)融合数据处理

对计算机中的m幅以黑体通带辐射强度I_t表征的红外辐射图像，采用Harris算子进行不同区域的角点检测，基于红外通带光学薄及光学厚区域不同的图像空域及频域特征(如灰度、直方图、纹理、幅频分布等)进行区域分割，基于极线约束的图像匹配算法对m幅进行红外辐射图像特征角点匹配，重构待测目标的表面形貌，以及表面不同区域边界三维坐标及通带黑体辐射强度值。根据重构的待测目标的表面不同区域边界，对待测目标进行空间分割，即分为红外通带光学薄及光学厚区域，对于光学厚区域，直接采用重构的待测目标的表面形貌，即完成红外多目视觉的工作；对于光学薄区域，进入下述的光纤束层析空间三维重建：

把由红外多目视觉重构的表面不同区域边界三维坐标及通带黑体辐射强度值作为约束，对步骤(2)中数字信号处理电路处理获得的待测目标空间多点的通带辐射强度原始数据进行划分，对光学厚区域的辐射强度数据舍弃，采用光学薄区域的通带辐射强度原始数据进行光纤束发射光学层析的反演计算。通过层析计算，可得到待测目标光学薄区域内部空间各点的通带辐射强度，从而与光学厚区域中，由红外多目视觉重构的待测目标1的表面形貌及其通带辐射强度相融合，完成整个待测目标(包括光学薄区域及光学厚区域)空间三维通带辐射强度I_t分布的重建，以此为基础可反演待测目标(包括光学薄区域及光学厚区域)空间三维温度、压强、粒子数密度等物理量的分布，其三维分布结果实时在计算机上显示，完成整个融合视觉探测。

本发明的有益效果是，克服单一OFBT及MV目标三维热像检测的局限，采用MV重建目标三维红外表面形貌，区分光学薄与光学厚区域，并得到OFBT边界约束条件；OFBT重建光学薄区域内部分布；两者的信息融合解决复杂对象的三维热像检测的难题。

附图说明

图1为本发明的原理图，图中：1——待测目标；2——球形空间；3——三角架；4——空间滤波器；5——定位孔；6——第一个OFB；7——通带滤光片；8——平动导轨；9——第二个OFB；10——第三个OFB；11——旋转导轨；12——红外面阵；13——传感端RJ45网络接口；14——红外变焦镜头；15——第n个OFB；16——测试平台；17——准直孔；18——传感头；19——传感光纤；20——输入耦合器；21——长波器件阵列；22——模拟放大器；23——数字信号处理电路；24——处理端RJ45网络接口；25——双绞线；26——千兆交换机；27——计算机；28——红外视觉模组；29——输出耦合器；30——长波单元器件。

注：OFB即Optical fiber bundle，光纤束；RJ45即Registered Jack 45数据传输接口；n为OFB的总个数。

具体实施方式

基于光纤束层析及红外多目视觉的融合视觉探测的硬件系统结构如图1所示,硬件系统主要由测试平台16、光纤束层析子系统、红外视觉子系统、千兆交换机26、计算机27组成；

其中光纤束层析子系统包含有n个OFB，即从第一个OFB 6、第二个OFB 9、第三个OFB 10一直到第n个OFB 15(本实施例中，n取4)；n个三角架3、n个空间滤波器4；n个通带滤光片7；n个长波器件阵列21及其对应的模拟放大器22和数字信号处理电路23；

每个OFB由p根均匀分布的光纤传感单元组成。每根光纤传感单元由传感头18、输入耦合器20、传感光纤19、输出耦合器29、长波单元器件30组成。属于一个OFB的p根光纤传感单元中的共计p个长波单元器件30按顺序排列组成一个长波器件阵列21。光纤传感单元的传感头18的外径与空间滤波器4的定位孔5的内径相当，属于一个OFB的p根光纤传感单元中的共计p个传感头18作为一组，按顺序装进空间滤波器4的定位孔5中并固定，传感头18中心开有准直孔17，允许光线沿直线进入传感头18；空间滤波器4前装配同尺寸的通带滤光片7(本实施例其通带为8～14μm)，对进入OFB所有光纤传感单元的光进行通带滤光；每个OFB都固定在三角架3的云台上，其位置可方便调节；传感光纤19通过输入耦合器20与传感头18连接，通过输出耦合器29与长波单元器件30相连；长波器件阵列21的传感信号可经模拟放大器22进行放大，再经数字信号处理电路23进行处理，处理结果通过处理端RJ45网络接口24向外传送；

红外视觉子系统包括有m个红外视觉模组28；测试平台16上有m个平动导轨8和一个旋转导轨11；m个红外视觉模组28安装在这m个平动导轨8上，可沿平动导轨8作一维平动及绕旋转导轨11旋转，到预期空间及角度位置后可固定；红外视觉模组28主要包含红外变焦镜头14和红外面阵12，红外面阵12控制与驱动电路上有传感端RJ45网络接口13，红外图像数据可通过该接口向外传送；

千兆交换机26将计算机27、光纤束层析子系统与红外视觉子系统组成千兆局域网，所有处理端RJ45网络接口24以及传感端RJ45网络接口13及计算机27的网络接口都通过双绞线25与千兆交换机26的网络接口相连。计算机27通过该千兆局域网对光纤束层析子系统与红外视觉子系统进行控制，并获取光纤束层析子系统的处理结果及与红外视觉子系统输出的红外图像数据，从而实现计算机27、光纤束层析子系统与红外视觉子系统之间的千兆级高速数据传输。

基于光纤束层析及红外多目视觉的融合视觉探测方法其步骤为：

(1)采用黑体炉进行OFB通带辐射标定

每个OFB中一根光纤传感单元探测一根红外辐射线，传感光纤19采用红外光纤(空芯热红外元件可低损耗传输8～14μm热红外辐射)经输出耦合器29耦合长波单元器件30(本实施例采用国产OTP538U单元器件,其光谱响应范围为8～14μm)实现通带光纤束层析数据采集，把所受辐射转化为模拟电压,经放大及A/D变换后成为数字量。

n个OFB的共计n乘以p根光纤传感单元的每个长波单元器件30位置所对应的通带黑体辐射强度I_t,j与数字量的关系都必须进行预先标定，I_t为通带黑体辐射强度，j为待标定的长波单元器件30所属光纤传感单元的序号(本实施例中，n取4，p取900，j的范围为1至3600)，采用的方法为：

选择光纤束层析探测波长范围8～14μm，调节黑体炉温度至某一温度T，根据普朗克黑体辐射公式计算温度T对应的通带黑体辐射强度I_t(即黑体温度T下的辐射曲线在8～14μm范围的面积)。离黑体炉辐射腔距离L处，固定放置一待标定的光纤传感单元，使其传感头18端面对准并垂直于辐射腔中心，测得光纤传感单元输出数字量为D。记录上述的一组参数值(L,I_t,D)。调节黑体炉温度T，记录另一组参数值(L,I_t,D),完成整个黑体炉温度范围的标定后，改变L，重复以上步骤，可实现不同距离下，不同通带黑体辐射强度下，光纤传感单元输出数字量的标定。由于每根光纤传感单元的长波单元器件30存在个体差异，因此需要对每根光纤传感单元进行标定,减小系统误差。最终完成n个OFB的共计n乘以p根光纤传感单元在不同探测距离L对应的通带黑体辐射强度I_t,j与输出数字量D的关系I_t,j＝f₁(L,D,j)，建立OFB通带辐射数据库。

(2)采用黑体炉进行红外视觉通带辐射标定

为了实现光纤束层析及红外多目视觉信息融合，即提供光纤束层析重建的边界约束条件，必须解决通带红外图像(8～14μm)灰度与通带黑体辐射强度的转换问题，即进行红外视觉通带辐射标定。

m个红外视觉模组28中的每个红外面阵12(本实施例采用氧化钒非制冷红外焦平面阵列，其工作波长范围为8～14μm)输出的红外图像组成像素点灰度值G与通带黑体辐射强度I_t,i的关系都必须进行预先标定，I_t为通带黑体辐射强度，i为待标定的红外视觉模组28的序号(本实施例中，m取4，i的范围为1至4)，标定方法与步骤(1)类似：

调节黑体炉温度至某一温度T，根据普朗克黑体辐射公式计算温度T对应的通带黑体辐射强度I_t(即黑体温度T下的辐射曲线在8～14μm范围的面积)。离黑体炉辐射腔距离L处，固定放置一待标定的红外视觉模组28，调节红外视觉模组28的红外变焦镜头14，使其准确聚焦到黑体炉辐射腔。读取该红外视觉模组28的红外面阵12输出的红外图像中黑体炉辐射腔部分的平均灰度值G，记录上述的一组参数值(L,I_t,G)。调节黑体炉温度T，记录另一组参数值(L,I_t,G),完成整个黑体炉温度范围的标定后，改变L，重复以上步骤，可实现不同距离下，不同通带黑体辐射强度下，红外视觉模组28输出的红外图像组成像素点灰度值G的标定。由于每个红外视觉模组28的红外面阵12存在个体差异，因此对所有的红外面阵12进行标定,可减小系统误差。最终完成m个红外视觉模组28中的共计m个红外面阵12在不同探测距离L下，输出的红外图像(8～14μm)组成像素点灰度值G与通带黑体辐射强度I_t,i的关系I_t,i＝f₂(L,G,i)，建立多目红外视觉通带辐射数据库。

(3)MV及OFBT数据采集

将待测目标1放置于测试平台16上，在球形空间2(相等球半径R)的不同经纬方向角的位置上,由三角架3云台上的安装板,固定放置n个OFB。同时，m个红外视觉模组28安装在m个平动导轨8上，沿平动导轨8作一维平动及绕旋转导轨11旋转，直到各平动导轨8之间的夹角相等，且m个红外视觉模组28离球形空间2球心距离都等于R后可固定，将所有红外视觉模组28的红外变焦镜头14的焦点调至R；

每个OFB的传感头18为平行准直孔结构，该结构既保证直线信号采集又满足实时性要求。属于一个OFB的p根光纤传感单元中的共计p个传感头18作为一组，按顺序装进空间滤波器4的定位孔5中并固定，传感头18外径与定位孔5直径相等(本实施例中均为1mm)，定位孔5中心之间的水平与垂直距离相等(本实施例中该距离为2mm)，可满足对待测目标1进行测试的空间分辨率要求。

进行待测目标1的融合视觉测试，千兆交换机26将计算机27、光纤束层析子系统与红外视觉子系统组成千兆局域网，计算机27通过千兆局域网得到红外视觉子系统输出的有关待测目标1不同角度下的m路红外图像数据，对每路红外图像的所有像素点灰度G，对照多目红外视觉通带辐射数据库I_t,i＝f₂(R,G,i)进行转换，获得m幅以黑体通带辐射强度I_t表征的红外辐射图像。

同时，数字信号处理电路23通过控制电子开关对所有n乘以p根光纤传感单元的每个长波单元器件30进行工作电源的控制，从而实现以电子快门方式瞬时启动所有长波单元器件30以采集待测目标1进入各传感头18的空间多点通带辐射强度信号，同时各长波单元器件30的输出端接峰值保持电路，使采集到的空间多点通带辐射强度信号转换成电压信号锁存在峰值保持电路中。经过模拟放大器22进行放大，再经数字信号处理电路23进行处理，对所有数据进行模拟信号至数字信号的变换，得到数字量D，再对照OFB通带辐射数据库I_t,j＝f₁(R,D,j)，获得待测目标1空间多点的通带辐射强度原始数据I_t。

(4)融合数据处理

对计算机27中的m幅以黑体通带辐射强度I_t表征的红外辐射图像，采用Harris算子进行不同区域的角点检测，基于红外通带光学薄及光学厚区域不同的图像空域及频域特征(如灰度、直方图、纹理、幅频分布等)进行区域分割，基于极线约束的图像匹配算法对m幅进行红外辐射图像特征角点匹配，重构待测目标1的表面形貌，以及表面不同区域边界三维坐标及通带黑体辐射强度值。根据重构的待测目标1的表面不同区域边界，对待测目标1进行空间分割，即分为红外通带光学薄及光学厚区域，对于光学厚区域，直接采用重构的待测目标1的表面形貌，即完成红外多目视觉的工作；对于光学薄区域，进入下述的光纤束层析空间三维重建：

把由红外多目视觉重构的表面不同区域边界三维坐标及通带黑体辐射强度值作为约束，对步骤(2)中数字信号处理电路23处理获得的待测目标1空间多点的通带辐射强度原始数据进行划分，对光学厚区域的辐射强度数据舍弃，采用光学薄区域的通带辐射强度原始数据进行光纤束发射光学层析的反演计算。通过层析计算，可得到待测目标1光学薄区域内部空间各点的通带辐射强度，从而与光学厚区域中，由红外多目视觉重构的待测目标1的表面形貌及其通带辐射强度相融合，完成整个待测目标1(包括光学薄区域及光学厚区域)空间三维通带辐射强度I_t分布的重建，以此为基础可反演待测目标1(包括光学薄区域及光学厚区域)空间三维温度、压强、粒子数密度等物理量的分布，其三维分布结果实时在计算机27上显示，完成整个融合视觉探测。