一种双波段时域压缩感知高速成像方法及装置与流程

本发明涉及一种双波段时域压缩感知高速成像方法及装置，特别涉及一种采用数字微镜器件和低速响应相机同时获得高速运动目标在两个波段成像信息的方法及装置，属于成像技术领域。

背景技术：

随着科学的发展和进步，在人眼的视觉享受、科学研究、工业应用、国防监测等领域，对成像相机的空间分辨率和时间分辨率的要求越来越高。高速相机因为能够提供丰富的过程图像和完整的细节信息，被广泛地运用。受到读取速度和传输数据带宽的限制，高速相机往往为达到高帧频的要求，牺牲了相机的空间分辨率，导致目标的细节信息损失严重。然而，一个具有高空间分辨率而低帧频的相机拍摄高速运动目标时，又会出现运动模糊现象。在许多实际运用中，在追求高帧频的同时也要求高分辨率成像，以便能够观看、记录到更多的细节信息。

现有的高速相机产品，采集速度从每秒上百帧到上万帧，曝光时间最短可达纳秒(ns)级，可以满足绝大多数高速应用的需求。但是，这些传统高速相机因为需要高感光度和超高的数据传输带宽，制造成本十分昂贵。在某些领域(如红外成像领域)，受制程工艺的限制，在保证一定空间分辨率的同时做到高帧频是一件十分困难的事情。因此，研究同时获得高空间分辨率和高帧频的成像技术，具有十分重要的意义和使用价值。

近年来，压缩感知理论被应用于压缩成像领域，有着非常卓越的表现。单像素相机的出现，使压缩感知成像技术被成功运用于静态目标成像上，可以使用低空间分辨率的相机采集压缩成像，最后得到高分辨率的目标图像。压缩感知成像技术不仅可以用于静态目标成像，还可将高速运动目标在时间域压缩成像，达到不损失空间分辨率的情况下提高时间分辨率的效果，大大降低了器件的成本和技术难点的限制，该技术被称为时域压缩感知成像技术。其只需要低速响应相机和高帧频变化的空间光调制器，就可以完成高速成像的效果，而低速相机和高帧频变化的空间光调制器在成本上远没有一个很高帧频的摄像机耗费高，所以时域压缩感知成像方法大大降低了硬件的成本，并且降低了数据采集输出带宽的限制。

目前，有多位研究学者在用于视频重构的时域压缩感知成像技术领域开展了研究。2011年，dikpalreddy等人提出了一种可编程压缩编码相机(p2c2)，可以使用一个25fps帧频的相机拍摄重构出200fps的时域超分辨率视频。2013年，p.llull等人提出了时域压缩编码孔径成像技术(cacti)，并运用该技术搭建了硬件平台，实现了编码、解压缩重构过程。后续，又有学者基于这些工作做出了一些拓展性研究。目前，常用的空间光调制器有硅上液晶(lcos)和数字微镜器件(dmd)。根据空间光调制器的透射和反射两种调制方式，可以将时域压缩感知成像技术的成像光路分为如图1、2两种，其成像过程大致如下：高速运动的目标，经过透镜组，成像在空间光调制器上。空间光调制器对动态目标进行连续调制。调制后的目标信号，透过空间光调制器或被空间光调制器反射后，在时间上累积成像在相机感光元件上，然后将得到压缩后的高速目标信息，使用视频压缩感知重构算法进行重构。

尽管在时域压缩成像上已经开展了上述工作，但是，目前的技术均运用在可见光波段，并未见有针对同时获得两个波段的高速成像技术的研究。使用单一波段的图像传感器实现对某些复杂背景下目标的探测、识别和跟踪存在一定的困难。

红外成像技术具有很强的抗干扰能力，可以穿透浓烟、浓雾、黑夜、伪装等识别目标，在众多领域中有着重要的运用。将可见光高速成像技术和红外波段成像技术结合，可以同时发挥两个波段成像的优势，尽可能接收到更多的目标信息。因此，红外和可见光双波段同时高速成像技术，将具有十分重要的研究意义和运用前景。

技术实现要素：

本发明的目的是为了解决红外高速成像相机存在对高带宽设备依赖及制程工艺困难等问题，同时，为了能够在可见光和红外双波段进行同时成像，从而获得目标在两个波段的高速运动信息，提出了一种双波段时域压缩感知高速成像方法及装置。

本发明的目的是通过如下技术方案实现的：

一种双波段时域压缩感知高速成像方法，包括以下步骤：

步骤1：将宽光谱光源(光谱包括可见光和红外波段)，均匀照射在高速运动的目标场景上。

步骤2：高速运动目标的光信息，经过透镜组成像在加载有调制模板的数字微镜器件上。数字微镜器件对光信号进行调制，并将光信号进行分路，分成两个翻转方向上的光信号，分别用于可见光和红外成像。

由于数字微镜器件中微镜阵列的翻转特性，其两个翻转方向上调制后的光信号互补。

步骤3：可见光光路中，调制后的光信号经过一组成像透镜和可见光滤光片，成像在可见光相机上。红外光路中，调制后的光信号，经过另一组成像透镜和红外滤光片，成像在红外相机上。

其中，可见光相机、红外相机和数字微镜器件三者之间存在联动触发控制关系，数字微镜器件分别给可见光相机和红外相机相同的触发信号，数字微镜器件顺序翻转t张调制模板后，两个相机同时拍摄一张测量图像。数字微镜器件重复周期性翻转t张调制模板，不断给两个相机触发信号，可见光相机和红外相机进行连续拍摄，分别获得目标在双波段编码压缩后的低速视频。

步骤4：使用基于压缩感知的视频重构算法，将拍摄得到的双波段低速视频重构出双波段目标高速视频。

基于上述方法，本发明提出了一种双波段时域压缩感知高速成像装置，包括：光源模块、光调制模块、数据采集模块、数据处理模块和控制模块。其中：

所述光源模块，采用宽光谱光源作为照明光源，用于照射高速运动的目标场景。

所述光调制模块，采用加载有调制模板的数字微镜器件，将目标光信号进行调制，并分成两束，分别用于可见光成像和红外成像。数字微镜器件带有控制电路板，能够引出触发信号。

所述数据采集模块，采用透镜组、可见光滤光片和红外滤光片，分别透过来自光调制模块的两束光，并使用可见光和红外两个波段的相机对两束光信号分别进行采集，获得低速视频。

所述数据处理模块，即计算机将采集到的低速视频，采用视频重构算法重构得到双波段高速运动目标。

所述控制模块，是由可见光相机、红外相机和数字微镜器件(即光调制模块)三者之间构成一个联动触发控制电路。数字微镜器件分别给可见光相机和红外相机相同的触发信号，实现在数字微镜器件上顺序翻转t张调制模板后，两个相机分别同时拍摄一张测量图像。数字微镜器件重复周期性翻转t张调制模板，不断给两个相机触发信号，从而实现连续拍摄。

上述组成模块之间的关系为：

首先，光源模块射出宽光谱光源，照射到高速运动的目标场景；光调制模块对接收到的目标光信号进行调制并分束；分成的两束光到达数据采集模块后，分别透过可见光滤光片和红外滤光片，分别成像在可见光相机和红外相机上，采集获得低速视频；低速视频经过数据处理模块计算重构得到双波段的高速运动目标视频。控制模块实现光调制模块多次连续调制目标光信息，并控制数据采集模块在光调制模块多次连续调制后采集调制压缩后的目标信息。

有益效果

本发明方法，针对高速运动目标，利用数字微镜器件调制，使用低速响应相机进行成像，最后经过压缩感知视频重构算法进行目标重构。其中，数字微镜器件是一种由多个高速数字式光反射开关组成的阵列，数字微镜器件上由许多小型铝制反射镜面构成，其利用旋转反射镜实现光开关的闭合。数字微镜器件上的每个镜片，都可以分别围绕铰链斜轴进行+/-12°的偏转，称作数字微镜的打开和闭合状态。现有技术中，将数字微镜器件运用到时域压缩感知成像领域时，仅利用数字微镜器件单个方向上的反射光，另一个方向上的光能被丢弃损失掉了。本发明方法，利用数字微镜器件偏转的特性，同时将其两个方向上的光能分别用于可见光和红外两个波段上成像，结合时域压缩感知成像方法，同时获得高速运动目标双波段上的细节信息。因此，本发明方法，能够在不增加成像相机的数据转换带宽的同时，获得更多细节信息的高速运动目标视频，从而解决了高速成像对相机高感光度和超高的数据带宽的严苛要求。同时，利用数字微镜器件光调制器的特性，可以实现在不增加额外器件的情况下，同时获得可见光和红外两路高速成像光路，充分利用了光能量，提升能量的利用率。

附图说明

图1为透射式传统时域高速成像光路；

图2为反射式传统时域高速成像光路；

图3为本发明的双波段时域压缩感知高速成像光路图；

图4为本发明所述系统的装置结构图；

图5为本发明所述系统的模块构成框图；

图6为可见光波段成像的模拟恢复图；

图7为近红外波段成像的模拟恢复图；

图8为使用低速相机拍摄高速旋转目标成像图；

附图中，1-高速运动目标，2-透镜组，3-空间光调制器，4-可见光相机，5-数字微镜器件，6-可见光滤光片，7-红外滤光片，8-红外相机，9-宽光谱光源，10-计算机。

具体实施方式

下面结合附图与实施例，对本发明方法及装置做进一步详细说明。

一种双波段时域压缩感知高速成像方法，包括以下步骤：

步骤1：将宽光谱光源，均匀照射在高速运动的目标场景上。

步骤2：高速运动目标的光信息经过透镜组，成像在加载有调制模板的数字微镜器件上。数字微镜器件对光信号进行调制，并将光信号进行分路。分成两个翻转方向上的光信号，分别用于可见光和红外成像。

由于数字微镜器件中微镜阵列的翻转特性，其两个翻转方向上调制后的光信息互补。

步骤3：可见光光路中，调制后的光信号经过一组成像透镜和可见光滤光片，成像在可见光相机上。红外光路中，调制后的光信号，经过另一组成像透镜和红外滤光片，成像在红外相机上。

其中，可见光相机、红外相机和数字微镜器件三者之间存在联动触发控制关系，数字微镜器件向可见光相机和红外相机相同的触发信号，数字微镜器件顺序翻转t张调制模板后，两个相机同时拍摄一张测量图像。数字微镜器件重复周期性翻转t张调制模板，不断给两个相机触发信号，可见光相机和红外相机进行连续拍摄，分别获得目标在双波段编码压缩后的低速视频。

步骤4：使用基于压缩感知的视频重构算法，将拍摄得到的双波段低速视频重构出双波段目标高速视频，包括可见光高速视频和红外高速视频。

一种双波段时域压缩感知高速成像装置，如图4、图5所示，包括光源模块、光调制模块、数据采集模块、数据处理模块和控制模块。

所述光源模块，包括宽光谱光源9(光谱包括可见光和红外波段的光源)作为照明光源，用于照射高速运动目标1。

所述光调制模块，包括加载有调制模板的数字微镜器件5，将目标光信号进行调制，并分成两束，分别用于可见光成像和红外成像。数字微镜器件5带有控制电路板，能够引出触发信号。

所述数据采集模块，包括透镜组2、可见光滤光片6和红外滤光片7，分别透过来自光调制模块的两束光，并分别使用可见光相机4和红外相机8，对两束光信号进行采集，获得低速视频。

所述数据处理模块，采用计算机10，将采集到的低速视频利用视频重构算法，重构得到双波段目标高速运动目标。

所述控制模块，是由可见光相机4、红外相机8和光调制模块的数字微镜器件5三者之间构成一个联动触发控制电路。数字微镜器件5分别给可见光相机4和红外相机8相同的触发信号，实现在数字微镜器件5上顺序翻转t张调制模板后，两个相机分别同时拍摄一张测量图像。数字微镜器件5重复周期性翻转t张调制模板，不断给两个相机触发信号，从而实现连续拍摄。

上述组成模块之间的关系为：

光源模块射出宽光谱光源9照射在高速运动目标1上，目标的光信号经过透镜组2成像在光调制模块中加载有调制模板的数字微镜器件5上。数字微镜器件5重复周期性顺序翻转t张调制模板，将来自高速运动目标1的光信号进行连续调制并分束。分成两束的光信号同时进入数据采集模块，其中一束光经过可见光滤光片6得到可见光信息，最后累积曝光成像在可见光相机4上；另外一束光经过红外滤光片7得到红外光信息，最后累积曝光成像在红外相机8上。其中，数字微镜器件5在完成调制工作的同时不断向可见光相机4和红外相机8给出触发信号，触发两个相机同时拍摄调制压缩后的低速视频。低速视频经过计算机10的计算重构，最终得到双波段的高速运动目标视频。

实施例验证

首先，在成像相机的一次曝光时间内，高速运动的目标在可见光和红外波段下成像，原始信号分别标记为x1∈r^n×n×t、x2∈r^n×n×t。数字微镜器件上加载调制模板α∈r^n×n×t对目标信息进行调制并分束，其正方向上光信息被测量模板α所调制，则其负方向上的光信息是被与α互补的测量模板β∈r^n×n×t所调制。正负两个方向上的调制光分别用于可见光和红外成像，最后在单次曝光时间内累积成像在相应波段的相机上，即y1∈r^n×n、y2∈r^n×n。其中，n×n为图像的空间分辨率，t为时域压缩比，即成像相机的一次曝光时间内，测量模板先后变换了t次。上述过程即完成了将高速变化的目标在时间域上的单次压缩成像，用数学公式来表述如下：

公式(1)、(2)可以分别转换成线性公式：

考虑到最终重构视频的帧频取决于空间调制模板变化的速度，因此，选择了随机二值模板作为压缩成像过程中的调制测量模板，即测量模板内每个元素独立服从伯努利分布：

其中，0<p<1，通常p＝1/2。由于随机二值测量矩阵的元素为0或1，所以在实际应用中更容易实现和存储。调制模板α和β的对应位置处的元素是互补的，在采用随机二值矩阵的情况下，α(i,j,t)+β(i,j,t)＝1，如公式(6)的例子所示。若可见光波段的调制模板α某个位置处的元素为1，红外波段的调制模板β在该位置处的元素值即为0。

最后，在已知y1、y2和α情况下，求解x1和x2。利用一些基于压缩感知的视频重构算法，如维纳算法，即可完成双波段高速目标的重构。

图6和图7为双波段时域压缩感知高速成像的一个实例，具体是同一个高速目标在可见光和近红外波段(800nm～900nm)两个波段进行观测实验的过程。本实例中选用的高速目标是一个绕中心轴高速旋转的圆盘，上面均匀的刻有0～9数字。在拍摄视场内，数字会绕着图像的左下方某个中心点逆时针旋转。双波段高速运动视频的帧频为500帧每秒(fps)，每一帧图像的空间分辨率n×n为128×128。在实验中，时域压缩比t＝10，即将目标的原始高速视频中每10帧进行连续调制并累积求和成一张测量图像，最终得到了帧频为50fps的双波段低速视频。然后，利用基于压缩感知的视频重构算法，将得到的双波段低速视频进行重构获得双波段高速成像视频。

图6(b)和图7(b)分别为在成像相机一次曝光时间内，可见光和近红外波段的高速目标连续变化的原始状态；图6(a)和图7(a)分别是模拟可见光和近红外低速相机在一次曝光时间内采集到的一次测量图像；图6(c)和图7(c)为利用维纳算法重构出来的双波段高速目标图像。对比重构结果图6(c)、图7(c)和原始图6(b)、图7(b)发现，本实验基本完全重构出双波段原始目标信息。还可参考表1，列出了在双波段时域压缩感知成像的一次测量过程后，重构出来的10帧相对原始帧的峰值信噪比(psnr)值，该值可以评价重构图像的质量，计算过程：

其中，x(i,j,t)为第t帧原始图像在(i,j)位置处的像素值，为第t帧重构图像在(i,j)位置处的像素值，n×n为图片大小。

表1：双波段重构视频帧的psnr值/db

表1中可见光波段时域压缩感知成像重构结果的psnr值基本在41db以上，红外波段对应重构结果的psnr值基本在36db以上，双波段均能较好的实现时域压缩感知高速成像。图8是使用低帧频相机拍摄高速运动目标的一张成像图像，可以看出存在很明显的模糊现象。