本发明涉及多维信号(图像)处理领域，特别涉及一种基于光谱通道摆扫式(scs)相机的多光谱视频采集方法。
背景技术：
多光谱图像序列/视频对于许多应用都有着重要意义，比如监督，医学，材料分析等等。尽管这个主题在过去的几十年里被大量学习，但是获取动态场景的多光谱视频依然是一个很具挑战性的工作，因为大部分现存的多光谱成像方法或者依赖于扫描机制，或者需要多倍快照来重建单个帧。
近期，一些基于单次快照的多光谱成像方法被提出。其中一些方法是通过将光谱信息多路传输进二维传感器来捕获多光谱图像/视频，比如四维成像光谱仪(4dis)、计算机断层扫描成像光谱仪(ctis)和快照成像映射光谱仪(ims)。然而这些方法牺牲了空间分辨率以换取单个光谱成像的能力。编码孔径快照光谱成像(cassi)使用自然图像的空间冗余对单次拍照的多光谱信息进行编码从而不牺牲空间分辨率。除此之外，混合光谱成像系统通过额外捕捉一个未编码的灰度图像，被用来改善cassi的性能。最近，双光谱图像编码(dcsi)技术出现，通过使用空间谱压缩编码来捕获多光谱图像。尽管多光谱成像可以通过单快照获取，但是这些基于编码孔径的系统重建算法却尤其复杂。另外，高计算成本可能在很长一段时间内限制这些系统在视频获取领域的应用。
技术实现要素：
本发明的目的旨在提出一种基于光谱通道摆扫式(scs)相机的多光谱视频采集方法，解决上述现有方法无法兼有高分辨率或高帧率和低计算复杂度的缺陷。
本发明采用的技术方案如下：
一种基于光谱通道摆扫式相机的多光谱视频采集方法，包括以下步骤：
(1)在三维球面坐标系统上定义复杂光流，复杂光流包括强度和位置传输信息，用于计算不同光谱通道相邻帧之间的对应关系；
(2)复杂光流映射被定义在不同光谱通道的邻近帧对上，利用复杂光流映射下的复杂l1范数正则化问题；
(3)结合复杂光流映射，通过双边传播从输入的光谱通道摆扫式相机视频中重建得到多光谱视频。
本发明充分利用动态自然场景的时间冗余来获取和重建动态场景的多光谱视频，能够同时具备不牺牲任何分辨率或帧率以及更低的系统复杂度的优点。具体的，步骤(1)的复杂光流(cof)，包括强度和位置传输信息，用来克服在异谱帧下传统光流的缺陷，从而描述不同光谱通道相邻帧的对应像素；步骤(2)采用迭代加权最小二乘法(irls)，通过加权迭代l2范数并且采用一个由粗到细的框架结构确保算法正确收敛进而估计复杂l1范数正则化；步骤(3)的双边传播，从第一个通道(最小波长)到最后一个(最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据cof映射既向前又向后传播。总体来说，本发明在以下三个方面效果显著：(1)没有任何分辨率或者帧率的牺牲；(2)更低的系统复杂度，因此很容易校准；(3)是一种通过利用自然视频中时间冗余的创新型时空采样框架。
附图说明
图1为本发明基于光谱通道摆扫式(scs)相机的多光谱视频采集系统的流程图；
图2为本发明一个实施例的基于光谱通道摆扫式(scs)相机的多光谱视频采集系统的示意图；
图3为本发明一个实施例的多光谱帧组/视频重建的双边传播框图；
图4为本发明的一个实施例的实际捕获的动态场景的实验结果。第一行：在时间帧1、6、11和17，光谱波长540nm、590nm、640nm和700nm分别捕获的选定输入帧；中间四行：选定的重建光谱帧；底部：相应时刻重建结果的细节。
具体实施方式
本发明采用逐帧摆扫通带，同时引入帧内复杂光流，从而重建得到动态场景多光谱视频。本实施例所用的采集系统包括一个单色相机(pointgraygras-50s5m-c)和一个液晶可调滤波器(lctf)。图1是根据本发明基于光谱通道摆扫式(scs)相机的多光谱视频采集方法的流程图，主要包括以下步骤：
步骤一，在三维球面坐标系统上定义复杂光流(cof)，描述不同光谱通道相邻scs帧的变化，复杂光流(cof)由强度和位置传输信息组成。
具体地，假设在一个自然视频中，物体或者背景场景出现一段时间并且在这段时间内连续移动。换句话说，视频上的像素点既不在很短的一段拍摄时间内突然出现然后消失，也不会从一个位置不连续地移动到另一个不相邻区域。为了获得不同光谱通道邻近帧的对应关系，在三维球坐标系统(包括一个半径和两个角)上定义复杂光流(cof)，数学公式为：
其中，
步骤二，cof映射被定义在不同光谱通道的邻近帧对上，利用cof映射下的复杂l1范数正则化问题。
基于cof映射的定义，目标函数的保真度项可以被定义为：
考虑到包含统一强度的区域充满了自然场景，只通过最小化保真度项的问题仍然是病态的。为了解决这个病态性，cof映射下的复杂的l1范数被引入，形式如下：
这里，
由于cof映射在这里是一个复合矢量场，复合梯度被定义为在x-和y-方向上的复合矢量场中相邻元素的导数：
这里，式中的减号是球向量减法，因此会导致矢量求导。上式中的复杂l1范数表示了复合梯度向量模块的总和。
完整的目标函数是以上两式的一个加权合并：
e＝ef+λcec
这里λc是复杂l1范数约束在cof上的权重，在本实施例中，λc被设置为0.02。
本实施例中，为了解决上式，采用迭代加权最小二乘法(irls)。基本思路是通过加权迭代l2范数来逼近复杂的l1范数从而使算法一步步收敛。特殊地，在第k次迭代中，上式中的非二项式项ec被估计为：
这里
为了确保算法收敛到正确的解，本实施例采用了一个由粗到细的框架结构。在实际操作中，算法从一个非常粗糙的精度开始(输入帧组大小的1/256)，在每个精度下，cof映射通过迭代计算外层循环(随着k增长再加权迭代)和内层循环(cg迭代来最小化固定权重的目标函数)直到算法收敛。算法在每层精度收敛后，下一层的初始化cof映射通过调整当前cof映射的尺寸获得。在最开始，第一层的cof被常量复合矢量1e0i+0j初始化，相邻层的尺寸比被设置为1.2。
步骤三，结合cof映射，通过双边传播从输入的scs视频中重建得到多光谱视频。在信号扫描帧组的一个周期内，比如从第一个通道(有着最小波长)到最后一个(有着最大波长)的帧扫描中，每个帧包含了一个光谱通道并且根据cof映射既向前又向后传播。如图3所示，实际捕获通道的信息被传播给邻近帧来填满空缺通道，从而重建整个光谱帧组。
为了消除不同波段的lctf透射比和传感器响应不同导致的缺陷，本实施例使用颜色检查器(爱色丽色板)作为参考板，并且使用一阶拟合对每个通道分别进行输出响应修正。在校准之后，所有颜色区域的输出光谱曲线都与groundtruth很好地匹配。
本实施例对移动场景进行捕获。如图4所示，本发明所捕获的包含移动目标的动态场景，即手和玩具车，其重建的包含17个通道的多光谱图像(从540nm到700nm，光谱分辨率为10nm)也显示在图4的中部。为了更好的论证细节，特写镜头(对应区域在全图中被长方形框标记)在最底行给出。所有的特写镜头从相同位置中被采样，因此手的移动很容易从放大的块中被区分出来。显而易见，本发明的方法在实际动态场景中工作良好。图4中，移动的目标被优质化重建，并且移动的手的阴影也被很好地恢复。然而，尽管不明显，在一些通道的背景闭塞区(被手遮挡)仍然存在一些重建伪影。这是因为这些通道区域在对应的实际捕获单通道帧内被阻塞。比如，帧1的第17个通道(700nm)从帧17的实际捕获通道(700nm)传播得到，并且帧1第17个通道中的伪影区域被帧17阻塞，因此本实施例不得不使用邻近无阻塞像素来填帧1中的孔。