一种基于压缩感知的视频级光谱成像系统及成像方法与流程

本发明创造属于图像，尤其涉及一种基于压缩感知的视频级光谱成像系统及成像方法。

背景技术：

1、光谱成像技术可以得到物体的二维空间信息和一维光谱信息，空间信息可以确定物体的形状、尺寸等外在特征，光谱信息可分析物体的成分、含量等内在特征，光谱成像技术的图谱特点使其在许多领域均有着广泛的应用。传统的光谱成像多需要扫描方式来得到空间和光谱的三维数据，数据采集时间长，且硬件系统通常有扫描移动部件。作为一种新型的光谱成像实现方式，快照式光谱成像技术可同时获取目标场景的空间信息和光谱信息，得到光谱数据立方体，且体积小，制备、维护成本低。

2、快照式光谱成像技术的核心分光元件为马赛克多光谱分光薄膜，各光谱通道在分光元件靶面上排布成周期性，此种排布方式生产效率高，图像再还原相关方法种类较多，但是，由于受限于奈奎斯特－香浓采样定理导致原始分辨率低，测量的样本对原始图像信号还原存在局限性且丢弃了大部分非重要的参数，其图像还原结果视觉上存在振铃伪影现象，同时由于其光谱通道排布的周期性导致其对系统噪声、环境噪声、电子学噪声的鲁棒性较差，对于欠定线性系统的稀疏解重构被测信号的复原存在诸多问题。因此，需要一种新的方法对多光谱图像进行准确、高效的还原。

技术实现思路

1、为达到上述目的，本发明创造的技术方案是这样实现的：

2、本发明公开了一种基于压缩感知的视频级光谱成像系统，包括光学镜头、分光元件、成像芯片以及信号处理模块，所述分光元件的靶面阵列式排布多个分光单元，每个分光单元包括a×a个随机排布的光谱通道，每个光谱通道与成像芯片表面的像元一一对应，每个分光单元中的a×a个光谱通道按照工作波长由小到大依次命名为其中，的次峰波长小于band1的主峰波长。

3、本发明还公开了一种基于压缩感知的视频级光谱成像方法，使用上述的成像系统对目标进行拍摄后，对拍摄所得的多光谱图像进行高分辨率重建，该成像方法包括以下步骤：

4、s1：利用所述基于压缩感知的视频级光谱成像系统对目标进行拍摄，获取原始多光谱图像，原始多光谱图像中每个像素都包含一个波段的光谱信息，分别与分光元件中光谱通道的空间位置对应，原始多光谱图像经过卷积操作后得到初步伪全色图像；

5、s2：对初步伪全色图像的每个像素进行锐化操作，得到伪全色图像；

6、s3：基于步骤s1中的原始多光谱图像，步骤s2中的伪全色图像得到去马赛克残差；

7、s4：利用去马赛克残差，对伪全色图像进行复原，得到每个波段的去马赛克后的单光谱图像。

8、进一步地，步骤s1中的原始多光谱图像iraw经过均值卷积核fm的卷积操作后得到初步伪全色图像ippi,blur：ippi,blur＝iraw*fm。

9、进一步地，步骤s2中，分别计算初步伪全色图像中每个目标像素周围八个方向的锐化系数，构成锐化比重，所述锐化比重为中心值是0的3×3矩阵。

10、进一步地，初步伪全色图像中第x列、第y行目标像素的锐化比重为fsharpen,x,y，fsharpen,x,y的矩阵中第m列、第n行锐化系数的值为：

11、

12、其中，代表原始多光谱图像iraw中坐标为(x,y)处目标像素的像素值，代表原始多光谱图像iraw目标像素的相邻波段周期中，与目标像素相同波段的坐标为(x’,y’)处像素的像素值。

13、进一步地，步骤s3中，通过每个目标像素的锐化比重对初步伪全色图像ippi,blur进行逐像素锐化处理，得到坐标为(x,y)处目标像素的像素值

14、进一步地，的计算公式如下式：

15、

16、其中，代表原始多光谱图像iraw在坐标为(x+m-2,y+n-2)处的像素值，代表初步伪全色图像ippi,blur在坐标为(x+m-2,y+n-2)处的像素值。

17、进一步地，其特征在于：通过复制锐化比重fsharpen得到去马赛克比重fsharpen'，利用去马赛克比重fsharpen'分别计算对应每个波段的像素的去马赛克残差。

18、进一步地，波段z中坐标为(x,y)处像素的去马赛克残差由下式进行计算：

19、

20、其中，代表原始多光谱图像iraw在坐标为(x+j-3,y+k-3)处的像素值，代表伪全色图像ippi在坐标为(x+j-3,y+k-3)处的像素值，代表对待处理图像中坐标为(x，y)处像素对应的波段是否属于z波段进行筛选，fh为插值权重因子，代表插值权重因子fh中第j列、第k行的值，fh为插值权重因子，表示为：

21、

22、进一步地，步骤s4具体为：利用s3得到的波段z的像素的去马赛克残差，与伪全色图像中波段z的像素值相加，得到波段z的去马赛克后的像素值，构成波段z的单光谱图像。

23、与现有技术相比，本发明创造能够取得如下有益效果：

24、本发明创造所述的一种基于压缩感知的视频级光谱成像系统及成像方法，打破了马赛克多光谱通道在靶面上排布的周期性，光谱通道在靶面上呈伪随机排布，避免了后期采样过程中可能无法捕捉到足够的细节，随机排布的光谱通道可以保证采样时能够尽量多的保留原始图像的细节，同时，利用本发明的方法对原始图像进行还原，可以提高还原后图像的空间信息分辨率，提高图像还原度。

技术特征：

1.一种基于压缩感知的视频级光谱成像系统，包括光学镜头、分光元件、成像芯片以及信号处理模块，其特征在于，所述分光元件的靶面阵列式排布多个分光单元，每个分光单元包括a×a个随机排布的光谱通道，每个光谱通道与成像芯片表面的像元一一对应，每个分光单元中的a×a个光谱通道按照工作波长由小到大依次命名为band1、band2、...、banda2，其中，banda2的次峰波长小于band1的主峰波长。

2.一种使用权利要求1所述的成像系统的基于压缩感知的视频级光谱成像方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的基于压缩感知的视频级光谱成像方法，其特征在于：步骤s1中的原始多光谱图像iraw经过均值卷积核fm的卷积操作后得到初步伪全色图像ippi,blur：ippi,blur＝iraw*fm。

4.根据权利要求2所述的基于压缩感知的视频级光谱成像方法，其特征在于：步骤s2中，分别计算初步伪全色图像中每个目标像素周围八个方向的锐化系数，构成锐化比重，所述锐化比重为中心值是0的3×3矩阵。

5.根据权利要求4所述的基于压缩感知的视频级光谱成像方法，其特征在于：初步伪全色图像中第x列、第y行目标像素的锐化比重为fsharpen,x,y，fsharpen,x,y的矩阵中第m列、第n行锐化系数的值为：

6.根据权利要求5所述的基于压缩感知的视频级光谱成像方法，其特征在于：步骤s3中，通过每个目标像素的锐化比重对初步伪全色图像ippi,blur进行逐像素锐化处理，得到坐标为(x,y)处目标像素的像素值

7.根据权利要求6所述的基于压缩感知的视频级光谱成像方法，其特征在于，的计算公式如下式：

8.根据权利要求7所述的基于压缩感知的视频级光谱成像方法，其特征在于：通过复制锐化比重fsharpen得到去马赛克比重fsharpen'，利用去马赛克比重fsharpen'分别计算对应每个波段的像素的去马赛克残差。

9.根据权利要求8所述的基于压缩感知的视频级光谱成像方法，其特征在于，波段z中坐标为(x,y)处像素的去马赛克残差由下式进行计算：

10.根据权利要求9所述的基于压缩感知的视频级光谱成像方法，其特征在于：步骤s4具体为：利用s3得到的波段z的像素的去马赛克残差，与伪全色图像中波段z的像素值相加，得到波段z的去马赛克后的像素值，构成波段z的单光谱图像。

技术总结
本发明创造涉及图像技术领域，具体提供一种基于压缩感知的视频级光谱成像系统及成像方法，利用所述基于压缩感知的视频级光谱成像系统对目标进行拍摄，获取原始多光谱图像，原始多光谱图像中每个像素都包含一个波段的光谱信息，分别与分光元件中光谱通道的空间位置对应，原始多光谱图像经过卷积操作后得到初步伪全色图像；对初步伪全色图像的每个像素进行锐化操作，得到伪全色图像；基于原始多光谱图像和伪全色图像得到去马赛克残差；最后利用去马赛克残差，对伪全色图像进行复原，得到每个波段的去马赛克后的单光谱图像。本发明的光谱通道在分光元件靶面上呈伪随机排布，对各光谱图像进行准确、高效的还原。

技术研发人员：杨飞,张卓,林弘杨,宋正伟,张亚亮,秦源,隋震
受保护的技术使用者：长春长光辰谱科技有限公司
技术研发日：
技术公布日：2025/3/3