一种基于深度学习的双相机快照式计算光谱成像系统的制作方法

本发明涉及光谱成像，特别是涉及一种基于深度学习的双相机快照式计算光谱成像系统。

背景技术：

1、光谱反映了物质在光照下原子跃迁的能量变化，是确定物质成分的一种重要手段，通常被称为物质的“dna”。目前，光谱在遥感、航空、天文、化学分析、农业、安防等领域有重要的应用。随着对光谱图像需求的增加，光谱成像系统可以实现二维空间上所有的点的一维光谱信息的采集(光谱立方体)，是一种具有广泛应用的装置。

2、传统的光谱成像系统使用的成像方式属于扫描式或者滤波式。扫描式包括：基于色散、干涉或者哈达玛变换等方法的点扫描、线扫描系统。滤波式包括：滤光片型谱扫描系统、滤波轮式系统、基于声光调制滤波器(acousto-optic tunable filter，aotf)的系统、基于线性渐变滤光片(linear variable filter，lvf)的系统、基于带通滤光片阵列的系统和基于液晶可调谐滤光片(liquid crystal tunable filter,lctf)的系统。传统的光谱成像系统都需要多次曝光才能获得一个完整的光谱立方体，不适用于动态场景的捕捉。

3、近几年，根据压缩感知理论产生了计算光谱成像技术，诞生了编码孔径快照式光谱成像系统(codedaperture snapshot spectral imager，cassi)、计算断层光谱成像系统(computed-tomography imaging spectrometer，ctis)、rgb图像光谱重建系统和基于这些系统的升级版本。这些方法要么依赖于昂贵的光学元器件，要么无法在性能上取得较好的重建结果。

技术实现思路

1、针对上述背景技术中提出的问题，本发明提供一种基于深度学习的双相机快照式计算光谱成像系统，只需单次曝光即可实现实时高分辨率高光谱成像，并且去除了其他方法在硬件上使用的空间编码(mask)器件，降低了光路复杂性和成本。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于深度学习的双相机快照式计算光谱成像系统，包括：第一成像透镜组、半透半反镜、中继透镜组、色散元器件、第一成像物镜组、第一探测器、第二成像物镜组、第二探测器、数据采集模块以及基于深度学习的计算模块；

4、所述第一成像透镜组将入射的光信号投射到所述半透半反镜上，所述半透半反镜将光路分成两路，其中一路为透射光路，另一路为反射光路；在半透半反镜的透射光路上依次设置中继透镜组、色散元器件、第一成像物镜组和第一探测器；在半透半反镜的反射光路上依次设置第二成像物镜组和第二探测器；所述数据采集模块分别与第一探测器、第二探测器以及计算模块连接；

5、透射光路上的光信号经过所述中继透镜组后，所述色散元器件对透射光路中的光信号进行谱空间的移位编码，编码后的光信号经过所述第一成像物镜组采样后，所述第一探测器压缩采样后的原始光谱信号；反射光路上的光信号经过所述第二成像物镜组后，被所述第二探测器捕获；所述第一探测器和第二探测器由数据采集模块控制并同步或异步采集光谱数据，经过数据预处理后送入计算模块；所述计算模块通过深度学习方法对采集的两路光谱数据进行光谱重建，得到实时高分辨率高光谱图像。

6、可选地，所述色散元器件采用反射光栅、透射光栅、棱镜或组合棱镜光栅；其中，所述反射光栅包括闪耀光栅和全息光栅；所述组合棱镜光栅包括色散的阿米西棱镜、组合棱镜、棱镜和光栅的组合器件。

7、可选地，所述数据采集模块的同步信号采集方式包括硬件触发和软件触发。

8、可选地，所述第一探测器和第二探测器为全色相机、灰度相机、rgb相机或量子点相机。

9、可选地，所述数据采集模块对采集的两路光谱数据进行去噪处理。

10、可选地，所述透射光路上的公式表示为式中，yc为第一探测器的测量值；gc为第一探测器存在的噪声；x为待重建的光谱图像；(w,h)为光谱图像上的空间坐标；dλ为不同谱空间通道λ的移位编码的位移值；nλ为谱空间的通道数。

11、可选地，所述计算模块采用下列任意一种深度学习方法实现光谱重建：lasso算法、迭代收缩阈值算法、岭回归算法、半二次方分裂算法、tv算法、卷积神经网络、循环神经网络、基于transformer的网络、基于全连接的网络、l0范数重建算法、l1范数重建算法或l2范数重建算法。

12、可选地，所述深度学习方法的目标函数为其中x为重建的光谱图像；xtruth为真实的光谱图像；ξ为网络训练的超参数；фc为第一探测器的测量编码矩阵；yc为第一探测器的测量值。

13、根据本发明提供的具体实施例，本发明公开了以下技术效果：

14、本发明所提供的基于深度学习的双相机快照式计算光谱成像系统中，第一成像透镜组将入射的光信号投射到半透半反镜上，半透半反镜将光路分成两路，其中一路为透射光路，另一路为反射光路；透射光路上的光信号经过中继透镜组后，色散元器件对透射光路中的光信号进行谱空间的移位编码，编码后的光信号经过第一成像物镜组采样后，第一探测器压缩采样后的原始光谱信号；反射光路上的光信号经过第二成像物镜组后，被第二探测器捕获；第一探测器和第二探测器由数据采集模块控制并同步或异步采集光谱数据，经过数据预处理后送入计算模块；计算模块通过深度学习方法对采集的两路光谱数据进行光谱重建，得到实时高分辨率高光谱图像。传统基于压缩感知的计算光谱成像技术在色散元器件的前后会进行一次空间编码，空间编码需要使用空间光调制器或者定制的光学元器件，这导致了成本和光路复杂度的增加。而本发明系统则完全去除了空间编码模块，依赖基于深度学习的光谱重建算法，只需单次曝光即可实现实时高分辨率高光谱成像，并且系统结构简单、光路的设计和标定简单，有效降低了光路复杂性和成本。

技术特征：

1.一种基于深度学习的双相机快照式计算光谱成像系统，包括：第一成像透镜组、半透半反镜、中继透镜组、色散元器件、第一成像物镜组、第一探测器、第二成像物镜组、第二探测器、数据采集模块以及基于深度学习的计算模块；

2.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述色散元器件采用反射光栅、透射光栅、棱镜或组合棱镜光栅；其中，所述反射光栅包括闪耀光栅和全息光栅；所述组合棱镜光栅包括色散的阿米西棱镜、组合棱镜、棱镜和光栅的组合器件。

3.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述数据采集模块的同步信号采集方式包括硬件触发和软件触发。

4.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述第一探测器和第二探测器为全色相机、灰度相机、rgb相机或量子点相机。

5.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述数据采集模块对采集的两路光谱数据进行去噪处理。

6.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述透射光路上的公式表示为式中，yc为第一探测器的测量值；gc为第一探测器存在的噪声；x为待重建的光谱图像；(w,h)为光谱图像上的空间坐标；dλ为不同谱空间通道λ的移位编码的位移值；nλ为谱空间的通道数。

7.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述计算模块采用下列任意一种深度学习方法实现光谱重建：lasso算法、迭代收缩阈值算法、岭回归算法、半二次方分裂算法、tv算法、卷积神经网络、循环神经网络、基于transformer的网络、基于全连接的网络、l0范数重建算法、l1范数重建算法或l2范数重建算法。

8.根据权利要求1所述的基于深度学习的双相机快照式计算光谱成像系统，其特征在于，所述深度学习方法的目标函数为其中x为重建的光谱图像；xtruth为真实的光谱图像；ξ为网络训练的超参数；фc为第一探测器的测量编码矩阵；yc为第一探测器的测量值。

技术总结
本发明公开一种基于深度学习的双相机快照式计算光谱成像系统，涉及光谱成像领域。本发明系统中的半透半反镜将光路分成两路，透射光路和反射光路；透射光路上的光信号经过中继透镜组后，色散元器件对光信号进行谱空间的移位编码，与之前方法最大不同是，硬件上去掉了空间Mask器件，编码后的光信号经过第一成像物镜组后，第一探测器捕获压缩后的光谱信号；反射光路上的光信号经过第二成像物镜组后被第二探测器捕获；第一和第二探测器由数据采集模块控制，数据经过预处理后送入计算模块，通过深度学习方法对多源数据进行光谱重建，得到实时高光谱图像。本发明系统只需单次曝光即可实现实时高分辨率高光谱成像，并且降低了光路复杂性和成本。

技术研发人员：蔡泽宇,达飞鹏,金诚谦
受保护的技术使用者：蔡泽宇
技术研发日：
技术公布日：2024/4/22