一种基于RGB相机和宽带滤光片编码的光谱成像方法

本发明属于计算光谱成像领域中的一种基于波长编码的光谱成像系统和方法，具体涉及一种基于rgb相机和宽带滤光片编码的光谱成像方法。

背景技术：

1、光谱成像方法作为一种成像技术和光谱技术相结合的多维信息获取技术，与传统成像技术相比，其优势在于能获得被测目标的二维空间信息及一维光谱信息。由于不同的物质具有各自独特的光谱特性，类似于人类的“指纹”，因此光谱成像方法是物质成分类型、热辐射特性等研究的主要信息获取手段，在食品安全、农业生产、水质监测、生物医药、资源勘探等领域发挥着重要作用。传统的光谱数据立方体获取可以分为两种方式：1)在常规二维成像系统前面放置窄带滤光片，切换具有不同通带范围的滤光片，并进行多次同步拍摄，即可完成光谱维度的扫描，获得三维数据立方体，光谱通道数量和窄带滤光片数量一致；2)在成像系统中添加光栅或棱镜等色散元件，入射光按照波长顺序在传感器上依次排开，像面获得一维空间信息与一维光谱信息，通过推扫等方式获得三维数据立方体。上述两种成像系统由于需要扫描步骤，通常具有系统复杂、精密移动部件多、耗时较长的特点，应用场景十分受限。

2、随着计算机资源的发展，基于计算编码重建的光谱成像方法应运而生，这类光谱成像方法可以通过编码等方式设计出更加巧妙的硬件系统，随后结合重建算法对采集到的退化图像进行重建，得到光谱数据立方体。相比于传统的光谱成像方法，这些基于编码重建的系统一般具有体积小、重量轻、通量高的特点，但是由于需要复杂的算法甚至大量数据的辅助，这类技术也存在着鲁棒性差、光谱分辨率不高，算法稳定性、泛化性有待提高等缺点。基于编码重建的光谱成像方法根据编码方式的不同，主要可以分为三类：振幅编码型、相位编码型、波长编码型。基于振幅或者相位编码的光谱成像方法通常初始图像退化非常严重，重建结果的空间分辨率十分有限，与这两种方法相比，波长编码型系统由于没有空间分辨率的退化，重建结果的空间分辨率更令人满意。

3、在常规的波长编码光谱成像系统中，通常使用滤光片、量子点或者metasurface等材料作为波长编码元件，以实现光谱透过率的调制。根据波长编码元件放置的位置，又可以分为编码元件切换型和像面集成型，编码元件切换型通常将编码元件放置在光源或者成像系统前面，通过多次切换并同步拍摄获得多张图像，一次成像仅获得一张图像，具有成像速度较慢的问题。对于像面集成型系统，需要将波长编码元件集成在像面上，通过多个小像素组成一个测量单元，损失了成像结果的空间分辨率。

4、彩色相机中，会在cmos前安装一个bayer滤光片阵列，滤光片阵列通常由三种不同光谱透过率的滤光片组成，分别对应输出图像的r、g、b三个颜色通道，这三类滤光片可以当作对入射光的光谱进行波长编码，因此从常规rgb彩色相机的图像中重建光谱数据立方体的过程也可以认为是波长编码光谱成像的过程。然而在常规rgb相机中，滤光片透过率函数是为了与人眼视觉相匹配的设计，这个考虑视觉方面的设计并不一定利于最后的光谱重建任务，从常规的rgb图像中重建出高光谱图像依然是一个非常病态的问题，重建结果的光谱精度和准确率有待提升。

技术实现思路

1、为了解决背景技术中存在的技术问题，针对rgb图像重建光谱图像光谱精度有限，其他的波长编码光谱成像系统图像获取效率较低的问题，本发明以波长编码为基本原理，提出将常规的rgb成像系统和宽带滤光片结合，同时利用rgb相机自带的bayer滤光片以及外加宽带编码滤光片的波长编码潜力，可以倍增初始图像通道数量，有效提升重建光谱图像的光谱精度。

2、实现本发明目的的技术方案为：

3、1)设置m片宽带滤光片对应的初始优化参数；

4、2)根据rgb相机的光谱响应函数s、各宽带滤光片的优化参数以及光谱重建网络构建设计阶段端到端优化框架；

5、3)根据高光谱数据集对设计阶段端到端优化框架进行训练，获得训练好的设计阶段端到端优化框架，将训练好的设计阶段端到端优化框架中各宽带滤光片的优化参数作为各宽带滤光片的理论设计参数；

6、4)根据各宽带滤光片的理论设计参数，获取各宽带滤光片的实际光谱透过率函数以及最终光谱重建网络；

7、5)根据各宽带滤光片的实际光谱透过率函数和rgb相机搭建rgb成像系统，rgb成像系统实际拍摄得到场景图像，根据场景图像通过最终光谱重建网络重建输出对应的高光谱图像。

8、所述4)具体为：

9、根据m片宽带滤光片的理论设计参数加工并标定获得m片宽带滤光片的实际光谱透过率函数，将m片宽带滤光片的实际光谱透过率函数替换训练好的设计阶段端到端优化框架中各宽带滤光片的优化参数所对应的光谱透过率函数并设置为不可训练参数后，获得实验阶段端到端优化框架并进行网络训练，获得训练好的实验阶段端到端优化框架，将训练好的实验阶段端到端优化框架中的光谱重建网络记为最终光谱重建网络。

10、所述5)中，从m片宽带滤光片中选择n片宽带滤光片并进行组合后，获得组合宽带滤光片，n≤m，组合宽带滤光片与rgb相机沿光轴依次布置后形成rgb成像系统。

11、所述5)中，将不同宽带滤光片组合下的rgb成像系统拍摄获得的三通道rgb图像均进行通道拼接后，获得场景图像并作为最终光谱重建网络的输入。

12、所述rgb成像系统实际拍摄得到的场景图像满足以下公式：

13、

14、

15、其中，下标c表示rgb相机输出的3个颜色通道，满足c∈{r，g，b}，r，g，b分别表示rgb相机输出的r，g，b颜色通道，下标i表示第i次拍摄，jci(x，y)表示rgb成像系统实际拍摄得到的场景图像，λ1和λ2分别表示光谱成像的起始和终止波长，i(x，y，λ)表示场景的入射光谱信息，ti(λ)表示第i种组合宽带滤光片的光谱透过率函数，sc(λ)表示rgb相机在c颜色通道的光谱响应函数；tq(λ)为宽带滤光片(3)q的光谱透过率函数，π(·)表示连乘符号。

16、所述2)中，设计阶段端到端优化框架中各宽带滤光片的优化参数设置为可训练参数，利用以下公式将每块宽带滤光片的优化参数映射为宽带滤光片的光谱透过率函数：

17、

18、其中，t为每块宽带滤光片的光谱透过率函数；ω为每块宽带滤光片的优化参数。

19、所述端到端优化框架的总损失函数的公式如下：

20、ltotal＝αlimg+βlfilter

21、limg＝||i*-i||1

22、

23、其中，ltotal表示总损失函数值，α和β分别为第一、第二平衡系数，limg为重建光谱图像i*和输入的高光谱图像i之间的损失函数值，lfilter为对滤光片平滑度约束的损失函数值，k表示光谱通道数，o表示总的光谱通道数量，tq(k)为宽带滤光片(3)q的光谱透过率函数，||||1表示1范数，||表示取绝对值。

24、本发明与现有技术相比，其有益效果为：

25、(1)使用了rgb相机和宽带滤光片相结合的波长编码方式，每次拍摄可以获得三通道图像，提高图像采集效率；

26、(2)使用端到端优化框架对宽带滤光片的透过率函数以及神经网络权重进行联合优化，实现特定场景下的最优设计；

27、(3)与现有技术在rgb域重建高光谱图像不同，本发明在raw域重建高光谱图像，避免了从图像raw域到rgb域的非线性后处理过程的影响。