一种基于融合的旋转衍射高光谱成像系统和方法

1.本发明属于光谱成像技术中的一种光谱编码成像系统和方法，具体涉及了一种基于融合的旋转衍射高光谱成像系统和方法。


背景技术：

2.光谱成像技术作为一种成像技术和光谱技术相结合的多维信息获取技术，与传统成像技术相比，其优势在于能探测获得被测目标的二维空间信息及一维光谱信息，是物质成分类型、热辐射特性等研究的主要信息获取手段。自上世纪光谱成像技术诞生以来，其在农业、食品、资源勘探、环境保护、生物医学、军事等领域得到了广泛的应用。
3.传统的高光谱成像系统需要通过扫描获得三维数据立方体，常见的扫描方式有沿光谱维度扫描，沿空间维度扫描。由于需要扫描的步骤，这些系统基本不能用于动态成像，且扫描过程需要精密机械移动等复杂的部件。为了克服光机系统复杂，成像时间长的缺点，近年来基于编码重建的光谱成像技术被广泛关注。
4.2019年jeon等提出了基于旋转衍射的快照式高光谱成像系统，这种成像系统仅利用一片衍射元件辅以相应的重建算法就可实现快照式光谱成像。具有轻小型、快照式、结构简单等特点。但是由于系统的点扩散函数尺度较大，获取的初始图像退化较严重，重建得到的高光谱图像质量还有待提升，具体表现为空间分辨率较低，光谱精度不够高，图像中存在一些伪纹理等。国内有学者针对旋转衍射高光谱成像系统进行了优化，如对衍射元件设计参数的优化、使用折衍射混合光学系统提高系统的感光能力、使用前置望远系统提高系统对远距离目标的探测能力，但是重建结果的质量问题还是没有得到明显改善。


技术实现要素：

5.为了解决背景技术中存在的技术问题，针对旋转衍射高光谱成像系统的重建光谱图像质量较差，存在伪纹理、光谱精度和空间分辨率有待提升等问题。本发明提出了一种基于融合的旋转衍射高光谱成像系统和方法，在传统旋转衍射成像系统的基础上，利用分束镜增加额外的清晰成像支路，并用清晰成像的结果作为辅助信息对旋转衍射模糊图像进行重建，提升重建结果的空间分辨率和光谱精度。
6.实现本发明目的的技术方案为：
7.一、一种基于融合的旋转衍射高光谱成像系统
8.系统包括分束镜、编码衍射元件、第一图像传感器、成像镜头和第二图像传感器；
9.平行光入射至分束镜后发生透射和反射，分束镜的透射光经编码衍射元件的编码后在第一图像传感器上形成旋转衍射模糊图像，分束镜的反射光经成像镜头的会聚后在第二图像传感器上形成清晰图像；编码衍射元件的入射端面设置为编码端面。
10.所述编码衍射元件的入射端面通过以下公式设置为编码端面：
[0011][0012][0013]
其中，λ(θ)表示编码衍射元件的角度θ处的设计波长，编码衍射元件的工作波长为[λ
min
,λ
max
]，λ
min
表示编码衍射元件的最小工作波长，λ
max
表示编码衍射元件的最大工作波长，n为重复周期数，表示编码衍射元件的角度处的工作波长，h(r,θ)表示编码衍射元件在角度为θ、半径为r处的高度，h0为编码衍射元件的基底材料高度，n
λ
和n0分别为波长为λ的光线在当前编码衍射元件以及空气中的折射率，f
doe
为编码衍射元件的焦距，m为衍射级次。
[0014]
所述编码衍射元件的焦距与成像镜头相等；所述第一图像传感器与第二图像传感器的像面大小和分辨率相同。
[0015]
二、一种基于融合的旋转衍射高光谱成像方法
[0016]
1)搭建旋转衍射高光谱成像系统；
[0017]
2)利用旋转衍射高光谱成像系统采集旋转衍射模糊图像和对应的清晰图像；
[0018]
3)将旋转衍射模糊图像和对应的清晰图像同时输入到旋转衍射高光谱卷积神经网络中进行光谱重建，获得高光谱图像。
[0019]
所述旋转衍射高光谱成像系统包括分束镜、编码衍射元件、第一图像传感器、成像镜头和第二图像传感器；
[0020]
平行光入射至分束镜后发生透射和反射，分束镜的透射光经编码衍射元件的编码后在第一图像传感器上形成旋转衍射模糊图像，分束镜的反射光经成像镜头的会聚后在第二图像传感器上形成清晰图像；编码衍射元件的入射端面设置为编码端面。
[0021]
所述旋转衍射高光谱卷积神经网络包括特征提取模块、特征融合模块、高光谱图像重建模块；旋转衍射模糊图像输入到第一特征提取模块中，清晰图像输入到第二特征提取模块中，第一特征提取模块的第一输出作为高光谱图像重建模块的第一输入，第二特征提取模块的第一输出作为高光谱图像重建模块的第二输入，第一特征提取模块的第二输出和第二特征提取模块的第二输出进行通道串接后再输入到特征融合模块中，特征融合模块的第一输出作为高光谱图像重建模块的第三输入，特征融合模块的第二输出作为高光谱图像重建模块的第四输入，高光谱图像重建模块的输出记为高光谱图像。
[0022]
所述第一特征提取模块和第二特征提取模块的结构相同，主要由特征提取块、第一二维卷积层和第一激活层依次相连组成，特征提取模块的输入作为特征提取块的输入，特征提取块的输出作为特征提取模块的第一输出，第一激活层的输出作为特征提取模块的第二输出。
[0023]
所述特征融合模块包括第一双残差块、第二二维卷积层和第二激活层，特征融合
模块的输入作为第一双残差块的输入，第一双残差块经第二二维卷积层后与第二激活层相连，第一双残差块的输出作为特征融合模块的第一输出，第二激活层的输出作为特征融合模块的第二输出；
[0024]
所述高光谱图像重建模块包括两个双残差块、两个转置卷积层、五个激活层和三个二维卷积层；高光谱图像重建模块的第四输入作为第二双残差块的输入，第二双残差块经第一转置卷积层后与第三激活层相连，第三激活层的输出与高光谱图像重建模块的第三输入进行通道串接后再输入到第三双残差块中，第三双残差块经第二转置卷积层后与第四激活层相连，第四激活层的输出与高光谱图像重建模块的第一输入和第二输入进行通道串接后再输入到第三二维卷积层中，第三二维卷积层依次经第五激活层、第四二维卷积层、第六激活层和第五二维卷积层后与第七激活层相连，第七激活层的输出作为高光谱图像重建模块的输出。
[0025]
所述特征提取块包括六个二维卷积层和第八激活层，特征提取块的输入作为第六二维卷积层的输入，第六二维卷积层的输出作为第十三-第十六二维卷积层的输入，第十三-第十六二维卷积层的输出在通道维进行拼接后输入到第七二维卷积层中，第七二维卷积层与第八激活层相连，第八激活层的输出作为特征提取块的输出。
[0026]
所述双残差块包括三个二维卷积层和三个激活层，双残差块的输入作为第八二维卷积层的输入，第八二维卷积层依次经第九激活层和第九二维卷积层后与第十激活层相连，第十激活层的输出与双残差块的输入在通道维进行拼接后输入到第十二维卷积层中，第十二维卷积层与第十一激活层相连，第十一激活层的输出与第九激活层的输出在通道维进行拼接后的输出作为双残差块的输出。
[0027]
本发明与现有技术相比，其有益效果为：
[0028]
(1)利用分束镜增加了额外的成像支路，用于提升重建高光谱图像质量；
[0029]
(2)提出一种基于融合的高光谱图像重建方法，使用双支路的网络结构，将旋转衍射模糊图像和清晰图像输入卷积神经网络，可以显著提升重建高光谱图像的空间分辨率和光谱精度。
附图说明
[0030]
图1为基于融合的旋转衍射高光谱成像系统示意图；
[0031]
图2为基于融合的旋转衍射高光谱图像重建方法网络结构示意图；
[0032]
图3为特征提取块的结构示意图；
[0033]
图4为双残差块的结构示意图；
[0034]
图5为本发明重建结果与传统非融合方法的空间细节对比；
[0035]
图6为本发明重建结果与传统非融合方法的光谱曲线图对比；
[0036]
图中：1、分束镜，2、编码衍射元件，3、第一图像传感器，4、成像镜头，5、第二图像传感器。
具体实施方式
[0037]
下面结合附图对本发明做进一步详细的描述。
[0038]
按照本发明的发明内容，完整实施的实施例及其实施过程如下：
[0039]
如图1所示，系统包括分束镜1、编码衍射元件2、第一图像传感器3、成像镜头4和第二图像传感器5；
[0040]
平行光入射至分束镜1后发生透射和反射，分束镜1的透射光轴与编码衍射元件2和第一图像传感器3之间共光轴。分束镜1的反射光轴与成像镜头4和第二图像传感器5之间共光轴。分束镜1的透射光经编码衍射元件2的编码后在第一图像传感器3上形成旋转衍射模糊图像，分束镜1的反射光经成像镜头4的会聚后在第二图像传感器5上形成清晰图像；其中，经分束镜1的透射光和反射光的能量相同。第一图像传感器3位于编码衍射元件2的焦点，第二图像传感器5位于成像镜头4的焦点，编码衍射元件2的入射端面(即编码衍射元件2靠近分束镜1的端面)设置为编码端面。
[0041]
编码衍射元件2的出射端面为平面，编码衍射元件2的入射端面在编码前也为平面。编码衍射元件2的入射端面(即编码衍射元件2靠近分束镜1的端面)通过以下公式设置为编码端面：
[0042][0043][0044]
其中，λ(θ)表示编码衍射元件2的角度θ处的设计波长，编码衍射元件2的工作波长为[λ
min
,λ
max
]，λ
min
表示编码衍射元件2的最小工作波长，λ
max
表示编码衍射元件2的最大工作波长，n为重复周期数，表示编码衍射元件2的角度处的工作波长，h(r,θ)表示编码衍射元件2在角度为θ、半径为r处的高度，h0为编码衍射元件2的基底材料高度，n
λ
和n0分别为波长为λ的光线在当前编码衍射元件2以及空气中的折射率，f
doe
为编码衍射元件2的焦距，m为衍射级次。
[0045]
编码衍射元件2的焦距与成像镜头4相等。第一图像传感器3与第二图像传感器5的像面大小和分辨率相同。
[0046]
所述的由分束镜1、编码衍射元件2、第一图像传感器3构成的旋转衍射成像支路，其成像模型可以按如下方式描述：
[0047]
设位于无限远的点光源照明成像系统，则成像系统前面的入射光场可以近似为平面波光场，设入射光场的复振幅表达式为：
[0048][0049]
其中，u0(x,y)表示入射光场复振幅，a0是入射光场振幅，φ0是入射光场相位。分束镜1将入射光能量一分为二，不改变相位，则编码衍射元件2前表面的光场复振幅为：
[0050][0051]
其中，u
11
(x,y)表示编码衍射元件2前表面的光场复振幅。
[0052]
编码衍射元件2对入射光场相位进行调制，编码衍射元件2的相位可以表示为：
[0053][0054]
其中，φh(x,y)表示编码衍射元件2带来的相位调制项，h(x,y)表示编码衍射元件2的表面轮廓高度。
[0055]
编码衍射元件2后表面的光场复振幅可以表示为：
[0056][0057]
其中，u
12
(x,y)表示编码衍射元件2后表面的光场复振幅。
[0058]
这个光场经过距离为z的菲涅尔衍射传播后到达传感器平面，则第一图像传感器3所在平面的光场复振幅可以描述为：
[0059][0060]
其中，u
13
(x',y')表示第一图像传感器平面的光场复振幅，z表示编码衍射元件2后表面至第一图像传感器3之间的距离，k＝2π/λ为波矢。此时传感器平面采集到的强度即为系统的点扩散函数，表示为：
[0061][0062]
其中，p
λ
(x',y')表示第一图像传感器3上采集到的系统在波长λ处的点扩散函数，表示傅里叶变换操作。
[0063]
旋转衍射模糊图像的形成模型如下：
[0064][0065]
其中j
1c
(x,y)表示c颜色通道下的旋转衍射模糊图像，c表示颜色通道，满足c∈{r,g,b}，r,g,b分别为红色、绿色、蓝色通道，s表示高光谱真实图像的光谱通道数量，本实施例中设置为31，i(x,y；λi)表示在第i个光谱通道的高光谱真实图像切片，表示卷积操作，p
1c
(x,y；λi)表示旋转衍射成像支路在第i个光谱通道的c颜色通道下的点扩散函数。
[0066]
所述的由分束镜1、成像镜头4、第二图像传感器5构成的清晰成像支路，其清晰图像形成模型可以按如下方式描述：
[0067][0068]
其中j
2c
(x,y)表示c颜色通道下的清晰图像，c表示颜色通道，满足c∈{r,g,b}，r,g,b分别为红色、绿色、蓝色通道，s表示高光谱真实图像的光谱通道数量，i(x,y；λi)表示在第i个光谱通道的高光谱真实图像切片，表示卷积操作，p
2c
(x,y；λi)表示清晰成像支路在第i个光谱通道的c颜色通道下的点扩散函数。
[0069]
利用基于融合的旋转衍射高光谱成像系统，可以同时获得旋转衍射模糊图像j
1c
(x,y)和清晰图像j
2c
(x,y)。旋转衍射模糊图像中不同的光谱通道对应不同方向的模糊特
征，为神经网络重建高光谱图像提供基础。清晰图像点扩散函数规模较小，图像分辨率较高，含有较多的空间细节信息。
[0070]
旋转衍射高光谱成像方法包括以下步骤：
[0071]
1)搭建旋转衍射高光谱成像系统；
[0072]
旋转衍射高光谱成像系统包括分束镜1、编码衍射元件2、第一图像传感器3、成像镜头4和第二图像传感器5；
[0073]
平行光入射至分束镜1后发生透射和反射，分束镜1的透射光轴与编码衍射元件2和第一图像传感器3之间共光轴。分束镜1的反射光轴与成像镜头4和第二图像传感器5之间共光轴。分束镜1的透射光经编码衍射元件2的编码后在第一图像传感器3上形成旋转衍射模糊图像，分束镜1的反射光经成像镜头4的会聚后在第二图像传感器5上形成清晰图像；其中，经分束镜1的透射光和反射光的能量相同。第一图像传感器3位于编码衍射元件2的焦点，第二图像传感器5位于成像镜头4的焦点，编码衍射元件2的入射端面(即编码衍射元件2靠近分束镜1的端面)设置为编码端面。
[0074]
2)利用旋转衍射高光谱成像系统采集旋转衍射模糊图像和对应的清晰图像；
[0075]
3)将旋转衍射模糊图像和对应的清晰图像同时输入到旋转衍射高光谱卷积神经网络中进行光谱重建，获得高光谱图像。
[0076]
如图2所示，旋转衍射高光谱卷积神经网络包括特征提取模块、特征融合模块、高光谱图像重建模块；旋转衍射模糊图像输入到第一特征提取模块中，清晰图像输入到第二特征提取模块中，第一特征提取模块的第一输出作为高光谱图像重建模块的第一输入，第二特征提取模块的第一输出作为高光谱图像重建模块的第二输入，第一特征提取模块的第二输出和第二特征提取模块的第二输出进行通道串接后再输入到特征融合模块中，特征融合模块的第一输出作为高光谱图像重建模块的第三输入，特征融合模块的第二输出作为高光谱图像重建模块的第四输入，高光谱图像重建模块的输出记为高光谱图像。
[0077]
第一特征提取模块和第二特征提取模块的结构相同，主要由特征提取块、第一二维卷积层和第一激活层依次相连组成，特征提取模块的输入作为特征提取块的输入，特征提取块的输出作为特征提取模块的第一输出，第一激活层的输出作为特征提取模块的第二输出。具体实施中，第一二维卷积层为卷积核大小为2
×
2，步长为2，第一激活层的激活函数为prelu。
[0078]
特征融合模块包括第一双残差块、第二二维卷积层和第二激活层，特征融合模块的输入作为第一双残差块的输入，第一双残差块经第二二维卷积层后与第二激活层相连，第一双残差块的输出作为特征融合模块的第一输出，第二激活层的输出作为特征融合模块的第二输出。具体实施中，第二二维卷积层为卷积核大小为2
×
2，步长为2，第二激活层的激活函数为prelu。
[0079]
如图3所示，特征提取块包括六个二维卷积层和第八激活层，特征提取块的输入作为第六二维卷积层的输入，第六二维卷积层的输出作为第十三-第十六二维卷积层的输入，第十三-第十六二维卷积层的输出在通道维进行拼接后输入到第七二维卷积层中，第七二维卷积层与第八激活层相连，第八激活层的输出作为特征提取块的输出。具体实施中，第六-第七二维卷积层为卷积核大小为3
×
3，步长为1。第十三-第十六二维卷积层的卷积核尺寸分别为7
×
7、5
×
5、3
×
3、1
×
1。第八激活层的激活函数为prelu。
[0080]
高光谱图像重建模块包括两个双残差块、两个转置卷积层、五个激活层和三个二维卷积层，高光谱图像重建模块的第四输入作为第二双残差块的输入，第二双残差块经第一转置卷积层后与第三激活层相连，第三激活层的输出与高光谱图像重建模块的第三输入进行通道串接后再输入到第三双残差块中，第三双残差块经第二转置卷积层后与第四激活层相连，第四激活层的输出与高光谱图像重建模块的第一输入和第二输入进行通道串接后再输入到第三二维卷积层中，第三二维卷积层依次经第五激活层、第四二维卷积层、第六激活层和第五二维卷积层后与第七激活层相连，第七激活层的输出作为高光谱图像重建模块的输出。具体实施中，第三-第五二维卷积层为卷积核大小为3
×
3，步长为1，第三-第七激活层的激活函数为prelu。
[0081]
如图4所示，第一-第三双残差块结构相同，双残差块包括三个二维卷积层和三个激活层，双残差块的输入作为第八二维卷积层的输入，第八二维卷积层依次经第九激活层和第九二维卷积层后与第十激活层相连，第十激活层的输出与双残差块的输入在通道维进行拼接后输入到第十二维卷积层中，第十二维卷积层与第十一激活层相连，第十一激活层的输出与第九激活层的输出在通道维进行拼接后的输出作为双残差块的输出。具体实施中，第八-第十二维卷积层为卷积核大小为3
×
3，步长为1。第九-第十一激活层的激活函数为prelu。
[0082]
在本实施例中，用于训练的数据集的设置方式详细如下：从已知公开的高光谱kaist数据集中挑选21张高光谱图像，cave数据集中挑选31张高光谱图像，icvl数据集中挑选158张高光谱图像作为训练集。从已知公开的高光谱kaist数据集中挑选另外的9张高光谱图像，icvl数据集中挑选20张高光谱图像作为测试集，用于评价重建结果质量。利用前述旋转衍射模糊图像形成模型，高光谱图像和旋转衍射成像支路的点扩散函数生成旋转衍射模糊图像。利用前述清晰图像形成模型，高光谱图像和清晰成像支路的点扩散函数生成清晰图像。一张高光谱图像与对应的旋转衍射模糊图像，清晰图像形成一个数据对，多个数据对形成用于训练和测试的数据集。
[0083]
利用上述构建的训练集对如图2所示的卷积神经网络进行训练，在训练过程中对所有输入图像施加均值为0，标准差为0.01的高斯噪声，使用adam优化器，设置学习率为10-4
，每20个epoch学习率下降一半，batch size设置为16，训练结束的条件为epoch数量等于100。卷积神经网络训练时采用损失函数的公式为：
[0084]
l＝|x-y|
[0085]
其中x为重建的高光谱图像，y为高光谱真实图像，||表示取绝对值操作。
[0086]
将测试数据集中的旋转衍射模糊图像和清晰图像输入训练好的神经网络中，得到31通道的高光谱图像输出。
[0087]
为了验证本发明的有效性，将图2所示神经网络的两个输入支路仅保留一个，只使用旋转衍射图像或清晰图像中的一种作为输入重建高光谱图像，将重建结果与本发明重建结果进行比较，结果如表1所示。其中，评价指标分别为峰值信噪比(psnr)、结构相似性(ssim)、光谱角制图(sam)，其中psnr和ssim一定程度上反映空间分辨率，越高越好，sam用于评价光谱精度，数值越低越好。相比于其他重建方法，本发明在所有指标上都取得了较优的效果。
[0088]
表1本发明方法与非融合方法重建结果指标对比
[0089][0090][0091]
从表1中可以看出，仅使用一种图像重建得到的高光谱图像在psnr、ssim、sam这三种指标上的表现均不如本发明方法，说明使用本发明提出的融合方法可以有效提升重建结果的空间分辨率和光谱精度。
[0092]
除了对重建结果进行定量评价，我们也展示了重建高光谱图像的空间细节和光曲线。图5的(a1)和(a2)分别为两张真值的灰度可视化图像，图5的(b1)和(b2)分别为两张只利用旋转衍射模糊图像重建结果的灰度可视化图像，图5的(c1)和(c2)为两张本发明方法融合重建结果的灰度可视化图像，可以看出来本发明方法重建结果含有更多空间细节信息，具有更优的空间分辨率。图6的(a)、(b)和(c)分别为三个色块的光谱曲线，从图中可以看出本发明融合方法的光谱曲线比传统的非融合方法更接近真值的光谱曲线。