基于物理建模的滤波阵列式光谱图像去噪增强方法及系统

1.本发明涉及一种基于物理建模的滤波阵列式光谱图像去噪增强方法及系统，属于计算机视觉和计算摄像学技术领域。


背景技术：

2.滤波阵列式光谱相机正在被越来越多地用于多光谱成像领域。与传统的逐行或逐波段扫描的光谱相机不同，滤波阵列式光谱相机在多光谱滤波阵列的帮助下，能够用快照的方式拍摄多光谱图像。然而，由于多光谱滤波阵列仅允许特定波段的光通过，因此在低弱光环境下滤波阵列式光谱相机拍摄的图像会被噪声淹没。
3.为了去除噪声，一些基于模型的方法提出了使用手工设计的先验来获取干净的光谱图像。但是，这些先验信息通常不够准确和全面。相比之下，基于深度学习的方法可以利用卷机神经网络强大的学习能力，能够自动学习训练数据集中潜在的特征。然而，深度学习方法是建立在高质量数据集的基础上，数据集需要足够全面，以确保神经网络能够泛化到未知的真实数据中。
4.为了提高数据集的质量，一种方式是采集大量的真实数据，但这一方式非常耗费人力和时间，并且采集到的数据集会存在诸如不对齐的问题。
5.另一种方式是建模噪声的分布并用以生成仿真的数据，这一方式也被许多研究人员所采纳。对于rgb图像和传统扫描式相机的噪声模型研究目前已有先例，但是，由于它们忽视或者过于简化一些可能的噪声来源，这些噪声模型并不能很好地应用在窄带滤波光谱相机上，导致使用这些噪声模型训练的神经网络与使用真实数据训练的神经网络有较大的性能差距。
6.对于滤波阵列式光谱相机而言，目前尚缺少真实数据集以及高质量的仿真数据。同时，考虑到大量真实数据的采集会十分费时费力，也很难保证质量，为此，本领域迫切地需要一种能够生成滤波阵列式光谱相机在低弱光场景下的图像数据的系统，来为后续深度神经网络的训练提供高质量的数据。


技术实现要素：

7.本发明的目的是为了解决滤波阵列式光谱相机在低弱光环境下的成像质量的技术问题，创造性地提出一种基于物理建模的滤波阵列式光谱图像去噪增强方法及系统。
8.本发明的创新点在于：通过分析窄带滤波光谱相机的物理成像过程，建立基于全元物理量的噪声模型，以此为基础生成低弱光数据，并用生成的数据训练深度神经网络用于图像去噪和增强，解决滤波阵列式光谱相机在低弱光环境下成像质量差的问题。
9.为达到上述目的，本发明采用以下技术方案实现。
10.一种基于物理建模的滤波阵列式光谱图像去噪增强方法，包括以下步骤：
11.步骤1：分析滤波阵列式光谱相机的物理成像过程，建立相机的真实噪声分布模型。
12.优选地，在低弱光环境下滤波阵列式相机拍摄的带噪声图像建模为：
[0013][0014]
其中，表示实际采集到的带噪声图像，k表示相机的总系统增益，i表示传感器采集到的光电子数量，n表示图像的噪声。
[0015]
优选地，对图像的噪声n进一步划分，划分依据为噪声产生的来源。为此，图像噪声n进一步表示为：
[0016]
n＝kn
si
+n
sd
+nb[0017]
其中，n
si
表示依赖于图像信号的噪声，n
sd
表示与信号无关的噪声，nb表示片色噪声，k表示相机的总系统增益。
[0018]
在传感器成像阶段，光子会撞击传感器表面产生光电子。由于光子的量子性质，光电子的数量存在不确定性。最终传感器记录的光电子数量服从泊松分布，表示为：
[0019]
i+n
si
～p(i)
[0020]
其中，p表示泊松分布。n
si
表示依赖于图像信号的噪声。i表示传感器采集到的光电子数量，n表示图像的噪声。
[0021]
与信号无关的噪声n
sd
进一步划分为读出噪声n
read
、条纹噪声n
sp
和量化噪声nq。为此，信号无关噪声n
sd
进一步表示为：
[0022]nsd
＝n
read
+n
sp
+nq[0023]
读出噪声n
read
是在传感器将光电子转化为电压信号的过程中产生的。这一类型的噪声服从高斯分布，表示为：
[0024][0025]
其中，表示高斯分布，σr表示高斯分布的标准差。
[0026]
条纹噪声n
sp
表现为传感器所成图像中的条纹。这些条纹可分为竖直条纹噪声和水平条纹噪声条纹噪声n
sp
表示为：
[0027][0028]
竖直条纹噪声和水平条纹噪声均服从高斯分布，表示为：
[0029][0030][0031]
量化噪声nq产生于数字-模拟信号转换器中。数字-模拟信号转换器需要将连续的模拟信号转换成离散的数字信号，这一过程中产生的误差即是量化噪声。量化噪声服从均匀分布：
[0032][0033]
其中u表示均匀分布，q表示量化步长；
[0034]
偏色噪声nb的产生主要是由于相机采集过程中的暗电流导致，具有单张图像的每一波段内水平方向上不均匀、随光照变化、在某一数值附近波动的特点。根据该特点，对采
集到的单张光谱图像的每个波段，需要逐列建模偏色噪声。
[0035]
具体地，偏色噪声表示为：
[0036][0037]
其中，c表示图像中的列坐标，λ表示波段，i表示光照强度。∈表示偏色噪声的波动。
[0038]
偏色噪声在某一数值附近的波动能够使用高斯分布进行描述。因此，偏色噪声进一步表示为：
[0039][0040]
其中，表示高斯分布，σc表示高斯分布的标准差。
[0041]
光照强度与的关系使用指数函数进行拟合，表示为：
[0042][0043]
其中，a、b和c表示需要拟合的参数。
[0044]
步骤2：采集标定数据，针对特定相机标定噪声模型参数。
[0045]
优选地，使用平场帧和偏置帧即可标定特定相机的噪声模型参数。其中，平场帧是在均匀光照条件下采集的图像，用于标定总系统增益和偏色噪声。偏置帧是在完全无光条件下采集的图像，用于标定所有信号无关噪声。
[0046]
步骤3：根据标定好的噪声模型及采集的正常光照图像，生成对应的低弱光环境下图像。
[0047]
优选地，步骤3包括以下步骤：
[0048]
步骤3.1：将正常光照图像的亮度转换为低弱光图像的亮度。
[0049]
步骤3.2：使用噪声模型添加噪声。
[0050]
步骤3.3：将低弱光亮度恢复会正常亮度，得到仿真数据。
[0051]
步骤4：使用生成的低弱光数据训练深度神经网络，用于滤波阵列式光谱图像的去噪与增强。
[0052]
优选地，对于任意给定的神经网络，使用生成的仿真低弱光滤波阵列式光谱图像，学习低弱光图像与正常光照无噪声图像的映射，并将训练好的神经网络应用于滤波阵列式光谱图像去噪与增强任务中。
[0053]
另一方面，为达到上述目的，本发明提出了一种基于物理建模的滤波阵列式光谱图像去噪增强系统，包括训练阶段以及实际部署应用阶段。
[0054]
具体地，系统包括相机标定子系统、物理噪声建模子系统、低弱光数据生成子系统、低弱光图像去噪增强网络子系统、滤波阵列式光谱成像子系统和低弱光图像去噪增强网络子系统。
[0055]
其中，相机标定子系统，用于对特定滤波阵列式光谱相机进行标定，确定物理噪声模型中的具体参数。
[0056]
物理噪声建模子系统，用于对滤波阵列式光谱相机的噪声来源进行物理建模，精细化、准确化地分析噪声本质及其分布。
[0057]
低弱光数据生成子系统，基于标定后的物理噪声模型，生成仿真低弱光数据，用于后续神经网络的训练。
[0058]
低弱光图像去噪增强网络子系统，使用生成的低弱光仿真数据进行训练，训练得到网络用于滤波阵列式光谱图像的去噪及增强。
[0059]
其中，滤波阵列式光谱成像子系统，使用滤波阵列式光谱相机获取所拍场景的光谱图像；
[0060]
低弱光图像去噪增强网络子系统，用于对低弱光环境下滤波阵列式光谱相机所获取的图像进行去噪及增强；
[0061]
其中，其中，相机标定子系统的输出端与物理噪声建模子系统的输入端相连。物理噪声建模子系统的输出端与低弱光数据生成子系统的输入端相连。低弱光数据生成子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连。滤波阵列式光谱相机成像子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连。
[0062]
有益效果
[0063]
本发明，对比现有技术，具有以下优点：
[0064]
本发明可以有效地对低质量的低弱光滤波阵列式光谱图像进行去噪增强，得到高质量的滤波阵列式光谱图像。所述方法通过对滤波阵列式光谱相机的物理成像过程进行分析，准确建模了真实情况下的噪声分布，提供了易于实践的相机标定方法，可以生成大量的低弱光仿真数据，并使用生成的仿真数据训练神经网络，实现了针对低弱光滤波阵列式光谱图像的去噪增强，有效解决了在低弱光条件下滤波阵列式光谱相机使用难的技术问题。
附图说明
[0065]
图1为本方法的流程示意图。
[0066]
图2为本发明实施例所提供的物理噪声模型及低弱光仿真数据生成方法示意图。
[0067]
图3为本发明实施例所提供的基于物理建模的滤波阵列式光谱图像去噪增强系统结构示意图。
具体实施方式
[0068]
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明方法做进一步说明。
[0069]
实施例
[0070]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的原件或具有相同或类似功能的原件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0071]
如图1所示，包括以下步骤：
[0072]
步骤1：分析滤波阵列式光谱相机的物理成像过程，建模其真实噪声分布。
[0073]
步骤2：采集标定数据，针对特定相机标定噪声模型参数。
[0074]
步骤3：根据标定好的噪声模型及采集的正常光照图像，生成对应的低弱光环境下图像。
[0075]
步骤4：使用生成的低弱光仿真数据训练神经网络，用于滤波阵列式光谱图像的去
噪增强。
[0076]
本技术实施例的基于物理建模的滤波阵列式光谱图像去噪增强方法，通过分析滤波阵列式光谱相机的物理成像过程，建立基于物理成像过程的噪声模型；通过采集使用某一相机采集标定数据，针对该特定相机标定噪声模型参数；根据标定后的噪声模型以及正常光照图像，生成对应的低弱光环境下图像数据；使用生成的低弱光环境下仿真图像数据，训练神经网络以实现图像的去噪增强。由此，解决滤波阵列式光谱相机在低弱光环境下成像质量差、图像内容被噪声淹没的问题。
[0077]
进一步地，在本技术的一个实施例中，基于滤波阵列式光谱相机的物理成像过程，建立相机的真实噪声分布模型。在低弱光环境下滤波阵列式相机拍摄的带噪声图像可以建模为：
[0078][0079]
其中，表示实际采集到的带噪声图像，k表示相机的总系统增益，i表示传感器采集到的光电子数量，n表示图像的噪声。
[0080]
进一步地，在本技术的一个实施例中，图像的噪声n可以进一步划分，划分依据为噪声产生的来源。为此，图像噪声n可进一步表示为：
[0081]
n＝kn
si
+n
sd
+nb[0082]
其中，n
si
表示依赖于图像信号的噪声，n
sd
表示与信号无关的噪声，nb表示片色噪声。
[0083]
进一步地，在本技术的一个实施例中，依赖于图像信号的噪声服从泊松分布，可以表示为：
[0084]
i+n
si
～p(i)
[0085]
其中，p表示泊松分布。
[0086]
进一步地，在本技术的一个实施例中，与信号无关的噪声n
sd
可以进一步划分为读出噪声n
read
、条纹噪声n
sp
和量化噪声nq。为此，信号无关噪声n
sd
可以进一步表示为：
[0087]nsd
＝n
read
+n
sp
+nq[0088]
读出噪声n
read
服从高斯分布，可以表示为
[0089][0090]
其中表示高斯分布，σr表示高斯分布的标准差。
[0091]
条纹噪声n
sp
可以分为竖直条纹噪声和水平条纹噪声为此条纹噪声n
sp
可以表示为：
[0092][0093]
竖直条纹噪声和水平条纹噪声均服从高斯分布，可以表示为：
[0094][0095][0096]
量化噪声nq产生于数字-模拟信号转换器中，并且服从均匀分布。
[0097]
进一步地，在本技术的一个实施例中，偏色噪声具有单张图像的具体波段内水平方向上不均匀、随光照变化、在某一数值附近波动的特点。根据该特点，对采集到的单张光谱图像的每个波段，需要逐列建模偏色噪声。具体而言，偏色噪声可以表示为：
[0098][0099]
其中，c表示图像中的列坐标，λ表示波段，i表示光照强度。
[0100]
偏色噪声在某一数值附近的波动可以使用高斯分布进行描述，因此在权利要求11所述方法的基础上，偏色噪声可以进一步表示为：
[0101][0102]
其中，表示高斯分布，σc表示高斯分布的标准差。
[0103]
光照强度与的关系可以使用指数函数进行拟合，可以表示为：
[0104][0105]
其中，a，b和c表示需要拟合的参数。
[0106]
进一步地，在本技术的一个实施例中，仅使用平场帧和偏置帧即可标定特定相机的噪声模型参数。平场帧是在均匀光照条件下采集的图像，用于标定总系统增益和偏色噪声。偏置帧是在完全无光条件下采集的图像，用于标定所有信号无关噪声。
[0107]
进一步地，在本技术的一个实施例中，使用标定的噪声模型及正常光照条件下图像生成对应的低弱光图像数据，具体包括以下步骤：
[0108]
步骤1：将正常光照图像的亮度转换为低弱光图像的亮度。
[0109]
步骤2：使用噪声模型添加噪声。
[0110]
步骤3：将低弱光亮度恢复会正常亮度，得到仿真数据。
[0111]
进一步地，在本技术的一个实施例中，对于任意给定的神经网络，使用生成的仿真低弱光滤波阵列式光谱图像，学习低弱光图像与正常光照无噪声图像的映射，并将训练好的神经网络应用于低弱光滤波阵列式光谱图像去噪与增强任务中。
[0112]
图2为本技术实施例的物理噪声模型及仿真数据生成的示意图，通过将正常光照图像的像素强度转化为低弱光图像的像素强度，再在其上添加相应的噪声，最后得到低弱光照条件下的带噪声图像数据。相比于其它常用的数据生成方式，本发明实施例中的生成系统更为精细化，更加准确，与真实数据更为相近。
[0113]
图3为本发明实施例所提供的基于物理建模的滤波阵列式光谱图像去噪增强系统的结构图，系统包括训练阶段和实际部署应用阶段。系统训练阶段涉及物理噪声建模子系统10、相机标定子系统20、低弱光数据生成子系统30和低弱光图像去噪增强网络子系统40：
[0114]
物理噪声建模子系统10，用于对滤波阵列式光谱相机的噪声来源进行物理建模，精细化、准确化分析噪声本质及其分布。
[0115]
相机标定子系统20，用于对特定滤波阵列式光谱相机进行标定，确定物理噪声模型中的具体参数。
[0116]
低弱光数据生成子系统30，基于标定后的物理噪声模型，生成大量仿真低弱光数据，用于后续神经网络的训练。
[0117]
低弱光图像去噪增强网络子系统40，使用生成的低弱光仿真数据进行训练，训练
得到网络用于低弱光滤波阵列式光谱图像的去噪及增强。
[0118]
系统实际部署应用阶段涉及滤波阵列式光谱成像子系统50和低弱光图像去噪增强网络子系统40：
[0119]
滤波阵列式光谱成像子系统50，使用滤波阵列式光谱相机获取所拍摄场景的光谱图像。
[0120]
低弱光图像去噪增强网络子系统40，用于对低弱光环境下滤波阵列式光谱相机所获取的图像进行去噪及增强。
[0121]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。