一种基于渐进式网络的屏下相机增强方法与流程

本发明属于计算机视觉，具体为一种基于渐进式网络的屏下相机增强方法。

背景技术：

1、屏下相机作为一种新兴成像技术，这项技术可以实现隐藏相机于屏幕下方从而实现更大的屏占比，目前该项技术已经广泛应用于智能手机，电脑和电视等设备。然而，因为屏幕显示阵列是位于相机前方而不可避免会造成入射光线的损失和散射，从而造成拍摄图片的模糊、雾化、色差和光线衍射等问题，其次，相对于单一噪声的失真图像，屏下相机的拍摄往往存在多种混合噪声的情况，因此屏下相机图像的复原往往更具有挑战性。

2、基于传统方法的屏下相机失真去除方法：一些早期的工作聚焦于对于屏下相机的失真过程的物理建模，不过这些模型的求解容易受限于图像分辨率，当分辨率过大时，传统方法往往运行效率过慢，因此并未能完全解决屏下相机的失真问题；还有基于深度学习的屏下相机失真去除方法：1、通过设计了一个mcis系统来捕获配对图像，并将屏下相机图像恢复问题作为盲反卷积问题来进行解决，但是mcis系统通常用于计算成像领域以捕获系统点扩散函数(psf)或获取配对图像数据，可他们的方法并未考虑到现有的显示器设备往往是高动态范围的，因此在处理结果中还会存在明显的伪影；2、通过构建可以在高动态范围的失真图像上的处理方案，但是他们的方法需要失真图像的点扩散函数作为先验知识，可是准确的点扩散函数其实是为止的，且在实际应用中并无法准确获得相应失真图片的点扩散函数，因此该方法的复原性能大大受到了限制；3、探索通过对图像的高频-低频分解的角度去复原屏下相机图片的失真，但是这些方法在处理过程中往往需要较大的网络参数量及较高的推理时延，因此现有的方法无法同时兼顾在高性能和高效率，这也限制了这一类方法的进一步应用，以上针对相机失真去除方法未能考虑到在屏下相机失真过程中图像的高动态范围的影响，或多或少对于部分具有高动态范围的设备上进行图像复原后还会存在明显的伪影和噪声等，且对于光线散射所噪声的图片细节恢复不到位，颜色恢复不准确。

技术实现思路

1、本发明的目的在于提供一种基于渐进式网络的屏下相机增强方法，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于渐进式网络的屏下相机增强方法，包括如下步骤：

3、s1、输入图片i通过渐进式编码器encoder将来自同一图像的四个不同分辨率的形式作为输入,可以记为i,i1/2,i1/4,i1/8；

4、s2、渐进式编码器encoder中的第一个子网络把原始分辨率的失真图像i作为输入，经过1层卷积层投影到高维特征空间中，并经历特征注意模块从而获得渐进式编码器encoder中第一个子网络的输出特征

5、s3、渐进式编码器encoder中的第二个子网络把经降采样的图片i1/2作为输入，经过浅层卷积组scm投影到该分辨率下的高维特征空间中得到

6、s4、把第一个子网络的特征eb1首先经过步长为2的1×1卷积来完成下采样，将特征eb1和在分辨率一样的尺度下经过进行特征注意模块fam来实现特征融合，融合后的特征经过设计的增强型密集残差模块erdb得到第二个子网络的输出特征

7、s5、渐进式编码器encoder中的第三个子网络把经降采样的图片i1/4作为输入，经过浅层卷积组scm投影到该分辨率下的高维特征空间中得到

8、s6、把第二个子网络的特征eb2经过步长为2的1×1卷积来完成下采样，将特征eb2和在分辨率一样的尺度下经过进行特征注意模块fam来实现特征融合，融合后的特征经过增强型密集残差模块erdb得到第三个子网络的输出特征

9、s7、渐进式编码器encoder中的第四个子网络把经降采样的图片i1/8作为输入，经过浅层卷积组scm投影到该分辨率下的高维特征空间中得到

10、s8、把第三个子网络的特征eb3首先经过步长为2的1×1卷积来完成下采样，将特征eb3和在分辨率一样的尺度下经过进行特征注意模块fam来实现特征融合，融合后的特征经过设计的增强型密集残差模块erdb得到第四个子网络的输出特征

11、s9、使用四个交叉门控融合模块cgfm，将特征在四个尺度下经过交叉门控融合模块cgfm中利用门控机制充分利用不同尺度特征的互补信息，得到特征由大到小分别记为

12、s10、渐进式解码器decoder将跨尺度增强后的特征首先经过增强型密集残差模块erdb来提取中间特征，然后中间特征可以经过自监督注意力模块的一卷积层及残差操作将中间特征可以映射为该尺度下的无失真图片o1/8,与此同时再对o1/8经历卷积层生成注意力图乘到之前所获取的中间特征，再经历残差操作、卷积操作便可以得到该尺度下子网络的输出

13、s11、将特征和特征通过concat(·)操作沿着通道维度进行拼接，经过增强型密集残差模块erdb来提取中间特征，然后中间特征可以经过自监督注意力模块的一卷积层及残差操作将中间特征可以映射为该尺度下的无失真图片o1/4,与此同时再对o1/4通过卷积层生成注意力图乘到之前所获取的中间特征，再经历残差操作、卷积操作便可以得到该尺度下子网络的输出

14、s12、将特征和特征通过concat(·)操作沿着通道维度进行拼接，经过增强型密集残差模块erdb来提取中间特征，然后中间特征可以经过自监督注意力模块的一卷积层及残差操作将中间特征可以映射为该尺度下的无失真图片o1/2,与此同时再对o1/2通过卷积层生成注意力图乘到之前所获取的中间特征，再经历残差操作、卷积操作便可以得到该尺度下子网络的输出

15、s13、将特征和特征通过concat(·)操作沿着通道维度进行拼接，经过增强型密集残差模块(erdb)来提取中间特征，然后中间特征可以经过一卷积层便可以得到该尺度下子网络的输出再经历与输入图片i之间的全局残差连接，最后得到与原输入图片i尺寸一致的无失真图片o。

16、优选地，所述s3和s4中的操作可以记为：其中↓指的是下采样操作，通过增强型密集残差模块进一步改进，及替代非线性激活函数为gelu；所述s5和s6中的操作可以记为：所述s7和s8中的操作可以记为：

17、优选地，所述s9中最小尺度的子网络使用的交叉门控融合模块cgfm可以表示为：

18、

19、f1,f2＝split(f),

20、

21、

22、fe＝concat([f1,f2]),

23、其中↓指的是下采样操作；conv1×1指的是1×1卷积操作；split(·)指的是沿着特征通道维度平均切分；concat(·)沿着特征通道维度进行拼接；指的是点乘操作。

24、优选地，所述渐进式编码器encoder由四个不同子网络eb组成，它们以来自同一图像的四个不同分辨率的形式作为输入,可以记为i,i1/2,i1/4,i1/8。

25、优选地，所述渐进式解码器decoder是由四个不同子网络db组成，使用过程中可以分成s10、s11、s12和s13四步。

26、本发明的有益效果如下：

27、本发明通过设计了一个有效的渐进式网络的增强方法来从屏下相机失真图片中恢复干净的无失真图像，具体来说，构建基于unet的多输入编码器和多输出解码器框架，它以粗到细的范式逐渐恢复不同尺度的无失真结果；进一步探索了我们渐进式复原中的几种增强策略，以更好地恢复屏下相机捕获的图像；首先，考虑到屏下相机的图像往往具有较大的分辨率，通过采用多种分辨率的图像作为网络的输入，逐渐恢复输出不同分辨率的恢复图像；其次，通过探索了网络不同非线性激活函数下的影响并提出了一个增强型残差密集块作为主干网络的基本模块；通过设计了多尺度交叉门控融合模块来用于合并交叉尺度特征，以将信息从多输入编码器传输到具有交叉门机制的多输出解码器；通过配备了渐进式训练策略，以进一步提高恢复性能。