一种定向去除屏下RGB图像彩虹状眩光方法、设备及存储介质与流程

所属的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。图8是本发明实施例中的一种用户验证设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述用户注册方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的用户注册方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述用户注册方法部分中描述的根据本发明各种示例性实施方式的步骤。如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明先利用深度神经网络模型不定向去除彩虹状眩光，再将处理前后的图像进行融合得到带有光源的第三rgb图像，再消除第三rgb图像上的阶梯式缺陷，得到最终的rgb图像，从而有效去除屏下相机拍摄的rgb图像中的眩光。图9是本发明实施例中的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。本发明实施例中，本发明先利用深度神经网络模型不定向去除彩虹状眩光，再将处理前后的图像进行融合得到带有光源的第三rgb图像，再消除第三rgb图像上的阶梯式缺陷，得到最终的rgb图像，从而有效去除屏下相机拍摄的rgb图像中的眩光。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

背景技术：

1、近年来，随着手机全面屏理念的快速发展，不少手机厂商都在尝试将前置摄像头放在显示屏后面，以实现真正全面屏的效果。但是，将前置摄像头放在显示屏后面会带来新的问题，即屏下摄像头成像质量严重下降。特别地，当视野内出现较强光源时，屏下摄像头拍摄的rgb彩色图像会出现严重的彩虹状眩光，这种眩光一圈一圈围绕在光源周边，遮盖了背景信息，带给人的体验很不好。

2、目前人们开始针对屏下摄像头带来的质量问题进行研究，但彩虹状眩光问题目前还没有针对性的解决方案。之前也有人研究如何去除rgb图像眩光，但针对的均是非屏下摄像头拍摄的图像，其眩光模式和屏下摄像头拍摄的图像中彩虹状眩光区别很大。

3、该问题的难点在于，如何在去除光源周边彩虹状眩光的同时保留光源，同时还要保证光源边缘和周围背景自然过渡，使得图像在定向去除眩光之后整体上能保证自然的效果。

4、传统的眩光由于强光在传感器内光学元件的作用下经过散射和反射形成。而屏下摄像头中的眩光不仅由传感器内的光学元件的特性造成，还由于显示屏的影响而造成光路的改变。屏下的相机，因为距离屏幕有一定的距离，同时终端用户可能会贴有保护膜，进一步加剧了光在进入相机前的各种光学形态变化，从而使得其最终的成像与传统的成像具有较大区别。

5、屏下的图像中，彩虹眩光相比于传统眩光，其范围更广，呈现封闭的扩散状，并且光强也呈逐渐变化，与传统彩虹存在显著不同，因此传统的解决方案无法有效解决屏下彩虹眩光的问题。

技术实现思路

1、为此，本发明先利用深度神经网络模型不定向去除彩虹状眩光，再将处理前后的图像进行融合得到带有光源的第三rgb图像，再消除第三rgb图像上的阶梯式缺陷，得到最终的rgb图像，从而有效去除屏下相机拍摄的rgb图像中的眩光。

2、第一方面，本发明提供一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，包括如下步骤：

3、步骤s1：获取第一rgb图像，利用深度神经网络模型不定向去除彩虹状眩光，得到第二rgb图像；其中，所述不定向是指同时去除眩光和光源；

4、步骤s2：将所述第一rgb图像中的光源及周边信息不均匀地与所述第二rgb图像融合生成第三rgb图像；

5、步骤s3：利用神经网络模型消除所述第三rgb图像中的阶梯式缺陷。

6、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，在步骤s1中，所述深度神经网络模型由一个光源打开/关闭的一一对应的数据集训练获得。

7、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，所述深度神经网络模型采用encoder-bottleneckblock-decoder架构，其中，encoder部分利用预训练的vggnet提取图像特征，bottleneckblock部分采用多个残差模块叠加，且所述残差模块均带通道注意力机制，decoder部分将所述bottleneckblock部分的输出上采样到原图分辨率。

8、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，所述步骤s2包括：

9、步骤s21：在所述第一rgb图像中将光源分割，生成掩膜；

10、步骤s22：对所述掩膜进行膨胀，每膨胀一圈就设置一个权重，则从光源边缘向外扩散的过程中，权重从1.0逐渐衰减到0.0，从而得到一张单通道的权重alpha图；

11、步骤s23：利用得到的所述权重alpha图，将所述第一rgb图像中的光源及周边信息与所述第二rgb图像融合生成第三rgb图像。

12、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，在步骤s22中，根据所述光源的角度确定所述膨胀不同方向的速度。

13、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，在步骤s22中，权重其中，d是图像上像素点和光源边界之间的最短距离，dmax是扩散最外边缘和光源边界之间的最短距离。

14、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，在所述步骤s3中，所述神经网络模型为生成式对抗网络模型。

15、可选地，所述的一种定向去除屏下rgb图像彩虹状眩光方法，其特征在于，所述生成式对抗网络包括生成器和判别器；在训练集中，真实图像的标签为真，融合后图像的标签为假，以此来交叉训练所述判别器和所述生成器；最后利用训练的生成器来调节所述第三rgb图像，使得过渡区域的细节更加平滑。

16、第二方面，本发明提供一种用户验证设备，其特征在于，包括：

17、处理器；

18、存储器模块，其中存储有所述处理器的可执行指令；

19、其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述的用户注册方法的步骤。

20、第三方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任一项所述的一种定向去除屏下rgb图像彩虹状眩光方法的步骤。

21、与现有技术相比，本发明具有如下的有益效果：

22、本发明针对屏下眩光范围更大，颜色更多的特点，采用先去除眩光再融合的方式，使得眩光外的其他物体在图像中更加清晰明显，去除眩光的影响。

23、本发明对于融合后的图像进一步处理，消除屏下眩光中的阶梯式缺陷，使得图像更加自然与真实。