图像去反光方法、介质及电子设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像去反光的方法、介质及电子设备。


背景技术：

2.随着图像处理技术的不断进步，人们对手机、平板电脑等成像设备拍摄的图像的质量要求越来越高。但是，在一些特定的场景中，常规的成像设备无法拍摄出高质量的图像。如果拍摄场景中存在玻璃等反光材质的物体，尤其是成像设备到拍摄物体之间存在玻璃等反光物体，那么将导致成像设备在玻璃前拍摄的图像上会叠加同侧的反光图像，降低了透射图像的清晰度，导致拍摄得到的拍摄对象的画面较差。因此，拍摄图像过程中去除图像中的反光成为提升图像质量的关键。


技术实现要素：

3.本技术实施例提供了一种图像去反光方法、介质及电子设备，能够节省图像去反光过程的计算资源，并提升图像去反光效果。
4.第一方面，本技术实施例提供了一种图像去反光方法，应用于电子设备，包括：获取待处理彩色图像和待处理偏振图像；获取待处理偏振图像对应的多个偏振子图像，多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；根据待处理偏振图像对应的多个偏振子图像，获取待处理偏振图像对应的偏振信息；根据待处偏振图像对应的偏振信息，从下采样后的待处理彩色图像中去除反光造成的反射图像，得到待处理彩色图像对应的第一去反光图像；根据待处理彩色图像，对待处理彩色图像对应的第一去反光图像的分辨率进行处理，得到待处理彩色图像对应的第二去反光图像。可以理解的是，待处理彩色图像对应的第一去反光图像的分辨率较低，如256*256。而第二去反光图像的分辨率较高，如2048*2048。
5.可以理解，由于反射图像和透射图像在偏振信息上具有较大的差异，因此可以基于偏振图像对应的偏振信息在分辨率较低的彩色图像中识别并去除反光对应的反射图像得分辨率较低的透射图像。再通过原始的分辨率较高的彩色图像对分辨率较低的透射图像进行处理，得到分辨率较高的透射图像。从而，实现了在原始的彩色图像中去除反光的效果，提升了拍摄图像的质量。如此，由于下采样后的图像的数据量较小，因此从下采样的彩色图像中去除反光过程的计算量较小，避免了直接从原始的彩色图像中去除反光产生较大计算量，使得整个图像去除反光过程的计算量较小，极大节省了计算资源。
6.在上述第一方面的一种可能的实现中，上述获取待处理偏振图像对应的多个偏振子图像，包括：对待处理偏振图像中属于不同偏振角度的像素点进行插值，得到待处理偏振图像对应的多个偏振子图像。
7.其中，本技术可以通过两种可能的实现方式确定偏振图像对应的四个偏振子图像。在第一种确定偏振子图像的方式中，可以通过分离偏振图像中对应不同偏振片角度的
像素点得到四个偏振子图像。在第二种确定偏振子图像的方式中，对偏振图像进行插值算法后再分离对应不同偏振片角度的像素点得到四个偏振子图像。如此，使得待处理偏振图像的尺寸与对应的多个偏振子图像的尺寸一致，从而方便后续基于该多个偏振图像表示的偏振信息从低分辨率的待处理彩色图像中去除反光引起的反射图像。
8.在上述第一方面的一种可能的实现中，上述对待处理偏振图像中属于不同偏振角度的像素点进行插值，得到待处理偏振图像对应的多个偏振子图像，包括：对待处理偏振图像中属于不同偏振角度的像素点进行插值处理，得到待处理偏振图像对应的多个初始偏振图；将多个初始偏振图配准到待处理彩色图像，得到多个偏振子图像。
9.可以理解的是，由于待处理偏振图像和待处理彩色图像是由不同摄像头采集得到的，因此两个图像拍摄角度存在差别，那么将对应的偏振子图像配准到待处理彩色图像使得两者的图像特征对齐。从而，使得后续待处理偏振图像对应的偏振信息能够用于准确地识别并去除待处理彩色图像中的反射图像。
10.在上述第一方面的一种可能的实现中，上述待处理偏振图像对应的偏振信息中至少包括待处理偏振图像对应的偏振度图和方位角图，其中，待处理偏振图像对应的偏振度图用于表示待处理偏振图像对应的多个偏振子图像的偏振程度，待处理偏振图像对应的方位角图用于表示待处理偏振图像对应的多个偏振子图像的光的偏振角度。作为示例，待处理偏振图像对应的偏振度图和方位角图可以通过下文中的公式(1)至公式(3)计算得到。
11.在上述第一方面的一种可能的实现中，上述根据待处偏振图像对应的偏振信息，从下采样后的待处理彩色图像中去除反光造成的反射图像，得到待处理彩色图像对应的第一去反光图像，包括：对待处理彩色图像、待处理偏振图像对应的偏振度图和方位角图分别进行下采样；将下采样后的待处理彩色图像、待处理偏振图像对应的偏振度图和方位角图输入至预先训练的第一网络，得到由第一网络输出的待处理彩色图像对应的中间去反光图像。通过第一网络从低分辨的待处理彩色图像中去除反光引起的反射图像，能够减少节省计算资源。
12.在上述第一方面的一种可能的实现中，上述根据待处理彩色图像，对待处理彩色图像对应的第一去反光图像的分辨率进行处理，得到待处理彩色图像对应的第二去反光图像，包括：将待处理彩色图像和待处理图像对应的第一去反光图像输入到预先训练的第二网络中，得到由第二网络输出的待处理彩色图像对应的第二去反光彩色图像。本技术通过串联的两个网路实现图像去反光算法，在节省计算资源的基础上，还能够提升图像去反光的效果，并且对两个网络训练的最终效果可以很好地掌控。
13.在上述第一方面的一种可能的实现中，上述获取待处理彩色图像和待处理偏振图像之前，方法还包括：获取训练彩色图像以及训练彩色图像对应的训练偏振图像、训练反射图像和训练透射图像，训练透射图像是由训练彩色图像与反射图像的差值得到的；根据训练彩色图像以及训练偏振图像和训练透射图像，训练第一网络；根据训练彩色图像、训练透射图像训练第一网络和第二网络中的至少一个。如此，串联的两个网络，使得训练过程中对两个网络训练的最终效果可以很好地掌控。
14.在上述第一方面的一种可能的实现中，上述根据训练彩色图像以及训练偏振图像和训练透射图像，训练第一网络，包括：获取训练偏振图像对应的多个偏振子图像，不同偏振图的偏振角度不同；将训练偏振图像对应的多个偏振子图像配准到训练彩色图像；根据
训练偏振图像对应的多个偏振子图像，获取训练偏振图像对应的偏振度图和方位角图；对训练彩色图像、训练偏振图像对应的偏振度图和方位角图以及训练透射图像分别进行下采样；将下采样后的训练彩色图像、训练偏振图像对应的偏振度图和方位角图输入至第一网络，得到由第一网络输出的训练彩色图像对应的第一预测透射图像；根据训练彩色图像对应的第一预测透射图像和训练透射图像，确定第一损失函数；根据第一损失函数，训练第一网络。
15.在上述第一方面的一种可能的实现中，上述训练偏振图像对应的偏振度图用于表示训练偏振度图像对应的多个偏振子图像的偏振程度，训练偏振图像对应的方位角图用于表示训练偏振度图像对应的多个偏振子图像的光的偏振角度。
16.在上述第一方面的一种可能的实现中，上述根据训练彩色图像、训练透射图像训练第一网络和第二网络中的至少一个，包括：将训练彩色图像和训练彩色图像对应的第一预测透射图像输入至第二网络，得到由第二网络输出的训练彩色图像对应的第二预测透射图像；根据训练彩色图像对应的第二预测透射图像和训练透射图像，确定第二损失函数；根据第二损失函数，训练第一网络和第二网络中的至少一个。
17.在上述第一方面的一种可能的实现中，上述获取待处理彩色图像和待处理偏振图像之前，方法还包括：确定待处理彩色图像对应的场景信息符合预设场景信息，预设场景信息用于指示拍摄场景中存在玻璃镜面反光。如此，只有处于存在玻璃镜面反光的拍摄场景中，成像设备才执行图像去反光算法，而其他场景中将执行正常的拍摄算法，有利于节省计算资源，并避免过度使用偏振传感器所在摄像头等硬件资源。
18.在上述第一方面的一种可能的实现中，上述电子设备中包括第一摄像头(即下文中的摄像头11)和第二摄像头(即下文中的摄像头12)，第二摄像头中设置有偏振传感器；其中，待处理彩色图像通过第一摄像头采集得到，待处理偏振图像通过第二摄像头采集得到；并且，待处理彩色图像的分辨率高于待处理偏振图像的分辨率。
19.第二方面，本技术实施例提供一种电子设备，包括：第一摄像头和第二摄像头，以及第一获取模块，第二获取模块，第一处理模块和第二处理模块；
20.第一摄像头，用于采集待处理彩色图像；
21.第二摄像头，用于采集待处理偏振图像；
22.第一获取模块，用于获取第二摄像头采集的待处理偏振图像对应的多个偏振子图像，多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；
23.第二获取模块，用于根据待处理偏振图像对应的多个偏置子图像，获取待处理偏振图像对应的偏振信息；
24.第一处理模块，用于根据待处偏振图像对应的偏振信息，从下采样后的待处理彩色图像中去除反光造成的反射图像，得到待处理彩色图像对应的第一去反光图像；
25.第二处理模块，用于根据待处理彩色图像，对待处理彩色图像对应的第一去反光图像的分辨率进行处理，得到待处理彩色图像对应的第二去反光图像。
26.第三方面，本技术实施例提供了一种可读介质，所述可读介质上存储有指令，所述指令在电子设备上执行时使所述电子设备执行如第一方面以及任一种可能的实现方式所述的图像去反光方法。
27.第四方面.本技术实施例提供了一种电子设备，包括：存储器，用于存储由电子设
备的一个或多个处理器执行的指令，以及处理器，是所述电子设备的处理器之一，用于执行如第一方面以及任一种可能的实现方式所述的图像去反光方法。
附图说明
28.图1根据本技术的一些实施例，示出了一种图像拍摄场景的示意图；
29.图2a根据本技术的一些实施例，示出了一种成像设备的结构示意图；
30.图2b根据本技术的一些实施例，示出了一种偏振传感器的结构示意图；
31.图2c根据本技术的一些实施例，示出了一种偏振图像上插值算法的应用示意图；
32.图2d根据本技术的一些实施例，示出了一种图像处理单元的架构示意图；
33.图2e根据本技术的一些实施例，示出了一种第一网络的架构示意图；
34.图2f根据本技术的一些实施例，示出了一种第二网络的架构示意图；
35.图3根据本技术的一些实施例，示出了一种图像去反光方法的流程示意图；
36.图4根据本技术的一些实施例，示出了一种触发图像去反光方法的流程示意图；
37.图5根据本技术的一些实施例，示出了一种拍摄预览界面示意图；
38.图6根据本技术的一些实施例，示出了一种图像采集场景的示意图；
39.图7根据本技术的一些实施例，示出了一种图像训练流程示意图；
40.图8根据本技术的一些实施例，示出了一种手机的结构示意图。
具体实施方式
41.本技术的说明性实施例包括但不限于图像去反光方法、介质、装置以及电子设备。
42.在一些实施例中，本技术实施例提供的图像去反光方法，应用于透过玻璃拍摄物体等存在反光的拍摄场景中，具体应用于去除图像中由玻璃引起的反光。例如，上述场景包括但不限于在室内透过窗户拍摄室外的风景，拍摄戴眼镜的人物，在室内拍摄玻璃展览柜中的物品。
43.参照图1所示，为本技术实施例提供的一种图像拍摄场景的示意图。该场景中用户使用成像设备10在室内隔着透明玻璃拍摄背侧的建筑。此时，玻璃背侧的建筑透过透明玻璃产生的透射光和前侧的大屏设备经过玻璃表面产生的反射光都会到达成像设备10的镜头，进而成像设备10采集的彩色图像中叠加了大屏设备的反射图像。那么，成像设备10在拍摄过程中，通过区分出彩色图像中叠加的反光造成的反射图像并去除，得到去除反光后的透射图像，即得到质量较高的该建筑的彩色图像。
44.具体地，本技术实施例提供的图像去反光方法，在存在反光的拍摄场景中，采集彩色图像，并采集相应的偏振图像,该偏振图像中的像素点是经过多个偏振片角度得到的。首先，获取偏振图像对应的偏振信息，如偏振图像对应的偏振度图和方位角图等，并对彩色图像进行下采样得到分辨率较低的彩色图像。由于反射图像(或称反光图像)和透射图像在偏振信息上具有较大的差异，因此可以基于偏振图像对应的偏振信息在分辨率较低的彩色图像中识别并去除反光对应的反射图像得分辨率较低的透射图像。再通过原始的分辨率较高的彩色图像对分辨率较低的透射图像进行处理，得到分辨率较高的透射图像。从而，实现了在原始的彩色图像中去除反光的效果，提升了拍摄图像的质量。如此，由于下采样后的图像的数据量较小，因此从下采样的彩色图像中去除反光过程的计算量较小，避免了直接从原
始的彩色图像中去除反光产生较大计算量，使得整个图像去除反光过程的计算量较小，极大节省了计算资源。也就是说，本技术能够节省图像去反光过程的计算资源，并提升图像去反光效果。
45.在一些实施例中，本技术实施例中的执行主体可以为成像设备10或者成像设备10中的执行图像去反光方法的装置或者模块。作为一种示例，适用于本技术的成像设备10包括但不限于用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备或者可穿戴设备等。例如，上述成像设备10可以是手机、平板电脑或者摄像机等，图1中以手机10为例示出。
46.此外，本技术的其他一些实施例中，图像去反光方法的执行主体还可以是服务器或其他处理设备，对此不做具体限定。
47.在一些实施例中，成像设备10中可以部署双目摄像头，并通过双目摄像头分别采集彩色图和偏振图像。当然，成像设备10中的摄像头的数量不限于2个，还可以为多个。例如，图1示出的成像设备10中具有三个摄像头，其中摄像头11为用于采集彩色图像的主摄像头，而摄像头12为用于采集偏振图像的辅摄像头，而另一个摄像头可以为微距摄像头等其他摄像头。
48.可以理解，实际应用中成像设备10中的摄像头11和摄像头12部署的位置之间的距离较近，使得这两个摄像头采集图像的拍摄角度相近。
49.参照图2a所示，为本技术实施例提供的一种成像设备的结构示意图。成像设备10中包括摄像头11和摄像头12和图像处理单元13，其中摄像头11中包括镜头111和图像传感器112，摄像头12中包括镜头121和偏振传感器(sensor)122。
50.镜头111用于透过光线并将光线汇聚到图像传感器112上。镜头111可以由多片镜片组成，也可以是由单个镜片组成，此处不做限定。
51.图像传感器112用于将来自镜头111的光束中不同颜色的光分别转换成不同的电信号，生成彩色图像。通常图像传感器112采集的图像的分辨率较高，如分辨率为2048*2048。此外，对图像传感器112采集的彩色图像下采样的后的图像的分辨率较低，如分辨率为256*256。下文中将256*256这样的较低分辨率也称为第一分辨率，将2048*2048这样的高分辨率称为第二分辨率
52.镜头121用于透过光线并将光线汇聚到偏振传感器122上。镜头122可以由多片镜片组成，也可以是由单个镜片组成，此处不做限定。
53.偏振传感器122用于将来自镜头121的光束生成偏振图像，该偏振图像中的像素点对应于多种偏振片角度。通常偏振传感器122采集的图像的分辨率较低，该分辨率通常低于上述第二分辨率，并且高于第一分辨率。
54.在一些实施例中，上述偏振图像可以是彩色图像，偏振传感器122可以将接收到的不同颜色的光分别转换成不同的电信号并生成彩色图像。在一些可能的实施方式中，偏振图像也可以是黑白图像，偏振传感器130将接收到的光信号直接转换为电信号，进而生成黑白图像。此外，上述偏振图像通常为初始(raw)图像格式的raw图像。而通常受制于传感器工艺的限制，偏振传感器122采集的图像的分辨率低于图像传感器112采集的图像的分辨率。
55.图像处理单元13用于获取偏振图像对应的偏振信息，例如偏振图像对应的偏振度
图以及方位角图。并根据偏振图像对应的偏振信息对彩色图像进行去反光处理，以实现对彩色图像去除反光的效果。
56.可以理解的是，本发明实施例示意的结构并不构成对成像设备10的具体限定。在本技术另一些实施例中，成像10可以包括比图示更多或更少的部件。
57.在本技术的一些实施例中，偏振传感器122可以为分焦平面传感器。
58.参照图2b所示，为本技术实施例提供的偏振传感器的一种可能的结构示意图。偏振传感器122中包括微透镜阵列1221、偏振片阵列1222和物理像素阵列1223。每一个微透镜都对应着一个偏振片和一个物理像素点，微透镜汇聚的光线通过对应的偏振片照射在对应的物理像素点上，使得每个物理像素点所接收的光的偏振方向都为对应的偏振片的偏振方向。如图2b所示，四个相邻偏振片可以划分为一组，包括0
°
、45
°
、90
°
和135
°
四个偏振方向的偏振片。相应的，经过偏振传感器122采集的偏振图像中的像素点对应不同的偏振片角度分别为0
°
、45
°
、90
°
和135
°
四个偏振片角度。作为示例，图2b所示实线框出相邻的四个偏振片中左上角、右上角、左下角、右下角分别是偏振片角度为45
°
、0
°
、90
°
和135
°
的偏振片m1、m2、m3和m4，相应的经过微透镜并经过四个偏振片到达物理像素点的光束的光强分别为45
°
、45
°
、90
°
和135
°
的光强。
59.可以理解，相邻一组四个偏振片的排列顺序不限于图2b所示的顺序，还可以为其他顺序，例如相邻四个偏振片中左上角、右上角、左下角、右下角的偏振片角度分别为0
°
、45
°
、90
°
和135
°
。
60.在一些实施例中，物理像素阵列1223中的偏振片的偏振方向并不限于上述示例，可以为任意可实现本技术方案的偏振方向，相应的相邻的不同偏振方向的物理像素点的数量也不限于四个，本技术对此不做限定。
61.此外，在申请的其他一些实施例中，偏振传感器122也可以为任意能够用于获取光线偏振态的传感器，并不限于上述分角平面传感器。
62.本技术实施例中，偏振图像对应的偏振信息可以为偏振图像中各个像素点对应的偏振信息的集合。一个像素点对应的偏振信息包括偏振度(degree of polarization，也称为偏振程度)和方位角(angle of polarization，也称为偏振角度)。那么，偏振图像中各个像素点对应的偏振度可以构成该偏振图像对应的偏振度图，偏振图像中各个像素点对应的方位角可以构成该偏振图像对应的方位角图。
63.可以理解，像素点矩阵的一组物理像素点中的各个物理像素点的光量，可以确定经过该组物理像素点的光线中四个偏振方向中各个偏振方向的光的光量占比，进而确定出经过该组物理像素点的光线的偏振度和方位角。在确定各组物理像素点对应的偏振度和方位角之后，便获得了偏振图像对应的偏振度图对应的方位角图。
64.在一些实施例中，物理像素点的光量指的是偏振图像中的一个像素点的光强(或称强度信息或亮度值)，那么偏振图像中各个像素点的偏振度和方位角可以通过像素点的光强确定。而偏振图像中各个像素点的光强构成偏振图像对应的亮度图。相应的，偏振图像对应的偏振度图和方位角图可以通过该偏振图像对应的亮度图确定。
65.本技术一些实施例中，可以通过下述公式(1)计算出偏振图像中每个像素点对应的光强得到亮度图，并通过公式(2)、(3)分别计算出偏振图像中每个像素点的偏振度和方位角得到对应的偏振度图和方位角图。其中，光强表示为i，偏振度表示为ρ，方位角表示为
φ。相应的，亮度图表示为i图，偏振度图表示为ρ图，方位角图表示为φ图。针对偏振图像中的每个像素点，公式(1)、(2)和(3)中的i1，i2，i3，i4分别表示该像素点对应的45
°
、0
°
、90
°
和135
°
的光强。
[0066][0067][0068][0069]
而通过公式(1)、(2)和(3)计算偏振图像中的每个像素点对应的偏振信息的过程中，可以先对偏振图像中对应45
°
、0
°
、90
°
和135
°
的像素点分别进行处理，以获取偏振图像对应的四个偏振子图像。
[0070]
作为示例，本技术可以通过两种可能的实现方式确定偏振图像对应的四个偏振子图像，进而应用公式(1)、(2)和(3)进行计算。在第一种确定偏振子图像的方式中，可以通过分离偏振图像中对应不同偏振片角度的像素点得到四个偏振子图像。在第二种确定偏振子图像的方式中，对偏振图像进行插值算法后再分离对应不同偏振片角度的像素点得到四个偏振子图像。
[0071]
在第一种确定偏振图像的方式具体过程如下：将偏振图像中对应于不同偏振角度的像素点划分到不同的偏振子图像中，得到四个偏振子图像，即分别为45
°
、0
°
、90
°
和135
°
的偏振片角度对应的偏振子图像。此时每个偏振子图像的长和宽分别为原始的偏振图像的长和宽的1/2。进而，可以对四个偏振子图像分别进行双线性插值等插值处理，使得四个偏振子图像的长和宽与原始的偏振图像的长和宽均相同。那么，在计算偏振图像中的各个像素点对应的偏振信息时，上述公式(1)、(2)和(3)中的i1，i2，i3，i4分别为45
°
、0
°
、90
°
和135
°
的偏振片角度对应的偏振子图像中相同坐标的像素点的光强。例如，对于偏振图像中坐标为(x,y)的像素点而言，i1，i2，i3，i4分别为45
°
、0
°
、90
°
和135
°
的偏振片角度对应的偏振子图像中坐标为(x,y)的像素点的光强。此时，每个偏振子图像中的每个像素点的光强均为同一偏振片角度下的光强，例如一个偏振子图像中每个像素点的光强均为45
°
的偏振片角度下的光强。
[0072]
在第二种确定偏振图像的方式的具体过程如下：基于对应不同偏振片角度的像素点对偏振图像进行双线性插值等插值处理，得到对应不同偏振片角度的四个偏振子图像，即对应的偏振片角度分别为45
°
、0
°
、90
°
和135
°
的偏振子图像。其中，每个偏振子图像的长和宽与原始的偏振图像的长和宽均相同。而每个偏振子图像中不仅包括经过偏振传感器122采集得到一种偏振片角度下的光强，还包括插值得到的其他偏振片角度下的光强。那么，在计算偏振图像中的一个像素点对应的偏振信息时，将对该像素点插值得到的偏振子图像中坐标相同的像素点所在的相邻四个像素点的光强分别作为上述公式(1)、(2)和(3)中的i1，i2，i3，i4，即分别对应于45
°
、0
°
、90
°
和135
°
的偏振片角度的光强。
[0073]
参照图2c所示，为本技术实施例提供的一种偏振图像上插值算法的应用示意图。图2c中示出了偏振图像中对应于不同偏振片角度的部分相邻像素点，每相邻四个像素点分别对应偏振片角度为45
°
、0
°
、90
°
和135
°
。以图2c中对应偏振片角度为45
°
的像素点p5为例，
说明对偏振图像的插值算法。
[0074]
其中，对于像素点p5而言，通过偏振片阵列1222采集到的光强是对应于45
°
的偏振片信号，记作i
p5，45
°
＝i
p5
。而对应于0
°
、90
°
和135
°
的光强没有直接采集到，可以通过偏振图像中与像素点p5相邻的像素点来推断，以完成插值算法。相应的，将偏振图像中每种偏振片角度的像素点实际采集的光强和推测出的光强可以构成一个偏振子图像，从而得到偏振图像对应的四个偏振子图像。
[0075]
作为一种示例，将像素点p5对应于0
°
的光强记作i
p5，0
°
，可以由偏振片阵列1222采集的像素点p4的光强i4和像素点p6的光强i6推测出i
p5，0
°
＝(i
p4
+i
p6
)/2。像素点p5对应于90
°
的光强记作i
p5，90
°
，可以由偏振片阵列1222采集的像素点p2的光强i2和像素点p8的光强i8推测出i
p5，90
°
＝(i
p2
+i
p8
)/2。像素点p5对应于135
°
的光强记作i
p5，90
°
，可以由偏振片阵列1222采集的像素点p1的光强i1和像素点p9的光强i9推测出i
p5，135
°
＝(i
p1
+i
p9
)/2。相应的，应用于上述公式(1)、(2)和(3)，对于像素点p5，i
p5
，0
°
，i
p5
，45
°
，i
p5
，90
°
，i
p5，135
°
分别作为i1，i2，i3，i4。依次类推，对于偏振图像中各个像素点对应的偏振信息的计算都可以按照对像素点p5的处理执行。
[0076]
由于反光对应的反射图像与透射光对应的透射图像在偏振信息上具有较大的差异，因此，可以使用预先训练的神经网络识别出彩色图像中的反射图像和透射图像并分离出透射图像，即去反光图像。具体地，本技术实施例中采用串联的两级神经网络识别出彩色图像中的反射图像和透射图像并分离出透射图像。
[0077]
作为示例，参照图2d所示，为本技术实施例提供的图像处理单元的架构图。如图2d所示，图2示出的图像处理单元13包括预处理模块131、第一网络处理模块132和第二网络处理模块133。
[0078]
预处理模块131用于对来自摄像头12的偏振图像和来自摄像头11的彩色图像进行预处理，例如获取该偏振图像对应的偏振度图和方位角图并进行下采样，以及对彩色图像进行下采样。
[0079]
第一网络处理模块132用于预先训练第一网络，使得第一网络能够从低分辨率的彩色图像去除反光引起的反射图像，实现图像去反光的效果。进而，第一网络处理模块132，用于采用训练好的第一网络根据偏振图像对应的下采样的偏振度图和下采样的方位角图，从下采样后的彩色图像中去除反光对应的反射图像，得到去除反光后的分辨率较低的透射图像，即得到分辨率较低的去反光图像。作为一种示例，对图像的下采样可以通过双线性插值等插值算法实现，但不限制于此。
[0080]
第二网络处理模块133用于预先训练第二网络，使得第二网络能够提升低分辨率的去反光图像的分辨率。进而，第二网络处理模块133，还用于采用训练好的第二网络基于未处理的彩色图像对分辨率较低的去反光图像进行处理，得到分辨率较高的高清去反光图像。
[0081]
需要说明的是，本技术实施例提供的图像去反光方法，采用第一网络和第二网络这两个网络串联实现去反光算法，主要在于以下三个方面的原因：
[0082]
(1)由于第一网络对分辨率较低的彩色图像执行去除反光算法的计算量较小，因此可以节省计算资源，减少网络执行的时间。
[0083]
(2)由于目前传感器工艺的限制，偏振传感器所在的辅摄像头(即摄像头12)的分
辨率通常远小于主摄像头(即摄像头11)的分辨率。那么如果用一个网络实现图像去反光算法，为了恢复出分辨率较高的高清去反光图像，就需要在该网络中输入主摄像头采集的原分辨率的彩色图像，同时需要把偏振图像上采样到和该彩色图像一致的分辨率，而偏振信号本身就有噪声，上采样后噪声会进一步放大，对最终的去反光效果会有不好的影响。而本技术中下采样后的低分辨率的彩色图像中包含较少的反光对应的噪声，这样采用第一网络从该彩色图像中去除反光得到低分辨率的去反光图像，再采用第二网络将低分辨率的去反光图像处理为分辨率较高的高清去反光图像，使得整个过程的去除反光效果较好。
[0084]
(3)两个网络串联的方式可以采用分阶段训练，第一网络训练后可以初步验证效果，并对训练过程中第一网络和第二网络的超参数及时调整，总体对两个网络训练的最终效果可以很好地掌控。例如，神经网络的超参数可以为学习率、正则化参数、神经网络的层数、每一个隐层中神经元的个数、学习的回合数等。
[0085]
在本技术的一些实施例中，上述第一网络和第二网络可以采用u-net结构，但不限于此，还可以为其他任意可实现的本技术目的的网络架构。
[0086]
作为示例，参照图2e所示，为本技术实施例提供的一种第一网络的架构示意图。如图2e所示，第一网络20为经典的u-net结构，包括卷积(convelution，conv)层21，最大池化(max-pooling)层22，上卷积(up-convelution)层23以及卷积(conv)层24以及跳跃连接(skip-connections)层25。
[0087]
作为一种示例，如图2e所示，第一网络20的输入图像为分辨率较低的图像，可以记为low-res i
r,g,b,ρ,φ
而第一网络20的输出图像为分辨率较高的图像，即分辨率较高的去反光图像，可以记为low-res i
r,g,b
。
[0088]
具体地，第一网络20的输入为下采样后的彩色图像，以及偏振图像对应的下采样后的偏振度图(即ρ图)和下采样后的方位角图(即φ图)。并且，这三个下采样后的图像的分辨率均为指定的第一分辨率(如256*256)。更具体的，第一网络20的输入的图像由5个通道，分别下采样后的rgb格式的彩色图像的r、g、b通道，以及下采样后的图的ρ通道和下采样后的φ图的φ通道，即low-res i
r,g,b,ρ,φ
。
[0089]
可以理解的是，虽然图2e为示出，但是实际中第一网络20还可以包括输入层，用于支持第一网络20输入下采样后的彩色图像、下采样后的偏振度图以及下采样后的方位角图。
[0090]
卷积层21采用3
×
3的卷积核，用于对输入图像进行卷积运算。可以理解的是，对于卷积层，权重值位于滤波器内部，而在代码中，滤波器实际上是权重张量本身。层内的卷积运算是该层的输入通道与该层内的滤波器之间的运算。
[0091]
最大池化层22可以对来自卷积层21的输入图像进下采样，该下采样可以为最大值下采样或平均值下采样。作为示例，最大池化层22可以对输入图像进行三次下采样，使得这些图像的分辨率缩小8倍(比如32*32)。
[0092]
上卷积层23用于对来自最大池化层22的输入图像进行三次上卷积操作，经过三次上卷积操作后输出的图像的分辨率恢复到原始输入第一网络的输入图像的分辨率(如256*256)。
[0093]
跳跃连接层25，在上卷积层23中各层执行上采样的过程中，用于把最大池化层22中对应层执行下采样之前的权重张量与上卷积层23中的当前层的张量拼接在一起，之后再
执行下一次的上卷积操作。
[0094]
卷积层24用于对来自上卷积层23的输入图像进行卷积操作，输出的图像为去除反光后的rgb格式的去反光图像并且分辨率为第一分辨率(比如256*256)，即低分辨率的去反光图像，即low-res i
r,g,b
。
[0095]
可以理解的是，虽然图2e为示出，但是实际中第一网络20的还可以包括输出层，用于支持第一网络20输出去除反光后的低分辨率的去反光图像。
[0096]
此外，作为示例，参照图2f所示，为本技术实施例提供的一种第二网络的架构示意图。如图2f所示，第二网络30可以称为ref-sr网络，也是一个u-net结构的网络。需要说明的是，第二网络与第一网络存在两点不同：一是输入图像的分辨率不同，第二网络的输入图像为摄像头11采集的分辨率较高(分辨率如2048*2048)的彩色图像；二是在对图像经过三次下采样后，会输入一张低分辨率的去反光图像(该去反光图像为第一网络的输出)，与三次下采样后的张量拼接在一起，之后在执行上采样操作及跳跃连接操作。
[0097]
具体地，第二网络30包括卷积(convelution，conv)层31，最大池化(max-pooling)层32，上卷积(up-convelution)层33以及卷积(conv)层34以及跳跃连接(skip-connections)层25。
[0098]
作为一种示例，如图2f所示，第二网络30的输入图像包括分辨率较高的彩色图像，可以记为high-res i
r,g,b
；还包括分辨率较低的去反光图像，即low-res i
r,g,b
。而第二网络30的输出图像为分辨率较高的去反光图像可以记为high-res i＇
r,g,b
。
[0099]
具体地，第二网络30的输入为摄像头11采集的高分辨率的彩色图像以及来自第一网络20的低分辨的去反光图像。例如，摄像头11采集的彩色图像的分辨率为第二分辨率，如2048*2048。如图2f所示，第二网络30的输入图像可以分别记为low-res i
r,g,b
和high-res i
r,g,b
。
[0100]
可以理解的是，虽然图2f为示出，但是实际中第二网络30的还可以包括输入层，用于支持第二网络30输入未处理的彩色图像和低分辨率的去反光图像。
[0101]
卷积层31采用3
×
3的卷积核，用于对输入图像进行卷积运算。
[0102]
最大池化层32可以对来自卷积层31的输入图像进下采样，该下采样可以为最大值下采样或平均值下采样。作为示例，最大池化层32可以对输入图像进行三次下采样，使得这些图像的分辨率缩小8倍(比如32*32)。
[0103]
上卷积层33用于对来自最大池化层32的输入图像以及来自第一网络20输出的低分辨率的去反光图像进行三次上卷积操作，经过三次上卷积操作后输出的图像的分辨率恢复到原始输入第二网络的输入图像的分辨率(如256*256)。
[0104]
跳跃连接层25，在上卷积层33中各层执行上采样的过程中，用于把最大池化层32中对应层执行下采样之前的权重张量与上卷积层33中的当前层的张量拼接在一起，之后再执行下一次的上卷积操作。
[0105]
卷积层34用于对来自上卷积层33的输入图像进行卷积操作，输出的图像为去除反光后的rgb格式的去反光图像并且分辨率为第二分辨率(比如2048*2048)，即高分辨率的去反光图像，也即输入第二网络30的彩色图像对应的透射图像。如图2f所示，第二网络30的输出高分辨率的去反光图像可以记为high-res i
r,g,b
。
[0106]
可以理解的是，虽然图2f为示出，但是实际中第二网络30的还可以包括输出层，用
于支持第二网络30输出去除反光后的高分辨率的去反光图像。
[0107]
此外，本技术实例中对第一网络和第二网络的训练过程将在下文介绍，此处不再赘述。
[0108]
图像去反光具体流程
[0109]
根据本技术的一些实施例，结合上述场景中对成像设备10的描述，描述成像设备10执行图像去反光方法的工作流程，上述场景中描述的技术细节在此流程中依然适用，为了避免重复，有些在此次不再赘述。
[0110]
具体的，图3示出了本技术实施例提供的一种图像去反光方法的实施流程示意图。可以理解，图3所示流程中的各步骤执行主体可以为成像设备10或者成像设备10中的图像处理单元13。在另一些实施例中，图3所示流程各步骤的执行主体也可以是其他与成像设备10具有类似结构的电子设备，在此不做限制。
[0111]
具体地，如图3所示，该流程包括以下步骤：
[0112]
s301：获取待处理彩色图像和待处理偏振图像。
[0113]
作为一种示例，上述待处理彩色图像和待处理偏振图像可以分别通过图2a示出的成像设备10中的摄像头11和摄像头12采集得到。
[0114]
待处理彩色图像的图像格式可以为rgb格式，但不限于此。
[0115]
s302：对待处理偏振图像进行双线性插值得到待处理偏振图像对应的四个偏振子图像。
[0116]
其中，上述四个偏振子图像对应偏振片角度分别为45
°
、0
°
、90
°
和135
°
。并且，每个偏振子图像的长和宽均与待处理偏振图像的尺寸相同。
[0117]
可以理解的是，获取待处理偏振图像对应的四个偏振子图像的方式可以采用上文中的两种确定偏振子图像的方式中的任意一种确定，对此不做限定。
[0118]
作为一种示例，上述偏振图像可以为raw格式的灰度图像或彩色图像。相应的，偏振图像对应的四个偏振子图像为raw格式的灰度图像或彩色图像。
[0119]
当然，偏振图像的格式不限于上述示例，还可以为其他格式，例如偏振图像也可以是rgb格式等其他格式。
[0120]
s303：将待处理偏振图像对应的四个偏振子图像配准到待处理彩色图像。
[0121]
可以理解的是，由于待处理偏振图像和待处理彩色图像是由不同摄像头采集得到的，因此两个图像拍摄角度存在差别，那么将对应的偏振子图像配准到待处理彩色图像使得两者的图像特征对齐。
[0122]
在一些实施例中，将上述偏振子图像配准到待处理彩色图像的过程为：首先对待配准的偏振子图像和待处理彩色图像分别进行特征提取得到特征点；对两张图像通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。
[0123]
s304：利用待处理偏振图像对应的四个偏振子图像，确定待处理偏振图像对应的偏振度图和方位角图。
[0124]
在一些实施例中，可以通过上述公式(1)、(2)和(3)，对待处理偏振图像对应的四个偏振子图像中的像素点进行计算，从而得到待处理偏振图像对应的偏振度图和方位角图，即得到ρ图和φ图。
[0125]
s305：将待处理彩色图像、待处理偏振图像对应的偏振度图和方位角图分别下采样到第一分辨率。
[0126]
下采样的待处理彩色图像为分辨率较低，并且第一分辨率通常远小于待处理彩色图像的初始分辨率(记为第二分辨率)。例如，第二分辨率为2048*2048，而第一分辨率为256*256。当然，在其他一些示例中，第一分辨率和第二分辨率还可以为其他任意可实现的数值，例如第一分辨率还可以为412*256等，本技术对此不做具体限定。
[0127]
可以理解的是，本技术实施例中，将待处理彩色图像、偏振度图和方位角图下采样为低分辨率的图像主要考虑两个方面，一方面是后续对低分辨率的图像进行去反光处理节省计算资源，另一方面是可以弱化图像配准误差对后续去反光算法的影响。
[0128]
根据本技术的一些实施例，上述s301至s305可以由成像设备10中的图像处理单元13中的预处理模块131执行。
[0129]
s306：将下采样后的待处理彩色图像以及待处理偏振图像对应的下采样后的偏振度图和下采样后的方位角图输入预先训练的第一网络，并由第一网络输出待处理彩色图像对应的第一分辨率的去反光图像(即预测出的低分辨率的去反光图像)。例如，对于图1所示的场景，第一网络识别并去除了图像中由反光引起的大屏设备的反射图像，输出了分辨率较低的建筑物的彩色图像。
[0130]
根据本技术的一些实施例，预先训练的第一网络可以根据待处理偏振图像对应的下采样后的偏振度图和下采样方位角图，从下采样后的待处理彩色图像中识别出由反光引起的反射图像，并从下采样后的待处理彩色图像中去除该反射图像得到透射图像，即分辨率较低的去反光图像。
[0131]
根据本技术的一些实施例，参照图2e所示的第一网络20，下采样后的待处理彩色图像以及待处理偏振图像对应的下采样后的偏振度图和下采样后的方位角图可以组成5个通道的图像数据输入至第一网络20，并经过卷积层21，最大池化层22，上卷积层23以及卷积层24以及跳跃连接层25的处理，输出待处理彩色图像对应的低分辨率的去反光图像。
[0132]
s307：将待处理彩色图像和第一分辨率的去反光图像输入预先训练的第二网络，并由第二网络输出待处理彩色图像对应的第二分辨率的去反光图像，即得到了分辨率较高的高清去反光图像。例如，对于图1所示的场景，第二网络输出的高分辨率的去反光图像为高清的建筑物的彩色图像。
[0133]
根据本技术的一些实施例，预先训练的第二网络可以学习待处理彩色图像的图像细节，并将这些图像细节融合到分辨率较低的去反光图像中，以得到最终输出的高分辨的高清去反光图像。
[0134]
根据本技术的一些实施例，参照图2f所示的第二网络30，原始的待处理彩色图像先输入第二网络30，在待处理彩色图像经过卷积层31，最大池化层32处理之后，将处理后的待处理彩色图像以及由第一网络20输出的低分辨率的去反光图像同时输入上卷积层33，经过上卷积层33、跳跃连接层35和卷积层24的处理，输出待处理彩色图像对应的高分辨率的去反光图像。
[0135]
可以理解，本技术实施例中，首先通过两个摄像头分别采集高分辨率的彩色图像以及包含偏振信息的偏振图像。然后，通过串联的两个网络先后在低分辨率的彩色图像中去除反光对应的反射图像得到分辨率较低的去反光图像，和通过高分辨率的待处理彩色图
像将低分辨率的去反光图像处理为高清去反光图像。这样，通过串联的两级网络的去反光算法，能够节省计算资源。并且，在由传感器工艺限制导致偏振图像分辨率不高的情况下，也可以通过采集的分辨率较高的彩色图像生成高分辨率的去反光图像。
[0136]
图像去反光具体流程的触发流程
[0137]
本技术的一些实施例中，用户使用成像设备10的一些拍摄场景中不存在玻璃镜面反光，那么此时如果使用图像去除反光算法将造成不必要的资源浪费。为了成像设备10拍摄过程中合理利用资源，成像设备10需要先确定当前拍摄场景存在反光的拍摄场景，再执行图像去反光算法流程。
[0138]
进一步的，根据本技术的一些实施例，成像设备10中可以设置图像去反光功能。如果该功能开启，那么成像设备10在判断出拍摄场景中存在反光时执行图像去反光算法。如果该功能关闭，那么成像设备10将不会执行图像去反光算法。可以理解的是，在该功能关闭时，或者，该功能开启的情况下判断出拍摄场景中不存在玻璃镜面反光时，成像设备10仅通过摄像头11采集待处理彩色图像，而不会通过具有偏振传感器的摄像头12采集偏振图像，从而合理利用硬件资源。
[0139]
在一些实施例中，成像设备10的图像去反光功能可以默认开启，还可以由用户根据实际需求手动开启或者关闭，对申请对此不做具体限定。
[0140]
此外，根据本技术的一些实施例，在成像设备10不需要执行图像去反光算法时，可以对采集的待处理彩色图像作为最终的成像结果，或者对待处理彩色图像进行去噪处理等优化后生成最终的成像结果。
[0141]
作为示例，图4示出了本技术实施例提供的另一种图像去反光方法的实施流程示意图。可以理解，图4所示流程中的各步骤执行主体可以仍为成像设备10或者成像设备10中的图像处理单元13。图4与图3示出的方法流程的主要区别在于，在s301之前还需要先判断当前拍摄场景是否为存在玻璃镜面反光的反光场景。
[0142]
具体地，如图4所示，该流程包括以下步骤：
[0143]
s401:采集待处理彩色图像。
[0144]
根据本技术的一些实施例，在成像设备开启图像去反光功能的情况下，在接收到用户的拍摄触发操作之后，响应于该拍摄触发操作通过摄像头11采集待处理彩色图像。
[0145]
作为一种示例，在成像设备10为摄像机设备时，该摄像机设备可以设置有用于触发拍摄的物理拍摄按键，那么用户的拍摄触发操作为对该物理拍摄按键的按压操作，以触发采集待处理彩色图像。
[0146]
作为另一种示例，在成像设备10为手机时，参照图5所示，手机10处于相机应用的拍摄预览页面，该拍摄预览界面中包括拍摄控件51。此时，用户对拍摄控件51的点击操作为拍摄触发操作，用于触发手机10采集待处理彩色图像。
[0147]
此外，图5示出的拍摄预览界面上还包括功能控件52，该功能控件52处于选中状态表示手机10的图像去反光功能处于开启状态，表示后续可以执行s402以判断当前拍摄场景是否存在反光。可以理解，如果图5示出的功能控件52处于未选中状态，表示图像去反光功能处于关闭状态，那么用户可以通过点击该功能控件52重新开启图像去反光功能，进而执行后续s402。
[0148]
s402:获取待处理彩色图像的场景分类信息。
[0149]
在一些实施例中，成像设备10可以通过预先训练的分类模型获取待处理图像的场景分类信息。
[0150]
可以理解的是，上述分类模型中扩展了一个反光场景对应的类别，并制作了相应的数据集，使得该分类模型具有反光场景对应的标签，即使得该分类模型具有区分图像的场景是否为反光场景的能力。这样一来，成像设备10可以将待处理彩色图像输入该分类模型中，该分类模型将对待处理彩色图像进行识别并打上标签，而该标签将作为待处理图像的场景分类信息。
[0151]
上述分类模型可以实现为能够识别反光场景的任意分类模型，本技术对此不做具体限定。
[0152]
作为示例，分类模型具有玻璃反光、楼梯、天空、大海、十字路口、餐厅、楼梯、候车室等预设场景分类。具体地，在分类模型中输入待处理彩色图像之后，分类模型可以估计出该待处理彩色图像的场景符合各个预设场景分类的概率，将这些概率作为待处理彩色图像的场景分信息。
[0153]
s403：根据预览图像的场景分类信息，判断当前拍摄场景是否存在玻璃镜面反光。如果是则执行s404以执行图像去反光算法，如果否则进行s412输出最终成像结果。
[0154]
在一些实施例中，上述分类标签具有多种场景标签，而该多种场景标签中包含反光场景标签。那么，通过判断待处理彩色图像的场景信息所表示的标签为反光场景标签，如果是则说明当前拍摄场景存在玻璃镜面反光，如果否则说明当前拍摄场景不存在玻璃镜面反光。
[0155]
作为示例，在待处理彩色图像的场景分信息为分类模型识别出的场景符合各个预设场景分类的概率时，确定概率最高的预设场景分类作为该待处理彩色图像识别出的场景。例如，如果待处理彩色图像的场景分类信息指示出概率最高的预设场景分类为玻璃镜面反光，那么说明待处理彩色图像所处的场景中存在玻璃镜面反光。而如果待处理彩色图像的场景分类信息指示出概率最高的预设场景分类不是玻璃镜面反光而是楼梯，那么说明待处理彩色图像所处的场景中不存在玻璃镜面反光。
[0156]
s404：采集待处理偏振图像。
[0157]
在一些实施例中，成像设备10可以通过摄像头12采集待处理偏振图像。
[0158]
s405至411。其中，对s405-411与上述实施例中的s301至s307分别相同，本技术实施例对此不再赘述。
[0159]
可以理解的是，s405中成像设备10可以通过图像处理单元13获取摄像头11采集的待处理彩色图像，并获取摄像头12采集的待处理偏振图像。
[0160]
s412:输出待处理彩色图像对应的最终成像结果。
[0161]
根据本技术的一些实施例，在s403中判断出当前拍摄场景中不存在玻璃镜面反光的情况下，将待处理彩色图像作为最终成像结果输出，或者将待处理彩色图像进行去噪处理等优化后作为最终成像结果输出。
[0162]
根据本技术的另一些实施例，在s411确定出第二分辨率的去反光图像的情况下，将该去反光图像作为最终成像结果输出，或者将该去反光图像进行去噪处理等优化后作为最终成像结果输出。
[0163]
此外，可以理解，成像设备10输出最终成像结果时，可以保存该成像结果到成像设
备10的存储空间中，还可以在显示屏上显示该最终成像结果的画面。
[0164]
作为示例，手机10可以将最终成像结果存储在图库应用。进而，继续参照图5，用户可以对相机应用的拍摄预览界面中的最近拍摄图像入口53的点击操作，触发手机10展示最近一次拍摄的图像，即待处理彩色图像对应的最终成像结果。
[0165]
图像去反光流程应用的神经网络的训练流程
[0166]
进一步的，本技术实施例中在从待处理彩色图像中去除反光对应的反射图像得到去反光图像之前，还可以通过训练数据集中的数据样本训练第一网络和第二网络，使得这两个网络具备去除图像反光以及提升图像分辨率的功能。
[0167]
首先，本技术的一些实施例中，可以预先获取训练数据集，例如通过上述成像设备10采集并处理得到。此外，在本技术的其他一些实施例中，还可以通过成像设备10之外的其他具有偏振传感器的双目摄像头的成像设备采集并处理得到，对此不做具体限定。
[0168]
作为一种示例，训练数据集中包含多组训练数据，每组训练数据中包括一个训练彩色图像、一个训练偏振图像、一个训练反射图像(即反射真实图像)以及一个训练透射图像(即透射真实图像)。
[0169]
在一些实施例中，一组训练彩色图像、训练偏振图像以及训练反射图像可以通过成像设备10的摄像头直接采集的得到，而该训练透射图像可以通过该训练彩色图像与该训练反射图形的差值计算得到。其中，训练反射图像采集时需要遮住经过透明玻璃的透射光。
[0170]
参照图6所示，根据本技术的一些实施例，示出了一种图像采集场景的示意图。如图6所示，成像设备10隔着透明玻璃拍摄背侧物体并且成像设备10同侧存在产生反光的同侧物体。首先，成像设备10在透明玻璃前通过摄像头11采集一个彩色图像(记为i
ambient
)，并通过摄像头12采集一个偏振图像(记为i
pol
)。然后，固定成像设备10不动,使得成像设备10的摄像头不动，并在透明玻璃背侧蒙上一块不透明不反光的黑绒布，保持摄像头11的摄像参数不变，通过摄像头11采集真实的反射图像(记为i
reflection
)。使用iambient减去i
reflection
就得到了透射图像(记为i
transition
)。那么，i
ambient
作为一个训练彩色图像，i
pol
作为对应的训练偏振图像、ireflection作为对应的训练反射图像，i
transition
作为对应的训练透射图像，这些图像构成一组训练图像。类似的，以此类推，可以构建完成训练数据集。
[0171]
作为示例，参照图7所示，为申请实施例提供的一种图像去反光算法应用的神经网络的训练流程示意图。可以理解，图7所示流程中的各步骤执行主体可以为成像设备10或者成像设备10中的图像处理单元13。在另一些实施例中，图3所示流程各步骤的执行主体也可以是其他与成像设备10具有类似结构的电子设备，在此不做限制。此外，图7中的实施例主要对一组训练图像的处理为例，对第一网络和第二网络的训练过程进行介绍。
[0172]
具体地，如图7所示，该流程包括以下步骤：
[0173]
s701：获取训练彩色图像和训练偏振图像。
[0174]
s702：对训练偏振图像进行双线性插值得到训练偏振图像对应的四个偏振子图像。
[0175]
s703：将训练偏振图像对应的四个偏振子图像配准到训练彩色图像。
[0176]
s704：利用训练偏振图像对应的四个偏振子图像，确定训练偏振图像对应的偏振度图和方位角图。
[0177]
s705：将训练彩色图像、训练透射图像以及训练偏振图像对应的偏振度图和方位
角图分别下采样到第一分辨率。
[0178]
s706：将下采样后的训练彩色图像以及训练偏振图像对应的下采样后的偏振度图和下采样后的方位角图输入第一网络，并由第一网络输出训练彩色图像对应的第一分辨率的去反光图像。可以理解的是，训练彩色图像对应的第一分辨率的去反光图像为第一网络预测出的低分辨率的透射图像，也可以称为训练彩色图像对应的第一预测透射图像。
[0179]
其中，对上述s701至s706的描述可以参照图3示出的实施例中对s301至s306的描述，相同之处不再赘述。不同之处仅在于，处理的对象由实时采集的待处理彩色图像和待处理偏振图像变为预先采集的训练彩色图像和训练偏振图像；并且，s705中新增了对训练透射图像的下采样操作。
[0180]
s707：根据下采样后的训练透射图像和第一分辨率的去反光图像，确定第一网络的第一损失函数。
[0181]
根据本技术的一些实施例，第一损失函数为均方误差(mean-square error，mse)函数或者均方根误差(root mean square error,rmse)函数，但不限于此。
[0182]
作为示例，第一损失函数为l1＝mse(igt1，ipred1)，其中，mse()表示均方误差函数。其中，igt1表示下采样后的训练透射图像，即低分辨下的去反光后的透射图像的真值。而ipred1表示第一分辨率的去反光图像，即第一网络预测的低分辨率的去反光图像。
[0183]
s708：根据第一损失函数训练第一网络，以得到预先训练的第一网络。
[0184]
可以理解，均方误差mse通过计算预测值和实际值之间距离(即误差)的平方来衡量模型优劣。即预测值(如第一分辨率的去反光图像)和真实值(下采样后的训练透射图像)越接近，两者的均方差就越小。mse的值越小，说明第一网络描述实验数据具有更好的精确度。
[0185]
根据本技术的一些实施例，在第一损失函数的数值大于第一预设数值，可以通过调整第一网络的超参数，以训练第一网络，直至第一损失函数的数值小于或等于第一预设数值。其中，第一预设数值的具体取值可以根据实际需求选取，本技术实例对此不做具体限定。
[0186]
根据本技术的一些实施例，上述s707和s708可以由成像设备10中的图像处理单元13中的第一网络处理模块132执行。
[0187]
s709：将训练彩色图像和第一分辨率的去反光图像输入预先训练的第二网络，并由第二网络输出训练彩色图像对应的第二分辨率的去反光图像，即得到了分辨率较高的高清去反光图像。
[0188]
其中，对上述s709的描述可以参照图3示出的实施例中对s307的描述，相同之处不再赘述。不同之处仅在于，处理的对象由实时采集的待处理彩色图像和待处理偏振图像变为预先采集的训练彩色图像和对应的低分辨率的去反光图像。
[0189]
s710：根据训练透射图像和第二分辨率的去反光图像，确定第二网络的第二损失函数。
[0190]
根据本技术的一些实施例，第二损失函数为均方误差函数或者均方根误差函数，但不限于此。
[0191]
作为示例，第二损失函数为l2＝mse(igt2，ipred2)，其中，mse()表示均方误差函数。其中，igt2表示训练透射图像，即去反光后的透射图像的真值。而ipred2表示第二分辨
率的去反光图像，即第二网络预测的高分辨率的高清去反光图像。
[0192]
s711：根据第二网络的第二损失函数，训练第二网络和第一网络中的至少一个，以得到训练好的第一网络和第二网络。
[0193]
根据本技术的一些实施例，在第二损失函数的数值大于第二预设数值，可以通过调整第二网络的超参数和第一网络的超参数，以训练第二网络以及第一网络，直至第二损失函数的数值小于或等于预设参数并且第一损失函数的数值小于或等于第一预设数值。其中，第二预设数值的具体取值可以根据实际需求选取，本技术实例对此不做具体限定。
[0194]
根据本技术的一些实施例，上述s710和s711可以由成像设备10中的图像处理单元13中的第二网络处理模块131执行。
[0195]
如此，本技术实施例中采用串联的两级神经网络执行图像去反光算法之前，可以分阶段训练第一网络和第二网络，从而可以即使调整第一网络和第二网络的超参数，有利于提升网络训练的速度和效果。
[0196]
根据本技术的一些实施例，执行图像去反光方法的电子设备称为成像设备10，以成像设备10为手机10为例，对执行图像去反光算法的手机10的硬件进行介绍。
[0197]
如图8所示，手机10可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101以及显示屏102等。
[0198]
可以理解的是，本发明实施例示意的结构并不构成对手机10的具体限定。在本技术另一些实施例中，手机10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0199]
处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器cpu(central processing unit)、图像处理器gpu(graphics processing unit)、数字信号处理器dsp、微处理器mcu(micro-programmed control unit)、ai(artificial intelligence，人工智能)处理器或可编程逻辑器件fpga(field programmable gate array)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110中的存储单元为高速缓冲存储器180。作为一种示例，图2a示出的图像处理单元13可以通过处理器1110实现，例如图2d示出的预处理模块131可以通过处理器110中的gpu或dsp实现，而第一网络处理模块132和第二网络处理模块133可以通过处理器110中的cpu或mcu实现，但不限于此。
[0200]
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。
[0201]
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、lna(low noise amplify，低噪声放大器)等。移动通信模块130可以提供应用在手机10上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进
processing，图像信号处理)转换成数字图像信号。手机10可以通过isp，摄像头170，视频编解码器，gpu(graphic processing unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。作为一种示例，摄像头170中可以包括双目摄像头，例如包括图2示出的摄像头11和摄像头12，以支持手机10采集高分辨率的彩色图像并采集包含偏振信息的偏振图像。
[0208]
接口模块160包括外部存储器接口、通用串行总线(universal serial bus，usb)接口及用户标识模块(subscriber identification module，sim)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如micro sd卡，实现扩展手机10的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于手机10和其他电子设备进行通信。用户标识模块卡接口用于与安装至手机1010的sim卡进行通信，例如读取sim卡中存储的电话号码，或将电话号码写入sim卡中。
[0209]
在一些实施例中，手机10还包括按键101、马达以及指示器等。其中，按键101可以包括音量键、开/关机键等。马达用于使手机10产生振动效果，例如在用户的手机10被呼叫的时候产生振动，以提示用户接听手机10来电。指示器可以包括激光指示器、射频指示器、led指示器等。
[0210]
本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0211]
可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
[0212]
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0213]
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
[0214]
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或
者可以与其他特征组合。
[0215]
需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
[0216]
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0217]
虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。