一种图像去反射方法、系统、装置及存储介质

1.本发明涉及数字图像复原领域，尤其涉及一种图像去反射方法、系统、装置及存储介质。


背景技术：

2.当今社会的生产生活中，数字图像扮演着极其重要的角色。在信号处理和计算机视觉领域中，图像传感器拍摄过程光照造成的反射会导致户外视频系统捕获的图像颜色和对比度严重退化，很大程度上妨碍了后续图像的分析和理解。当人们在镜面物体，例如玻璃，前拍摄物体时，反射是非常常见的物理现象。为改善图像质量，提高图像后处理的有效性和可靠性，有必要采用降低反射或去除反射技术来滤除图像中的反射。
3.反射图像分离相关研究大体分为两类，第一类为输入多图像的镜面反射分离，第二类为使用单图像输入进行反射分离。
4.schechner等人和kong等人先后通过建立在物理反射模型的基础上，使用不同偏振角度拍摄的多幅图像来估计反射层。sirinukulwattana等人利用从稍有不同的视角拍摄的多幅图像中的反射变化对多幅图像视差施加约束，使反射层的特定区域平滑，同时保持传输的清晰度。此外，一些方法依赖视频序列来解除透射层和反射层之间的运动的相关性，利用运动差异将输入图像分解为初始传输和反射层。从初始层提取运动场，反复更新透射层与反射层以及估计运动场的过程，直至收敛。但是基于多幅图像和视频的方法因其采用的数据过多，加大数据采集难度和经济成本。
5.levin对两幅图像叠加合成的图像如何准确分离提出对应解决方案，并尝试运用到解决图像反射中。levin和weiss等人提出棱角最小先验实现反射图像分离方法尝试解决单图像反射分离。li和brown通过优化目标函数自动提取这两层，目标函数在反射层上施加平滑梯度，在传输层上施加稀疏梯度。这种梯度先验是通过观察反射通常比投射图像聚焦少，所以反射层梯度较弱。
6.lecun等人首次提出的深度卷积神经网络(convolutional neural network,cnn)在图像反射问题方面的应用也得到快速发展并取得卓越成果。zhang等人利用菲涅耳定律分析了反射光和透射光的偏振特性，将将偏振信息与深度学习方法相结合，可以有效地分离出反射分量和透射分量。但目前诸多方法仍有许多不足，由于在单幅图像采集过程中受到光线，目标景物，噪音等各方面因素的影响，且基于单图像的反射去除问题本身就是病态的，导致利用单幅图像将其中的反射完全分离仍然十分困难。


技术实现要素：

7.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种图像去反射方法、系统、装置及存储介质。
8.本发明所采用的技术方案是：
9.一种图像去反射方法，包括以下步骤：
10.合成反射图像，根据反射图像构建包含背景层图像和反射层图像的合成数据集；
11.确定基础滤波器，根据基础滤波器构造多种形态滤波器，作为强化滤波中的动作集a；
12.将合成数据集中的反射图像输入深度强化学习网络，输出所述反射图像的价值v和策略π两部分；
13.根据策略π从动作集a中选择形态滤波器，对输入的反射图像去反射，得到对应的背景层图像和反射层图像；
14.根据得到的背景层图像和反射层图像对深度强化学习网络进行训练；
15.将测试数据集中的反射图像输入训练好的深度强化学习网络，输出对应的反射层图像和背景层图像。
16.进一步地，所述基础滤波器包括高斯滤波器、双边滤波器、中值滤波器；
17.所述确定基础滤波器，根据基础滤波器构造多种形态滤波器，作为强化滤波中的动作集a，包括：
18.选择基础滤波器；
19.将一个正方形的基础滤波器过中心均分为多份，设计有8种不同区域，分别表示为a1到a8；
20.将区域绕滤波器中心点做不同角度的旋转，分别得到一系列的区域，属于区域内的权值等于对应基础滤波器的权值，其余部分权值置零；
21.约束每个新构造出来的滤波器权值总和为1，从而得到一系列不同的形态滤波器组合而成的动作集a。
22.进一步地，所述深度强化学习网络包括策略网络和价值网络，所述将合成数据集中的反射图像输入深度强化学习网络，输出所述反射图像的价值v和策略π两部分，包括：
23.将反射图像输入深度强化学习网络进行特征提取，获得特征图像，将特征图像输入到策略网络和价值网络；
24.其中，策略网络共有四层滤波器，其中前三层为64个大小为3
×3×
64的滤波器的卷积层和激活函数relu；第四层的滤波器大小为3
×3×
64，输出维度等于动作集的大小，代表每个动作的策略π；；
25.价值网络共有三层滤波器，其中前两层为64个大小为3
×3×
64的滤波器的卷积层和激活函数relu；第三层的滤波器大小为3
×3×
64，输出维度为1，代表当前的价值v。
26.进一步地，所述根据策略π从动作集a中选择形态滤波器，对输入的反射图像去反射，得到对应的背景层图像和反射层图像，包括：
27.根据得到的关于每个动作的策略π，从动作集a中选择最优策略对应的滤波器，采用选择获得的滤波器对对应的区域做卷积操作，得到当前的背景层图像t’和反射层图像r’。
28.进一步地，所述根据得到的背景层图像和反射层图像对深度强化学习网络进行训练，包括：
29.根据得到的背景层图像和反射层图像进行梯度计算，采用反向传播算法训练深度强化学习网络的参数；
30.其中，计算策略网络的梯度的方式如下：
[0031][0032]
式中，表示第t次迭代的背景层图像的状态，a
(t)
表示第t次迭代的动作，表示第t次迭代的动作，表示第t次迭代的动作，i
target
表示原背景层图像，表示第t+n次迭代的背景层图像的价值；
[0033]
其中，计算价值网络的梯度的方式如下：
[0034][0035]
式中，表示第t次迭代的背景层图像的状态，表示第t次迭代的背景层图像的价值，r
(t)
表示第t次迭代的奖励。
[0036]
进一步地，在训练过程中，损失函数的计算公式如下：
[0037][0038]
其中，i
target
表示原背景层图像，表示第t次迭代的背景层图像的状态，表示第t-1次迭代的背景层图像的状态。
[0039]
进一步地，所述合成反射图像，根据反射图像构建包含背景层图像和反射层图像的合成数据集，包括：
[0040]
在预设的真实图像数据集中，随机选择两张图像分别作为反射层和背景层，从而合成若干张具有反射图像和背景层反射层图像的合成数据集；
[0041]
在合成数据集中随机沿横轴翻转或沿竖轴翻转，再随机角度旋转，随机裁取大小为r
×
r的反射图像区域块。
[0042]
本发明所采用的另一技术方案是：
[0043]
一种图像去反射系统，包括：
[0044]
数据获取模块，用于合成反射图像，根据反射图像构建包含背景层图像和反射层图像的合成数据集；
[0045]
动作获取模块，确定基础滤波器，根据基础滤波器构造多种形态滤波器，作为强化滤波中的动作集a；
[0046]
图像输入模块，用于将合成数据集中的反射图像输入深度强化学习网络，输出所述反射图像的价值v和策略π两部分；
[0047]
去反射模块，用于根据策略π从动作集a中选择形态滤波器，对输入的反射图像去反射，得到对应的背景层图像和反射层图像；
[0048]
模型训练模块，用于根据得到的背景层图像和反射层图像对深度强化学习网络进行训练；
[0049]
模型测试模块，用于将测试数据集中的反射图像输入训练好的深度强化学习网络，输出对应的反射层图像和背景层图像。
[0050]
本发明所采用的另一技术方案是：
[0051]
一种图像去反射装置，包括：
[0052]
至少一个处理器；
[0053]
至少一个存储器，用于存储至少一个程序；
[0054]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0055]
本发明所采用的另一技术方案是：
[0056]
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0057]
本发明的有益效果是：本发明通过深度强化学习方法学习形态滤波器的选择，增加图像去反射过程中的可解释性，改善迭代滤波策略，提高了图像去反射的性能。
附图说明
[0058]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0059]
图1是本发明实施例中一种基于形态滤波强化学习的图像去反射方法的步骤流程图；
[0060]
图2是本发明实施例中深度强化学习网络的示意图；
[0061]
图3是本发明实施例中8种动作集区域的表示图；其中，任何一种都是红色部分权值不为0，白色部分权值为0，不为0的部分取值为基础滤波器，最后再约束其的权值之和为1。
具体实施方式
[0062]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0063]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0064]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0065]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体
含义。
[0066]
如图1所示，本实施例提供一种基于形态滤波强化学习的图像去反射方法，该方法针对构造简单的问题提供一种更加灵活的滤波器构造方式，并将其称为形态滤波器；针对选择简单的问题，提出基于深度强化学习的方法，迭代的选择合适的形态滤波器，最终达到去反射的目的。该方法具体包括以下步骤：
[0067]
s1、合成反射图像，根据反射图像构建包含背景层图像和反射层图像的合成数据集。
[0068]
首先合成反射图像，以及建立对应背景层、反射层图像的合成数据集，通过合成的反射图像数据集对的深度强化学习网络进行训练。其中，为合成反射图像数据集，在现有的真实图像数据集中随机选择两张图像分别作为反射层和背景层，从而合成若干张具有反射图像和背景层反射层图像的合成数据集；在合成数据集中随机沿横轴、竖轴翻转，再随机角度旋转，然后随机裁取大小为r
×
r的反射图像区域块。
[0069]
具体地，图像数据集为imagenet dataset和bsd500 dataset，从中随机选择两张图像分别作为反射层和背景层，从而合成1000张具有反射图像和背景层反射层图像的合成数据集；在合成数据集中随机沿横轴、竖轴翻转，再随机角度旋转，然后随机裁取大小为r
×
r的反射图像区域块，本实施例中，r＝70；
[0070]
s2、确定基础滤波器，根据基础滤波器构造多种形态滤波器，作为强化滤波中的动作集a。
[0071]
确定基础滤波器，例如高斯滤波器、双边滤波器、中值滤波器等等，在基础滤波器的基础上构造出多种形态滤波器，用作强化滤波中的动作集a。其中，步骤s2具体包括步骤s21-s23：
[0072]
s21、选择合适的基础滤波器，包括高斯滤波器：等；
[0073]
s22、将一个正方形的基础滤波器过中心均分为多份，设计有8种不同区域分别表示为a1到a8，如图3所示。将上述区域绕滤波器中心点做不同角度的旋转，分别得到一系列的区域，而属于区域内的权值等同于对应基础滤波器的权值，其余部分权值置零。
[0074]
s23、约束每个新构造出来的滤波器权值和为1，从而得到一系列不同的动作(形态滤波器)组合而成的动作集。为了简便表示，用a
{x，y}
代表由区域a
x
和ay旋转得到的不同动作的集合，可以根据需要选择更多或更少的动作集。此外，除上述动作外存在一个特殊的动作(形态滤波器)：不对像素点进行更新(中心值为1，其余为0)，这将发生在网络做出该像素不需要进行进一步的更新，因此采取不更新操作的判断时。
[0075]
s3、将合成数据集中的反射图像输入深度强化学习网络，输出所述反射图像的价值v和策略π两部分。
[0076]
构造深度强化学习网络结构，如图2所示。具体模块有积层conv、激活函数relu等，输入为一张带反射图像(块)，经过网络中的卷积、激活等一系列线性、非线性操作得到输出为该反射图像(块)的价值v和策略π两部分，具体结构如下：
[0077]
首先输入为w
×h×
c的图像(灰度图c为1，彩图c为3)，利用64个大小为3
×3×
c的滤波器的卷积层和激活函数relu进行特征提取，一共有四层，特征分别输入到策略网络和价值网络，即这两个子网络有着相同的输入；
[0078]
策略网络有三层64个大小为3
×3×
64大小的滤波器的卷积层和激活函数relu；第四层的滤波器大小为3
×3×
64，但输出维度等于动作集的大小，代表每个动作的策略π；
[0079]
价值网络有两层64个大小为3
×3×
64大小的滤波器的卷积层和激活函数relu；第三层的滤波器大小为3
×3×
64，输出维度为1，代表当前的价值v。
[0080]
s4、根据策略π从动作集a中选择形态滤波器，对输入的反射图像去反射，得到对应的背景层图像和反射层图像。
[0081]
根据步骤s3得到的策略π，选择步骤s2获得的动作集a中的最优的形态滤波器，通过选择的形态滤波器对，对应区域做卷积操作，得到对应的当前的背景层图像t’和反射层图像r’。
[0082]
s5、根据得到的背景层图像和反射层图像对深度强化学习网络进行训练。
[0083]
通过得到的第t次迭代的背景层图像和反射层图像利用误差反向传播算法训练强化滤波网络；将背景层图像再次作为网络的输入回到步骤s2，直到达到循环次数t
max
，本实施例中t
max
＝5，具体步骤如下：
[0084]
s51、计算策略网络的梯度为：
[0085][0086]
式中，表示第t次迭代的背景层图像的状态，a
(t)
表示第t次迭代的动作，表示第t次迭代的动作，表示第t次迭代的动作，
[0087]
s52、计算价值网络的梯度为：
[0088][0089]
其中表示第t步背景层图像的状态，表示第t步背景层图像的价值。
[0090]
s53、利用步骤s4得到的去反射的背景层图像和反射层图像根据当前背景层图像和干净图像的均方差和上一次背景层图像和干净图像的均方差的差值作为损失函数根据步骤s51和s52中的梯度计算，使用sgd反向传播算法进行训练，训练各层网络的参数。
[0091]
若此时循环次数没有到达最大循环次数t
max
则回到步骤s2，将当前的背景图层作为步骤s2的输入；若已经达到最大循环次数t
max
则进入步骤s5。在去反射过程中将选择每次迭代中最合适的形态滤波器，得到一系列逐渐去除反射的背景层图像。
[0092]
s6、将测试数据集中的反射图像输入训练好的深度强化学习网络，输出对应的反射层图像和背景层图像。
[0093]
在本实施例中，测试数据集为真实世界已知背景层图像和带反射图像的real images from dataset和sir2-postcard dataset，以及利用imagenet dataset和bsd500 dataset新合成的带反射图像，将其中带反射的图像输入训练好的强化滤波网络模型，输出对应的反射层图像和背景层图像。
[0094]
综上所述，本实施例方法相对于现有技术，具有如下的优点及效果：
[0095]
(1)本发明针对于合成反射数据集有别于真实世界的反射图像。现实世界中得到真实有效的训练数据需要耗费大量时间的资源。
[0096]
(2)本发明构造灵活的形态滤波器，通过增加强化学习的动作集，提高去反射的性能。
[0097]
(3)本发明提出更好的形态滤波器选择策略：通过深度强化学习模型得到形态滤波器的选择，在去反射过程中更具有可解释性。
[0098]
(4)本发明能够对大部分的自然场景反射图像产生较好的复原效果。
[0099]
本实施例还提供一种图像去反射系统，包括：
[0100]
数据获取模块，用于合成反射图像，根据反射图像构建包含背景层图像和反射层图像的合成数据集；
[0101]
动作获取模块，确定基础滤波器，根据基础滤波器构造多种形态滤波器，作为强化滤波中的动作集a；
[0102]
图像输入模块，用于将合成数据集中的反射图像输入深度强化学习网络，输出所述反射图像的价值v和策略π两部分；
[0103]
去反射模块，用于根据策略π从动作集a中选择形态滤波器，对输入的反射图像去反射，得到对应的背景层图像和反射层图像；
[0104]
模型训练模块，用于根据得到的背景层图像和反射层图像对深度强化学习网络进行训练；
[0105]
模型测试模块，用于将测试数据集中的反射图像输入训练好的深度强化学习网络，输出对应的反射层图像和背景层图像。
[0106]
本实施例的一种图像去反射系统，可执行本发明方法实施例所提供的一种图像去反射方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0107]
本实施例还提供一种图像去反射装置，包括：
[0108]
至少一个处理器；
[0109]
至少一个存储器，用于存储至少一个程序；
[0110]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
[0111]
本实施例的一种图像去反射装置，可执行本发明方法实施例所提供的一种图像去反射方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0112]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0113]
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种图像去反射方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0114]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体
上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0115]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0116]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0117]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0118]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0119]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0120]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0121]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0122]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。