一种用于视频监控高清呈现的图像超分辨率重建方法及装置

1.本发明涉及图像处理领域，具体涉及一种用于视频监控高清呈现的图像超分辨率重建方法及装置。


背景技术：

2.从目前的市场应用来看，非智能摄像机依然占据市场最大份额，未来，前端智能化摄像必将成为主流。然而传统的视频系统只能完成监控录像、视频联网这些基本功能，无法实现事前预防、突发情况预警功能。智能视频分析得益于新基建的需求刺激在雪亮工程、智安小区、城市治理、城镇老旧小区改造等项目快速发展。智能视频分析通常可以分为运动目标的识别、目标跟踪与行为理解，这一切的任务都有赖于超高清的图像。在复杂环境下的图像超分辨率重建更加困难，但是其具有重大的现实意义。因此，研究对于城市地下空间作业环境下视频监控高清呈现的图像超分辨率重建是其视频监控中至关重要的环节。本方法采用改进的双回归闭环网络来提高单幅图像超分辨重建的效果。
3.一直以来，低级(low
‑
level)视觉任务中的图像超分辨率重建都是计算机视觉技术的热点。在图像超分辨率重建领域，传统的大多采用基于插值和正则化的方法。如，最邻近插值、双线性插值以及双三次插值直都有着不错的效果。到近几年的基于深度学习、深度神经网络的模型不断提出和优化，端到端的图像超分辨率重建任务有了质的进步。
4.单幅图像超分辨率的双回归网络(dual regression networks for single image super
‑
resolution)：即除了lr到hr图像的映射外，还额外学习了一个双重回归映射来估计下采样核并重建lr图像，其中形成一个闭环以提供额外监督，并且由于双重回归过程并不依赖于hr图像，可以直接从lr图像中学习。
5.双回归训练方案分成两部分，是其中包含一个超分辨率的原始回归任务和一个将超分辨率图像投影回lr图像的双重回归任务。，目前存在的缺陷在于：第一，学习从lr到hr图像的映射是一个典型的不适定问题，因为存在无穷多的hr图像。所以从lr到hr图像映射空间太大，难以使网络学习到合适的映射函数；第二，训练数据中高低分辨率的图像往往都是成对出现的，由此训练的网络模型在现实泛化应用中性能表现较差。


技术实现要素：

6.针对上述现有技术的缺点，本发明提出一种用于视频监控高清呈现的图像超分辨率重建方法及装置，改进在于：第一，针对当前仍然存在可能的映射函数空间大，导致性能有限的问题，本方法提出一个额外的限制，以减少可能的空间，这样超分辨图像可以重建输入lr图像；第二，针对当前大多数sr方法依赖于配对的训练数据的问题，因为这种方法很难获得有前景的sr模型，所以，本发明提出直接从lr图像学习，使lr图像的回归不依赖于hr图像。
7.一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：所述方法首先设计配对数据的双回归方案，在配对数据上，通过重建lr图像引入额外的约束，以减少可
能函数的空间；然后关注未配对的数据，并将二元回归方案应用于真实世界的数据，从得到的超分图像中退质出低分图像，具体包含如下两部分：
8.第一部分，配对数据的双回归方案；
9.引入一个额外的限制lr数据，除了学习映射lr
→
hr，还学习从超分辨率图像到lr图像的双重映射；通过联合学习原始回归和双重回归这两个学习任务，提出训练超分辨率模型；
10.第二部分，不成对数据的双重回归方案；
11.在不成对数据的双重回归方案中，提出了训练算法来处理sr模型，使sr模型适应各种不成对的数据。
12.进一步的，本方法中，假设x∈x为lr图像，y∈y为hr图像，网络同时学习原始映射p去重建hr图像，学习双重映射d去重建lr图像，将sr问题化为包含两个回归任务的双重回归方案：
13.原始回归任务为，寻找一个函数p:x
→
y，使预测的p(x)与其对应的hr图像y相似；
14.双重回归任务为，寻找一个函数d:y
→
x，使预测的d(y)与其原始输入lr图像x相似；
15.原始学习任务和双重学习任务形成一个闭环，为训练模型p和d提供信息监督；如果p(x)为正确的hr图像，那么下采样图像d(p(x))和lr图像x接近。
16.进一步的，第一部分中，给定一组n个成对样本，其中x
i
和y
i
分别表示成对数据集中的第i对低分辨率和高分辨率图像；训练的损失函数写为：
[0017][0018]
其中lp和l
d
分别表示原始和双重回归任务的损失函数；λ控制双重回归损失的权重。
[0019]
进一步的，第一部分中，把drn建立在超分辨率的u
‑
net设计之上；drn模型由原始网络和双重网络两部分组成，原始网络遵循下采样设计：下采样和上采样模块都包含log2(s)基本块，其中s表示比例因子，即网络将有2个块用于4倍放大，3个块用于8倍放大；使用b剩余通道注意块rcab构建每个基本块；之后，添加额外的输出以产生相应比例的图像，即1倍、2倍和4倍图像，并将建议的损失应用于它们以训练模型。
[0020]
进一步的，第一部分中，使用双线性核来提升lr图像，然后将它们输入原始网络；设计了一个双重网络来从超分辨率图像中产生下采样的lr图像，双重任务用于学习下采样操作；该双重模型包括两个卷积层和一个leakyrelu激活层。
[0021]
进一步的，第一部分中，进行配对训练数据，遵循监督sr方法的学习方法，并通过最小化方程来训练模型。
[0022]
进一步的，第二部分中，给定m个不成对的lr样本和n个成对的合成样本，目标函数写成：
[0023][0024]
其中ls
p
是当x
i
∈sp时等于1的指标函数，否则该函数等于0。
[0025]
进一步的，第二部分中，不成对对数据的训练方法为，对于每次迭代，首先从su中抽取m个未配对的真实世界数据，从sp中抽取n个配对的合成数据；接着加载预处理模型p和d；未收敛时通过来自su的未标记数据以及来自sp的样本标记数据来更新原始模型；通过最小化目标来更新p：
[0026][0027]
以此来更新原始模型；
[0028]
通过最小化目标更新d：
[0029][0030]
以此来更新对偶模型；
[0031]
然后，通过最小化eqn中的目标来端对端地训练模型，将不成对数据的数据比率定义为：
[0032]
ρ＝m/(m+n)
[0033]
通过改变成对合成样本的数量n来调整ρ。
[0034]
进一步的，设置ρ＝30％以获得最佳结果。
[0035]
进一步的，所述装置包括视频采集模块，pc端控制模块，用于图像超分辨率重建的huawei atlases200 developer kit图像处理开发模块和显示模块，其中视频采集模块和pc端控制模块分别通过pal和rs485与图像处理开发模块连接，图像处理开发模块通过pal与显示模块连接。
[0036]
本发明达到的有益效果为：
[0037]
(1)本方法通过引入一个额外的约束来开发一个改进的双重回归方案，这样映射可以形成一个闭环，lr图像可以被重建来提高sr模型的性能，通过提出的双重回归方案，深度模型可以很容易地适应现实世界的数据.
[0038]
(2)本方法对于配对训练数据和非配对现实数据的sr任务都进行了研究。
[0039]
(3)本方法提出的双重回归方案利用真实世界的lr数据和成对的合成数据，使sr模型适应新的lr数据，此方法不同于完全抛弃配对的合成数据。
附图说明
[0040]
图1为双回归网络超分重建的一般过程示意图。
[0041]
图2为本发明实施例中用于视频监控高清呈现的单幅图像超分辨率重建方法示意图。
[0042]
图3为本发明实施例中用于视频监控高清呈现的图像超分辨率重建装置结构示意图。
[0043]
图4为本发明实施例中不成对数据的自适应算法流程图。
具体实施方式
[0044]
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
[0045]
本发明提出了一种面向地下空间环境下作业的智能视频监控图像超分辨率重建的方法及装置，其主要目的是利用闭环来缩小sr的可能函数的空间，并且考虑学习非对称映射，为使用循环的合理性和必要性提供了理论保证。所述装置包括视频采集模块，pc端控制模块，用于图像超分辨率重建的huaweiatlases200 developer kit图像处理开发板和显示模块，其结构示意图如图3所示。本方法主要包含两部分，首先在配对数据上，通过重建lr图像引入额外的约束，以减少可能函数的空间。因此，可以显著提高sr模型的性能。其次，也关注未配对的数据，并将二元回归方案应用于真实世界的数据，其结构示意图如图2所示。图中黑色箭头是正向网络，先降采样提取特征超分重建；红色箭头为双重网络，从得到的超分图像中退质出低分图像。假设x∈x为lr图像，y∈y为hr图像，网络同时学习原始映射p去重建hr图像，学习双重映射d去重建lr图像。注意，双重映射可以看作是对底层下采样核的估计。在一般情况下，将sr问题化为包含两个回归任务的双重回归方案。
[0046]
原始回归任务(primal regression task)：寻找一个函数p:x
→
y，使预测的p(x)与其对应的hr图像y相似。
[0047]
双重回归任务(dual regression task)：寻找一个函数d:y
→
x，使预测的d(y)与其原始输入lr图像x相似。
[0048]
原始学习任务和双重学习任务可以形成一个闭环，为训练模型p和d提供信息监督。如果p(x)为正确的hr图像，那么下采样图像d(p(x))应该和lr图像x非常接近。在这种约束下，可以减少可能映射的函数空间，使得能够更容易学到更好的重建hr图像的映射。
[0049]
第一部分：配对数据的双回归方案。
[0050]
为了解决映射函数的空间可能非常大的问题，引入一个额外的限制lr数据。具体来说，除了学习映射lr
→
hr，还学习从超分辨率图像到lr图像的双重映射。通过联合学习原始回归和双重回归这两个学习任务，本方法提出如下训练超分辨率模型。给定一组n个成对样本，其中x
i
和y
i
分别表示成对数据集中的第i对低分辨率和高分辨率图像。训练的损失函数可以写为：
[0051][0052]
其中lp和l
d
分别表示原始和双重回归任务的损失函数。λ控制双重回归损失的权重。在实践中，本方法只在lr数据上增加了双重回归损失，同时保持了与原始sr模型大致相同的成本。
[0053]
本方法把drn(deep neural networks)建立在超分辨率的u
‑
net设计之上。drn模型由两部分组成:原始网络和双重网络，原始网络遵循下采样设计。下采样和上采样模块都包含log2(s)基本块，其中s表示比例因子。这意味着网络将有2个块用于4倍放大(见图2)，3个块用于8倍放大。与基线u
‑
net不同，使用b剩余通道注意块(rcab)构建每个基本块，以提高模型容量。之后，添加额外的输出以产生相应比例的图像(即，1倍、2倍和4倍图像)，并将建议的损失应用于它们以训练模型。请注意，本方法使用双线性核来提升lr图像，然后将它们输入原始网络。设计了一个双重网络来从超分辨率图像中产生下采样的lr图像(见图2中的红线)。请注意，双重任务旨在学习下采样操作，这比学习上尺度映射的原始任务简单得多。因此，本方法设计的双重模型只有两个卷积层和一个leakyrelu激活层，其计算成本比
原始模型低得多，但在实践中运行良好。
[0054]
进行配对训练数据，遵循监督sr方法的学习方法，并通过最小化方程来训练模型。
[0055]
第二部分：不成对数据的双重回归方案。
[0056]
在不成对数据的双重回归方案中，考虑了一个更一般的sr情况，在现实世界lr数据中没有相应的hr数据。更关键的是，lr图像的退化方法往往是未知的，这使得这个问题非常具有挑战性。在这种情况下，现有的sr模型通常会产生严重的适应性问题。为了缓解这个问题，本方法提出了一个有效的算法来适应新的sr模型。训练算法如图4所示。
[0057]
请注意，双重回归映射学习潜在的退化方法，不一定依赖于hr图像。因此，可以使用它直接从不成对的真实世界lr数据中学习，以执行模型自适应。为了确保高分辨率图像的重建性能，还结合了来自成对合成数据的信息，这些信息可以非常容易地获得(例如，使用双三次核)。给定m个不成对的lr样本和n个成对的合成样本，目标函数可以写成：
[0058][0059]
其中ls
p
是当x
i
∈sp时等于1的指标函数，否则该函数等于0。
[0060]
不成对对数据的训练方法：如算法图3所示，对于每次迭代，首先从su中抽取m个未配对的真实世界数据，从sp中抽取n个配对的合成数据；接着加载预处理模型p和d；未收敛时通过来自su的未标记数据以及来自sp的样本标记数据来更新原始模型；通过最小化目标来更新p：
[0061][0062]
以此来更新原始模型。
[0063]
通过最小化目标更新d：
[0064][0065]
以此来更新对偶模型。
[0066]
然后，通过最小化eqn中的目标来端对端地训练模型。为了方便起见，将不成对数据的数据比率定义为：
[0067]
ρ＝m/(m+n)
[0068]
由于成对合成数据可以非常容易地获得(例如，执行双三次核以产生lr
‑
hr对)，我们可以通过改变成对合成样本的数量n来调整ρ。在实践中，设置ρ＝30％以获得最佳结果。利用所提出的双重回归方案，可以使sr模型适应各种不成对的数据，同时保持良好的重建性能。
[0069]
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。