一种多帧图像超分辨率重建方法及其重建系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，特别涉及一种多帧图像超分辨率重建方法及其重 建系统。
【背景技术】
[0002] 图像的分辨率是指成像系统对图像细节的分辨能力，它是衡量图像质量的重要指 标之一。高分辨率图像能够提供丰富的细节信息，随着经济、科技、文明的不断进步，高分辨 率图像的需求在医学、安全、娱乐等各个领域越来越大。如，医生希望通过高分辨率CT或B超 图像辨识病灶;公安部门希望通过高分辨率监控图像辨识嫌疑人身份或车辆信息;娱乐商 家希望通过高分辨率视频，让观众获得更加逼真、细腻的视觉效果。
[0003] 提高分辨率最直接的方法是增加数字图像采集系统的硬件分辨率，主要从提升图 像传感器分辨率和镜头分辨率两个方面着手考虑。但是，硬件方法存在技术上的瓶颈，而且 成本昂贵，难以普及应用。用软件方法提升图像分辨率的方法称为超分辨率重建技术，其利 用低分辨图像之间可能存在的互补信息，重建一副或多幅高分辨率图像。超分辨率重建技 术初期发展较为缓慢，研究方向主要集中在将一些经典方法(如插值、正则化、最小二乘法 等）用于该技术的尝试和探索，这些重建效果往往不是很理想。近期随着图割算法、稀疏表 示、深度学习等理论、方法的提出和发展，超分辨率重建技术在这些新理论和新方法的影响 下，取得了极大的进步，这些新方法和新理论与超分辨率重建技术的结合显著地提升了重 建效果和重建速度。
[0004] 分析现有重建方法，大多数方法只在重建倍数较小时才能取得良好的效果，当重 建倍数提升到4X4(所重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍)或更高 的时候，重建效果和重建速度明显降低。
【发明内容】
[0005] 本发明实施例提供了一种多帧图像超分辨率重建方法及其重建系统，用以解决现 有技术中重建倍数提高到4X4或更高时重建效果和重建速度明显降低的问题。
[0006] -种多帧图像超分辨率重建方法，该方法包括：
[0007] 根据几何变换计算临时结果；
[0008] 根据模糊核计算用于构建能量函数的滤波器的传递函数；
[0009] 使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采 用图割算法进行极小化求解，即可得到最终的高分辨率图像。
[0010] 本发明实施例还提供了一种多帧图像超分辨率重建系统，包括：
[0011]临时结果计算模块，用于根据几何变换计算临时结果；
[0012] 传递函数计算模块，用于根据模糊核计算用于构建能量函数的滤波器的传递函 数；
[0013] 高分辨率图像获取模块，用于使用所述滤波器的传递函数和临时结果构建用于超 分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。
[0014] 本发明实施例中，使用根据几何变换获得的临时结果和根据模糊核获得的滤波器 传递函数构造用于超分辨率重建的传递函数，采用图割算法进行极小化求解，即可得到最 终的高分辨率图像，使重建效果和重建速度均得到改善。
【附图说明】
[0015] 为了更清楚地说明本发明发明实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。
[0016] 图1为本发明实施例提供的一种多帧图像超分辨率重建方法的步骤流程图；
[0017] 图2为图1中步骤100的子步骤流程图；
[0018]图3为图1中步骤200的子步骤流程图；
[0019] 图4-5为图3中子步骤使用的邻域关系和模糊核示意图；
[0020] 图6为图1中步骤300的子步骤流程图；
[0021 ]图7为实施例一使用的高分辨率源图的示意图；
[0022] 图8为幂指数对重建结果的影响图；
[0023] 图9为高斯模糊核的错误估计对重建结果的影响图；
[0024] 图10为实施例三使用的高分辨率源图、多帧低分辨率图像、参考帧插值图以及重 建后的高分辨率图像；
[0025] 图11为实施例四使用的高分辨率源图、参考帧插值图以及重建后的高分辨率图 像；
[0026] 图12为本发明实施例提供的一种多帧图像超分辨率重建系统的组成示意图。
【具体实施方式】
[0027] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0028] 参照图1，示例性的给出了本发明实施例提供的一种多帧图像超分辨率重建方法 流程示意图，该方法包括以下步骤：
[0029] 步骤100,根据几何变换计算临时结果;
[0030] 步骤200,根据模糊核h计算用于构建能量函数的滤波器的传递函数石；
[0031] 步骤300,使用所得滤波器的传递函数石和临时结果构建用于超分辨率重建 的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。
[0032] 在步骤100之前，将某帧低分辨率图像设定为参考帧，通常将第一帧设为参考帧。 如果几何变换Tk未知，利用配准算法确定T k。配准算法为本领域技术人员的常用技术，故在 此不做介绍。
[0033] 如图2所示，步骤100具体包括：
[0034]子步骤101，根据以下公式（1)计算每个高分辨率像素 p在每帧低分辨率图像(例如 第k帧低分辨率图像gk)中的投影：
[0035] p〃k = DTkp (1)，
[0036] 式(1)中，D为降采样算子，由重建倍数决定。
[0037]子步骤102,选择距离p〃k最近的低分辨率像素 p'k，并按照如下公式(2)计算低分辨 率像素在重建中的权重：
[0038]
(2),
[0039]式(2)中，m为幂指数，d为低分辨率像素 p〃k与低分辨率像素 P' k之间的距离。
[0040]子步骤103，按照公式(3)确定的权重，将挑选出来的低分辨率像素的灰度值加权 求和，获得如下临时结果：
[0041 ]
(3),
[0042]式(3)中，gkYk)为低分辨率像素的灰度值。
[0043] 如图3、图4和图5所示，步骤200具体包括：
[0044]子步骤201，如图4a所示的3 X 3邻域系统，获取成像系统的模糊核h，如图4b所示。 获取模糊核h的方法为本领域技术人员的常用技术，在此不做赘述。
[0045]子步骤202,根据模糊核h计算hMt、hexp和hzp，其中，为将模糊核h旋转180°得到 的结果，如图4c所示;hexp为将模糊核h进行扩展后得到的扩展模糊核，如图5a所示;hzp为将 模糊核h进行零填充得到的结果，如图4d所示。
[0046] 子步骤203,利用hexp和hzp，按照公式(4)计算石，石如图5b所示：
[0047] ..
.，. （4)，
[0048]式⑷中，为模糊核h的中心权重；
[0049] 子步骤204,利用,按照公式(5)计算滤波器的传递函数石，石如图5c所示：
[0050]
(5)〇
[0051 ] 如图6所示，步骤300具体包括：
[0052]子步骤301，根据公式(6)构造用于超分辨率重建的能量函数：
[0053]
[0054] 式(6)中，S为空域系统，是高分辨率像素的集合，N为邻域系统，p和q均为邻域系统 中的高分辨率像素，和分别为高分辨率像素 P和q的灰度值，A为二次项系数，计算公式为
其中，模糊核h的边缘权重，/;为滤波器的传递函数石和临时结果卷积得 到的结果，即