变焦图像确定方法及装置、存储介质、终端与流程

本发明涉及图像处理技术领域，尤其涉及一种变焦图像确定方法及装置、存储介质、终端。

背景技术：

随着智能手机的发展，手机摄像在用户手机中的功能越来越重要，由单摄逐渐发展成双摄、三摄乃至更多摄像头，达到媲美单反的效果。摄像头体型小、变焦范围大是当前手机摄像的两大重要功能。利用光学镜头实现光学变焦，虽然能获得高质量的变焦图像，但不可避免的会增加摄像头的体型，且成本大大增加；而普通的单摄数码变焦，虽然能保证摄像头体型、控制较低成本，却在变焦后的图像质量上无法令人满意。

于是，利用不同焦距的多摄像头模拟实现光学变焦的技术应运而生，目前较常见的组合有：a.一颗广角摄像头和一颗长焦摄像头组合的双焦段变焦；

a.在a的基础上增加一颗焦距更短的超广角摄像头，实现三焦段变焦；

b.在a的基础上增加一颗焦距更长的摄像头(从体型上考虑，可做成折叠式)，实现三焦段变焦；

c.其他更多不同焦距的多摄像头组合；

以a组合为例，由于不同摄像头本身硬件参数不同(如光学中心、焦距、视场角(fieldofview,fov)、畸变等内参数)，且在模组的安装排布不同(如排布的基线、相对角度、位置等)，使得同一模组上的广角和长焦摄像头在拍摄同一物体时，必然得到不同fov、不同相对位置、不同遮挡的图像。

目前有一种简单的低成本的变焦方法，即在不同变焦范围内，仅靠简单的直接切换摄像头，如在广角焦段，采用广角摄像头拍摄的图像进行数码变焦，而在长焦焦段，采用长焦摄像头拍摄的图像进行数码变焦。另一种高级的变焦方法，是采用图像处理技术，实现广角和长焦图像的视场融合，在广角焦段，实现广角和长焦的图像融合，提高变焦时的图像质量，使其在切换到长焦时，达到连续光学变焦的效果，这种处理方法兼顾了广角的大视场和长焦的高细节分辨能力，充分利用了硬件上的长处，尤其在高端机上长焦镜头有比较大的变焦倍数时对图像质量的提升十分明显。

对于三焦段的变焦，以华为型号为p30pro的手机为例，在3倍变焦及以下，采用主摄像头进行数码变焦，同时采用了超分辨率技术提高变焦图像质量；而在5倍变焦及以上时，使用远摄像头；而在使用3到5倍之间的变焦拍摄时，则通过合并主摄像头和远摄像头的图像数据产生图像，画面中心的最佳细节图像数据来自5倍远摄镜头，而其边缘“丢失”的图像区域则由主摄像头的图像数据来填补，然后利用人工智能予以润饰，改进精细图案和纹理的细节。

但是，广角和长焦摄像的直接切换方法虽然计算简单，成本低，实时可控，但是在广角到长焦的过渡段采用数码变焦，而非连续的光学变焦，在变焦切换时会产生明显的视觉跳变，给用户不自然的体验；而通过图像融合方法，计算复杂度高，对硬件要求较高，在低成本的硬件上很难实时实现，增加了成本。

技术实现要素：

本发明解决的技术问题是如何提升变焦图像的切换效果。

为解决上述技术问题，本发明实施例提供一种变焦图像确定方法，变焦图像确定方法包括：获取原始长焦图像和原始广角图像，所述原始长焦图像是采用长焦段内的长焦倍数拍摄得到的，所述原始广角图像是采用广角段内的广角倍数拍摄得到的；对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对；根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵；如果当前变焦倍数落入所述广角段，则根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵，所述预设变换系数与所述当前变焦倍数具备线性关系；利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。

可选的，在进行特征点检测时的原始长焦图像和原始广角图像的分辨率小于所述原始长焦图像的原始分辨率和原始广角图像的原始分辨率。

可选的，所述根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵包括：确定所述匹配的特征点在所述分辨率下的原始长焦图像和原始广角图像中的当前坐标；根据所述匹配的特征点的当前坐标、所述分辨率以及所述原始分辨率计算所述匹配的特征点在所述原始分辨率下的原始长焦图像和原始广角图像中的原始坐标；根据所述匹配的特征点在所述原始分辨率下的原始长焦图像和原始广角图像中的原始坐标计算所述原始映射矩阵。

可选的，所述根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵包括：将所述原始长焦图像以及所述原始广角图像转换至同一变焦倍数；计算在所述同一变焦倍数下的各个匹配的特征点对的坐标的偏移量的平均值，以作为所述原始映射矩阵。

可选的，采用以下公式计算所述当前变换矩阵：h′＝αi+(1-α)h；其中，h′表示所述当前变换矩阵，i表示单位矩阵，h表示所述原始映射矩阵，α表示所述预设变换系数，x表示所述当前变焦倍数，p表示所述长焦倍数与所述广角倍数的倍率。

可选的，所述获取原始长焦图像和原始广角图像之后还包括：如果所述原始长焦图像的亮度小于预设亮度，或者拍摄所述原始长焦图像和所述原始广角图像时的拍摄距离小于预设距离，则将所述原始广角图像进行数码变焦，以得到所述当前变焦图像。

可选的，所述对原始长焦图像和原始广角图像进行特征点检测和匹配之前还包括：对所述原始长焦图像和原始广角图像进行自动对焦，自动曝光以及自动白平衡，以使所述原始长焦图像和原始广角图像的清晰度以及色彩度一致。

可选的，所述变焦图像确定方法还包括：如果所述当前变焦倍数落入所述长焦段，则将所述原始长焦图像进行数码变焦，以得到所述当前变焦图像。

为解决上述技术问题，本发明实施例还公开了一种变焦图像确定装置，变焦图像确定装置包括：图像获取模块，用以获取原始长焦图像和原始广角图像，所述原始长焦图像是采用长焦段内的长焦倍数拍摄得到的，所述原始广角图像是采用广角段内的广角倍数拍摄得到的；特征点匹配模块，用以对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对；原始映射矩阵计算模块，用以根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵；当前变换矩阵计算模块，用以在当前变焦倍数落入所述广角段时，根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵，所述预设变换系数与所述当前变焦倍数具备线性关系；当前变焦图像计算模块，用以利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。

本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述变焦图像确定方法的步骤。

本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述变焦图像确定方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案获取原始长焦图像和原始广角图像，所述原始长焦图像是采用长焦段内的长焦倍数拍摄得到的，所述原始广角图像是采用广角段内的广角倍数拍摄得到的；对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对；根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵；如果当前变焦倍数落入所述广角段，则根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵，所述预设变换系数与所述当前变焦倍数具备线性关系；利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。本发明技术方案无需提前标定，实现简单；通过检测原始长焦图像和原始广角图像的特征点，基于匹配的特征点对计算原始映射矩阵，再根据当前变焦倍数计算当前变换矩阵；由于计算当前变换矩阵时的预设变换系数与当前变焦倍数具备线性关系，使得在获得当前变焦图像时，可以实现从广角图像或长焦图像切换到当前变焦图像时，也即一个摄像头过渡到另一个摄像头时的平滑过渡，避免视觉跳变，提升用户的视觉体验。并且本发明的实现过程计算复杂度低，对硬件要求不高，可以降低成本。

进一步地，在进行特征点检测时的原始长焦图像和原始广角图像的分辨率小于所述原始长焦图像的原始分辨率和原始广角图像的原始分辨率。本发明技术方案在较低分辨率下来检测和匹配特征点，可以减小计算量，提升计算速度，并能够降低硬件及计算成本。

附图说明

图1是本发明实施例一种变焦图像确定方法的流程图；

图2是图1所示步骤s103的一种具体实施方式的流程图；

图3是图1所示步骤s103的另一种具体实施方式的流程图；

图4是本发明实施例一种变焦图像确定装置的结构示意图。

具体实施方式

如背景技术中所述，广角和长焦摄像的直接切换方法虽然计算简单，成本低，实时可控，但是在广角到长焦的过渡段采用数码变焦，而非连续的光学变焦，在变焦切换时会产生明显的视觉跳变，给用户不自然的体验；而通过图像融合方法，计算复杂度高，对硬件要求较高，在低成本的硬件上很难实时实现，增加了成本。

本发明技术方案无需提前标定，实现简单；通过检测原始长焦图像和原始广角图像的特征点，基于匹配的特征点对计算原始映射矩阵，再根据当前变焦倍数计算当前变换矩阵；由于计算当前变换矩阵时的预设变换系数与当前变焦倍数具备线性关系，使得在获得当前变焦图像时，可以实现从广角图像或长焦图像切换到当前变焦图像时，也即一个摄像头过渡到另一个摄像头时的平滑过渡，避免视觉跳变，提升用户的视觉体验。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种变焦图像确定方法的流程图。

所述变焦图像确定方法可以用于配置有摄像头的终端设备侧，具体可以由所述终端设备执行图1所示方法的各个步骤。

图1所示的变焦图像确定方法可以包括以下步骤：

步骤s101：获取原始长焦图像和原始广角图像，所述原始长焦图像是采用长焦段内的长焦倍数拍摄得到的，所述原始广角图像是采用广角段内的广角倍数拍摄得到的；

步骤s102：对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对；

步骤s103：根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵；

步骤s104：如果当前变焦倍数落入所述广角段，则根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵，所述预设变换系数与所述当前变焦倍数具备线性关系；

步骤s105：利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。

需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

本实施例中的原始长焦图像可以是由长焦镜头采用长焦段内的长焦倍数所拍摄的图像，原始广角图像可以是由广角镜头采用广角段内的广角倍数所拍摄的图像。长焦镜头在拍摄时采用的长焦倍数(也可以成为长焦值)大于所述广角镜头拍摄时采用的广角倍数。

需要说明的是，关于长焦段以及广角段所包含的具备变焦倍数的数值可以由用户预先设置，并可以根据实际的应用环境进行适应性调整，本发明实施例对此不作限制。

在步骤s101的具体实施中，可以直接从拍摄原始长焦图像或原始广角图像的镜头处获取原始长焦图像和原始广角图像；也可以从图像存储设备，例如图像存储器等获取原始长焦图像和原始广角图像。

进而在步骤s102的具体实施中，对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对。特征点对包括原始长焦图像中的特征点及其在原始广角图像中相匹配的特征点。匹配的特征点对具有相同或者相似的局部特征，并且具有高纹理特性，即都是作为两条边缘相交处的角点或者灰度值明显高于或者低于周围像素的点。

具体地，在对原始长焦图像和原始广角图像进行特征点检测和匹配时，原始长焦图像和原始广角图像的分辨率可以不同；也可以预先将原始长焦图像和原始广角图像转换至同一分辨率，再进行特征点检测和匹配。

在步骤s103的具体实施中，可以根据匹配的特征点对在上述两种图像中的坐标计算原始映射矩阵，也即可以根据单应性关系计算原始映射矩阵。其中，原始广角图像中各个特征点的坐标与所述原始映射矩阵相乘后可以获得原始长焦图像中相匹配的各个特征点的坐标。

为了获得当前变焦倍数下的图像，在步骤s104的具体实施中，判断当前变焦倍数所处的焦段。如果当前变焦倍数落入所述广角段，则根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵。其中，预设变换系数与所述当前变焦倍数具备线性关系。也就是说，预设变换系数需要基于当前变焦倍数计算得到。

进而在步骤s105的具体实施中，利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。具体地，可以是将当前变换矩阵与原始广角图像相乘，以得到当前变焦图像。

如前所述，预设变换系数需要基于当前变焦倍数计算得到。那么当前变换矩阵与当前变焦倍数之间也具有一种连续的单调性的函数关系。因此在利用当前变换矩阵计算当前变焦图像时，可以实现由长焦倍数到当前变焦倍数的平滑过渡，也即可以实现由原始广角图像到当前变焦图像之间的平滑过渡。

本发明实施例无需提前标定，实现简单；通过检测原始长焦图像和原始广角图像的特征点，基于匹配的特征点对计算原始映射矩阵，再根据当前变焦倍数计算当前变换矩阵；由于计算当前变换矩阵时的预设变换系数与当前变焦倍数具备线性关系，使得在获得当前变焦图像时，可以实现从广角图像或长焦图像切换到当前变焦图像时，也即一个摄像头过渡到另一个摄像头时的平滑过渡，避免视觉跳变，提升用户的视觉体验。

在本发明一个非限制性的实施例中，在进行特征点检测时的原始长焦图像和原始广角图像的分辨率小于所述原始长焦图像的原始分辨率和原始广角图像的原始分辨率。

本实施例中，可以通过对原始长焦图像和原始广角图像进行降采样操作，以降低原始长焦图像和原始广角图像的分辨率，获得具备较低分辨率的原始长焦图像和原始广角图像。

本发明实施例在较低分辨率下检测和匹配特征点，可以减小计算量，提升计算速度，并能够降低硬件及计算成本。

在本发明一个非限制性的实施例中，请参照图2，图1所示步骤s103可以包括以下步骤：

步骤s201：确定所述匹配的特征点在所述分辨率下的原始长焦图像和原始广角图像中的当前坐标；

步骤s202：根据所述匹配的特征点的当前坐标、所述分辨率以及所述原始分辨率计算所述匹配的特征点在所述原始分辨率下的原始长焦图像和原始广角图像中的原始坐标；

步骤s203：根据所述匹配的特征点在所述原始分辨率下的原始长焦图像和原始广角图像中的原始坐标计算所述原始映射矩阵。

本实施例中，由于匹配的特征点是在较小分辨率的原始长焦图像和原始广角图像中检测得到的，为了获得由具备原始分辨率的原始广角图像映射至具备原始分辨率的原始长焦图像的原始映射矩阵，因此需要计算匹配的特征点的原始坐标。匹配的特征点的原始坐标是指匹配的特征点在执行降采样操作之前的原始长焦图像和原始广角图像中的坐标，也即在具备原始分辨率的原始长焦图像和原始广角图像中的坐标。

根据所述匹配的特征点在原始长焦图像的原始坐标与原始广角图像中的原始坐标之间的映射关系，可以计算获得所述原始映射矩阵。

在本发明另一个非限制性的实施例中，请参照图3，图1所示步骤s103可以包括以下步骤：

步骤s301：将所述原始长焦图像以及所述原始广角图像转换至同一变焦倍数；

步骤s302：计算在所述同一变焦倍数下的各个匹配的特征点对的坐标的偏移量的平均值，以作为所述原始映射矩阵。

通常而言，由于广角摄像头和长焦摄像头在终端设备上的排布基线不会特别宽，例如可以是10毫米(mm)，当广角摄像头和长焦摄像头同时拍摄同一场景中的图像时，在三维坐标系中各个坐标轴方向的旋转角度均不会太大，遮挡也不会特别严重，这种情况下对于平滑切换的要求不高，因此可以通过计算偏移量来作为原始映射矩阵，以用于后续步骤中计算当前变焦图像。

具体可以是算在所述同一变焦倍数下的各个匹配的特征点对的坐标的偏移量的平均值，例如可以计算在广角倍数下的各个匹配的特征点对的坐标的偏移量的平均值。此时需要先将原始长焦图像的变焦倍数转换至广角倍数，再计算各个匹配的特征点对在原始广角图像与转换后的原始长焦图像中的坐标的差值，在计算各个差值的平均值。

在本发明一个非限制性的实施例中，可以采用以下公式计算所述当前变换矩阵：

h′＝αi+(1-α)h；其中，h′表示所述当前变换矩阵，i表示单位矩阵，h表示所述原始映射矩阵，α表示所述预设变换系数，x表示所述当前变焦倍数，p表示所述长焦倍数与所述广角倍数的倍率。

本实施例中，在每个变焦倍数下，可以先计算预设变换系数α，再结合原始映射矩阵h可以计算得到当前变换矩阵h′。

在一个具体的应用场景中，长焦倍数与所述广角倍数的倍率为p。在当前变焦倍数为1的情况下，当前变焦图像为原始广角图像，此时当前变换矩阵h′为1，预设变换系数α为1；在前变焦倍数为2的情况下，当前变焦图像为原始长焦图像，此时当前变换矩阵h′为原始映射矩阵h，预设变换系数α为0。假设α＝ax+b，由此可以得到如下线性方程组1＝a+b，0＝p×a+b，计算得到

具体地，长焦倍数与所述广角倍数的倍率p为2时，a＝-1,b＝2，也即α＝-x+2。

在本发明一个非限制性的实施例中，图1所示步骤s101之后可以包括以下步骤：如果所述原始长焦图像的亮度小于预设亮度，或者拍摄所述原始长焦图像和所述原始广角图像时的拍摄距离小于预设距离，则将所述原始广角图像进行数码变焦，以得到所述当前变焦图像。

本实施例中，在光线较暗或者距离较近时，拍摄条件较差，从广角图像切换长焦图像效果较差，在这种情况下可以直接对广角图像进行数码变焦。

本领域技术人员可以理解的是，关于数码变焦的具体方式以及实现过程可以参照现有技术，本发明实施例对此不作限制。

在本发明一个非限制性的实施例中，图1所示步骤s102之前可以包括以下步骤：对所述原始长焦图像和原始广角图像进行自动对焦，自动曝光以及自动白平衡，以使所述原始长焦图像和原始广角图像的清晰度以及色彩度一致。

本实施例中，可以对始长焦图像和原始广角图像进行3a同步，也即自动对焦，自动曝光以及自动白平衡。经过3a同步之后，上述两种图像在清晰度以及色彩度上可以保持一致，以保证获得原始映射矩阵的准确性，进而保证了获得的当前变焦图像的切换效果。

可以理解的是，本发明实施例的一致可以是相同，也可以是在一定误差范围内相同。

在本发明一个非限制性的实施例中，图1所示方法还可以包括以下步骤：如果所述当前变焦倍数落入所述长焦段，则将所述原始长焦图像进行数码变焦，以得到所述当前变焦图像。

由于数码变焦操作对于长焦段内的图像的变焦可以取得较好的效果，因此当前变焦倍数落入所述长焦段的情况下，可以直接将所述原始长焦图像进行数码变焦。

具体地，关于长焦段所包含的具备变焦倍数的数值可以由用户预先设置，并可以根据实际的应用环境进行适应性调整，本发明实施例对此不作限制。

请参照图4，本发明实施例还公开了一种变焦图像确定装置，变焦图像确定装置40可以包括：

图像获取模块401，用以获取原始长焦图像和原始广角图像，所述原始长焦图像是采用长焦段内的长焦倍数拍摄得到的，所述原始广角图像是采用广角段内的广角倍数拍摄得到的；

特征点匹配模块402，用以对原始长焦图像和原始广角图像进行特征点检测和匹配，以得到匹配的特征点对；

原始映射矩阵计算模块403，用以根据所述匹配的特征点对在所述原始长焦图像以及所述原始广角图像中的坐标计算由所述原始广角图像映射至所述原始长焦图像的原始映射矩阵；

当前变换矩阵计算模块404，用以在当前变焦倍数落入所述广角段时，根据所述原始映射矩阵以及预设变换系数计算当前变换矩阵，所述预设变换系数与所述当前变焦倍数具备线性关系；

当前变焦图像计算模块405，用以利用所述当前变换矩阵以及所述原始广角图像计算得到当前变焦图像。

本发明实施例无需提前标定，实现简单；通过检测原始长焦图像和原始广角图像的特征点，基于匹配的特征点对计算原始映射矩阵，再根据当前变焦倍数计算当前变换矩阵；由于计算当前变换矩阵时的预设变换系数与当前变焦倍数具备线性关系，使得在获得当前变焦图像时，可以实现从广角图像或长焦图像切换到当前变焦图像时，也即一个摄像头过渡到另一个摄像头时的平滑过渡，避免视觉跳变，提升用户的视觉体验。

关于所述变焦图像确定装置40的工作原理、工作方式的更多内容，可以参照图1至图3中的相关描述，这里不再赘述。

本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1、图2或图3中所示方法的步骤。所述存储介质可以包括rom、ram、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1、图2或图3中所示方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。