保持相邻像素相关性的全景视频帧矩形映射方法与流程

本发明涉及全景视频编码技术领域，尤其涉及一种保持相邻像素相关性的全景视频帧矩形映射方法。

背景技术：

随着视频采集和处理技术的进步，全景视频开始逐步进入人们的生活。全景视频是以摄像机为中心，对各个视角的景物进行同时记录而得到的视频。人们在观看全景视频时，可以随意切换视角，仿佛身临其境。与传统的二维平面视频相比，全景视频可以给用户带来更好的体验和沉浸感，是未来虚拟现实技术不可或缺的一部分。

然而，全景视频的原始数据量比传统二维平面视频大得多，迫切需要高效的视频压缩方法。全景视频帧的像素分布在一个球体的三维曲面上。为了编码，需要将其映射到2维平面上。因此全景视频的投影映射是全景视频编码中很重要的一个环节。

本质上，全景视频记录的是球面上的视频信息。由于球面不易表示，全景视频一般采用经纬图格式进行表达。经纬图将球面的点按照其经度、维度映射到二维平面，例如，经度映射为列坐标、纬度映射为行坐标，从而将球面展开为矩形平面。经纬图格式的视频可以直接采用传统的二维平面视频的编码器进行压缩编码，但是由于经纬图本身对于球面进行了下采样，经纬图与球面的面积比为1：1.5708，经纬图内包含大量冗余像素。另一种方式是通过正多面体的映射，比如正六面体；其中与球面面积最接近的是正二十面体，与球面的比值为1：1.21，但二十面体本身不是方形，为方便编码需要拼剪成矩形；然而，裁剪的过程中将破坏图像本身的相关性，造成了图像信息的损失。

技术实现要素：

本发明的目的是提供一种保持相邻像素相关性的全景视频帧矩形映射方法，可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的矩形平面上，进而帮助优化全景视频压缩。

本发明的目的是通过以下技术方案实现的：

一种保持相邻像素相关性的全景视频帧矩形映射方法，包括：

将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；

将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；

将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。

所述圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得的长宽自适应的菱形的图像，其高宽比为N/2：1。

所述将所有通过仿射变换调整后的菱形组合成为一正方形包括：

若通过仿射变换调整后的菱形数量为2，则将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个完整的正方形，正方形的所有相邻像素点均具有相关性。

如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2；则最终映射为正方形后，x，y轴取值范围为[0,width]：

Width＝2*arcsin(2/п)+√(п²-4)；

转换公式如下：

λ1＝(λ+λ0)*width/п；

φ1＝(φ+φ0)*width/п；

其中，λ0＝п，φ0＝п/2；

如果x+y<width/2，则x＝width/2-φ1,y＝λ1；

如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；

如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；

如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；

否则，当y<width/2时，

当y>＝width/2，y＝φ1。

由上述本发明提供的技术方案可以看出，矩形平面内部相邻像素点之间都是统计相关的，而传统的二十面体在变为矩形时会有明显的分界面，同时传统正弦映射也会造成互相垂直的经纬线过度变形，因此，本映射方案优于传统的经纬图映射和正六面体映射。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图；

图2为本发明实施例提供的对球面进行采样映射的示意图；

图3为本发明实施例提供的全景视频的球面示意图；

图4为本发明实施例提供的对经纬面进行采样映射为高宽比为2：1的菱形的示意图；

图5为本发明实施例提供的2：1的菱形调整为1：1菱形的示意图；

图6为本发明实施例提供的对1：1菱形进行分割的示意图；

图7为本发明实施例提供的将两个菱形合并为一个正方形的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1为本发明实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图。如图1所示，其主要包括如下步骤：

步骤11、将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像。

如图2所示，对球面进行采样时，将其嵌入至一个近似于圆锥的面，圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得长宽自适应的菱形的图像，其高宽比为N/2：1。菱形的高宽比为满足之后的菱形调整，从而是自适应，示例性的，针对传统无降采样的经纬图，可以将N设为4，则高宽比为2：1。

球面映射的坐标如图3所示。高宽比为2：1的菱形如图4所示。

步骤12、将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形。本发明实施例中，采用自适应的分割方式，可以适应于不同情况，以便于后续拼接操作。

示例性的，可以自适应的分割为两个三角形，进而获得两个高宽比为1：1的菱形。如图5所示，左右两个菱形为调整后的高宽比为1：1的菱形。

步骤13、将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。

本发明实施例中，若通过仿射变换调整后的菱形数量为2，则组合成为一正方形的过程如下：

如图6所示，将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度(左上右下逆时针旋转90度，左下右上旋转90度)，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个如图7所示的完整的正方形，正方形的所有相邻像素点均具有相关性。

如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2；则最终映射为正方形后，x，y轴取值范围为[0,width]：

Width＝2*arcsin(2/п)+√(п²-4)；

转换公式如下：

λ1＝(λ+λ0)*width/п；

φ1＝(φ+φ0)*width/п；

其中，λ0＝п，φ0＝п/2；

如果x+y<width/2，则x＝width/2-φ1,y＝λ1；

如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；

如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；

如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；

否则，当y<width/2时，x＝λ1+width/2-2φ1，y＝φ1；

当y>＝width/2，x＝λ1-width*3/2+2φ1，y＝φ1。

本领域技术人员可以理解，图5-图7仅用于描述由菱形转换为矩形的处理过程，其中所菱形、矩形内部所涉及的图像仅为示意并非构成限制。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。