一种基于参考帧替换的快速视角切换方法与流程

本发明属于全景视频视角切换技术领域，特别是涉及一种基于参考帧替换的快速视角切换方法。

背景技术：

全景视频是一种用3d摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。常有人将全景视频与vr虚拟技术混淆，其实两者实际概念有很大差别，vr虚拟技术更多是体现互动，而全景视频则体现观赏。全景视频大多运用于旅游展览，或者城市介绍等，使得全景视频凭借全新的沉浸式体验迅速成为网络视频业务的重要内容之一。

在全景视频传输系统中，时延是影响用户体验的一个关键参数；在基于tile的全景视频传输系统中，用户在进行视角转换的时候总是伴随着高清tile的传输与切换。mpeg-dash的基本下载单元是一个媒体分段，当用户的视点区域内出现新的tile画面时，客户端必须下载新tile的下一个片段。这个新下载的tile分段无法被立即融合解码，在其播放时间到达之前也不会立即显示。全景视频传输系统在这个过程中存在较大的时延，因此用户在进行视角切换的时候总是不能及时获取对应视点区域的高清内容，大大降低了用户的沉浸感。

技术实现要素：

本发明的目的在于提供一种基于参考帧替换的快速视角切换方法，通过在全景视频传输系统中每个tile每种码率具备两个representation，结合mpeg-dash协议的特征提出基于参考帧替换的快速视角切换方案，解决了现有的用户视角切换时延大、用户体验差的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于参考帧替换的快速视角切换方法，包括如下步骤：

步骤s1：服务器编码端设定禁止使能时域mv；

步骤s2：服务器编码端进行eltile编码准备两种representation，一种representation1为通用完整版，另一种representation2为随机接入版；

步骤s3：服务器按需推流；

步骤s4：判断用户视角是否发生切换；

若发生切换，则执行步骤s5；

若未发生切换，则执行步骤s6；

步骤s5：播放器计算当前视角对应tile请求该tile的representation1的elsegments下载、解码并做终端实时渲染，循环至步骤s4继续对用户视角是否切换进行判断；

步骤s6：播放器计算切换后视角对应tile以及当前视频播放时间定位请求该tile的representation2对应elsegments的rarf帧下载、解码并做终端实时渲染；

步骤s7：播放器继续下载该rarf帧后elsegmentsrepresentation1中剩余的p帧；

步骤s8：播放器基于rarf帧和剩余的p帧序列进行解码，并做实时渲染，循环至步骤s4继续对用户视角是否切换进行判断。

优选地，所述步骤s2中，el的每个tile每种码率具备两个representation；其中，通用版的representation1包含完整的视频内容，全rap帧的representation2随机接入版本；所述随机接入版本不包含对应的representation1中每个segment起始的i帧。

优选地，所述随机接入版本中的每个segment有rap帧，且与representation1中的每个p帧一一对应；当用户进行切换时，rap帧会替换其对应的p帧并作为后面p帧的新参考帧。

优选地，所述步骤s6中，当用户进行视角切换的时候，确定当前视频的播放位置，根据播放位置定位到下一个p帧对应的rarf并下载，对获取新的segment的url和对应的byterange下载对应tile剩下的p帧；对下载的mpeg-dash文件解封装在进行解码播放。

优选地，所述用户视角切换时，下载的rarf的长度相同。

本发明具有以下有益效果：

本发明通过在全景视频传输系统中每个tile每种码率具备两个representation，利用representation中每个p帧一一对应，结合mpeg-dash协议的特征提出基于参考帧替换的快速视角切换方案，来缩短用户视角切换时延，调高用户体验。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于参考帧替换的快速视角切换方法流程图；

图2为码流预处理流程示意图；

图3为视角切换流程示意图；

图4为参考帧替换流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于参考帧替换的快速视角切换方法，包括如下步骤：

步骤s1：服务器编码端设定禁止使能时域mv；

步骤s2：服务器编码端进行eltile编码准备两种representation，一种representation1为通用完整版，另一种representation2为随机接入版；

步骤s3：服务器按需推流；

步骤s4：判断用户视角是否发生切换；

若发生切换，则执行步骤s5；

若未发生切换，则执行步骤s6；

步骤s5：播放器计算当前视角对应tile请求该tile的representation1的elsegments下载、解码并做终端实时渲染，循环至步骤s4继续对用户视角是否切换进行判断；

步骤s6：播放器计算切换后视角对应tile以及当前视频播放时间定位请求该tile的representation2对应elsegments的rarf帧下载、解码并做终端实时渲染；

步骤s7：播放器继续下载该rarf帧后elsegmentsrepresentation1中剩余的p帧；

步骤s8：播放器基于rarf帧和剩余的p帧序列进行解码，并做实时渲染，循环至步骤s4继续对用户视角是否切换进行判断。

其中，步骤s2中，el的每个tile每种码率具备两个representation；其中，通用版的representation1包含完整的视频内容，全rap帧的representation2随机接入版本，随机接入版本的内容是不完整的；随机接入版本不包含对应的representation1中每个segment起始的i帧。

其中，随机接入版本中的每个segment有rap帧，且与representation1中的每个p帧一一对应；当用户进行切换时，rap帧会替换其对应的p帧并作为后面p帧的新参考帧，称之为随机接入参考帧，如图2所示。

请参阅图3-4所示，步骤s6中，当用户进行视角切换的时候，确定当前视频的播放位置，根据播放位置定位到下一个p帧对应的rarf并下载，对获取新的segment的url和对应的byterange下载对应tile剩下的p帧；对下载的mpeg-dash文件解封装在进行解码播放。

优选地，所述用户视角切换时，下载的rarf的长度相同。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。