视窗自适应360度视频传送的方法和设备与流程

背景技术：

1、360°视频是媒体行业中出现的快速增长的格式。随着虚拟现实(vr)设备的不断增长，360°视频得以实现。360°视频可以为观看者提供新的存在感。当与直线型视频(例如，2d或3d)相比时，360°视频可能对视频处理和/或传送造成困难的工程挑战。实现舒适和/或沉浸式用户体验可能需要高视频质量和/或非常低的延迟。360°视频的大视频尺寸可能妨碍大规模地以高质量方式提供360°视频。

2、360°视频应用和/或服务可将整个360°视频编码成符合标准的流，以用于渐进式下载和/或自适应流传输。向客户端传送整个360°视频可以实现低延迟渲染(例如，客户端可以访问整个360°视频内容和/或可以选择在没有进一步约束的情况下渲染它希望看到的部分)。从服务器的角度来看，相同的流可以支持具有可能不同视窗(viewport)的多个用户。视频尺寸可能非常高，在传送视频时会导致高传输带宽(例如，因为整个360°视频必须以高质量编码，例如每眼睛4k@60fps或6k@90fps)。例如，因为用户可能仅观看整个图片的一小部分(例如，视窗)，所以在传送期间的高带宽消耗可能被浪费。

技术实现思路

1、公开了用于视窗自适应360°视频传送的系统、方法和工具。可以传送和/或发信号通知基于视窗增强的360度视频。可以使用基于层的视窗覆盖(overlay)来传送360度视频。可以提供关于360度视频映射的信令。

2、可以确定360度视频的第一视窗。所述360度视频可以包括以下投影映射中的一者或多者：等距矩形(equirectangular)、立方体贴图(cube-map)投影映射、柱体投影映射、柱体投影映射和/或球面(spherical)投影映射。第一视窗可以与360度视频的空间区域相关联。可以确定围绕所述空间区域延伸的相邻区域。可以确定360度视频的第二视窗。可以接收与360度视频相关联的比特流。该比特流可以包括一个或多个增强区域。该一个或多个增强区域可以对应于第一和/或第二视窗。高编码比特率可以与第一视窗和/或第二视窗相关联。可以接收指示与360度视频传送相关联的一个或多个视窗属性的信令。

3、用于处理360度视频的wtru可以包括处理器，该处理器被配置为(例如，利用保存在存储器中的可执行指令)用于以下中的一个或多个：(i)接收与360度视频相关联的媒体呈现描述(mpd)，该mpd包含基本属性元素，该基本属性元素指示媒体片段的多面几何投影格式的面打包布局(face-packing layout)；(ii)接收所述媒体片段；(iv)基于所述基本属性元素，从一组面打包布局中确定用于所接收的媒体片段的至少一个面打包布局；(iv)基于所确定的至少一个面打包布局，构建所接收的媒体片段。

4、所述一组面打包布局包括：可利(plate carree)、侧极半高(poles on the sidehalfheight)、侧极全高(poles on the side full height)、单行、两乘三和180度。所述基本属性元素可以处于适应级和表示级之一。

5、wtru处理器可以被配置(例如，利用保存在存储器中的可执行指令)以确定与mpd相关联的媒体表示，以请求未来的媒体片段并发送对所确定的媒体表示的请求。

6、mpd可以包括用于媒体片段的从一组视频类型中选择的视频类型。该组视频类型可以包括直线型格式、全景格式、球体(sphere)格式和光场格式。wtru处理器可以被配置(例如，利用保存在存储器中的可执行指令)以确定所接收的媒体片段的视频类型和/或使用所确定的视频类型构建所接收的媒体片段。

7、mpd可以包括用于将360度视频从全向格式投影到直线型视频帧的至少一种投影格式。该投影格式可以包括以下之一：等距矩形、立方体、偏移立方体、被压扁的球体、锥体和柱体。wtru处理器可以被配置(例如，利用保存在存储器中的可执行指令)为确定用于接收视频文件的投影格式，和/或发送对所确定的投影格式的请求。所述360度视频可以包括全向媒体应用格式(omaf)文件。

8、使用wtru处理360度视频的方法可以包括以下中的一个或多个：(i)接收与360度视频相关联的媒体呈现描述(mpd)，该mpd包括指示用于媒体片段的多面几何投影格式的面打包布局的基本属性元素；(ii)接收所述媒体片段；(iii)基于所述基本属性元素，从一组面打包布局中确定用于所接收的媒体片段的至少一个面打包布局；(iv)基于所确定的至少一个面打包布局，构建所接收的媒体片段。

9、使用wtru的方法可以包括确定与mpd相关联的媒体表示，以请求将来接收的视频文件和/或发送对所确定的媒体表示的请求。该方法可以包括确定所接收的媒体片段的视频类型和/或使用所确定的视频类型来构建所接收的媒体片段。该方法可以包括确定视频文件的投影格式和/或发送对所确定的投影格式的请求。

10、用于处理360度视频文件的wtru可以包括处理器，该处理器被配置为(例如，利用保存在存储器中的可执行指令)用于以下中的一个或多个：接收与360度视频相关联的媒体呈现描述(mpd)，该mpd包括指示了用于媒体片段的多面几何投影格式的第一面打包布局的第一基本属性元素以及指示了用于媒体片段的多面几何投影格式的第二面打包布局的第二基本属性元素；确定是对所述媒体片段使用第一面打包布局还是第二面打包布局；请求所确定的至少第一或第二面打包布局；接收所述媒体片段；以及基于所请求的面打包布局，重建与所接收的媒体片段相关联的所述360度视频。

技术特征：

1.一种装置，包括：

2.根据权利要求1所述的装置，其中所述第一视频层为与所述360度视频相关联的全帧视频层，且所述第二视频层为所述360度视频的所述一个或多个空间子集。

3.根据权利要求1所述的装置，其中所述360度视频包括可缩放360度视频。

4.根据权利要求1所述的装置，其中所述第一视频层是与所述360度视频相关联的可缩放基础层，且所述第二视频层是与所述360度视频相关联的可缩放增强层。

5.根据权利要求1所述的装置，其中所述第二视频层是以比所述第一视频层高的比特率、高的分辨率或高的帧速率中的一者或多者而被编码的。

6.根据权利要求1所述的装置，其中所述第二视频层是独立于所述第一视频层而被编码的。

7.一种方法，包括：

8.根据权利要求7所述的方法，其中所述第一视频层为与所述360度视频相关联的全帧视频层，且所述第二视频层为所述360度视频的所述一个或多个空间子集。

9.根据权利要求7所述的方法，其中所述360度视频包括可缩放360度视频。

10.根据权利要求7所述的方法，其中所述第一视频层是与所述360度视频相关联的可缩放基础层，且所述第二视频层是与所述360度视频相关联的可缩放增强层。

11.根据权利要求7所述的方法，其中所述第二视频层是以比所述第一视频层高的比特率、高的分辨率或高的帧速率中的一者或多者而被编码的。

12.根据权利要求7所述的方法，其中所述第二视频层是独立于所述第一视频层而被编码的。

技术总结
公开了用于客户端中心服务质量控制的系统、方法和工具。可以确定360度视频的第一视窗。360度视频可以包括等距矩形、立方体贴图、柱体、锥体和/或球面投影映射中的一个或多个。第一视窗可以与360度视频的空间区域相关联。可以确定围绕空间区域延伸的相邻区域。可以确定360度视频的第二视窗。可以接收与360度视频相关联的比特流。一个或多个增强区域可以包括在所述比特流中。一个或多个增强区域可以对应于所述第一和/或第二视窗。高编码比特率可以与所述第一视窗和/或第二视窗相关联。

技术研发人员：贺勇,叶艳,斯里尼瓦斯·古杜马苏,爱德华多·阿斯邦,阿赫麦德·哈姆扎
受保护的技术使用者：VID拓展公司
技术研发日：
技术公布日：2024/1/5