所公开的对象大体上涉及视频编码,具体而言,涉及将文件格式对象和基于超文本传输协议的动态自适应流媒体(dynamic adaptive streaming over hypertexttransfer protocol,dash)对象进行关联。
背景技术:
1、虚拟现实(virtual reality,vr)也可以称为全向媒体、沉浸式媒体和/或360度媒体,是一种发生在模拟环境中且利用视觉、音频和/或触觉反馈的交互式录制和/或计算机生成的体验。从视觉角度来看,vr呈现一个图像球体(或一个图像球体的一部分),用户位于该球体的中心。头戴式显示器(head mounted display,hmd)或者其它显示单元可以呈现该图像球体。具体地,通过vr显示器,用户可以通过视场角(field of view,fov)观看该球体的一部分。用户能够动态改变视角的位置和/或角度,以体验vr视频显示的环境。vr视频中的每个图像(也称为帧)既包括该球体在用户fov之内的区域,也包括球体在用户fov之外的区域。因此,与非vr视频图像相比,vr帧包括明显更多的数据。内容提供商对提供基于流媒体的vr视频感兴趣。但是,与传统视频相比,vr视频包括明显更多的数据和不同的属性。这样一来,传统视频的流传输机制不能对vr视频进行高效的流式传输。
技术实现思路
1、第一方面涉及一种方法。所述方法包括:获取与机位关联的媒体内容;根据所述媒体内容生成机位信息(vwpt)描述符,其中,所述vwpt描述符包括一个值,所述值指示所述机位的位置是否是静态的;生成包括所述vwpt描述符的媒体描述文件(media presentationdescription,mpd);传输所述mpd。
2、根据所述第一方面,在所述方法的第一种可能实现方式中,所述值为值is_static。
3、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第二种实现方式中,所述值is_static为所述vwpt描述符中的唯一值,指示所述机位的所述位置是静态的还是动态的。
4、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第三种实现方式中,所述值等于“真”指示所述机位的所述位置是静态的。
5、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第四种实现方式中,所述值等于“假”指示所述机位的所述位置是动态的。
6、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第五种实现方式中,所述vwpt描述符还包括机位标识符(identifier,id)值,指示所述机位的机位id。
7、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第六种实现方式中,所述vwpt描述符还包括中心x值,指示所述机位的中心在x轴上、在全局三维坐标中的绝对位置。
8、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第七种实现方式中,所述vwpt描述符还包括中心y值,指示所述机位的所述中心在y轴上、在所述全局三维坐标中的绝对位置。
9、根据所述第一方面或所述第一方面的任一上述实现方式,在所述方法的第八种实现方式中,所述vwpt描述符还包括中心z值,指示所述机位的所述中心在z轴上、在所述全局三维坐标中的绝对位置。
10、第二方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第一方面或所述第一方面的任一上述实现方式中的任一种。
11、第三方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第一方面或所述第一方面的任一上述实现方式中的任一种。
12、第四方面涉及一种方法。所述方法包括:传输对mpd的请求;响应于所述请求,接收所述mpd,其中,所述mpd包括基于媒体内容的vwpt描述符,所述媒体内容与机位关联,所述vwpt描述符包括一个值,所述值指示所述机位的位置是否是静态的;处理所述mpd。
13、根据所述第四方面,在所述方法的第一种可能实现方式中,所述值为值is_static。
14、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第二种实现方式中,所述值is_static为所述vwpt描述符中的唯一值,指示所述机位的所述位置是静态的还是动态的。
15、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第三种实现方式中,所述值等于“真”指示所述机位的所述位置是静态的。
16、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第四种实现方式中,所述值等于“假”指示所述机位的所述位置是动态的。
17、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第五种实现方式中,所述vwpt描述符还包括机位id值,指示所述机位的机位id。
18、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第六种实现方式中,所述vwpt描述符还包括中心x值,指示所述机位的中心在x轴上、在全局三维坐标中的绝对位置。
19、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第七种实现方式中,所述vwpt描述符还包括中心y值,指示所述机位的所述中心在y轴上、在所述全局三维坐标中的绝对位置。
20、根据所述第四方面或所述第四方面的任一上述实现方式,在所述方法的第八种实现方式中,所述vwpt描述符还包括中心z值,指示所述机位的所述中心在z轴上、在所述全局三维坐标中的绝对位置。
21、第五方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第四方面或所述第四方面的任一上述实现方式中的任一种。
22、第六方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第四方面或所述第四方面的任一上述实现方式中的任一种。
23、第七方面涉及一种方法。所述方法包括:获取媒体内容;根据所述媒体内容生成有时间属性的元数据表示,其中,所述有时间属性的元数据表示与属性@associationid、属性@associationasid、属性@associationvwptid和属性@associationpsid不关联;生成mpd,其中,所述mpd包括所述有时间属性的元数据表示;传输所述mpd。
24、根据所述第七方面,在所述方法的第一种实现方式中,所述有时间属性的元数据表示还与任何其它此类属性不关联,任何其它此类属性用于将所述有时间属性的元数据表示关联到其它dash对象。
25、根据所述第七方面或所述第七方面的任一上述实现方式,在所述方法的第二种实现方式中,所述有时间属性的元数据轨迹适用于全部媒体呈现。
26、第八方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第七方面或所述第七方面的任一上述实现方式中的任一种。
27、第九方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第七方面或所述第七方面的任一上述实现方式中的任一种。
28、第十方面涉及一种方法。所述方法包括:传输对mpd的请求;响应于所述请求,接收所述mpd,其中,所述mpd包括基于媒体内容的有时间属性的元数据表示,所述有时间属性的元数据表示与属性@associationid、属性@associationasid、属性@associationvwptid和属性@associationpsid不关联;处理所述mpd。
29、根据第十方面,在所述方法的第一种实现方式中,所述有时间属性的元数据表示还与任何其它此类属性不关联,任何其它此类属性用于将所述有时间属性的元数据表示关联到其它dash对象。
30、根据所述第十方面或所述第十方面的任一上述实现方式,在所述方法的第二种实现方式中,所述有时间属性的元数据轨迹适用于全部媒体呈现。
31、第十一方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第十方面或所述第十方面的任一上述实现方式中的任一种。
32、第十二方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第十方面或所述第十方面的任一上述实现方式中的任一种。
33、第十三方面涉及一种方法。所述方法包括:获取媒体内容;根据所述媒体内容生成有时间属性的元数据轨迹,其中,所述有时间属性的元数据轨迹与‘cdsc’轨迹引用不关联;生成文件格式对象,其中,所述文件格式对象包括所述有时间属性的元数据轨迹;传输所述文件格式对象。
34、根据第十三方面,在所述方法的第一种实现方式中,所述‘cdsc’轨迹引用指示所述有时间属性的元数据轨迹分别描述每个媒体轨迹。
35、根据所述第十三方面或所述第十三方面的任一上述实现方式,在所述方法的第二种实现方式中,所述有时间属性的元数据轨迹适用于全部影片。
36、第十四方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第十二方面或所述第十二方面的任一上述实现方式中的任一种。
37、第十五方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第十三方面或所述第十三方面的任一上述实现方式中的任一种。
38、第十六方面涉及一种方法。所述方法包括:传输对文件格式对象的请求;响应于所述请求,接收所述文件格式对象,其中,所述文件格式对象包括基于媒体内容的有时间属性的元数据轨迹,所述有时间属性的元数据轨迹与‘cdsc’轨迹引用不关联;处理所述文件格式对象。
39、根据所述第十六方面,在所述方法的第一种实现方式中,所述‘cdsc’轨迹引用指示所述有时间属性的元数据轨迹分别描述每个媒体轨迹。
40、根据所述第十六方面或所述第十六方面的任一上述实现方式,在所述方法的第二种实现方式中,所述有时间属性的元数据轨迹适用于全部影片。
41、第十七方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第十六方面或所述第十六方面的任一上述实现方式中的任一种。
42、第十八方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第十六方面或所述第十六方面的任一上述实现方式中的任一种。
43、第十九方面涉及一种方法。所述方法包括:获取与第一机位和第二机位关联的媒体内容,其中,所述第一机位的第一位置是静态的,所述第二机位的第二位置是动态的;根据所述媒体内容生成第一vwpt描述符,并描述所述第一机位;根据所述媒体内容生成第二vwpt描述符,并描述所述第二机位;生成包括所述第一vwpt描述符和所述第二vwpt描述符的mpd;传输所述mpd。
44、根据第十九方面,在所述方法的第一种实现方式中,所述第二机位与有时间属性的元数据表示关联,所述有时间属性的元数据表示包括有时间属性的元数据轨迹,所述有时间属性的元数据轨迹包括描述所述第二位置的信息。
45、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第二种实现方式中,所述第一vwpt描述符包括第一值,指示所述第一位置是否是静态的;所述第二vwpt描述符包括第二值,指示所述第二位置是否是静态的。
46、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第三种实现方式中,所述第一值为第一值is_static,所述第二值为第二值is_static。
47、根据第十九方面或第十九方面的任一上述实现方式,在所述方法的第四种实现方式中,所述第一值is_static为所述第一vwpt描述符中的唯一值,指示所述第一机位的所述第一位置是静态的还是动态的;所述第二值is_static为所述第二vwpt描述符中的唯一值,指示所述第二机位的所述第二位置是静态的还是动态的。
48、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第五种实现方式中,所述第一值等于“真”指示所述机位的所述位置是静态的,所述第二值等于“真”指示所述机位的所述位置是静态的。
49、根据第十九方面或第十九方面的任一上述实现方式,在所述方法的第六种实现方式中,所述第一值等于“假”指示所述机位的所述位置是动态的,所述第二值等于“假”指示所述机位的所述位置是动态的。
50、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第七种实现方式中,所述第一vwpt描述符还包括第一机位id值,指示所述第一机位的第一机位id;所述第二vwpt描述符还包括第二机位id值,指示所述第二机位的第二机位id。
51、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第八种实现方式中,所述第一vwpt描述符还包括第一中心x值,指示所述第一机位的第一中心在x轴上、在全局三维坐标中的第一绝对位置;所述第二vwpt描述符还包括第二中心x值,指示所述第二机位的第二中心在所述x轴上、在所述全局三维坐标中的第二绝对位置。
52、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第九种实现方式中,所述第一vwpt描述符还包括第一中心y值,指示所述第一机位的第一中心在y轴上、在所述全局三维坐标中的第一绝对位置;所述第二vwpt描述符还包括第二中心y值,指示所述第二机位的第二中心在所述y轴上、在所述全局三维坐标中的第二绝对位置。
53、根据所述第十九方面或所述第十九方面的任一上述实现方式,在所述方法的第十种实现方式中,所述第一vwpt描述符还包括第一中心z值,指示所述第一机位的第一中心在z轴上、在所述全局三维坐标中的第一绝对位置;所述第二vwpt描述符还包括第二中心z值,指示所述第二机位的第二中心在所述z轴上、在所述全局三维坐标中的第二绝对位置。
54、第二十方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第十九方面或所述第十九方面的任一上述实现方式中的任一种。
55、第二十一方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第十九方面或所述第十九方面的任一上述实现方式中的任一种。
56、第二十二方面涉及一种方法。所述方法包括:传输对mpd的请求;响应于所述请求,接收所述mpd,其中,所述mpd包括第一vwpt描述符和第二vwpt描述符,所述第一vwpt描述符基于媒体内容,并描述第一机位,所述第一机位的第一位置是静态的;所述第二vwpt描述符基于所述媒体内容,并描述第二机位,所述第二机位的第二位置是动态的;处理所述mpd。
57、根据所述第二十二方面,在所述方法的第一种实现方式中,所述第二机位与有时间属性的元数据表示关联,所述有时间属性的元数据表示包括有时间属性的元数据轨迹,所述有时间属性的元数据轨迹包括描述所述第二位置的信息。
58、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第二种实现方式中,所述第一vwpt描述符包括第一值,指示所述第一位置是否是静态的;所述第二vwpt描述符包括第二值,指示所述第二位置是否是静态的。
59、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第三种实现方式中,所述第一值为第一值is_static,所述第二值为第二值is_static。
60、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第四种实现方式中,所述第一值is_static为所述第一vwpt描述符中的唯一值,指示所述第一机位的所述第一位置是静态的还是动态的;所述第二值is_static为所述第二vwpt描述符中的唯一值,指示所述第二机位的所述第二位置是静态的还是动态的。
61、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第五种实现方式中,所述第一值等于“真”指示所述机位的所述位置是静态的,所述第二值等于“真”指示所述机位的所述位置是静态的。
62、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第六种实现方式中,所述第一值等于“假”指示所述机位的所述位置是动态的,所述第二值等于“假”指示所述机位的所述位置是动态的。
63、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第七种实现方式中,所述第一vwpt描述符还包括第一机位id值,指示所述第一机位的第一机位id;所述第二vwpt描述符还包括第二机位id值,指示所述第二机位的第二机位id。
64、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第八种实现方式中,所述第一vwpt描述符还包括第一中心x值,指示所述第一机位的第一中心在x轴上、在全局三维坐标中的第一绝对位置;所述第二vwpt描述符还包括第二中心x值,指示所述第二机位的第二中心在所述x轴上、在所述全局三维坐标中的第二绝对位置。
65、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第九种实现方式中,所述第一vwpt描述符还包括第一中心y值,指示所述第一机位的第一中心在y轴上、在所述全局三维坐标中的第一绝对位置;所述第二vwpt描述符还包括第二中心y值,指示所述第二机位的第二中心在所述y轴上、在所述全局三维坐标中的第二绝对位置。
66、根据所述第二十二方面或所述第二十二方面的任一上述实现方式,在所述方法的第十种实现方式中,所述第一vwpt描述符还包括第一中心z值,指示所述第一机位的第一中心在z轴上、在所述全局三维坐标中的第一绝对位置,所述第二vwpt描述符还包括第二中心z值,指示所述第二机位的第二中心在所述z轴上、在所述全局三维坐标中的第二绝对位置。
67、第二十三方面涉及一种装置。所述装置包括存储器以及耦合到所述存储器的处理器。所述处理器用于执行所述第二十二方面或所述第二十二方面的任一上述实现方式中的任一种。
68、第二十四方面涉及一种计算机程序产品。所述计算机程序产品包括存储在非瞬时性介质中的计算机可执行指令。当处理器执行所述计算机可执行指令时,一种装置执行所述第二十二方面或所述第二十二方面的任一上述实现方式中的任一种。
69、上述任一实施例可以与上述其它任一实施例组合,产生新的实施例。通过以下结合附图和权利要求书进行的详细描述,将更清楚地理解这些和其它特征。