一种将全景视频展现在CAVE空间中的裁剪方法及系统与流程

一种将全景视频展现在cave空间中的裁剪方法及系统
技术领域
1.本发明涉及视频处理技术领域，具体涉及一种将全景视频展现在cave空间中的裁剪方法及系统。


背景技术：

2.沉浸式空间
3.沉浸式空间是一个独立的、相对密闭的人造空间，表现为一种虚拟环境或人类使用工具和技术好所创建的空间，这个空间能够通过某种机制来触发人类的感官体验(更多是视觉和听觉)，从而激发记忆。这对于沉浸体验是一个动态的过程，是从感官体验到叙事体验的渐进过渡。洞穴式自动虚拟环境系统cave(cave automatic virtual environment)空间通过动画图像和精心安排的声音中让观众从内心深处意识到自己置身于“舞台”上。cave系统的最初设计理念在于突破头戴式显示器的限制，提供了共享的虚拟现实体验。
4.vr(virtual reality，虚拟现实)摄像机的拍摄原理是拍摄不小于2个镜头的画面，然后通过后期软件将画面缝合成一个整体，vr摄像机拍摄的视频是包括上下、左右、前后画面的360度视频，vr摄像机模拟人眼，观众在观赏全景视频时视野变大，提升了观众观赏的沉浸感和自由度。
5.目前市场上有多种视频表现形式，环幕、球幕、多面屏等，这些屏幕表现的内容是一个整体。传统摄像机拍摄与呈现的内容都是二维平面视频，如果将这样的二维平面视频直接用环幕、球幕表现出来会产生畸变，而vr摄像机拍摄了360度无损的视频内容，将这样的全景视频文件作为素材进行特定的处理然后放在环幕、球幕和多面屏中会更利于解决畸变的问题，视野也会更加宽广，更加贴近人眼观看的效果，增强沉浸感。
6.广义上的全景图片和视频等素材都需要借助vr设备进行观看，其呈现的画面效果不具有分享性，观众在观看时的“孤独感”尤为明显，这也成为vr视频不能被广泛传播的一大阻碍。
7.如今存在cave系统由多个pc机支持生成，具备位置跟随系统以及交互系统，但多为实时渲染，系统繁琐，操作复杂且运算慢。此方法使用投影技术不可将全景素材裁剪成多面且将其直接在画面上播放，使用设备多，成本高。同时业内也存在软件可以直接将全景素材裁剪成立方体面片。如adobe after effects、ptgui、pano2 vr等。其中使用adobe after effects分割的6个画面操作繁杂，需要将一个展开的正方体按照步骤拆分成6个面，然后分别放进指定分辨率的合成，渲染输出。其余软件则不能免费批量对全景素材进行裁剪处理，并且裁剪后的图像的最佳观赏点不可编辑。
8.虽然现有视频处理软件(如上述软件adobe after effects、ptgui、pano2vr等)都能够将全景画面裁剪成多个画面，但是不能预先设定最佳观赏点，使用现有的软件进行裁剪时通常都是默认在立方体正中心为观众的最佳观赏点。裁剪后的展开，裁剪成为六个正方形面片，将其一一贴上不是正六面体的空间屏幕上会产生拉伸效果，降低还原度和沉浸感。


技术实现要素：

9.有鉴于此，本发明实施例提供一种将全景视频展现在cave空间中的裁剪方法和系统。
10.为了实现上述目的，本发明实施例提供如下技术方案：
11.一方面，本发明实施例提供了一种将全景视频展现在cave空间中的裁剪方法,包括如下步骤：
12.s1，拍摄并缝合全景视频素材，参考安全框调整全景视频素材的大小和位置，完成调色剪辑成序列帧；
13.s2，三维坐标原点为球心创建一个球体，球的半径不小于原点(球心)到cave空间上顶点的距离，根据需要渲染屏幕画面数量在三维空间的原点设定相应的摄像机；
14.s3，将所述全景素材的序列帧作为环境材质贴图附于所述球体上；
15.s4，设置摄像机参数和渲染参数，渲染成序列帧；
16.s5，将渲染后的序列帧转换生成相应的视频文件。
17.更适宜地，需要渲染屏幕画面数量为5，将全景视频素材裁剪成上下、前、左右5个画面，步骤s3中所述将全景素材的序列帧作为环境材质贴图附于所述球体上，具体包括：
18.按照上下、前、左右各自进行角度设定5个摄像机，分别设定其参数，其中，上摄像机的参数为：焦点距离b-d，偏移下摄像机的参数：焦点距离d：偏移前摄像机的参数为:焦点距离为c+e，偏移左摄像机的参数为：焦点距离a/2，偏移右摄像机的参数为：焦点距离为a/2，偏移其中偏移值指的是摄像机与摄像机正前方偏移的差距与摄像机移动方向上摄像机所覆盖的范围尺寸比值，
19.其中，a、b、c分别为cave沉浸式空间的长、高、深，前屏幕尺寸为a
×
b、上下屏幕尺寸为a
×
c、左右屏幕尺寸b
×
c，d、e分别为最佳观赏点的高度、与沉浸式cave空间的水平距离。
20.设置摄像机参数和渲染参数，其中，
21.上下摄像机的分辨率和画幅尺寸相同，将所述上、下摄像机和前摄像机设定为指定的分辨率和画幅，以及需要渲染的首尾帧数；左、右摄像机的分辨率和画幅尺寸相同，将所述左、右摄像机设定为指定分辨率和画幅，以及需要渲染的首尾帧数；前摄像机单独设定指定的分辨率、画幅和渲染首尾帧数。
22.优选地，序列帧为tiff格式。
23.另一方面，本发明实施例提供一种用于实现全景视频展现在cave空间中的系统,包括：
24.采集模块，拍摄并缝合全景视频素材，参考安全框调整全景视频素材的大小和位置，完成调色剪辑成序列帧；
25.构建模块，用于构建虚拟空间中的摄像机，并以坐标原点为球心创建一个球体，球
的半径不小于原点(球心)到cave空间上顶点的距离，根据需要渲染屏幕画面数量在三维空间的原点设定相应的摄像机；
26.设置处理模块，用于将所述全景素材的序列帧作为环境材质贴图附于所述球体上，设置摄像机参数和渲染参数，渲染所述序列帧；
27.生成模块，用于将渲染后的序列帧转换生成相应的视频文件。
28.需要渲染屏幕画面数量为5，将全景视频素材裁剪成上下、前、左右5个画面，所述设置处理模块将全景素材的序列帧作为环境材质贴图附于所述球体上，具体包括：
29.按照上下、前、左右各自进行角度设定5个摄像机，分别设定其参数，其中，上摄像机的参数为：焦点距离b-d，偏移下摄像机的参数：焦点距离d：偏移前摄像机的参数为:焦点距离为c+e，偏移左摄像机的参数为：焦点距离a/2，偏移右摄像机的参数为：焦点距离为a/2，偏移其中偏移值指的是摄像机与摄像机正前方偏移的差距与摄像机移动方向上摄像机所覆盖的范围尺寸比值，
30.其中，a、b、c分别为cave沉浸式空间的长、高、深，前屏幕尺寸为a
×
b、上下屏幕尺寸为a
×
c、左右屏幕尺寸b
×
c，d、e分别为最佳观赏点的高度、与沉浸式cave空间的水平距离。
31.设置摄像机参数和渲染参数，包括：
32.上下摄像机的分辨率和画幅尺寸相同，将所述上、下摄像机和前摄像机设定为指定的分辨率和画幅，以及需要渲染的首尾帧数；
33.左、右摄像机的分辨率和画幅尺寸相同，将所述左、右摄像机设定为指定分辨率和画幅，以及需要渲染的首尾帧数；
34.前摄像机单独设定指定的分辨率、画幅和渲染首尾帧数。
35.本发明实施例具有如下优点：
36.vr摄像机拍摄了360度全方位的画面，本发明充分发挥了全景素材表现内容全的优势，模拟了人眼观察周围环境，沉浸感更强。并且摆脱了传统vr需要借助vr头盔观影的孤独感，能与身旁的人一同体验更宽广的视野和画面，节省了排队观赏的时间，突破了每次只有一个人可以观赏同一个全景画面的限制，适用于展厅展览、博物馆等地点的内容投放。使用这种技术方案可以降低多人同时观看同一个沉浸式视频的技术难度。允许按指定要求免费批量渲染长时间、高质量、无畸变的视频画面。允许工作人员在前期后期测试、沟通与制定最佳观赏点，以便于达到最佳的视觉效果。区别于基于全景素材的cave投影系统的实时渲染：成本低，对使用的设备要求少，渲染时间快且没有掉帧的风险。
附图说明
37.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅
仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
38.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
39.图1a为观众与cave沉浸式空间的方位关系示意图；
40.图1b为观众与cave沉浸式空间以及全景视频素材的方位关系图，其中全景视频素材作为材质附着在球面上；
41.图2为本发明实施例提供的一种将全景视频展现在cave空间中的裁剪方法流程图；
42.图3a和图3b所示为上、下、前摄像机共用的三维工程示意图；
43.图4a和图4b为本发明实施例中左、右摄像机共用的三维工程示意图。
具体实施方式
44.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明提供的方法及系统适用于cave空间为长方体面片构成的空间，且最佳观赏点在cave空间外的情况。
46.实施本发明技术方案预期达到的效果：将拍摄后缝合好的全景视频按照每面屏指定的分辨率裁剪成多个视频画面(屏幕个数和观众观赏位置可根据实际情况另外指定，屏幕个数不多于5个)，使得观众站在最佳观赏点获得与在佩戴vr头盔观看到的画面类似的观赏效果。
47.将cave的面结构改成线框结构，渲染前摄影摄像机的全景画面得到安全框。
48.将所述五个区域画面按照计算得到的数量关系裁剪制作成对应于所述cave沉浸式空间的多屏画面，并生成相应的视频文件。
49.cave沉浸式空间的多面屏屏幕的分辨率根据各屏幕尺寸进行调整。
50.本发明实施例中，将原视频画幅重新设定为a:b，将全景视频裁剪成5个部分：上下、左右、中。其中中间的部分不发生畸变，其他的部分(包括上下左右)都存在一定程度的拉伸，将裁剪后的上、下、左、右不规则四边形视频变换成指定画幅和分辨率的矩形视频。
51.本技术方案为了方便说明，假设将全景视频素材裁剪成上下、前、左右5个画面，其中前屏幕的实际尺寸都是axb，上下屏尺寸为axc，左右屏幕的实际尺寸是bxc，最佳观赏点的高度是d，与沉浸感空间cave的垂直距离为e。本次用于测试的数据为a＝7，b＝c＝4，d＝1.5，e＝2(单位：米)，分辨率分别为2688x1536，1536x1536。图1a为观众与cave沉浸式空间的方位关系示意图；图1b为观众与cave沉浸式空间以及全景视频素材的方位关系图，其中全景视频素材作为材质附着在球面上。
52.本技术方案借助在虚拟三维空间中的创建、编辑、材质编辑和摄像机等功能对全
景图像进行特定的渲染，渲染的画面可以分别在指定的屏幕上播放，观众站在指定的位置上观看到的画面不畸变。摄像机模拟人眼，按照指定的参数分别渲染三维空间中与实际情况对应的上下、前、左右的画面，然后在对应的屏幕中播放。
53.参照图2，本发明实施例提供的一种将全景视频展现在cave空间中的裁剪方法,包括如下步骤：
54.s1，拍摄并缝合全景视频素材，参考安全框调整全景视频素材的大小和位置，完成调色剪辑成序列帧；
55.在cave空间每个面的边界上分别创建线条得到cave线框模型，选择前摄像机且渲染其全景画面得到安全框，安全框的作用是作为参考对原始全景素材进行位置大小的微调，防止重要画面被空间切割，同时使得cave沉浸式空间中的前、上下、左右尽量贴合现实生活中的前、天地、左右，但是因为存在球形空间与长方体空间的映射关系，不宜进行过大的调整，否则会产生畸变，完成安全框参考后剪辑成序列帧。
56.s2，三维坐标原点为球心创建一个球体，球的半径不小于原点(球心)到cave空间上顶点的距离，根据需要渲染屏幕画面数量在三维空间的原点设定相应的摄像机；
57.三维坐标原点是人的视点，也就是最佳观赏点，cave空间等都以此为根据，在虚拟三维空间中构建。
58.首先，以三维坐标原点为球心创建一个球体，球的半径不小于原点(球心)到cave空间上顶点的距离将cave沉浸式空间按照指定的数据1:1创建在虚拟的三维空间中，观众所处的位置三维坐标原点为最佳观赏点。然后设定摄像机(需要渲染几个屏幕画面就设定几架摄像机)，此次测试将在三维空间的原点设定5架摄像机(为了分别渲染上下、前、左右的画面)。
59.5个摄像机按照上下、前、左右各自进行角度设定，然后分别设定其余的参数。其中，上摄像机的参数为：焦点距离b-d，偏移下摄像机的参数：焦点距离d：偏移前摄像机的参数为:焦点距离为c+e，偏移左摄像机的参数为：焦点距离a/2，偏移右摄像机的参数为：焦点距离为a/2，偏移其中偏移值指的是摄像机与摄像机正前方偏移的差距与摄像机移动方向上摄像机所覆盖的范围尺寸比值，
60.其中，a、b、c分别为cave沉浸式空间的长、高、深，前屏幕尺寸为a
×
b、上下屏幕尺寸为a
×
c、左右屏幕尺寸b
×
c，d、e分别为最佳观赏点的高度、与沉浸式cave空间的水平距离。
61.s3，将所述全景素材的序列帧作为环境材质贴图附于所述球体上；
62.s4，设置摄像机参数和渲染参数，渲染成序列帧；
63.本实施例中，由于基于测试数据b＝c，且上下、前屏分辨率相同，共用三维工程，否
则上下摄像机和前摄像机不共用三维工程。图3a和图3b所示为上、下、前摄像机共用的三维工程示意图。参照图3a和3b，分别设置渲染参数，其中，此次用于测试的上下摄像机和前摄像机的分辨率和尺寸一样(分辨率为2688x1536，画幅为a：b＝7:4＝1.75)，所以此三摄像机共用一个工程，在渲染设置的输出面板中设定指定的分辨率和画幅，设置需要渲染的首尾帧数(根据实际视频的帧数而定)。
64.图4a和图4b为本发明实施例中左、右摄像机共用的三维工程示意图。参照图4a和图4b，左右摄像机共用的三维工程如下，在渲染设置的输出面板中设定指定分辨率(此处测试数据为1536x1536)，画幅为b/c(此处测试数据为4/4＝1)，最后设置需要渲染的首尾帧数(根据实际视频的帧数而定)。
65.s5，将渲染后的序列帧转换生成相应的视频文件。
66.本发明实施例还提供相应的用于实现全景视频展现在cave空间中的系统，包括：
67.采集模块，拍摄并缝合全景视频素材，参考安全框调整全景视频素材的大小和位置，完成调色剪辑成序列帧；
68.在cave空间每个面的边界上分别创建线条得到cave线框模型，选择前摄像机且渲染其全景画面得到安全框，其作用是作为参考对原始全景素材进行位置大小的微调，防止重要画面被空间切割，同时使得cave沉浸式空间中的前、上下、左右尽量贴合现实生活中的前、天地、左右，但是因为存在球形空间与长方体空间的映射关系，不宜进行过大的调整，否则会产生畸变，完成安全框参考后剪辑成序列帧。
69.构建模块，用于构建虚拟空间中的摄像机，并以坐标原点为球心创建一个球体，球的半径不小于原点(球心)到cave空间上顶点的距离，根据需要渲染屏幕画面数量在三维空间的原点设定相应的摄像机；
70.设置处理模块，用于将所述全景素材的序列帧作为环境材质贴图附于所述球体上，设置摄像机参数和渲染参数，渲染所述序列帧；
71.生成模块，用于将渲染后的序列帧转换生成相应的视频文件。
72.需要渲染屏幕画面数量为5，将全景视频素材裁剪成上下、前、左右5个画面，设置处理模块将全景素材的序列帧作为环境材质贴图附于球体上，具体包括：
73.按照上下、前、左右各自进行角度设定5个摄像机，分别设定其参数，其中，上摄像机的参数为：焦点距离b-d，偏移下摄像机的参数：焦点距离d：偏移前摄像机的参数为:焦点距离为c+e，偏移左摄像机的参数为：焦点距离a/2，偏移右摄像机的参数为：焦点距离为a/2，偏移其中偏移值指的是摄像机与摄像机正前方偏移的差距与摄像机移动方向上摄像机所覆盖的范围尺寸比值，
74.其中，a、b、c分别为cave沉浸式空间的长、高、深，前屏幕尺寸为a
×
b、上下屏幕尺寸为a
×
c、左右屏幕尺寸b
×
c，d、e分别为最佳观赏点的高度、与沉浸式cave空间的水平距离。
75.设置摄像机参数和渲染参数，其中，
76.上下摄像机的分辨率和画幅尺寸相同，将所述上、下摄像机和前摄像机设定为指定的分辨率和画幅，以及需要渲染的首尾帧数；左、右摄像机的分辨率和画幅尺寸相同，将所述左、右摄像机设定为指定分辨率和画幅，以及需要渲染的首尾帧数；前摄像机单独设定指定的分辨率、画幅和渲染首尾帧数。
77.vr摄像机拍摄了360度全方位的画面，本发明充分发挥了全景素材表现内容全的优势，模拟了人眼观察周围环境，沉浸感更强。并且摆脱了传统vr需要借助vr头盔观影的孤独感，能与身旁的人一同体验更宽广的视野和画面，节省了排队观赏的时间，突破了每次只有一个人可以观赏同一个全景画面的限制，适用于展厅展览、博物馆等地点的内容投放。使用这种技术方案可以降低多人同时观看同一个沉浸式视频的技术难度。允许按指定要求免费批量渲染长时间、高质量、无畸变的视频画面。允许工作人员在前期后期测试、沟通与制定最佳观赏点，以便于达到最佳的视觉效果。区别于基于全景素材的cave投影系统的实时渲染：成本低，对使用的设备要求少，渲染时间快且没有掉帧的风险。
78.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
79.在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
80.另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
81.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。