多虚幻窗口画面渲染方法、装置及应用与流程

本申请涉及虚幻引擎领域，特别是涉及一种多虚幻窗口画面渲染方法、装置及应用。

背景技术：

1、裸眼全沉浸式混合现实产品是一种以裸眼视角完成虚拟世界重构的产品，用户可现实空间内裸眼观看虚拟世界的画面，以实现真实的自我和虚拟世界的混合交互，其在诸多领域都有不同的应用。比如当其用于工业领域可还原各类工业设备、厂房及作业环境，实现煤矿井下工业输送等数字孪生的沉浸式体验，当其用于教学领域可还原各类高危场景或者高成本教学场景以实现沉浸式的教学体验。

2、为了营造全空间的画面感，目前的裸眼全沉浸式混合现实产品是在封闭的房间前后左右上的五个视角画面投射虚拟画面，主要的实现手段是通过虚幻引擎在对应的视角创建五个slate窗口进而形成一个完整密闭的视觉空间，而在渲染每一帧画面时都需要依次渲染五个窗口，且由于一块显卡最多只有4个输出口，故虚幻引擎还需要配置2个显卡以使得每一个输出口都对应输出一个窗口的画面，以确保窗口的画面投射在视觉空间对应视角上。

3、为了适配于5个slate窗口，需要在虚幻渲染内部进行5个场景的切割以及合批操作，即将视椎外的场景物体不加入渲染列表，反之加入，以及将相同材质的物品合并到同一批次渲染，使得整个渲染过程需要消耗巨大的cpu计算量进而导致渲染效率低下。另外，由于虚幻引擎的多线程渲染架构，导致渲染的每两个画面之间的呈现时间会有时间差，特别是高速运动的画面会在视觉空间中产生明显的割裂感，进而影响用户的视觉体验感。

技术实现思路

1、本申请实施例提供了一种多虚幻窗口画面渲染方法、装置及应用，解决了虚幻引擎在渲染多个slate窗口时存在的画面撕裂、渲染效率低下的问题。

2、第一方面，本申请实施例提供了一种多虚幻窗口画面渲染方法，包括：

3、虚幻引擎上创建一个主窗口；

4、将所述主窗口的不同视角的渲染内容设置为子窗口，并在所述子窗口内设置每个视角的渲染内容相较于所述主窗口的子窗口渲染矩阵；

5、将所述主窗口进行渲染得到不同子窗口的子窗口渲染画面；

6、获取每一子窗口渲染画面的子窗口像素偏移量；

7、将所述子窗口渲染画面和所述子窗口像素偏移量一并输出给对应的光机进行投射。

8、第二方面，本申请实施例提供了一种多虚幻窗口画面渲染装置，包括：

9、窗口创建单元，用于在虚幻引擎上创建一个主窗口；

10、窗口设置单元，用于将所述主窗口的不同视角的渲染内容设置为子窗口，并在所述子窗口内设置每个视角的渲染内容相较于所述主窗口的子窗口渲染矩阵；

11、渲染单元，用于将所述主窗口进行渲染得到不同子窗口的子窗口渲染画面；

12、偏移单元，用于获取每一子窗口渲染画面的子窗口像素偏移量；

13、投射单元，用于将所述子窗口渲染画面和所述子窗口像素偏移量一并输出给对应的光机进行投射。

14、第三方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据任一项所述的多虚幻窗口画面渲染方法。

15、本发明的主要贡献和创新点如下：

16、本申请实施例解决了在虚幻引擎中创建多个虚幻窗口后对多个虚幻窗口进行计算而带来的重复计算视锥剔除以及合批计算的问题，极大程度地减少了每帧画面渲染的cpu消耗量进而提高了渲染效率。另外，本申请实施例还解决了多个虚幻窗口分别渲染时导致的画面存在时间差进而实现画面存在撕裂感的问题，本申请实施例通过对局部画面截图处理后通过多进程计算画面平移量，摄像头在渲染对应画面时基于画面平移量进行平移进而解决画面撕裂的问题。

17、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种多虚幻窗口画面渲染方法，其特征在于，包括：

2.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，每一子窗口为对应视角在所述主窗口的区域，且每一子窗口对应一个视角。

3.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，计算每个视角的渲染内容相对于所述主窗口的偏移位置，并将所述偏移位置转换为所述子窗口渲染矩阵，在对应的子窗口内设置所述子窗口渲染矩阵。

4.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，将所述子窗口的子窗口渲染矩阵叠加得到主窗口的主窗口渲染矩阵，对所述主窗口渲染矩阵进行渲染以得到不同子窗口的子窗口渲染画面。

5.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，取每一子窗口渲染画面的带状像素图片，计算所述带状像素图片同相邻子窗口的带状像素图片的偏移量作为当前子窗口的子窗口像素偏移量。

6.根据权利要求5所述的多虚幻窗口画面渲染方法，其特征在于，将每一子窗口渲染画面的带状像素图片的像素数据通过udp消息发送给外部进程，所述外部进程通过平移相邻子窗口的带状像素图片以获取偏移量，所述偏移量按照对应关系通过udp消息包回传给虚幻引擎。

7.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，将四个子窗口渲染画面和对应所述子窗口像素偏移量的信号输入到切分设备中，所述切分设备将所述子窗口渲染画面进行田字切分得到四个子窗口渲染画面的信号，再将四个子窗口渲染画面同对应的子窗口像素偏移量输出给对应的光机。

8.根据权利要求1所述的多虚幻窗口画面渲染方法，其特征在于，将所述子窗口像素偏移量引入所述光机的光机矩阵中计算得到当前光机的偏移向量，依据所述偏移向量移动所述光机至调整后的位置后投射所述子渲染画面。

9.一种多虚幻窗口画面渲染装置，其特征在于，包括：

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至8任一项所述的多虚幻窗口画面渲染方法。

技术总结
本发明提供一种多虚幻窗口画面渲染方法、装置及应用，该方案在虚幻引擎上创建一个主窗口；将所述主窗口的不同视角的渲染内容设置为子窗口，并在所述子窗口内设置每个视角的渲染内容相较于所述主窗口的子窗口渲染矩阵；将所述主窗口进行渲染得到不同子窗口的子窗口渲染画面；获取每一子窗口渲染画面的子窗口像素偏移量；将所述子窗口渲染画面和所述子窗口像素偏移量一并输出给对应的光机进行投射，通过将多个虚幻窗口的画面渲染问题合并为同一个主窗口的渲染以解决渲染效率的问题。

技术研发人员：夏敏鸿,周子乔,魏娉婷
受保护的技术使用者：杭州一隅千象科技有限公司
技术研发日：
技术公布日：2024/1/12