一种基于实时渲染的内插帧方法及装置

本发明涉及计算机视觉、图像处理，尤其涉及一种基于实时渲染的内插帧方法及装置。

背景技术：

1、随着场景渲染画质和复杂程度的不断提高，以及实时光线追踪技术及复杂的全局光照算法的引入，实时渲染在计算上的开销越来越高，对其性能造成了极大的挑战。计算量增加可能导致帧率降低，从而极大地影响用户在观看游戏等渲染画面时的体验。

2、为了减轻gpu的渲染压力并提供更流畅的画面体验，研究者们提出了超采样技术和帧插值技术等方法以提升渲染性能。其中，帧插值技术通过生成额外的中间帧来提高帧率。然而，针对实时渲染的帧插值技术的研究并未普及。

3、学术文献neural frame interpolation for rendered content[j]//acmtransactions on graphics(tog),2021.中提出了一种针对渲染内容的内插帧方法，该方法能生成高质量的中间帧，但其计算开销过大，无法应用于实时渲染。

4、2022年，nvidia推出dlss3，该方法基于dlss超分辨率技术，结合使用光学多帧生成技术来生成全新帧，并运用nvidia reflex低延迟技术来优化响应速度，但该方法只能在nvidia geforce rtx 40系列显卡上运行，这限制了其应用范围。

5、除了减少实时渲染中计算可能造成的高开销外，如何建立精确的插帧模型和优化策略也是主要面临的挑战。

6、实际的场景中，画面变化可能会非常复杂，可能导致插帧出现一些视觉伪影。充分利用前后帧的信息来生成中间帧需要获得准确的运动向量。获取中间帧与输入帧之间的运动向量并对其进行优化是一项具有挑战性的任务。准确地估计运动向量对于生成高质量的中间帧至关重要。

7、中国专利文献cn111277780a公开了一种改善插帧效果的方法和装置，该方法包括：基于光流插帧法，确定相邻两帧原始图像之间的内插帧图像；判断所述内插帧图像的插帧质量是否达标；当所述内插帧图像的插帧质量不达标时，更新所述内插帧图像。上述方案虽然一定程度上可以改善基于光流插帧法得到的内插帧图像的插帧质量，有效提高用户对插帧之后得到的高帧率视频的观看体验。但是上述方案主要针对视频插帧，而非实时渲染场景。

8、在实时渲染中，由于场景动态变化，物体的运动和变化可能更加复杂和难以预测。在实时渲染的环境下，如何准确地获取和利用光流信息，以及如何在保证插帧质量的同时，提高插帧效率和降低计算复杂性的问题，上述方案并未揭示任何解决手段。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于实时渲染的内插帧方法及装置，旨在解决现有技术实时渲染中计算开销过大、插帧质量不准确和计算复杂性问题，从而提高渲染性能和用户体验。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、第一方面，本发明实施例提供的一种基于实时渲染的内插帧方法，包括：

4、获取连续渲染的第一图像帧和第二图像帧；

5、计算第一图像帧到第二图像帧的第一光流和第二图像帧到第一图像帧的第二光流，其中，所述光流用于指示各像素点从一图像帧到另一图像帧的运动信息，实现像素级的对应；

6、基于第一光流估算第一图像帧到目标插帧的第三光流，并基于第二光流估算第二图像帧到目标插帧的第四光流；

7、根据第三光流更新第二图像帧的颜色缓冲区，并根据第四光流对更新后的第二图像帧进行映射；

8、基于映射结果计算从第一图像帧到目标插帧的精确第三光流，并基于精确第三光流生成目标插帧；

9、将目标插帧插入待显示列表，并按照待显示列表顺序等待进行图像显示。

10、根据本发明实施例，其中，使用重投影的方法获得所述的第一光流ft→t+1和第二光流ft+1→t，

11、其中，所述的使用重投影的方法获得第一光流ft→t+1，包括：

12、获得第一图像帧的每个像素的坐标pt；

13、利用渲染第二图像帧时的观察矩阵vt+1和相机投影矩阵k，将第一图像帧的每个像素的坐标pt投影到第二图像帧上，得到在第二图像帧中的对应坐标πt→t+1(pt)，计算公式如下：

14、

15、

16、其中，πt→t+1表示将第一图像帧t的点pt映射到第二图像帧t+1的重投影系数，k表示相机投影矩阵，vt+1表示第二图像帧的观察矩阵，表示第一图像帧的观察矩阵的逆，k-1表示相机投影矩阵的逆；

17、将第二图像帧中的对应坐标πt→t+1(pt)与第一图像帧的每个像素的坐标pt相减并进行线性运算，得到第一光流ft→t+1，计算公式如下：

18、ft→t+1[p]＝πt→t+1(pt)-pt

19、其中，ft→t+1[p]表示从第一图像帧t到第二图像帧t+1的第一光流中特定像素的二维坐标p＝(px,py)的向量，px表示像素在x轴上的坐标，py表示像素在y轴上的坐标。

20、第二图像帧到第一图像帧的第二光流ft+1→t同样使用重投影的方法，具体过程依照第一光流ft→t+1的获得方法类推。

21、根据本发明实施例，其中，所述的基于第一光流估算第一图像帧到目标插帧的第三光流，并基于第二光流估算第二图像帧到目标插帧的第四光流，计算公式如下：

22、ft→t+0.5＝0.5·ft→t+1

23、ft+1→t+0.5＝0.5·ft+1→t

24、其中，ft→t+1表示第一图像帧t到第二图像帧t+1的第一光流，ft→t+0.5表示第一图像帧t到目标插帧t+0.5的第三光流，ft+1→t表示第二图像帧t+1到第一图像帧t的第二光流，ft+1→t+0.5表示第二图像帧t+1到目标插帧t+0.5的第四光流。

25、根据本发明实施例，其中，所述的根据第三光流更新第二图像帧的颜色缓冲区，并根据第四光流对更新后的第二图像帧进行映射，包括：

26、根据第三光流ft→t+0.5更新第二图像帧的颜色缓冲区，计算公式如下：

27、it+1[pt+1]＝ft→t+0.5[pt]

28、其中，it+1[pt+1]表示第二图像帧t+1中的二维坐标pt+1的像素点颜色信息，ft→t+0.5[pt]表示从第一图像帧t到目标插帧t+0.5的第三光流在第一图像帧中二维坐标pt对应的像素点颜色信息；

29、根据第四光流ft+1→t+0.5对更新后的第二图像帧中对应的三维坐标点pt+1进行映射，计算公式如下：

30、p′t+0.5＝(pt+1+ft+1→t+0.5).xy

31、ft+0.5[p′t+0.5]＝it+1[pt+1]

32、其中，p′t+0.5表示第二图像帧中的二维坐标pt+1经第四光流ft+1→t+0.5进行映射和计算后粗略在目标插帧t+0.5中的二维坐标，pt+1表示第二图像帧中的二维坐标pt+1对应的三维坐标，xy表示第四光流中运动信息对应坐标横坐标、纵坐标的值，ft+0.5[p′t+0.5]表示生成的精确第三光流中对应坐标处的已着色信息。

33、根据本发明实施例，其中，所述的基于映射结果计算从第一图像帧到目标插帧的精确第三光流，包括：

34、剔除映射结果中同一个像素内被遮挡的点；

35、对映射结果进行插值，得到精确第三光流。

36、根据本发明实施例，其中，所述的剔除映射结果中同一个像素内被遮挡的点，包括：

37、遍历映射结果中每个像素，获得每个像素的分布点；

38、对比散落在相同像素内的分布点的深度值，将距离相机较远的点剔除，只保留距离相机最近的点。

39、根据本发明实施例，其中，所述的基于精确第三光流生成目标插帧，包括：

40、基于精确第三光流，将第一图像帧中的二维坐标处的像素颜色信息赋值给目标插帧的二维坐标处的像素颜色信息；

41、对目标插帧中未着色的像素，按照距离由近到远进行遍历搜寻，选取距离最近的已着色像素进行赋值，生成目标插帧。

42、第二方面，本发明实施例还提供了一种基于实时渲染的内插帧装置，包括：

43、获取图像帧模块，用于获取连续渲染的第一图像帧和第二图像帧；

44、图像帧光流计算模块，用于计算第一图像帧到第二图像帧的第一光流和第二图像帧到第一图像帧的第二光流，

45、其中，所述光流用于指示各像素点从一图像帧到另一图像帧的运动信息，实现像素级的对应；

46、目标插帧估算模块，用于基于第一光流估算第一图像帧到目标插帧的第三光流，并基于第二光流估算第二图像帧到目标插帧的第四光流；

47、颜色缓冲区更新及映射模块，用于根据第三光流更新第二图像帧的颜色缓冲区，并根据第四光流对更新后的第二图像帧进行映射；

48、目标插帧生成模块，用于基于映射结果计算从第一图像帧到目标插帧的精确第三光流，并基于精确第三光流生成目标插帧；

49、显示模块，用于将目标插帧插入待显示列表，并按照待显示列表顺序等待进行图像显示。

50、第三方面，本发明实施例还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有带有标签的饰品，所述处理器执行所述计算机程序时实现上述基于实时渲染的内插帧方法的步骤。

51、第四方面，本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现上述基于实时渲染的内插帧方法的步骤。

52、与现有技术相比，本发明具有的有益效果至少包括：

53、针对实时渲染的插帧任务，本发明提供的基于实时渲染的内插帧方法能够节省渲染场景时的计算成本和渲染时间，生成较高质量的插帧图像，提高实时渲染的帧率和用户体验，同时降低gpu的渲染压力，增加画面流畅度。