图像处理方法及装置、显示装置和介质与流程

本发明涉及图像处理，尤其涉及一种图像处理方法及装置、显示装置和介质。

背景技术：

1、虚拟现实技术(virtual reality，缩写为vr)是一种可以创建和体验虚拟世界的计算机仿真方法，它通过将多源信息进行融合，以向用户提供一种交互式的三维动态视景，并通过对用户行为进行仿真，从而使用户沉浸到该模拟环境中。

2、虚拟现实技术包括环境模拟技术、用户行为感知技术等各个方面。环境模拟技术是指通过计算机生成实时动态的三维立体逼真图像。用户行为感知技术是指理想的虚拟现实系统可以获知用户所具有的一切感知。除计算机图像技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。

3、虚拟现实技术的广泛推广及应用需要vr应用本身最好是维持较高的系统帧率，以提供最好的渲染质量。

技术实现思路

1、根据本申请的一方面，提供了一种图像处理方法，该方法包括：基于当前帧之前预定时间段内的每个渲染处理的耗时确定经统计渲染耗时；基于所述经统计渲染耗时，从第一模式、第二模式以及第三模式中选择用于当前帧的待渲染图像的选定图像处理模式，其中第一模式、第二模式以及第三模式分别与渲染线程中的渲染处理与异步时间扭曲线程中的时间扭曲处理之间的不同时序相关联；以及根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，得到当前帧的输出图像数据。

2、根据本申请的另一方面，提供了一种图像处理装置，包括：统计模块，用于基于当前帧之前预定时间段内的每个渲染处理的耗时确定经统计渲染耗时；模式选择模块，用于基于所述经统计渲染耗时，从第一模式、第二模式以及第三模式中选择用于当前帧的待渲染图像的选定图像处理模式，其中第一模式、第二模式以及第三模式分别与渲染线程中的渲染处理与异步时间扭曲线程中的时间扭曲处理之间的不同时序相关联；以及处理模块，用于根据用于当前帧的待渲染图像的选定图像处理模式，对当前帧的待渲染图像进行渲染处理以及时间扭曲处理，得到当前帧的输出图像数据。

3、根据本申请的另一方面，提供了一种图像处理装置，包括：处理器和存储器，其中，所述存储器存储有计算机可执行指令，所述计算机可执行指令由所述处理器执行时以进行如上所述的图像处理方法。

4、根据本申请的另一方面，提供了一种显示装置，包括：显示器；以及如上所述的图像处理装置。

5、根据本申请的另一方面，提供了一种非易失性存储介质，存储有计算机可执行指令，其中，所述计算机可执行指令由处理器执行时以进行如上所述的图像处理方法。

6、本申请的实施例还提供了一种能够根据渲染处理所花费的实时时长来动态调整系统时序的思想，通过对渲染处理所花费的时间的实时统计后进行自动切换到渲染处理和时间扭曲处理的最优时序，既能提高处理器的使用效率，又能改善渲染处理所花费的时间过长导致的延时问题以及抖动问题。

技术特征：

1.一种图像处理方法，包括：

2.根据权利要求1所述的方法，其中，基于所述经统计渲染耗时，从第一模式、第二模式以及第三模式中选择用于当前帧的待渲染图像的选定图像处理模式，包括：

3.根据权利要求2所述的方法，其中，在所述选定图像处理模式为第一模式的情况下，根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，包括：

4.根据权利要求2所述的方法，

5.根据权利要求2所述的方法，其中，在所述选定图像处理模式为第三模式的情况下，根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，包括：

6.根据权利要求2所述的方法，其中，每个帧的待渲染图像包括左眼图像和右眼图像，

7.根据权利要求6所述的方法，其中，在所述第一和第二经统计渲染耗时小于等于所述第一阈值的1/2，使得所述选定图像处理模式为第一模式的情况下，根据所述选定图像处理模式，对当前帧的待渲染图像进行渲染处理以及时间扭曲处理，包括：

8.根据权利要求6所述的方法，其中，在所述第一和第二经统计渲染耗时大于所述第一阈值的1/2且小于等于所述第二阈值的1/2，使得所述选定图像处理模式为第二模式的情况下，根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，包括：

9.根据权利要求6所述的方法，其中，在所述第一和第二经统计渲染耗时大于所述第二阈值的1/2，使得所述选定图像处理模式为第三模式的情况下，根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，包括：

10.根据权利要求6所述的方法，还包括：

11.根据权利要求10所述的方法，其中，向显示模块发送当前帧的所述输出图像数据，包括：

12.根据权利要求3-5中任一项所述的方法，还包括：

13.根据权利要求7-9中任一项所述的方法，还包括：

14.根据权利要求13所述的方法，其中，根据所述选定图像处理模式，对当前帧的待渲染图像进行渲染处理以及时间扭曲处理，还包括：

15.一种图像处理装置，包括：

16.一种图像处理装置，包括：处理器和存储器，其中，所述存储器存储有计算机可执行指令，所述计算机可执行指令由所述处理器执行时以进行如权利要求1-14中任一项所述的图像处理方法。

17.一种显示装置，包括：

18.一种非易失性存储介质，存储有计算机可执行指令，其中，所述计算机可执行指令由处理器执行时以进行如权利要求1-14中的任一项所述的图像处理方法。

技术总结
提供了图像处理方法及装置、显示装置和介质。图像处理方法，包括：基于当前帧之前预定时间段内的每个渲染处理的耗时确定经统计渲染耗时；基于所述经统计渲染耗时，从第一模式、第二模式以及第三模式中选择用于当前帧的待渲染图像的选定图像处理模式，其中第一模式、第二模式以及第三模式分别与渲染线程中的渲染处理与异步时间扭曲线程中的时间扭曲处理之间的不同时序相关联；以及根据所述选定图像处理模式，对当前帧的待渲染图像异步地进行渲染处理以及时间扭曲处理，得到当前帧的输出图像数据。

技术研发人员：范清文,陈丽莉,苗京花
受保护的技术使用者：京东方科技集团股份有限公司
技术研发日：
技术公布日：2024/12/30