图像产生方法和使用该方法的显示装置与流程

文档序号：17051210发布日期：2019-03-05 20:10阅读：242来源：国知局

本公开涉及一种基于从运动传感器获得的角度值实时而没有延迟地将用户的运动反映在屏幕上的图像产生方法和使用该图像产生方法的显示装置。

背景技术：

虚拟现实技术正在国防、建筑、旅游、电影、多媒体和游戏领域迅速发展。虚拟现实是指使用立体图像技术的与真实环境类似的特定环境或情形。

虚拟现实(下文中，被称为“vr”)系统根据用户的运动来移动立体图像，并且输出立体声音以向用户提供虚拟体验。vr系统被实现为头戴式显示器(hmd)和面部安装显示器(fmd)。增强现实(ar)系统使数字内容看起来叠加在现实世界上。增强现实系统被实现为眼镜式显示器(egd)。

在vr系统中，在显示面板的屏幕上显示输入图像之前的等待时间大幅影响图像质量。通过显示驱动器，从图形处理单元(下文中，被称为“gpu”)生成的图像数据被写入显示面板的像素中。输入图像的数据在作为gpu的图像处理延迟时间和显示装置的延迟时间之和的总延迟时间之后显示在像素上。如果总延迟时间长，则用户会感觉到屏幕的拖拽或运动模糊。这种现象不仅使图像质量下降，而且还增加用户的疲劳感。

如果vr/ar系统中的运动到光子等待时间(motiontophotonlatency)长，则会造成晕动或晕眩。运动到光子延迟是在屏幕以使得用户的运动被反映在显示屏上的方式被更新之前所需的时间。如果运动到光子延迟大，则显示屏的更新会晚于用户的动作，使得当用户转动他或她的头部时，屏幕上的图像将稍后移动。

在vr/ar系统中，由于gpu在检测到用户的运动时产生图像数据，因此gpu所产生的图像的每秒帧数(fps)不是恒定的。这造成残留。另外，如果fps不是恒定的，则这在当用户转动他或她的头部时，在屏幕上再现的图像中引起运动模糊或运动颤动。

技术实现要素：

本公开提供了一种用于防止当用户移动时产生的运动模糊和运动颤动的图像产生方法以及使用该方法的显示装置。

在一个实施方式中，提供了一种显示装置的图像产生方法，该显示装置包括被配置成在具有水平分辨率和竖直分辨率的屏幕上显示输入图像的显示面板，该方法包括以下步骤：接收从运动传感器获得的角度值；基于所述角度值来计算像素位移值；通过将显示在所述屏幕上的输入图像的帧数据移位达所述像素位移值来产生内插帧数据；以及在所述屏幕上显示所述输入图像的帧数据和所述内插帧数据。

所述像素位移值可以包括通过将角度值乘以屏幕的上下分辨率与用户的上下视角之比而计算出的第一像素位移值和通过将角度值乘以屏幕的左右分辨率与用户的左右视角之比而计算出的第二像素位移值。

在另一个实施方式中，提供了一种显示装置，该显示装置包括：显示面板，该显示面板被配置成在具有水平分辨率和竖直分辨率的屏幕上显示输入图像；运动计算器，该运动计算器被配置成基于从运动传感器获得的角度值来计算像素位移值；内插帧产生器，该内插帧产生器被配置成通过将所述屏幕上显示的所述输入图像的帧数据移位达所述像素位移值来产生内插帧数据；以及显示驱动器，该显示驱动器被配置成在所述屏幕上显示所述输入图像的帧数据和所述内插帧数据。

在另一个实施方式中，提供了一种显示装置，该显示装置包括：显示面板，该显示面板被配置成在具有水平分辨率和竖直分辨率的屏幕上显示输入图像；以及显示驱动器，该显示驱动器被配置成将第n(n是正整数)帧数据和第(n+1)帧数据的像素数据写入所述显示面板。

所述显示驱动器接收反映用户的运动的角度值，将所述角度值转换成像素位移值，并且通过将所述第n帧数据移位达所述像素位移值来产生第(n+1)帧数据。

附图说明

附图被包括以提供对本公开的进一步理解，并入并构成本说明书的部分，附图例示了本公开的实施方式并且与说明书一起用来说明本公开的原理。在附图中：

图1是例示根据本公开的实施方式的图像产生方法的示图；

图2是例示本公开中的去除运动模糊和运动颤动的效果的示图；

图3是例示根据本公开的实施方式的显示装置的框图；

图4是例示图3中示出的显示驱动器和显示面板的详细视图；

图5是例示根据本公开的实施方式的图像产生装置的示图；

图6是例示图5中示出的图像产生装置的输入/输出图像的视图；

图7a和图7b是例示像素位移值和内插帧数据的产生定时的示图；

图8是例示当用户转动他/她的头部时用户所观看的像素的位置在时间轴上变化的示例的示图；

图9是例示当用户的头部在三个轴向方向(x，y，z)上旋转时的俯仰、偏航和滚转的视图；

图10是例示用户观看显示面板的屏幕时的水平和竖直视角的视图；

图11是例示当用户转动他/她的头部时的运动传感器的角度值的视图；

图12是例示基于根据运动传感器的角度值而产生的实时像素位移值产生的内插帧图像的示图；

图13a和图13b是例示其中memc模块连接于定时控制器的示例的视图；以及

图13c是例示在没有memc模块的情况下接收运动传感器的输出的定时控制器的示图。

具体实施方式

参照以下参照附图详细描述的实施方式，本公开的优点和特征及其实现方法将变得清楚。然而，本公开不限于以下公开的实施方式，而是可以按各种形式来实现。这些实施方式被提供，以使得本公开将被详尽且完全地描述并将把本公开的范围充分传达给本公开所属领域的技术人员。本公开由权利要求书的范围来限定。

附图中为了描述本公开的实施方式而例示的形状、大小、比率、角度、数目等仅仅是示例性的，本公开不限于此。在通篇说明书中，相同的参考标号指代相同的要素。在下面的描述中，当确定对与本文档相关的熟知功能或配置的详细描述会不必要地混淆本公开的主旨时，将省略对其的详细描述。

在本公开中，当使用术语“配备”、“包括”、“具有”、“包含”等时，除非使用“仅仅”，否则可以添加其他组件。单数措辞可以包括复数措辞，只要它在上下文中没有明显不同的含义。

在对组件的说明中，即使没有单独的描述，它也被解释为包括误差范围。

在描述位置关系时，当结构被描述为位于另一结构“上面或上方”、“下方或下面”、“旁边”时，该描述应被解释为包括其中结构彼此接触的情况以及其间设置有第三结构的情况。

在下面对实施方式的描述中，可以使用术语“第一”、“第二”等来描述各种组件，但组件不受这些术语限制。这些术语只是用来将一个组件与另一个组件区分开。

本公开的各种实施方式的特征可以被彼此部分组合或完全组合，并且在技术上能够进行各种互锁和驱动。实施方式可以被独立地实现，或者可以彼此结合地实现。

下文中，将参照附图来详细描述本公开的优选实施方式。在通篇说明书中，相同的参考标号指代相同的要素。在下面的描述中，当确定对与本文档相关的熟知功能或配置的详细描述会不必要地混淆本公开的主旨时，将省略对其的详细描述。

本公开的显示装置适用于诸如vr系统和ar系统的系统，在该系统中，根据用户的运动来更新图像数据的帧。本公开的显示装置可以被实现为诸如液晶显示器(lcd)、有机发光二极管(oled)显示器等的平板显示装置。

vr/ar系统可以使用运动传感器来检测用户的运动，并且当用户移动时，更新从显示装置再现的图像数据的帧。运动传感器可以提供俯仰、偏航和滚转信息作为角度值。运动传感器可以包括陀螺仪传感器或加速度传感器。

在本公开的图像产生方法中，从运动传感器接收到的角度值被转换成像素位移值，并且第n(n是正整数)帧数据被移位达像素位移值以产生内插帧数据。内插帧数据被添加在第n帧数据和从gpu产生的第(n+1)帧数据之间，以增加显示装置所再现的图像的帧频(或刷新速率)。

图1是例示根据本公开的一种实施方式的图像产生方法的示图。图2是例示本公开中的去除运动模糊和运动颤动的效果的示图。在图2中，位置改变轴代表当用户在佩戴ar/vr装置的同时转动他/她的头部时在显示屏上显示的对象的相对位置改变。

参照图1和图2，gpu以预定的每秒帧数(fps)(例如，30fps的帧频)产生输入图像的帧数据sn、s(n+1)和s(n+2)。当用户移动时，gpu可以产生帧数据s(n+1)来反映用户的运动。根据本公开，响应于运动传感器的输出而在显示装置中产生内插帧数据，使得不必在gpu中产生内插帧数据。

本公开的显示装置连接于运动传感器和gpu。本公开的显示装置从gpu接收输入图像数据，使用基于传感器的预测模型产生内插帧数据sn'、s(n+1)'，并且按比gpu的fps高的fps(例如，60fps)来更新显示屏上显示的图像，以增大帧频。在图1中，“pnl”代表在其上实现显示屏的显示面板。基于传感器的预测模型将从运动传感器接收到的角度值转换成像素位移值，并且产生与前一帧数据相比移位达像素位移值的内插帧数据。

vr/ar装置被以hmd、fmd和egd的形式制造。在用户佩戴vr/ar装置以再现vr/ar内容的同时，当用户的头部移动时，显示屏上的图像在与用户的运动相反的方向上移动。当用户移动时，运动传感器将用户的运动信息输出为角度值。本公开的显示装置基于从运动传感器输出的角度值来计算像素位移值，并且实时地在显示屏上反映用户的运动。像素位移值是在显示屏上显示的图像的位置改变值。由于本公开根据延迟极小的运动传感器的输出而产生像素位移值，因此可以通过在没有运动到光子延迟的情况下反映用户的运动来更新显示屏。此外，由于本公开可以响应于运动传感器在每帧的输出而产生内插帧数据以增大帧频，因此能够通过以恒定fps更新屏幕来防止运动模糊和运动颤动，如图2中所示。

另一方面，运动估计和运动补偿(memc)算法将输入图像的一帧数据存储在帧存储器中，并且比较前一帧和当前帧之间的块单位中的像素数据来估计图像的运动。由于运动估计和运动补偿(memc)算法在一帧时间段的延迟之后产生内插帧数据，因此不能避免不止一帧时间段的延迟。由于本公开在没有运动估计和运动补偿(memc)算法的情况下根据运动传感器的输出来计算像素位移值，因此可以在没有延迟时间的情况下产生内插帧数据，直到用户的运动被反映在显示屏上。

图3是例示根据本公开的一个实施方式的显示装置的框图。图4是例示图3中示出的显示驱动器和显示面板的详细视图。

参照图3和图4，本公开的显示装置包括显示面板100、100a和100b、系统控制器300、显示驱动器200等。

系统控制器300可以是vr/ar系统，但是不限于此。例如，系统控制器300可以是电视(tv)系统、计算机系统、机顶盒、导航系统、dvd播放器、蓝光播放器、家庭影院系统、移动装置系统和可穿戴装置系统中的任一种。

系统控制器300连接于运动传感器302、相机304等。系统控制器300还包括与存储器或外部视频源连接的外部装置接口、用于接收用户命令的用户接口以及用于产生电力的电源。在附图中省略了外部装置接口、用户接口、电源等。外部装置接口可以被实现为诸如通用串行总线(usb)和高清多媒体接口(hdmi)的各种已知接口模块。

系统控制器300可以包括用于对输入图像执行图像处理的gpu。gpu转换输入图像的分辨率，以匹配显示面板100、100a、100b的分辨率。gpu使用预定的眼睛跟踪算法来分析从相机304获得的图像，以估计用户注视的聚焦区域。gpu可以通过使用中心凹形渲染算法(foveatedrenderingalgorithm)增加聚焦区域的分辨率并降低聚焦区域外部的周围区域中的输入图像的分辨率来产生帧数据，使得能够响应于用户的瞳孔运动而加速屏幕更新。系统控制器300将从gpu输出的图像数据发送到显示驱动器200。

显示面板100可以被实现为其中在诸如液晶显示器(lcd)、场致发射显示器(fed)和电致发光显示器的平板显示装置上的显示图像的显示面板。电致发光显示器可以根据发光层的材料而分为无机发光显示器和有机发光显示器。无机发光显示器的示例是量子点显示器。

显示面板100的像素阵列实现其中再现输入图像的显示屏aa。像素阵列包括施加有数据电压的数据线102、施加有选通脉冲(或扫描脉冲)的选通线(或扫描线)104以及按数据线102和选通线104的正交结构布置成矩阵形式并且与数据线102和选通线104电连接的像素。像素中的每个被划分成用于实现颜色的红色子像素101、绿色子像素101和蓝色子像素101。像素中的每个还可以包括白色子像素101。子像素中的每个可以包括一个或更多个薄膜晶体管(tft)。

在vr/ar系统的情况下，如图4中所示，显示面板100可以被划分成显示左眼图像数据的第一显示面板100a和显示右眼图像数据的第二显示面板100b。

显示驱动器200从系统控制器300接收指示聚焦区域的位置信息的眼睛跟踪结果和利用中心凹形渲染算法处理的输入图像。显示驱动器200可以基于聚焦区域的位置信息将输入图像的一帧划分成聚焦区域和周围区域。显示驱动器200将从系统控制器300接收的图像数据写入显示面板100的像素中。显示驱动器200包括图4中示出的定时控制器130、数据驱动器110、选通驱动器120等。

在虚拟现实装置的情况下，显示驱动器200在显示面板100a和100b中的每个的屏幕上划分聚焦区域与周围区域，并且将显示面板100a和100b的帧频设置成等于或高于从系统控制器300接收的图像数据的输入帧频。与聚焦区域相比，显示驱动器200可以减少施加到周围区域中的选通线的选通信号的移位数目。

显示驱动器200将输入图像的数据写到显示面板100a和100b上。显示驱动器200在显示面板100a和100b中的每个中包括数据驱动器110、选通驱动器120、定时控制器130等。与显示面板100a和100b连接的数据驱动器110可以共享一个定时控制器130。

数据驱动器110将从定时控制器130接收的输入图像的数据转换成伽玛补偿电压以产生模拟数据信号的电压(数据电压)，并且将该数据电压输出到数据线102。选通驱动器120向选通线104输出与数据电压同步的选通信号(或扫描信号)。

选通驱动器120包括移位寄存器，移位寄存器用于通过将选通信号的脉冲移位来将选通信号依次供应到选通线。在定时控制器130的控制下，选通驱动器120将输出到选通线104的选通信号移位。在定时控制器130的控制下，与用户在屏幕上观看的聚焦区域相比，选通驱动器120能够减少施加到周围区域中的选通线的选通信号的移位数目。

定时控制器130的输入端子连接于系统控制器300和运动传感器302。定时控制器130的输出端子连接于数据驱动器110和选通驱动器120。定时控制器130可以包括图5中示出的图像产生装置。图像产生装置执行图1中示出的基于传感器的预测模型算法。

定时控制器130响应于运动传感器302的输出sa而产生内插帧数据，并且将内插帧数据插入从系统控制器300接收的输入图像rgb的帧数据之间以增大帧频。定时控制器130响应于运动传感器302的输出sa而产生内插帧数据，使得其能够通过将显示屏上的图像移位达像素位移值来在显示屏上无延迟地实时反映用户的运动，其中像素位移值实时反映用户的运动。定时控制器130所输出的图像数据被发送到数据驱动器110。

定时控制器130从系统控制器300接收与输入图像数据同步的定时信号，并且基于定时信号来控制数据驱动器110和选通驱动器120的操作定时。

图5是例示根据本公开的一个实施方式的图像产生装置的示图。图6是例示图5中示出的图像产生装置的输入/输出图像的视图。图7a和图7b是例示像素位移值dp和内插帧数据的产生定时的示图。

参照图5至图7b，定时控制器130包括如图5和图6中示出的图像产生装置。在图6中，“i/f”意指本公开的图像产生装置。图像产生装置i/f在奇数帧时间段中原样输出从gpu接收的帧数据(n,n+1,n+2)，并且在偶数帧时间段中输出根据运动传感器302的输出sa而产生的内插帧数据(n’,(n+1)',(n+2)')。

图像产生装置包括存储器132、运动计算器134、内插帧产生器136、复用器138和帧计数器(未示出)。帧计数器通过对在一个帧时间段内产生一次的定时信号(例如，竖直同步信号(vsync)和选通驱动器120的起始信号中的至少一个)进行计数来产生用于将奇数帧与偶数帧区分开的帧计数值fc，并且将帧计数值fc供应到复用器138的选择端子。

存储器132存储从系统控制器300的gpu接收的输入图像的帧数据。当图像产生装置接收到第n帧数据时，第n帧数据(n)被通过复用器138原样输出。运动计算器134和内插帧产生器136以基于传感器的预测模型为基础来移动第n帧数据(n)的像素数据，以产生第n内插帧数据(n')。通过复用器138输出内插帧产生器136所产生的第n内插帧数据(n')。复用器138响应于帧计数值fc而在输出第n帧数据(n)之后输出第n内插帧数据(n')。

运动计算器134将从运动传感器302接收的角度值转换成像素位移值dp。内插帧产生器136通过将帧数据移位达像素位移值来产生第n内插帧数据(n')。在图6中，n、n+1和n+2是gpu所产生的帧数据。n'、(n+1)’和(n+2)’是图像产生装置所产生的内插帧数据。

gpu可以按30hz或60hz的帧频向定时控制器130发送30fps的图像数据。30fps的图像数据每秒包括30帧的数据。

如图7a中所示，通过在30fps的一个帧时间段(33.3ms)期间连续两次产生同一个帧数据，gpu可以按60hz的帧频向定时控制器130发送30fps的图像数据。在图7a中，1、2、3和4表示帧数据编号。在图7a中，gpu在第一帧时间段期间输出第一帧数据1两次，然后，在第二帧时间段期间输出第二帧数据2两次。定时控制器130可以基于从运动传感器302实时接收的角度值来计算像素位移值，并且将同一帧数据中的第一个接收到的帧数据移位达该像素位移值，以产生内插帧数据(1’、2’、3’、4’)。内插帧数据(1’、2’、3’、4’)，而非同一帧数据中的第二个帧数据，被发送到数据驱动器110。

如图7b中所示，通过在30fps的一个帧时间段(33.3ms)期间连续一次产生同一个帧数据，gpu可以按30hz的帧频向定时控制器130发送30fps的图像数据。在图7b中，1、2、3和4表示帧数据编号。定时控制器130基于从运动传感器302实时接收的角度值来计算像素位移值，并且将从gpu接收的帧数据移位达该像素位移值，以产生内插帧数据(1’、2’、3’、4’)。内插帧数据(1’、2’、3’、4’)被添加在gpu所产生的第n帧数据和第(n+1)帧数据之间，并且被发送到数据驱动器110。

图8至图12是示出根据本公开的图像产生方法的视图。

参照图8和图11，当佩戴vr/ar系统的用户转动他/她的头部时，运动传感器302将用户的运动输出为俯仰、偏航和滚转的角度值，以检测用户的运动。也就是说，该角度值可指示绕x、y和z轴中的每一个轴的运动。例如，用户可以以他/她的头部在单个运动中绕x、y和z轴中的两个或更多个轴旋转的方式移动他/她的头部，并且角度值可代表这种绕x、y和z轴中的这两个或更多个轴的运动的角度值。偏航是围绕z轴的旋转，而俯仰是围绕y轴的旋转。滚转是围绕x轴的旋转。当用户在沿x轴旋转或倾斜头部时，滚转的角度值改变(例如，增大或减小)；当用户(例如通过沿z轴旋转头部而)在左右方向上旋转时，偏航的角度值改变(例如，增大或减小)；当用户(例如通过沿y轴旋转头部而)在上下方向上旋转时，俯仰的角度值改变(例如，增大或减小)。

当用户转动他或她的头部时，用户所观看的像素的位置从屏幕上的位置a变到位置b，如图8中所示。由于当用户转动他/她的头部时，运动传感器302沿着用户头部的旋转方向旋转，因此用户所观看的像素的位置可以被测量为从运动传感器302输出的角度值(图11，δd)。如下，本公开的图像产生方法使用运动传感器302的输出信号(也就是说，存储在存储器中的角度值δd)以及显示屏的水平和竖直分辨率)来计算像素位移值dpyaw和dppitch。dpyaw是偏航方向上的像素位移值，dppitch是俯仰方向上的像素位移值。

这里，h和v是如图10中所示的显示屏的水平分辨率(h)和竖直分辨率(v)。视场(fov)是用户观看显示屏的视角。fovh是水平视角，fovv是竖直视角。

因此，像素位移值dp包括通过将角度值乘以屏幕的上下分辨率(例如，竖直分辨率(v))与用户的上下视角(例如，竖直视角(fovv))之比而计算出的第一像素位移值dppitch和通过将角度值乘以屏幕的左右分辨率(例如，水平分辨率(h))与用户的左右视角(例如，水平视角(fovh))之比而计算出的第二像素位移值dpyaw。

参照图11和图12，当用户的视点从位置变到位置时，用户所观看的像素的位置改变。当用户移动时，显示屏(aa)必须没有延迟地在与用户的运动相反的方向上移动以便用户能够体验到逼真的虚拟世界。在图11和图12中，“obj”表示在显示屏aa上显示的对象。对象obj在与用户移动的方向相反的方向上移动。

图13a和图13b是例示其中memc模块连接于定时控制器的示例的视图。

如图13a和图13b中所示，与memc模块集成的芯片可以与定时控制器t-con连接，或者memc模块可以被嵌入定时控制器t-con中。由于memc模块如上所述对从gpu接收的帧数据进行比较以计算运动矢量，因此帧数据必然被延迟一个帧时间段。

相比之下，由于本公开的定时控制器t-con基于运动传感器302的输出(传感器数据)实时地确定用户的运动，因此用户的运动可以没有延迟地反映在显示屏上。因此，如图13c中所示，不必将单独的memc模块连接于定时控制器t-con。

当gpu以30hz的帧频将图像数据发送到定时控制器t-con时，需要用于存储帧数据的存储器。图13c中示出的存储器可以是图5的存储器132。

如上所述，本公开基于从运动传感器获得的角度值和显示面板的物理分辨率来确定用户的运动，并且实时地在屏幕上反映用户的运动。结果，根据应用本公开的vr和ar系统，用户能够在转动他/她的头部时欣赏图像而不会感到头晕，并且能够欣赏到没有运动模糊和动作颤动的图像。

虽然已经参照实施方式的多个例示实施方式描述了实施方式，但应该理解，本领域的技术人员可以设想到将落入本公开的原理范围内的众多其他修改和实施方式。更特别地，在本公开、附图和所附权利要求书的范围内，主题组合布置的组成部件和/或布置可以有各种变形和修改。除了组成部件和/或布置的变形和修改之外，本领域的技术人员还将清楚替代使用。

上述各种实施方式可以被组合以提供其他实施方式。可以根据上面的详细描述来对实施方式进行这些改变及其他改变。一般地，在以下权利要求中，所使用的术语不应被解释为将权利要求限制在说明书中公开的具体实施方式上，而是权利要求应该被解释成包括所有可能的实施方式及该权利要求享有的等同物的全部范围。相应地，权利要求不应被本公开限制。