显示单元上所渲染的视频数据的一部分的预测性增强的制作方法

显示单元上所渲染的视频数据的一部分的预测性增强的制作方法
【专利摘要】显示单元上所渲染的视频数据的一部分的预测性增强。方法包括通过数据处理设备的可通信地耦连到存储器的处理器来预测在与数据处理设备相关联的显示单元上渲染视频帧期间数据处理设备的用户有可能聚焦到的视频帧的部分。视频帧是经解码的视频数据的一部分。方法还包括在预测视频帧的部分之后，通过处理器在显示单元上以与视频帧的其他部分相比增强的水平来渲染视频帧的部分。
【专利说明】显示单元上所渲染的视频数据的一部分的预测性增强

【技术领域】
[0001] 本公开总体涉及视频后处理（post-processing)，并且更具体地涉及与数据处理 设备相关联的显示单元上所渲染的视频数据的一部分的预测性增强的方法、设备和/或系 统。

【背景技术】
[0002] 数据处理设备（例如，台式计算机、膝上型计算机、笔记本电脑、上网本、诸如移动 电话的移动设备）可以在与其相关联的显示单元（例如液晶显示器（LCD))上渲染视频数 据。为了增强观看视频数据期间的用户体验，数据处理设备可以执行一个或多个后处理算 法以适当调整视频质量。一个或多个后处理算法的执行可能计算上开销很高，导致视频丢 帧（frame-drop)。尽管执行一个或多个后处理算法来增强用户体验，但所述视频丢帧仍可 能不利于用户体验。


【发明内容】

[0003] 公开了与数据处理设备相关联的显示单元上所渲染的视频数据的一部分的预测 性增强的方法、设备和/或系统。
[0004] 在一方面，方法包括通过数据处理设备的可通信地耦连到存储器的处理器来预测 在与数据处理设备相关联的显示单元上渲染视频帧期间数据处理设备的用户有可能聚焦 到的视频帧的部分。视频帧是经解码的视频数据的一部分。方法还包括，在预测视频帧的 部分之后，通过处理器在显示单元上以与视频帧的其他部分相比增强的水平来渲染视频帧 的部分。
[0005] 在另一方面，公开了通过数据处理设备可读的、并包括具体化在其中的通过数据 处理设备可执行的指令的非暂时性介质。非暂时性介质包括通过数据处理设备的可通信地 耦连到存储器的处理器来预测在与数据处理设备相关联的显示单元上渲染视频帧期间数 据处理设备的用户有可能聚焦到的视频帧的部分的指令。视频帧是经解码的视频数据的一 部分。非暂时性介质还包括，在预测视频帧的部分之后，通过处理器在显示单元上以与视频 帧的其他部分相比增强的水平来渲染视频帧的部分的指令。
[0006] 在又一方面，数据处理设备包括存储器、显示单元和可通信地耦连到存储器的处 理器，所述存储器在其中具有经解码的视频数据。处理器配置为执行指令以：预测在显示单 元上渲染经解码的视频数据的视频帧期间数据处理设备的用户有可能聚焦到的视频帧的 部分，以及在预测视频帧的部分之后，在显示单元上以与视频帧的其他部分相比增强的水 平来渲染视频帧的部分。
[0007] 本文所公开的方法和系统可以以用于达成各方面的任何手段加以实现，并且可以 以具体化指令集的非暂时性机器可读介质的形式加以执行，该指令集当由机器执行时使机 器实施本文所公开的任何操作。
[0008] 根据附图以及根据下面的详细描述，其他特征将是显而易见的。

【专利附图】

【附图说明】
[0009] 本发明的实施例通过示例而非限制的方式示出在附图的示图中，其中相似参考指 示类似元件，并且其中：
[0010] 图1是根据一个或多个实施例的数据处理设备的示意图。
[0011] 图2是根据一个或多个实施例的、要在图1的数据处理设备的显示单元上渲染的、 用户最有可能聚焦到的视频数据的部分的示意图。
[0012] 图3是根据一个或多个实施例的、驱动程序组件与图1的数字处理设备的处理器 和/或显示单元之间的交互的示意图。
[0013] 图4是根据一个或多个实施例的、详述与图1的数据处理设备相关联的显示单元 上所渲染的视频数据的一部分的预测性增强所涉及的操作的过程流程图。
[0014] 所呈现的实施例的其他特征将从附图以及从以下详细描述显而易见。

【具体实施方式】
[0015] 如下所述的示范性实施例可以用来提供与数据处理设备相关联的显示单元上所 渲染的视频数据的一部分的预测性增强的方法、设备和/或系统。虽然已参考具体的示范 性实施例描述了所呈现的实施例，但显而易见的是可对这些实施例进行各种修改和改变， 而不脱离各实施例的较宽的精神和范围。
[0016] 图1示出了根据一个或多个实施例的数据处理设备100。在一个或多个实施例中， 数据处理设备100可以是膝上型计算机、台式计算机、笔记本电脑、上网本、平板电脑或诸 如移动电话的移动设备。其他形式的数据处理设备100在本文所论述的示例性实施例的范 围内。在一个或多个实施例中，数据处理设备100可以包括可通信地耦连到存储器104 (例 如易失性存储器和/或非易失性存储器）的处理器102 (例如中央处理单元（CPU)、图形处 理单元（GPU));存储器104可以包括配置为可通过处理器102寻址的存储位置。
[0017] 在一个或多个实施例中，数据处理设备100的存储器104可以在其中包括视频数 据116 (例如视频数据116可被下载并在存储器104中本地存储；视频数据116 (例如视频 流、文件）可以传送自数据源）。在一个或多个实施例中，处理器102可以对视频数据116实 施适当的处理（例如数据转换）以使其能够在与数据处理设备100相关联的显示单元112 上进行渲染；图1将显示单元112示出为与处理器102接合。在一个或多个实施例中，处理 器102可以执行解码器引擎120 (例如指令集）以在视频数据116被渲染之前对其进行解 码。在一个或多个实施例中，后处理引擎130也可以在处理器102上执行；后处理引擎130 可以配置为接收解码器引擎120的输出，并且在其在显示单元112上被渲染之前对其实施 适当的处理，以降低整个数据处理设备100的功耗，如下所述。
[0018] 数据处理设备100的用户150可能主要将注意力集中到显示单元112上其视场的 一小部分。用户视觉可利用其眼睛的视网膜中央凹（fovea)来聚焦到视场的一小部分。视 场的其余部分可以通过周围视觉被覆盖；周围视觉可能主要负责运动检测并且可能对视场 中的细节不是非常敏感。换言之，用户150可能不会注意到通过周围视觉所覆盖的视场的 大部分中的精细细节（例如颜色细节、表示视频帧的像素之间的强度水平过渡的边缘）。在 一个或多个实施例中，可以在经解码的视频数据116的后处理期间利用前述人类视觉（或 者用户视觉）的特性，以导致功率节约。
[0019] 在一个或多个替代实施例中，后处理引擎130可以是解码器引擎120的一部分；图 1仅出于示例目的而分开地示出后处理引擎130和解码器引擎120。图1还示出了与视频 中贞122^(例如示出为视频数据116的一部分）相关联的参数（例如视频参数140)，其存储 在存储器104中。本文所论述的示例性实施例可以增强视场的一小部分内的视频参数140， 以提供功率节约。
[0020] 图2示出了根据一个或多个实施例的、要在显示单元112上被渲染的、用户150最 有可能聚焦到的视频数据116的部分202。在一个或多个实施例中，为了确定视频数据116 的视频帧122i_ N的部分202,可以通过处理器102分析与视频帧122ρΝ相关联的运动矢量 190。在一个或多个实施例中，运动矢量190可以基于视频帧122ρ Ν的宏块在一个或多个参 考视频巾贞122^上的位置来表不所述宏块。在一个或多个实施例中，处理器102可以分析 运动矢量190以检测/估计视频帧122ρ Ν的与高活动性（例如高于阈值的活动性）相关联 的部分（例如，部分202)。由于用户150最有可能聚焦到显示单元112的具有高活动性的 "屏幕上"区域，因此可以基于运动矢量190的高幅值和/或其高密度来确定部分202。
[0021] 应该注意，上述的部分202的确定不限于对运动矢量190进行分析。在视频数据 116是电影的示范性场景中，用户150最有可能聚焦到说话者（例如电影中的主角）。因此， 可以（例如通过处理器102)通过分析视频帧122ρ Ν的音频内容来确定部分202。在一个或 多个实施例中，可以基于从先前的执行/处理所收集的数据来进一步提高部分202的确定 的精度。
[0022] 在一个或多个实施例中，在渲染经解码的视频帧122ρΝ之前，处理器102可以配置 为在其上应用后处理算法198 (或者后处理算法集198 ;后处理算法示出为后处理引擎130 的一部分），以增强与部分202相关联的视频质量。在一个或多个实施例中，后处理算法198 可以包含诸如降噪、边缘增强、动态的颜色/对比度调整、软件处理放大器（procamp)调整 以及去隔行和/或视频参数140 (例如分辨率）的缩放/增强的元素。后处理算法198的 其他元素在本文所论述的示例性实施例的范围内。
[0023] 在一个或多个实施例中，可以通过与处理器102和/或显示单元112相关联的驱 动程序组件（例如，指令集；以下将描述）来发起部分202的估计/检测和/或以增强的 水平进行的部分202的渲染。在一个或多个实施例中，可以不要求后处理算法198应用于 完整的视频帧122i_ N ;由于用户150可能不会察觉视频帧122i_N的经增强的部分202和视频 帧122ρΝ的非增强的部分之间的差别，因此其仅仅应用于部分202可能就足够了。在一个 或多个实施例中，显示单元112的用户最有可能聚焦到的区域的大小可以取决于显示单元 112的大小而变化。对于诸如平板电脑和智能电话的手持设备，前述的聚焦区域可以与用户 150的视场的大小相当；因此，以上所论述的处理的有效性可随着显示单元112大小的增大 而增大。
[0024] 应该注意，对整个视频帧122ρΝ执行复杂的后处理算法198可能受限于诸如处理 能力的因素，从而导致丢帧。由于复杂性局限于部分202,所以示例性实施例提供执行复杂 的后处理算法198而没有前述问题的手段。替代地，复杂的后处理算法198可以应用于部 分202,并且不那么复杂的后处理算法198可以应用到视频帧122i_ N的其他部分。
[0025] 另外，应该注意上述增强视频质量不限于以增强的水平渲染部分202。在示范性实 施例中，可以以正常操作模式渲染部分202,并且可以以降低的水平渲染视频帧122ρΝ的其 他部分。这样的变化在本文所论述的示例性实施例的范围内。此外，以增强的水平渲染部 分202包括，与在显示单元112的"屏幕"上的对应区域/部分增大其背光164的强度水平 相关联的处理。图1将背光164的背光驱动程序电路162示出为与处理器102接合。一经 检测/估计出部分202,处理器102可以配置为传送控制信号到背光驱动程序电路162,以 增大用于与部分202相对应的"屏幕上"部分的背光164的强度水平。替代地，背光驱动程 序电路162可以维持用于与部分202相对应的"屏幕上"部分的背光164的强度水平并且 降低用于其他部分的强度。
[0026] 图3示出了根据一个或多个实施例的、驱动程序组件302与处理器102和/或显 示单元112之间的交互。在一个或多个实施例中，驱动程序组件302可以配置为发起部分 202的检测/估计和/或在显示单元112上以增强的水平进行的部分202的渲染。触发前 述过程的示范性场景可以包括用户150将数据处理设备100从交流电（AC)操作模式切换 到其电池操作模式。可以通过处理器102结合驱动程序组件302检测前述切换。替代地， 处理器102可以配置为周期性地轮询数据处理设备100的电池以得到其操作模式（或者， 处理器102可以通过在数据处理设备100上执行的操作系统188来获得操作模式）。一旦 通过驱动程序组件302结合处理器102检测到电池模式，就可以发起上述处理。
[0027] 另外，用户150可以通过数据处理设备100上所提供的物理按钮和/或在数据处 理设备上执行的应用（例如示出为存储器104的一部分的多媒体应用196)的用户界面来 发起上述处理。在一个或多个实施例中，驱动程序组件302可以与在数据处理设备100上执 行的操作系统188 (例如也示出为存储器104的一部分）和/或多媒体应用196封装在一 起。此外，与驱动程序组件302和/或后处理算法198相关联的指令可以有形地具体化在 可通过数据处理设备100读取的非暂时性介质（例如压缩光盘（CD)、数字视频光盘（DVD)、 蓝光光盘?、硬盘驱动器；适当的指令可以下载到硬盘驱动器）上。
[0028] 图4示出了根据一个或多个实施例的、详述与数据处理设备100相关联的显示单 元112上所渲染的视频数据116的部分202的预测性增强所涉及的操作的过程流程图。在 一个或多个实施例中，操作402可以涉及通过处理器102来预测在显示单元112上渲染视 频帧122ρ Ν期间用户150有可能聚焦到的视频帧122ρΝ的部分202。在一个或多个实施例 中，视频帧122ρ Ν可以是经解码的视频数据116的一部分。在一个或多个实施例中，操作404 随后可以涉及在预测视频帧122i_ N的部分202之后，通过处理器102在显示单元112上以 与视频帧122ρΝ的其他部分相比增强的水平来渲染视频帧122ρ Ν的部分202。
[0029] 虽然已参考具体的示范性实施例描述了所呈现的实施例，但将显而易见的是可对 这些实施例进行各种修改和改变，而不脱离各实施例的较宽的精神和范围。例如，本文所描 述的各种设备和模块可以使用硬件电路（例如基于CMOS的逻辑电路）、固件、软件或者硬 件、固件和（例如具体化在非暂时性机器可读介质中的）软件的任何组合来使能和操作。例 如，可以使用晶体管、逻辑门和电子电路（例如专用集成电路（ASIC)和/或数字信号处理 器（DSP)电路）来具体化各种电子结构和方法。
[0030] 此外，将理解的是，本文所公开的各种操作、过程和方法可以具体化在与数据处理 系统（例如数据处理设备100)兼容的非暂时性机器可读介质和/或机器可访问介质中。因 此，说明书和附图将被认为是例示性而非限制性的意义。
【权利要求】
1. 一种方法，包括 通过数据处理设备的可通信地耦连到存储器的处理器来预测在与所述数据处理设备 相关联的显示单元上渲染视频帧期间所述数据处理设备的用户有可能聚焦到的所述视频 帧的部分，所述视频帧是经解码的视频数据的一部分；以及 在所述视频帧的所述部分的所述预测之后，通过所述处理器在所述显示单元上以与所 述视频帧的其他部分相比增强的水平来渲染所述视频帧的所述部分。
2. 根据权利要求1所述的方法，包括通过下列中的至少一个来预测所述视频帧的所述 部分： 分析与所述视频帧相关联的运动矢量以确定高于阈值的活动性；以及 分析与所述视频帧相关联的音频内容。
3. 根据权利要求1所述的方法，其中以所述增强的水平来渲染所述视频帧的所述部分 包括下列中的至少一个： 通过下列中的至少一个来增强与所述部分相关联的视频质量：降噪、边缘增强、动态颜 色调整、动态对比度调整、软件处理放大器调整、去隔行和缩放与所述部分相关联的至少一 个视频参数； 传送控制信号到所述显示单元的背光的背光驱动程序电路，以调整与所述视频帧的所 述部分和所述视频帧的所述其他部分中的至少一个相对应的所述背光的强度水平；以及 维持与所述视频帧的所述部分相关联的所述视频质量并且降低与所述视频帧的所述 其他部分相关联的视频质量。
4. 根据权利要求1所述的方法，进一步包括通过与所述处理器和所述显示单元中的至 少一个相关联的驱动程序组件来发起所述部分的所述预测和以所述增强的水平进行的所 述部分的所述渲染中的至少一个。
5. 根据权利要求4所述的方法，包括通过下列中的至少一个来提供所述驱动程序组 件：将其与在所述数据处理设备上执行的操作系统封装在一起和将其与在所述数据处理设 备上执行的应用封装在一起。
6. 根据权利要求4所述的方法，进一步包括根据下列中的至少一个来触发所述预测和 所述渲染中的所述至少一个的所述发起：检测到所述数据处理设备的电池模式操作、所述 用户按压所述数据处理设备上的物理按钮以及通过在所述数据处理设备上执行的多媒体 应用的用户界面的用户发起。
7. 根据权利要求1所述的方法，进一步包括基于从与其相关联的先前的执行所收集的 数据来提高所述预测的精度。
8. -种非暂时性介质，其通过数据处理设备是可读的并且包括具体化在其中的、通过 所述数据处理设备可执行的指令，包括： 通过所述数据处理设备的可通信地耦连到存储器的处理器来预测在与所述数据处理 设备相关联的显示单元上渲染视频帧期间所述数据处理设备的用户有可能聚焦到的所述 视频帧的部分的指令，所述视频帧是经解码的视频数据的一部分；以及 在所述视频帧的所述部分的所述预测之后，通过所述处理器在所述显示单元上以与所 述视频帧的其他部分相比增强的水平来渲染所述视频帧的所述部分的指令。
9. 根据权利要求8所述的非暂时性介质，包括通过下列中的至少一个来预测所述视频 帧的所述部分的指令： 分析与所述视频帧相关联的运动矢量以确定高于阈值的活动性；以及 分析与所述视频帧相关联的音频内容。
10. 根据权利要求8所述的非暂时性介质，其中以所述增强的水平来渲染所述视频帧 的所述部分的指令包括下列中的至少一个： 通过下列中的至少一个来增强与所述部分相关联的视频质量的指令：降噪、边缘增强、 动态颜色调整、动态对比度调整、软件处理放大器调整、去隔行和缩放与所述部分相关联的 至少一个视频参数； 传送控制信号到所述显示单元的背光的背光驱动程序电路，以调整与所述视频帧的所 述部分和所述视频帧的所述其他部分中的至少一个相对应的所述背光的强度水平的指令； 以及 维持与所述视频帧的所述部分相关联的所述视频质量并且降低与所述视频帧的所述 其他部分相关联的视频质量的指令。
11. 根据权利要求8所述的非暂时性介质，进一步包括通过与所述处理器和所述显示 单元中的至少一个相关联的驱动程序组件来发起所述部分的所述预测和以所述增强的水 平进行的所述部分的所述渲染中的至少一个的指令。
12. 根据权利要求11所述的非暂时性介质，进一步包括根据下列中的至少一个来触发 所述预测和所述渲染中的所述至少一个的所述发起的指令：检测到所述数据处理设备的电 池模式操作、所述用户按压所述数据处理设备上的物理按钮和通过在所述数据处理设备上 执行的多媒体应用的用户界面的用户发起。
13. 根据权利要求8所述的非暂时性介质，进一步包括基于从与其相关联的先前的执 行所收集的数据来提高所述预测的精度的指令。
14. 一种数据处理设备，包括： 存储器，其在其中包括经解码的视频数据； 显示单元；以及 处理器，其可通信地耦连到所述存储器，所述处理器配置为执行指令以： 预测在所述显示单元上渲染所述经解码的视频数据的视频帧期间所述数据处理设备 的用户有可能聚焦到的所述视频帧的部分；以及 在所述视频帧的所述部分的所述预测之后，在所述显示单元上以与所述视频帧的其他 部分相比增强的水平来渲染所述视频帧的所述部分。
15. 根据权利要求14所述的数据处理设备，其中所述处理器配置为通过下列中的至少 一个来预测所述视频帧的所述部分： 分析与所述视频帧相关联的运动矢量以确定高于阈值的活动性；以及 分析与所述视频帧相关联的音频内容。
16. 根据权利要求14所述的数据处理设备，其中所述处理器配置为通过下列中的至少 一个来以所述增强的水平渲染所述视频帧的所述部分： 通过下列中的至少一个来增强与所述部分相关联的视频质量：降噪、边缘增强、动态颜 色调整、动态对比度调整、软件处理放大器调整、去隔行和缩放与所述部分相关联的至少一 个视频参数； 传送控制信号到所述显示单元的背光的背光驱动程序电路，以调整与所述视频帧的所 述部分和所述视频帧的所述其他部分中的至少一个相对应的所述背光的强度水平；以及 维持与所述视频帧的所述部分相关联的所述视频质量并且降低与所述视频帧的所述 其他部分相关联的视频质量。
17. 根据权利要求14所述的数据处理设备，进一步包括与所述处理器和所述显示单元 中的至少一个相关联的驱动程序组件，以发起所述部分的所述预测和以所述增强的水平进 行的所述部分的所述渲染中的至少一个。
18. 根据权利要求17所述的数据处理设备，其中所述驱动程序组件为下列中的至少一 个：与在所述数据处理设备上执行的操作系统封装在一起和与在所述数据处理设备上执行 的应用封装在一起。
19. 根据权利要求17所述的数据处理设备，其中根据下列中的至少一个来触发所述预 测和所述渲染中的所述至少一个的所述发起：检测到所述数据处理设备的电池模式操作、 所述用户按压所述数据处理设备上的物理按钮以及通过在所述数据处理设备上执行的多 媒体应用的用户界面的用户发起。
20. 根据权利要求14所述的数据处理设备，其中所述处理器进一步配置为执行指令以 基于从与其相关联的先前的执行所收集的数据来提高所述预测的精度。
【文档编号】H04N19/139GK104244013SQ201410240149
【公开日】2014年12月24日 申请日期:2014年5月30日 优先权日:2013年6月7日
【发明者】尼雷施·莫尔, 阿奴普·拉蒂 申请人:辉达公司