观看虚拟显示器输出的方法与流程

本公开内容针对视频系统，以及更特别针对在目标设备上准确地显示图像的系统和方法。

背景技术：
当在附连的显示器上不能准确地观看到模拟输出时，对设备上的视频进行评估或者甚至对被构建成用来评估视频的机器上的视频进行评估有时是困难的。例如，视频工程师可能希望看见特定视频将如何注意到(lookto)看消费者LCD(液晶显示器)电视的观看者、观看工作室CRT(阴极射线管)的制作者、广播中心的工程师或者产品开发实验室的工程师。目前诸如来自俄勒冈州(Oregon)比弗顿(Beaverton)的泰克(Tektronix)的图像质量分析仪PQA500之类的一些质量分析仪结合了显示器模型，模拟光和人类视觉系统以便对这些类型的应用的差异进行量化。然而，对于这样的质量分析仪的用户而言没有办法来直接体验被模拟的感知刺激。相反，视频呈现在与质量分析仪结合使用的显示器上。此外，在产品制成之前，显示器制造者能够自动评估虚拟设计的需要不能被满足。然而，在不能够直接看见显示器设计选项之中的差异的情况下，对于显示器工程师而言很多有用信息被隐藏。尽管存在把视频从一种颜色空间转换为另一种的算术解决方案，诸如YCbCr至RGB至CIE1931XYZ线性光表示，这样的解决方案不考虑来自标准RGB的各种显示器变体。例如，由数字视频表示的最纯的红、绿或蓝的XYZ坐标可能不匹配端显示器上的对应XYZ坐标。此外，这些关系不说明在伽马值(即，用来表示输入信号和输出光强度之间的非线性传递函数的参数)方面不匹配，这是因为显示器的等价伽马或许不匹配任何对应标准下的伽马。即使在原色(primaries)和伽马确实匹配标准(诸如用于标准清晰度的SMPTE-C，或者用于高清晰度视频的ITU709)的情况下，常常把白点校准故意设定为非缺省值。例如，典型地设置在9500°缺省颜色温度的计算机监视器而是可以使其白点设置至6500°以匹配电视缺省颜色温度。此白点校准允许具有一组原色的显示器接近于看起来像具有另一组原色的显示器。然而，这样的转换不包括在上面提及的颜色转换公式中，并且通过采用在色域上丢失许多颜色的方式来对颜色进行位移做到了如此。其它潜在解决方案要求昂贵且专门的设备在物理上测量来自第一显示器的输出，以创建从第一至第二显示器的转换过程，这是昂贵的、复杂的并且在计算上太密集以至于不能提供统一的解决方案。另外，它要求要测量的实际的显示器，而不是模型化的显示器。此外，包括直接测量系统在内，没有系统包括用来补偿视频帧的结尾和下一个的开始之间的LCD的响应时间的方式。这导致不可接受，并且有时导致非常可感知到的显示伪影，诸如运动模糊。本发明的实施例解决了现有技术的此局限性以及其它局限性。

技术实现要素：
使用目标显示器类型的反向建模的系统把模拟光输出转换为这样的信号：当在目标显示器上呈现时产生等价于或者几乎等价于原始模拟光的感知响应的感知响应。此外，提供了这样的方法，该方法能够适配于给定可用显示器以使得当在可用显示器上呈现时，感知图像密切表示模拟光的感知图像或虚拟图像。本发明的特定实施例针对用于在第二显示器上观看针对所选择显示器类型生成的模拟光输出。该方法包括首先基于所述第一显示器类型的质量生成模拟光输出。接下来，针对所述第二显示器的观看环境实时补偿所述模拟光输出。在补偿完成之后，针对第二显示器输出已经补偿的模拟光输出。附图说明图1是依据本发明的实施例的用于生成补偿视频输出的系统的功能框图。图2是用于计算在本发明实施例中使用的白平衡计算的权重的系列方程。图3是依据本发明的实施例的用于观看虚拟显示器输出的系统的功能框图。具体实施方式图1是依据本发明的实施例的用于生成补偿视频输出的系统10的功能框图。诸如视频、虚拟现实图像或其它图像之类的图像源被提供给显示器模型，该显示器模型包括特定于所选择的显示器类型的建模信息。显示器模型选择器70可以选择例如LCD显示器模型30、CRT显示器模型40、DMD(数字微镜器件)显示器模型50或者其它显示器模型60。而且，显示器模型选择器70可以通过选择旁路模式20来完全使显示器模型选择旁路。显示器模型30-60包括关于特定显示器类型的各种数据，诸如颜色数据、白平衡、伽马信息，等等。显示器模型可以包括通过特定于一种特定显示器模型类型的特定参数，从该特定颜色空间至另一种的转变。对于视频应用而言，数字视频流和文件通常使用按照用于标准清晰度视频的ITU-RBT.601和用于高清晰度视频的ITU-RBT.709的YCbCr三色表示或者在一些情况下RGB。对于数字影院，按照通常被称为“DCI规范”的DCI(DigitalCinemaIntitiatives，数字影院促进会)“数字影院系统规范”，已经直接支持直接XYZ表示。显示器模型颜色转换YCbCr至RGB(以及至XYZ)的转换对于SD和HD视频而言，YCbCr至XYZ的转变可以如下完成：1)颜色模型的初始化：a)白点计算：使用RGB和由以下给出的白CIE1931xyY坐标：i)诸如依据601，709，SMPTE-C，EBU的标准，或者无论什么最佳表示要模拟的适当显示器)；或者ii)定制用户定义的xr，yr，Yrxg，yg，Yg，xb，yb，Yb，xw，yw，Yw。b)计算施加到R、G和B的所需权重{wr，wg，wb}以便达到对于R＝G＝B而言的给定白点(xw，yw，Yw)。c)计算用于RGB至XYZ转换的光转换矩阵，如下面所描述的d)LUT(查找表)初始化：i)第一，使用由相应比色法标准(601、709等)定义的矩阵，使用YCbCr至预伽马RGB{ER，EG，EB}的相应标准转变；ii)使用对比度、伽马和辉度(brightness)参数把{ER，EG，EB}转换为光{R，G，B}；iii)把权重{wr，wg，wb}施加到{R，G，B}；(对于LCD，这里是端LUT计算)。iv)使用矩阵把加权RBG光转换为XYZ2a)对于CRT&DMD，依赖于实现方式，使用LUT或直接计算把YCbCr直接转换为XYZ。2b)对于LCD，依赖于实现方式，使用LUT或直接计算把YCbCr转换为{wr*R，wg*G，wb*B}，然后使用RGB至XYZ转换矩阵以便完成转换。对于亮度(luminance)仅处理，即没有颜色，每个显示器模型技术具有用于如创建查找表、设定过滤参数(用于LCD)等的这样的事情的唯一初始化函数。它在发生下列颜色模型初始化的这些函数之内。颜色模型初始化包括白点校准权重{wr，wg，wb}连同任何需要的查找表的初始化。针对颜色转换使用LUT的显示器模型把颜色数据从YCbCr至XYZ的转换可以直接使用通常计算电路或等价函数来执行。例如，首先，依据标准YCbCr至ER，EG，EB的转换将使用9个乘法和6个加法。把伽马因子施加到该结果于是使用3个指数。施加权重以创建白点可以采取另外的3个乘法。最后，对于总共18个乘法、12个加法和3个指数，RGB光至XYZ的转换(RGB向量*矩阵)采取另一9个乘法和5个加法。然而，使用查找表(LUT)来执行等价颜色补偿将仅使用2个移位器、2个加法器和1表访问，以及因此是使用更少的资源的吸引人的选项。当然，显示器模型将需要包括存储器来存储LUT，但是这典型地是十分合理的折中。本发明的实施例当然可以使用用于颜色转换的任何方法，并且对要使用哪个方法的选择典型地是实现方式选择。对于CRT和DMD，直接YCbCr至XYZ转换可以通过使用LUT来执行，LUT的大小取决于位深。例如，对于8位视频深，用于LUT的存储位置的数目将是大约6.7x107位，其是今天存储成本给出的实践实现方式。10位视频深和12位视频深将要求大约4.3x109位和2.7x1011位的LUT大小，其对于典型实现方式而言目前是不实际的。对于LCD，从YCbCr至RGB(光)进行颜色转换，这是因为用于LCD的时间处理发生在RGB光空间中，如下所述。用于LCD处理的LUT的大小与在相同位深上的用于CRT和DMD相同。针对颜色转换使用三线性插值的显示器模型可能的是也执行用于颜色转换的三线性插值，但是假定诸如直接计算之类的其它转换可能是更高效的事实，它可能是不实际的考虑。YCbCr至ER，EG，EB的转换依据对应比色法标准(601，709等等)把YCbCr转换为ER，EG，EB。ER，EG，EB至RGB(光)的转换使用伽马、对比度和辉度控制，把归一化(至1)ER，EG和EB值的值转换为归一化(至1)RGB光值，通过把已经存在于质量分析仪中的亮度模型施加到每个原色通道有效地再使用它。后续的RGB至XYZ光转换考虑每一个的实际亮度水平。显示器模型白点校准把白色表示为R，G和B的相等的“电信号”振幅。然而，当(由标准或者选择非标准颜色温度或其它颜色坐标的用户)选择的白点与从该显示器输出的R，G和B光输出的组合不一致时，一般执行白点校准。实际上，白点校准对R，G和/或B光输出进行加权以使得对振幅进行改变以便获得白点。这些权重{wr，wg，wb}在显示器模型初始化期间被计算。使用RGB和用于R，G，B以及W的白CIE1931xyY坐标(xr，yr，Yrxg，yg，Yg，xb，yb，Yb，xw，yw，Yw)，可以计算所需权重{wr，wg，wb}并将其施加到用于R，G和B的光输出以便对于电信号R＝G＝B而言获得给定白点(xw，yw，Yw)。给定上述以及最大和最小R，G和B的极限(这里归一化至1)，找出RGB的相对比率以使得获得该给定白点。可以如图2中所图示的来执行权重{wr，wg，wb}的计算。接下来，可以通过使用RGB和由下列给出的白CIE1931xyY坐标来对白点进行校准：-诸如依据601，709，SMPTE-C，EBU的标准，或者无论什么最佳表示要模拟的适当显示器)或者-定制用户定义的xr，yr，Yrxg，yg，Yg，xb，yb，Yb，xw，yw，Yw对白点校准的验证可以通过使用诸如全白视频(在所有通道的情况下的等于最大白(235)的RGB或Y＝235，Cb＝Cr＝128情况下的YCbCr)之类的缺色(无色)视频来执行。显示器模式的XYZ输出应当分别等于XwTarget，YwTarget和ZwTarget。原色和白色的显示器模式色度坐标注意针对R，G，B和W(Yr，Yg，Yb，Yw)的Y值取决于1)伽马的选择，2)最大亮度值和3)光R，G，B至Y转换。前两个参数已经包括在质量分析仪中的已存亮度仅显示器模式中。分别针对R，G和B的第三组3个权重通常将根据原色和白点的坐标连同前两个参数来计算。然而，RGB至Y转换还经由把RGB转换为XYZ的矩阵被限定在许多标准(即，ITU.B-709HD)之内。由于直接计算针对Y给出相同的值，所以包括来自诸如ITU.B-709HD、SMPTE-C、EBU、NTSC和SMPTE-240M之类的每种标准的明确值会是冗余的，如下所述。针对LCD的显示器模型时间滤波LCD技术的最通常的显示器模型包括时间滤波以表示恒定或高占空比背光的“零阶保持”方面，或者帧转变之间的时间期间的反射光。为了对此进行建模，把时间滤波器施加到针对仅亮度模型的模拟光输出(施加到Y)。对于全色模型，在转换至XYZ之前，相反把此滤波器施加到RGB(光原色)输出。高级LCD配置包括使用经调制的背光。现代LCD显示器包括背光调制以减轻与甚至理论0响应时间技术相关联的运动模糊问题。将因此对时间滤波进行修改：为了对稳定的背光或反射光进行建模，时间滤波器是零阶保持滤波器(＝在每个帧转变时亮度方面的0响应时间阶跃函数)和表示响应时间的简单低通滤波器的级联。为了对背光调制进行建模，接收诸如背光开至关和关至开转变的占空比和相位之类的参数以作为显示器规范。因此更新时间滤波器，其中模拟结果追踪大大减轻的运动模糊的真实结果。对于低占空比(背或反射)光，尤其是模仿CRT的光栅扫描方法，由于人眼的集成(说明人眼视觉模型)将足够衰减其余的高频信息，所以可以消除时间滤波器。从RGB(光)至XYZ的矩阵转换在显示器初始化期间发起对矩阵M_RGBlight2XYZ的初始化的计算如下：注意：R＝1，G＝1，B＝1的加权和应当导致Y＝1：C：＝0..2下面给出使用SMPTEC和wtnorm[i]＝1的示例矩阵计算，使用100尼特作为最大亮度水平。注意对于归一化矩阵而言，最大亮度水平无关紧要。比较此数值示例和从SMPTE-C得到的对应系数：X_smptec(R，G，B)：＝0.3935·R+0.3653·G+0.1916·BY_smptec(R，G，B)：＝02124·R+0.7011·G+0.0866·BZ_smptec(R，G，B)：＝0.0187·R+0.1119·G+0.9582·B观看模型返回参考图1，任选观看模型或虚拟现实观看环境80可以向所选显示器模型类型添加因子以便更准确地反应显示器的观看环境。例如，使用添加的光信息的CIEXYZ表示，可以把关于环境光、反射光或者其它模拟光的信息线性地添加到显示器的XYZ表示。此观看模型信息被用来修改预测的画面/视频质量评级。另外，也通过使用这样的添加的信息的CIEXYZ表示，还可以把任何虚拟环境方面类似地包括在观看模型中。这样的信息可以包括相对基本的信息，例如关于显示器设备的显示板的信息，或者可以如所详细的虚拟现实呈现一样复杂。图3是依据本发明的实施例的用于观看模拟或虚拟显示器输出的系统的功能框图，提供了关于图1的反向显示器模型90的附加细节。图3的反向显示器模型310可以是图1的反向显示器模型90的示例实施例。该反向显示器模型310包括用于颜色转换312、白点校准314、伽马316、时间滤波318和观看模型320的设施。图3的反向显示器模型310的部件类似或等同于上面所描述的(前向)显示器模型中的它们的对应部件。在反向显示器模型310的部件或部分内包括的各种因子可以预存储在该显示器模型内。在已知实际显示器340的情况下，例如可以把特定于实际显示器340的特定因子选择为系统上的菜单选择。在其它实施例中，实际显示器340可以向该系统标识它自己，以及用来为反向显示器模型310选择适当因子所执行的查找。与图1的标准显示器模型30-60相比，反向显示器模型310“反向地”操作。换言之，根据要评估的图像的XYZ模拟光表示(其针对所选择的目标显示器类型而生成)，执行针对实际显示器340至标准视频表示(其可以包括XYZ表示)的转换。对于不支持XYZ的目标显示器340，可以根据相应地使上面所描述的矩阵和函数倒转来执行XYZ至RGB光的逆(使用要使用的实际显示器的原色)，逆伽马函数和任何另外转换(诸如至YCbCr的标准转换)。在操作中，例如从视频、成像或者虚拟现实生成模拟光输出时，可选地经过针对特定所选显示器类型的显示器模型。然后把该模拟输出传递给针对实际显示器的反向显示器模型，该反向显示器模型包括用于使模拟输出适配于该实际显示器的补偿器，因此在实际显示器上观看到的图像尽可能地接近于虚拟或模拟光所表示的感知图像。补偿可以包括显示器原(色)补偿和等价伽马补偿，白点校准，时间特性和实际显示器的观看环境。观看环境可以包括周围和环境光的颜色和辉度，以及还可以包括包括其它图像的所生成的虚拟现实观看环境。随着模拟光输出、实际显示器观看环境以及虚拟现实环境的改变，该补偿实时改变。在优选实施例中，要不是高级色域，最大亮度，响应时间，对比度(黑水平)和准确地呈现输入图像的其他规范的话，用于观看的实际显示器340已经足够。而且，理想地，这些观看条件还将允许对呈现图像的准确感知。例如，环境光将足够低以便不引起有效的黑水平或者超过目标准确度地移动感知白点(色位移(chromaticshift)。尽管上面所描述的实施例中的许多实施例都包括用户接口，但是将理解的是在其它实施例中，那些参数可替换地可以通过测试和测量仪器自动地确定。在各种实施例中，本发明的各部件可以采用硬件、软件、或者这二者的组合来实现，并且可以包括通用目的微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等。根据上述论述将理解的是本发明在显示器建模领域呈现出显著进步。尽管为了举例说明的目的已经图示和描述了本发明的具体实施例，但是将理解在不偏离本发明的精神和范围的情况下可以做出各种修改。因此，如由所附权利要求之外，不应限制本发明。