确定色调映射曲线的参数集的制作方法

文档序号:32164179发布日期:2022-11-12 03:43阅读:20来源:国知局
1.本发明大体上涉及视频处理领域,更具体地涉及高动态范围(highdynamicrange,hdr)视频或图像处理。特别地,本发明涉及一种用于确定色调映射hdr视频帧的色调映射曲线的参数集的方法。此外,本发明还涉及分别用于对hdr视频帧进行编码或解码的编码器或解码器。编码器或解码器可用于执行所述方法。
背景技术
::2.在数字成像中,动态范围可以定义拍摄场景的亮度范围、某一数码相机或胶片可以捕获的亮度范围的限制或显示器支持的亮度范围。事实上,典型的现实世界场景的动态范围通常在10-3尼特和106尼特之间。相比之下,消费型显示器通常具有小得多的动态范围。如果希望在这样的显示器上显示这样的真实世界场景,则需要将hdr缩小到较低的动态范围:这个过程称为色调映射。色调映射通常是非线性映射。3.在hdr图像和视频处理中,经常使用的是感知量化(perceptionquantization,pq)曲线,以便将尼特或cd/m2的光信号转换为0和1之间的电信号。典型pq曲线的等式如下所示:[0004][0005]其中,l为线性域中的亮度值,范围为0尼特至10000尼特,l可以为r值或g值或b值或亮度分量y。[0006]l'表示pq域中的电信号,并包括在范围[0,1]中,该范围通常称为pq值或pq域中的值。[0007][0008][0009][0010][0011][0012]pq传递函数的输入是线性域中的光信号,输出是pq域中的电信号。因为存在一对一映射,如果不应用量化,输入值和输出值实际上是等效的。只有它们位于两个不同的域中,即线性域和pq域。[0013]pq光电传递函数(pqoptical-electrotransferfunction,pqoetf)通常用于量化。线性域中的hdr图像首先传递到pq域,然后量化到10位或12位。pq域中的图像由编解码器存储或压缩。pq域中的量化对人类视觉系统更均匀,因为人类视觉系统是非线性的。如果量化在线性域中进行,则感知失真将大得多。[0014]如上所述,显示器的动态范围和峰值亮度通常小于真实世界场景或源hdr图像或视频的动态范围和峰值亮度。因此,可以使用色调映射,以便将例如hdr视频帧适配到显示器。非线性曲线可用于色调映射。如果视频序列中所有hdr视频帧的色调映射曲线相同,则称为静态色调映射。然而,静态色调映射不是最佳的,因为它不适配每个hdr视频帧的图像统计信息。相比之下,动态色调映射适配每个hdr视频帧的统计信息,因此,色调映射曲线因帧而异。动态色调映射应该充分利用显示器的动态范围,从而具有更高的质量。[0015]然而,动态色调映射更难控制,一个常见的问题是闪烁。由于图像统计信息因帧而异,因此色调映射曲线也是因帧而异。在特定的应用中,元数据包括关键信息或内容特征,以指导色调映射过程,作为源(编码器)和接收器(解码器)之间的“桥梁”发挥着重要作用。然而,在某些情况下,内容在连续帧之间可能会发生很大的变化,因此元数据和对应的色调映射曲线也可能发生改变。这可能导致显示器的不稳定和称为“闪烁”的现象。[0016]解决上述闪烁问题的现有方法是通过标准化的动态色调映射方案给出的,例如smpte2094-10、smpte2094-20、smpte2094-30和smpte2094-40,如下所述。动态色调映射是指色调映射曲线参数是自适应计算的,即适配变化的图像,因此因帧而异。动态色调映射可更高效地利用显示器的动态范围。然而,这些现有方法并不能令人满意地解决闪烁问题。[0017]rafalmantiuk等人提出的传统方法1400(2008年8月第3期第22卷的《acmtransactionsongraphics》上的“显示自适应色调映射(displayadaptivetonemapping)”)包括用于动态色调映射的抗闪烁滤波器,并在图14中示出。在方法1400中,从hdr源(例如,hdr视频帧)中提取1401动态元数据,并且根据元数据生成1402对应的色调映射曲线。然后,为了克服闪烁,当色调映射曲线快速变化时,在执行色调映射1404之前,对色调映射曲线进行时域滤波1403。特别地,在得到最终色调映射结果之前,将开窗线性相位fir数字滤波器应用于色调映射曲线的节点。[0018]然而,这种方法的缺点是需要将前一帧的色调映射曲线保存在存储器中。此外,对完整的色调映射曲线进行时域滤波是一个相当复杂的过程。例如,如果使用128个值的查找表(look-up-table,lut)来表示色调映射曲线,并且采用大小为16的滤波窗口,则需要在存储器中存储128乘以16个值。技术实现要素:[0019]鉴于上述问题和缺点,本发明的实施例旨在提供一种提高hdr视频或视频帧质量的高效方法,例如减少闪烁。[0020]通过所附独立权利要求中提供的实施例实现该目的。实施例的有利实现方式在从属权利要求中进一步定义。[0021]根据第一方面,本发明涉及一种用于确定色调映射曲线的参数集的方法,其中,所述方法包括:获取多个参数集,其中,每个参数集定义色调映射曲线,每个参数集根据多个hdr视频帧中的一个hdr视频帧导出;对所述多个参数集进行时域滤波,以获取时域滤波后的参数集。[0022]根据所述第一方面的方法,不是对色调映射曲线本身进行时域滤波,而是对定义色调映射曲线的参数集进行时域滤波。因此,可以节省时间和计算资源。特别地,与对整个色度映射曲线进行时域滤波时相比,计算复杂性和内存要求变得更低。此外,可以根据时域滤波的参数集获取色调映射曲线,通过该曲线,显示内容(特别是hdr视频)的稳定性得到改善,减少甚至没有闪烁。特别地,即使在所述多个hdr视频帧中的连续hdr视频帧之间场景快速变化时,闪烁也会减少。[0023]元数据可以是或可以包括定义所述hdr帧的亮度特征的统计数据,例如从同一场景的hdr帧和/或其它hdr帧中导出或提取。[0024]该方法可以(例如,全部或部分)由编码器、解码器、包括编码器和解码器的系统、hdr系统、hdr电视(tv)、hdr颜色分级软件、hdr视频转码器等电子设备执行。[0025]在所述第一方面的一种实现方式中,所述对所述多个参数集进行时域滤波包括:计算所述多个参数集中的至少一部分参数的加权平均值或平均值。[0026]提供了一种高效有效的方法来对所述参数集进行时域滤波。[0027]在所述第一方面的一种实现方式中,所述方法还包括:根据所述时域滤波后的参数集,生成所述色调映射曲线。[0028]以这种方式生成的所述色调映射曲线导致闪烁减少,特别是当所述多个hdr视频帧显示在动态范围比hdr视频帧低的显示器上时。[0029]在所述第一方面的一种实现方式中,每个参数集直接或间接定义了所述色调映射曲线。[0030]例如,直接定义所述色调映射曲线的参数集可以包括曲线参数。间接定义所述色调映射曲线的参数集可以包括元数据,可以根据元数据计算所述曲线参数。[0031]在所述第一方面的一种实现方式中,每个参数集包括所述hdr视频帧的元数据或所述色调映射曲线的一个或多个曲线参数。[0032]在所述第一方面的一种实现方式中,每个参数集包括从所述相应hdr视频帧中提取的元数据,并且所述时域滤波后的参数集包括时域滤波后的元数据。[0033]在所述第一方面的一种实现方式中,所述方法还包括:根据所述时域滤波后的元数据,计算所述色调映射曲线的一个或多个曲线参数。[0034]在所述第一方面的一种实现方式中,所述方法还包括:根据所述一个或多个曲线参数,生成所述色调映射曲线。[0035]这样,可以根据时域滤波后的元数据而不是所述色调映射曲线本身来减少上述闪烁问题。[0036]在所述第一方面的一种实现方式中,每个参数集包括根据从所述相应hdr视频帧中提取的元数据计算的所述色调映射曲线的一个或多个曲线参数,所述时域滤波后的参数集包括一个或多个时域滤波后的曲线参数。[0037]在所述第一方面的一种实现方式中,所述方法还包括:根据所述一个或多个时域滤波后的曲线参数,生成所述色调映射曲线。[0038]这样,可以根据所述色调映射曲线的时域滤波后的曲线参数而不是所述色调映射曲线本身来减少上述闪烁问题。[0039]在所述第一方面的一种实现方式中,所述映射曲线由以下等式给出:[0040][0041]其中,l是hdr视频帧的输入像素的亮度,m_n是第一值,特别地,m_n=1,m_m是第二值,特别地,m_m=2.4,m_b是预定的感知量化(perceptionquantization,pq)值,m_p是亮度控制因子,m_a是定义输出像素的最大亮度的缩放因子,所述一个或多个曲线参数包括m_p和m_a。[0042]所述色调映射曲线也被称为菲尼克斯(phoenix)曲线,并且在低动态范围显示器上显示hdr视频帧时导致特别低的闪烁和稳定性。[0043]在所述第一方面的一种实现方式中,所述方法还包括传输或存储所述时域滤波后的参数集作为所述多个hdr视频帧以及补充/边信息,例如,作为基础元数据或艺术元数据一起传输或存储。[0044]在所述第一方面的一种实现方式中,所述方法还包括:获取第一hdr视频帧的第一参数集,并将所述第一参数集推入队列;获取第二hdr视频帧的第二参数集;检测在所述第一hdr视频帧和所述第二hdr视频帧之间是否发生场景变化,如果没有发生场景变化,则将所述第二参数集推入所述队列;计算所述队列中的所述参数集的平均值,获取时域滤波后的参数集。[0045]提供了一种用于对所述参数集进行时域滤波,并获取时域滤波后的参数集的简单高效的方法。[0046]在所述第一方面的一种实现方式中,所述方法还包括如果发生场景变化,则清除所述队列。[0047]例如,可以通过所述方法根据所述hdr视频帧的一个或多个特征(例如,图像统计)检测场景变化。例如,所述特征包括在场景变化的情况下快速/剧烈变化。[0048]在所述第一方面的一种实现方式中,所述方法由编码器和/或解码器执行。[0049]根据第二方面,本发明涉及一种用于对hdr视频帧进行编码的编码器,其中,所述编码器用于执行根据所述第一方面和/或所述第一方面的任一实现方式所述的方法。[0050]根据第三方面,本发明涉及一种用于对hdr视频帧进行解码的解码器,其中,所述解码器用于执行根据所述第一方面和/或所述第一方面的任一实现方式所述的方法。[0051]根据第四方面,本发明涉及一种用于生成色调映射曲线的系统,其中,所述系统包括根据第二方面所述的编码器和/或根据第三方面所述的解码器。[0052]所述编码器、所述解码器和所述系统实现了与上文针对所述第一方面及其实现方式的方法所述的相同的优点和效果。[0053]根据第五方面,本发明涉及一种计算机程序,其中,包括程序代码,用于当由处理器执行时,特别是当由根据第二方面所述的编码器的处理器和/或由根据第三方面所述的解码器的处理器执行时,执行根据第一方面和/或其任一实现方式所述的方法。[0054]根据第六方面,本发明提供了一种非瞬时性存储介质,存储可执行程序代码,当所述可执行程序代码由处理器执行时,执行根据第一方面和/或其任一实现方式所述的方法。[0055]需要说明的是,本技术所描述的所有设备、元件、单元和模块可以在软件或硬件元件或其任何组合中实现。本技术中描述的各种实体所执行的步骤以及所描述的各种实体要执行的功能均意在指各个实体用于执行各个步骤和功能。即使在以下具体实施例的描述中,外部实体要执行的特定功能或步骤未反映在执行该特定步骤或功能的实体的特定详细元件的描述中,技术人员应清楚,这些方法和功能可以在相应的软件或硬件元件中实现,或以此类元件的任何种组合实现。附图说明[0056]结合所附附图,下面具体实施例的描述将阐述上述各方面及其实现方式(本发明的各实施例),其中:[0057]图1示出了一个实施例提供的设备(例如,分别用于对hdr视频帧进行编码或解码的编码器或解码器)的示意图;[0058]图2示出了一个实施例提供的用于确定色调映射曲线的参数集的方法的示意图;[0059]图3示出了一个实施例提供的可以由解码器根据确定的参数集生成的不同示例性色调映射曲线;[0060]图4示出了用于不同操作模式的示例性元数据的示意图;[0061]图5示出了传统示例提供的两个色调映射曲线和根据一个实施例生成的色调映射曲线的性能对比;[0062]图6示出了一个实施例提供的用于对多个参数集进行时域滤波的过程的示意图;[0063]图7示出了发明实施例提供的方法的示意图,其中,元数据在编码器侧进行时域滤波;[0064]图8示出了本发明实施例提供的方法的示意图,其中,元数据在解码器侧进行时域滤波;[0065]图9示出了本发明实施例提供的方法的示意图,其中,色调映射曲线的曲线参数在解码器侧进行时域滤波;[0066]图10示出了发明实施例提供的方法的示意图,其中,元数据在编码器侧进行时域滤波;[0067]图11示出了本发明实施例提供的方法的示意图,其中,色调映射曲线的曲线参数在编码器侧进行时域滤波;[0068]图12示出了发明实施例提供的方法的示意图,其中,元数据在编码器侧进行时域滤波;[0069]图13示出了hdr动态色调映射过程的示例性管道的示例;[0070]图14示出了用于通过对色调映射曲线进行时域滤波来解决闪烁问题的传统方法的示意图。具体实施方式[0071]图1为本发明一个实施例提供的设备100的示意图。设备100可以是用于对hdr视频帧101进行编码的编码器。或者,设备100可以是用于对hdr视频帧101进行解码的解码器。设备100可用于执行用于确定色调映射曲线300(例如,对于示例性色调映射曲线300,参见图3)的参数集的方法200(也参见图2所示的方法200的示意图)。特定地,确定的参数集还可以由解码器用于生成色调映射曲线300。然后,色调映射曲线300可用于对hdr视频帧101进行色调映射。[0072]还可以形成系统(例如,对于这种系统的各种示例,参见图7至图11),包括至少一个这样的编码器和/或一个这样的解码器。特别地,根据本发明实施例所述的设备100通常在这样的系统中操作。在系统中,hdr视频码流通常从编码器发送到解码器。码流可以包括hrd视频帧101和各种元数据。[0073]需要说明的是,本发明实施例可以在图13所示的管道1300的块1301/1302或块1303/1304中实现(特别示出了编码器和解码器的系统)。特别地,方法200可以在这些块中执行,或者在解码器或编码器侧执行。[0074]设备100可以用于(参考图2和图3)获取201多个参数集102,其中,每个参数集102定义了色调映射曲线300,每个参数集102根据多个hdr视频帧101中的一个hdr视频帧导出,例如,之前处理的hdr视频帧101(编码器)或经编码hdr视频帧101(解码器)。此外,设备100用于对多个参数集102进行时域滤波202,以获取时域滤波后的参数集103。[0075]因此,如稍后将更详细地解释,每个参数集102可以包括相应hdr视频帧101的元数据402(例如,对于示例性元数据402,参见图4,在图4中称为基础元数据402)。例如,元数据402可以从相应hdr视频帧101中提取(即,作为获取步骤201)。然后,可以对元数据402进行时域滤波202,以获取时域滤波后的元数据402(例如,见图7),并且可以根据时域滤波后的元数据403计算色调映射曲线300的一个或多个曲线参数502(例如,参见图4,示例性曲线参数502)。此外,可以根据一个或多个曲线参数502生成色调映射曲线300。[0076]或者,每个参数集102可以包括色调映射曲线300的一个或多个曲线参数502。可以根据从相应hdr视频帧101中提取的元数据402计算(即,作为获取步骤201)色调映射曲线300的一个或多个曲线参数502。可以对曲线参数502进行时域滤波202,以获取时域滤波后的曲线参数503(例如,参见图9),然后可以根据时域滤波后的曲线参数503生成色调映射曲线300。[0077]可以在编码器或解码器侧(因此充当设备100,稍后关于图7至图12解释的各种实施例)对参数集102(即,元数据402或曲线参数502)进行时域滤波202。根据时域滤波后的元数据402生成曲线参数502也可以在编码器或解码器侧完成。色调映射曲线300通常在解码器侧生成。参数集102的时域滤波202而不是色调映射曲线300本身产生了各种优点,如前所述。[0078]设备100(编码器或解码器)可以包括处理电路(图1中未示出),该处理电路用于执行、进行或启动本文所述的设备100的各种操作。处理电路可以包括硬件和软件。硬件可以包括模拟电路或数字电路,或模拟电路和数字电路两者。数字电路可以包括专用集成电路(application-specificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)、数字信号处理器(digitalsignalprocessor,dsp)或多用途处理器等组件。在一个实施例中,处理电路包括一个或多个处理器和连接到一个或多个处理器的非瞬时性存储器。非瞬时性存储器可以携带可执行程序代码,该可执行程序代码当由一个或多个处理器执行时,使设备100执行、进行或启动本文描述的操作或方法。[0079]特别地,设备100可以包括用于执行计算机程序的处理器,该计算机程序包括用于执行方法200的程序代码,即,用于控制设备100执行上述步骤,即获取201参数集102,并对参数集102进行时域滤波202,以获取滤波后的参数集103。[0080]根据本发明的实施例,在本发明中也被称为“菲尼克斯曲线”的示例性色调映射曲线300可以由以下等式给出:[0081][0082]其中,l是hdr视频帧101的输入像素的亮度,m_n是第一值,特别地,m_n=1,m_m是第二值,特别地,m_m=2.4,m_b是预定的感知量化(perceptionquantization,pq)值,其中,m_p是亮度控制因子,m_a是定义输出像素的最大亮度的缩放因子。[0083]使用“菲尼克斯曲线”的其它实施例可以使用其它参数,例如,m_m可以在1至5的范围内,m_n可以在0.5至2的范围内。[0084]实施例可以使用其它非线性色调映射曲线(除了“菲尼克斯曲线”),对用于定义这些其它非线性曲线的元数据进行时域滤波,或者直接对这些其它非线性曲线进行曲线参数的时域滤波。[0085]特别地,上述曲线参数502可以包括参数m_p和m_a。[0086]时域滤波后的参数集103还可以由解码器用于生成菲尼克斯色调映射曲线300。因此,对参数集102的滤波可以由编码器或解码器完成。例如,时域滤波后的参数集103可以包括时域滤波后的曲线参数503,时域滤波后的曲线参数503包括参数m_p和m_a。[0087]因此,参数m_p具有亮度控制因子的物理含义,m_p越大,亮度越高。此外,m_a是控制使用色调映射曲线300执行的色调映射的最大输出亮度的比例因子。色调映射曲线300可以在pq域中设计。换句话说,色调映射曲线300的输入l和输出都可以参考pq值。输入l的范围为0到1,其中,0的pq值在线性域为0尼特,1的pq值在线性域为10000尼特。输出值的范围为0到等于或低于pq域最大显示亮度的pq值。[0088]图3中绘制了具有不同最大输入亮度和最大显示亮度的色调映射曲线300的几个示例300a、300b和300c。特别地,可以由解码器生成的示例性色调映射曲线300a、300b和300c根据不同的最大输入亮度(例如,与hdr视频帧101相关)和最大显示亮度(例如,hdr视频帧101将被色调映射到的显示器的)来生成。此外,例如,m_p=5.0。色调映射曲线300a可以由解码器根据10000尼特的最大输入亮度和500尼特的最大显示亮度生成。此外,色调映射曲线300b可以由解码器根据10000尼特的最大输入亮度和1000尼特的最大显示亮度生成。此外,色调映射曲线300c可以由解码器根据4000尼特的最大输入亮度和1000尼特的最大显示亮度来生成。[0089]可以有编码器和解码器系统操作的不同模式,并且本发明的实施例可以以不同方式应用。根据系统的模式,编码器和解码器可以以不同方式操作,并且设备100可以是编码器或解码器。也就是说,根据本发明实施例的方法200可以根据模式在编码器或解码器中执行。编码器和解码器通常在模式中具有不同的角色。[0090]例如,结合中国超高清视频产业联盟(chinaultra-hdvideoindustrialalliance,cuva)hdr标准(cuvahdr标准),第一模式在下文中可以称为“自动模式”,第二模式在下文中可以称为“艺术模式”。在这两种模式中,可以对定义色调映射曲线300的参数集102进行时域滤波202,如上所述。cuvahdr标准的这两种模式简要说明如下:[0091]自动模式(模式标志tone_mapping_mode=0)。在第一模式中,用于生成色调映射曲线300的曲线参数502是根据解码器侧的(基础)元数据402计算的。元数据402(或在一些实施例中的时域滤波后的元数据403)由编码器提供给解码器。示例性元数据402在图4中示出,并且可以包括典型的图像统计,例如,可以包括(关于一个或多个hdr视频帧101)最小亮度值、最大亮度值、平均亮度值和/或亮度值的方差。元数据402(或在一些实施例中的时域滤波后的元数据403)可以包括可以足以计算曲线参数502的最小参数集。例如,元数据402可以包括以下四个参数(参考cuvahdr标准):[0092]·minimum_maxrgb_pq:帧中所有像素的maxrgb值的最小值。值在pq域中。[0093]·average_maxrgb_pq:帧中所有像素的maxrgb值的平均值。[0094]·variance_maxrgb_pq:帧内所有像素的maxrgb值的第90百分位数的maxrgb值与帧内所有maxrgb值的第10百分位数的差值。[0095]·maximum_maxrgb_pq:帧中所有像素的maxrgb值的最大值。值在pq域中。[0096]其中,像素的maxrgb值是像素的r、g和b值中的最大值。值在pq域中。上面给出的所有四个参数都是pq域中的值(因此每个值名称以_pq结尾)。[0097]艺术模式(模式标志tone_mapping_mode=1)。在第二模式中,例如,可以在内容产生阶段或在代码转换阶段使用算法计算一个或多个曲线参数502。在艺术模式中,可以使用附加的三次样条参数,例如th1、th2、th3、th强度和计算的“菲尼克斯”曲线参数502,如m_a、m_p、m_b。如图4中示例性所示,计算的曲线参数502(或一些实施例中的时域滤波的曲线参数503)可以被添加到元数据402(作为进一步的元数据401,例如,作为“艺术模式元数据”),以形成包括元数据402、进一步的元数据401和可选地颜色元数据404的扩展元数据。扩展元数据可以发送到解码器。然后,解码器可以用于使用曲线参数502(或一些实施例中的时域滤波后的曲线参数503)直接执行色调映射(即,用于根据曲线参数502或时域滤波后的曲线参数503生成色调映射曲线300,并使用生成的色调映射曲线300执行色调映射),如果曲线参数502或503适合于待显示hdr视频帧101的显示器。解码器还可以用于丢弃这些预先计算的曲线参数502或503,并回退到自动模式,即解码器可以根据元数据402计算新的曲线参数502。可以采用这两个情况的任何组合。特别地,艺术模式意味着曲线参数502或503可以被编码器预先计算并作为其它元数据401发送到解码器。与颜色相关的元数据404也可以进行上述操作,但它们是可选的。[0098]需要说明的是,“艺术模式”并不一定意味着艺术家或调色师参与其中。人工智能(artificialintelligence,ai)可以在颜色分级中取代艺术家或调色师,并帮助确定曲线参数502。因此,根据上述定义,自动模式和艺术模式之间的根本区别是,在自动模式下仅发送(基础)元数据402,而曲线参数502或503可以在编码器侧计算,并在艺术模式下嵌入扩展元数据中。[0099]下面,参照图4描述根据(基础)元数据402计算曲线参数502,特别是参数m_p和m_a的方法。除了元数据402中的四个参数之外,所有其它变量可以是中间变量或预设值。因此,曲线参数502,即m_a和m_p,可以在给定示例性基础元数据402中的四个参数的情况下确定。以下参数参考cuvahdr标准。[0100]首先,可以计算max1和max_lum的中间值。这里,可以使用元数据402的两个参数,即average_maxrgb和variance_maxrgb。[0101][0102][0103]a、b为预设权重因子,min为max_lum下阈值的预设值。maxrefdisplay是参考显示器的峰值亮度。参考显示器是调色师在颜色分级期间在其上显示hdr视频的显示器。标准参考显示峰值亮度可以是1000尼特或4000尼特,尽管在实践中也可能有其它值。[0104]其次,参数m_p可以计算如下:[0105][0106]其中,avgl是帧中所有像素的maxrgb值的平均值,tpl0和tph0是avgl的预设阈值,pvalueh0和pvalueh1是m_p的预设阈值,g0(w0)是权重。[0107]第三,参数m_p可以使用max_lum更新:[0108][0109]其中,tpl1和tph1是max_lum的预设阈值,pdeltah1和pdeltal1是m_p偏移的预设阈值,g1(w1)是权重。[0110]首先,参数m_a可以使用m_p计算。在本步骤中,计算另一个中间值h(l)。[0111][0112]m_a=(maxdisplay-mindispaly)/(h(maxsource)-h(minsource))[0113]其中,maxdisplay和mindisplay表示显示器的最大亮度和最小亮度,maxsource和minsource表示源hdr视频的最大亮度和最小亮度(maxrgb值)。[0114]有利地,例如根据本发明实施例生成的色调映射曲线300比传统的色调映射曲线更稳定,如图5所示,其中,c1和c2表示传统的色调映射曲线(曲线图c1是中间的曲线图,c2是三个曲线图的下面的曲线图),并且“菲尼克斯”表示根据本发明实施例(例如,图3中所示的示例)的色调映射曲线300(由图5中的三个曲线图的上面曲线图所示的改进性能)。由于“菲尼克斯”色调映射曲线300本质上比传统色调映射曲线更稳定,因此不需要花费大量计算对整个色调映射曲线300进行时域滤波。因此,根据本发明的实施例,只能对参数集102(元数据402或曲线参数502)进行时域滤波202。与对例如将存储在128个值的查找表(look-uptable,lut)中的完整色调映射曲线300进行时域滤波相比,元数据402可以仅包括上述四个参数。因此,例如,对元数据402进行时域滤波202比对色调映射曲线300进行完全滤波的效率高128/4=32倍。[0115]图6显示了用于获取滤波后的参数集103的示例性流程的示意图,所述流程可以由作为根据本发明实施例的设备100的编码器或解码器执行。如上所述,所述过程以对元数据402进行滤波和对曲线参数502进行滤波的相同方式工作。所述流程包括以下步骤:[0116]首先,至少可以获取201第一hdr视频帧101的第一参数集102,并可以将获取的第一参数集102推入队列(未示出)。然后,可以获取201第二hdr视频帧101的第二参数集102(如图所示)。然后,如果在第一hdr视频帧101和第二hdr视频帧101之间发生场景变化,可以检测(框601)场景变化。如果没有发生场景变化(框601的否),第二参数集102被推入队列(框602)。如果发生场景变化(框601的是),则清除队列(框603)。在第一种情况下(框601的否),可以计算队列中参数集102的平均值(框604),作为时域滤波步骤202,以获取时域滤波后的参数集103。[0117]在一个实施例中,多个参数集102的时域滤波202包括计算加权平均值(例如,在框604中完成),或多个参数集102的至少一部分参数的平均值。[0118]特别地,可以计算队列的加权平均值(框604),以便在时域中获取hdr视频帧101的滤波后的参数集103。时域滤波202可以根据以下等式执行:[0119][0120]其中,q(k)是队列中的第k个值,wk是权重。所有权重之和等于1。默认情况下,所有权重都可以相等,即w=1/n。在一个实施例中,可以为更接近当前hdr视频帧101(图6中的“第二帧”)的hdr视频帧101的参数集分配更大的权重。测试表明,与等权重相比,这些实施例仅提供了较小的质量增益。因此,具有相同增益的实施例提供了高效的实现方式,因为它们提供了几乎相似的质量,但复杂度较低。需要说明的是,n可能并不总是队列的最大长度。在视频的开始或在发生场景剪切(即场景变化)的hdr视频帧101处,n可以被重置为0,然后可以逐帧加1,直到它达到队列的最大长度。一旦队列已满,可能会遵循“先进先出”规则。换句话说,可以弹出队列中最早的hdr视频帧101的参数集102,可以推入最新的hdr视频帧101的参数集102。[0121]图6的程序具有以下优点:通过对参数集102进行时域滤波202可以节省时间和计算资源,并且一旦根据时域滤波的参数集103计算色调映射曲线300-仍然可以确保显示内容的稳定性而不闪烁。用于时域滤波202的队列长度可以取决于帧率,并且默认情况下取决于半秒至一秒内hdr视频帧101的数量。例如,如果hdr视频的帧率是30fps(每秒帧),那么合理的队列长度可以在15到30之间。在一个实施例中,可以将2的幂作为队列长度,因此,在软件中,30fps可以取32,15fps可以取16。[0122]图7的这个程序可用于对(例如,基础)元数据402进行时域滤波202,以及对曲线参数502(例如,参数m_p和m_a)进行时域滤波202。在艺术模式中,曲线参数m_p和m_a也可以是增强元数据的一部分,并且也可以对增强元数据进行时域滤波。[0123]虽然本发明的实施例包括时域滤波202可以应用于元数据402和曲线参数502,但出于以下两个原因,对元数据402进行滤波可能更有益:[0124](1)曲线参数502,如参数m_a和m_p,可以是元数据402的非线性函数。因此,在非线性域中对这些曲线参数502进行滤波可能更难控制。元数据402可以更适合于这种线性滤波。[0125](2)在自动模式下,滤波曲线参数502,如参数m_a和m_p,只能在解码器中使用。可能不可能在编码器侧对曲线参数502进行滤波,因为它们不是由编码器在自动模式下发送到解码器的。但是,可以在自动模式下在编码器以及解码器侧对元数据402进行滤波。[0126]上述实施例提供了与对整个色调映射曲线300进行时域滤波相比,计算复杂性和存储要求降低的优点。此外,避免或减少了潜在的闪烁现象,并且即使在连续hdr视频帧101之间的场景快速变化时,也可以保证显示内容的稳定性。[0127]在下文中,关于图7至图9描述第一模式(例如,对于自动模式)的一些具体实施例。[0128]图7示出了设备100是编解码系统中的编码器的实施例。特别地,在编码器侧对元数据402(作为参数集102)进行时域滤波202。[0129]特别地,编码器首先从多个hdr视频帧101中提取701(作为获取步骤201)元数据402。然后,元数据402在编码器侧被时域滤波202。至于时域滤波202,元数据402可以使用与图6所示相同的处理程序。在获取滤波后的元数据403(作为滤波后的参数集103)之后,将滤波后的元数据403提供给解码器。解码器根据时域滤波后的元数据403计算702曲线参数502。此外,解码器根据曲线参数502生成703色调映射曲线300。[0130]图8示出了设备100是编解码器系统中的解码器的实施例。特别地,在解码器侧对元数据402(作为参数集102)进行时域滤波202。[0131]特别地,编码器首先从多个hdr视频帧101中提取701元数据402,然后将元数据402发送到解码器。解码器接收(作为获取步骤201)元数据402,并对元数据402进行时域滤波202,获取时域滤波后的元数据403(作为滤波后的参数集103)。至于解码器侧进行的时域滤波202,元数据402可以使用与图6所示相同的处理程序。在获取滤波后的元数据403之后,在解码器侧计算702色调映射曲线参数502,以便在解码器侧生成703色调映射曲线300。[0132]图9示出了设备100是编解码器系统中的解码器的实施例。特别地,在解码器侧对曲线参数503(作为参数集102)进行时域滤波202。[0133]特别地,编码器首先从多个hdr视频帧101中提取701元数据402,然后将其发送到解码器。然后,解码器计算702(作为获取步骤201)曲线参数502,然后对曲线参数502进行时域滤波202,获取时域滤波后的曲线参数503(作为滤波后的参数集103)。至于时域滤波202,曲线参数502可以使用与图6所示相同的处理程序。在获取滤波后的曲线参数503之后,解码器根据时域滤波后的曲线参数503,生成703色调映射曲线300。[0134]在下文中,关于图10至图12描述第二模式(例如,对于艺术模式)的一些具体实施例。[0135]图10示出了设备100是编解码系统中的编码器的实施例。特别地,在编码器侧对元数据402(作为参数集)进行时域滤波202。[0136]特别地,编码器首先从多个hdr视频帧101中提取701(作为获取步骤201)元数据402。然后,在编码器侧进行时域滤波202,获取滤波后的元数据103(作为时域滤波后的参数集103)。至于时域滤波202,元数据402可以使用与图6所示相同的处理程序。在获取滤波后的元数据403后,编码器计算702曲线参数502,并且可以将曲线参数作为其它元数据401添加1000到元数据402中,获取扩展元数据1001。所述扩展元数据1001被发送到解码器,解码器从中提取其它元数据401,从而提取曲线参数502,并根据这些提取后的曲线参数502生成703色度映射曲线300。[0137]图11示出了设备100是编解码系统中的编码器的实施例。特别地,在编码器侧对曲线参数502(作为参数集102)进行时域滤波202。[0138]特别地,编码器首先从多个hdr视频帧101中提取701元数据402。然后,编码器计算702(作为获取步骤201)曲线参数502。然后,在编码器侧对曲线参数502进行时域滤波202,获取滤波后的曲线参数503(作为时域滤波后的参数集103)。至于时域滤波202,曲线参数502可以使用与图6所示相同的处理程序。在获取时域滤波后的曲线参数503之后,编码器可以将时域滤波后的曲线参数503作为其它元数据401添加1000到元数据402中,获取扩展元数据1001。所述扩展元数据1001被发送到解码器,解码器从中提取其它元数据401,从而提取时域滤波后的曲线参数503,并根据这些曲线参数503生成703色度映射曲线300。[0139]图12示出了设备100是编解码器系统中的编码器的实施例。特别地,在编码器侧对元数据402(作为参数集102)进行时域滤波202。[0140]图12特别示出了用于针对smpte2094-10对元数据402进行时域滤波202的示例。在本实施例中,作为元数据402的一部分(因此,时域滤波后的元数据403的一部分是滤波后的参数集103)的“适配点”可以被编码器用于计算702色调映射曲线参数502c1、c2和c3。特别低,时域滤波202可以应用于适配点,即获取时域滤波的适配点。然后,时域滤波后的元数据402作为增强元数据1001中的其它元数据401(例如,作为嵌入的艺术模式元数据)发送到解码器。最后,解码器根据提取的其它元数据401以及因此曲线参数502生成703色调映射曲线300。[0141]类似地,在smpte2094-40中,锚点可用于确定曲线参数502,因此特别是时域滤波202也可应用于这些锚点。在smpte2094-20和2094-30中,元数据402中的三个参数502确定色调映射曲线300,包括“shadowgaincontrol”、“midtonewidthadjustmentfactor”和“highlighgaincontrol”,因此时域滤波202可以特别应用于这三个参数。[0142]在所有上述实施例中,元数据402可以是动态元数据,即,元数据402可以从帧101改变到帧101。此外,在上述所有实施例中,曲线参数502可以是参数m_a和m_p,其可以用于定义菲尼克斯色调映射曲线300。[0143]在图9至图11所示的上述实施例中,例如在对元数据402进行时域滤波202之前或之后,元数据402可用于计算曲线参数502。然后,三次样条参数和计算的曲线参数502可以被组合为嵌入增强元数据1001中的其它元数据401。[0144]图13示出了用于实现本发明实施例的hdr动态色调映射过程的信号处理管道1300的示例。系统的输入是hdr视频,例如,hdr视频的hdr视频帧。一般来说,此hdr视频可以是后期制作阶段的输出,在后期制作阶段,调色师使用颜色分级系统编辑视频,以获得更好的质量或某些艺术意图。hdr视频峰值亮度较高,通常为1000尼特或2000尼特,在不久的将来为4000尼特或10000尼特。此外,视频的像素值在pq域中。[0145]在hdr预处理块1301中,hdr视频保持与输入相同。但是,元数据是可计算的。此外,在hdr视频编码块1302中,hdr视频被压缩,例如通过视频编解码器,例如根据h.265或任何其它视频标准(国家、国际或专有)的视频编解码器。此外,元数据嵌入在视频流的报头中,视频流从编码器发送到解码器(或存储在存储介质上,供解码器稍后检索)。在hdr视频解码块1303中,解码器接收hdr视频码流,解码压缩(或编码)视频,并从报头中提取元数据。[0146]此外,在hdr动态色调映射块1304中,进行色调映射,以使hdr视频适配显示容量。[0147]例如,hdr预处理块1301和/或hdr动态色调映射块1304可以实现本发明的实施例。[0148]已经结合作为示例的各种实施例以及实现方式对本发明进行了描述。但本领域技术人员通过实践本发明,研究附图、本发明以及所附的权利要求书,能够理解并获得其它变体。在权利要求书以及说明书中,词语“包括”不排除其它元件或步骤,“一”不排除多个元件或步骤。单个元件或其它单元可满足权利要求中描述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1