一种色调映射方法、设备及系统与流程

1.本技术涉及显示技术领域，尤其涉及一种色调映射方法、设备及系统。


背景技术：

2.随着采集端设备的发展，目前可以基于高动态范围(high dynamic range，hdr)视频技术实现采集得到hdr视频或图像。hdr视频或图像拓展了可显示的图像的亮度范围，因而能够记录较大的亮度范围信息，从而可以展现图像中更多的亮部和暗部细节。
3.然而，现下存在的显示端设备的显示能力通常是有限的，对采集端设备采集到的hdr视频或图像所记录的亮度范围信息，无法进行较好地显示。例如，采集端设备最大可以采集到亮度为10000坎德拉/平方米(cd/m2，亮度单位)的像素，而显示端设备最高只可以显示亮度为4000cd/m2的像素，则采集端设备采集到的hdr视频或图像中亮度为4000cd/m2～10000cd/m2的像素可能无法得到很好地显示。相关技术中给出了可以采用对待显示的图像进行色调映射(tone mapping，tm)的处理方式，从而可以将高动态范围图像色调映射在低动态范围显示能力的显示端设备。
4.传统的色调映射方式主要可以采用基于色调映射曲线或者基于分块的局部色调映射等方式，但是存在色调映射效果不佳的问题。因此，如何提高色调映射效果是值得研究的。


技术实现要素：

5.本技术提供一种色调映射方法、设备及系统，用以提供一种可以提高色调映射效果的技术方案。
6.第一方面，本技术实施例提供一种色调映射方法，应用于显示端设备。该方法包括：获取待显示图像帧和元数据，所述元数据包括至少一个元数据信息单元；采用目标分割方式将所述待显示图像帧分割为多个分割区域，并确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。针对所述待显示图像帧中的第i个像素，执行：基于所述第i个像素选取的预设区域中包含的多个像素，确定所述多个像素所属的至少一个相关分割区域，以及根据所述对应关系确定各所述相关分割区域对应的相关元数据信息单元；根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，以及为各所述相关分割区域分配对应的权重因子；基于各所述相关分割区域对应的所述子色调映射值和所述权重因子，得到所述第i个像素的色调映射值；并根据所述色调映射值，对所述第i个像素进行色调映射。其中，所述i分别取遍1至n中的任一正整数，所述n为所述待显示图像帧包含的像素数量。
7.该方法中，提供一种对待显示图像帧进行局部的精细化色调映射的技术方案。对待显示图像帧中包含的像素，基于预设区域实现局部的色调映射，从而可以提升显示端设备对色调映射后的待显示图像帧的显示效果。
8.在一种可能的设计中，所述为各所述相关分割区域分配对应的权重因子包括以下
方式中的一种或组合：
9.方法1，分别确定各所述相关分割区域中属于所述预设区域的像素个数、以及所述预设区域对应的总像素个数；针对第一相关分割区域，执行：根据所述第一相关分割区域中属于所述预设区域的像素个数和所述总像素个数，为所述第一相关分割区域分配对应的第一权重因子，所述第一相关分割区域为所述至少一个相关分割区域中的任一个；
10.方法2，分别确定各所述相关分割区域中属于所述预设区域对应的预设特征值；针对第二相关分割区域，执行：根据所述第二相关分割区域中属于所述预设区域对应的预设特征值和所述第i个像素的预设特征值的特征差异，为所述第二相关分割区域分配对应的第二权重因子，所述第二相关分割区域为所述至少一个相关分割区域中的任一个。
11.该设计中，基于像素对应的预设区域内不同相关分割区域的局部特征，如像素个数或预设特征值等，可以为不同相关分割区域分配对应的权重因子。通过权重因子的分配，可以实现对待显示图像帧中包含的像素的精细化色调映射，从而可以基于待显示图像帧的图像特征实现色调映射，从而可以提升显示端设备对色调映射后的待显示图像帧的显示效果。
12.在一种可能的设计中，所述元数据还包括以下信息中的一种或组合：第一加权强度值、第二加权强度值。其中，所述第一加权强度值用于根据所述待显示图像帧的像素个数分布情况对所述第一权重因子进行调整；所述第二加权强度值用于根据所述待显示图像帧的预设特征值变化情况对所述第二权重因子进行调整。
13.该设计中，基于待显示图像帧的全局特征，还可以通过加权强度值对为不同分割区域分配的权重因子进行调整。例如，在待显示图像帧的图像特征较为相似时，可以分配较大的权重因子；在待显示图像帧的图像特征较为不同时，可以分配较小的权重因子。这样，可以减少色调映射可能会产生的边界效应，提升显示端设备对色调映射后的待显示图像帧的显示效果。
14.在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。该设计中，预设特征值可以采用亮度特征值或颜色特征值，实际实现时可根据待显示图像帧进行确定，例如，若亮度特征较为重要的待显示图像帧，可选取亮度特征值；若颜色特征较为突出的待显示图像帧，可选取颜色特征值。并且，该设计不限定预设特征值的数量，从而提升对待显示图像帧的色调映射的效果。
15.在一种可能的设计中，所述根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，包括：所述相关元数据信息单元包含色调映射曲线的参数，基于所述色调映射曲线得到所述第i个像素在所述相关分割区域对应的子色调映射值。
16.该设计中，通过每个相关分割区域可对应有色调映射曲线，从而可以实现对每个相关分割区域的色调映射，以得到多个子色调映射值，可以提升子色调映射值的准确性，以得到较为准确的色调映射效果。
17.在一种可能的设计中，所述基于所述第i个像素选取的预设区域为：以所述第i个像素为中心选取的预设大小的预设形状的区域；或者为：以所述第i个像素为中心、且根据预设形状和所述元数据中包含的预设尺寸信息确定的区域；或者为：以所述第i个像素为中心、且根据所述元数据中包含的预设形状和预设尺寸信息确定的区域。
18.该设计中，通过以待处理像素(第i个像素)为中心选取预设区域，然后基于预设区域中包含的多个像素对待处理像素进行局部的精细化色调映射，可以提升显示端设备对色调映射后的待显示图像帧的显示效果。
19.在一种可能的设计中，所述确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，包括：针对任一所述分割区域，从任一所述分割区域中选取预设位置的像素，获取所述预设位置的像素的坐标信息；根据所述坐标信息，确定任一所述分割区域对应的元数据信息单元；建立任一所述分割区域与所述对应的元数据信息单元的对应关系。或者，针对任一所述元数据信息单元，根据所述元数据信息单元包含的一个或者多个坐标信息，确定所述一个或多个坐标信息对应的至少一个分割区域；建立任一所述元数据信息单元与所述对应的至少一个分割区域的对应关系。
20.该设计中，采用预设位置的坐标信息作为索引，可较为准确和简便地确定分割区域与元数据信息单元的对应关系，从而可以实现基于待处理像素的相关分割区域对应的相关元数据信息单元，分别计算各个相关分割区域的子色调映射值。
21.在一种可能的设计中，所述确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，包括：所述元数据信息单元包含对应的分割区域标识，按照目标扫描顺序和所述分割区域标识对所述多个分割区域进行遍历，确定各所述分割区域对应的元数据信息单元；其中，所述目标扫描顺序为预设扫描顺序、或所述元数据中指示的扫描顺序。
22.该设计中，还可采用目标扫描顺序，较为准确和简便地确定分割区域与元数据信息单元的对应关系，从而可以实现基于待处理像素的相关分割区域对应的相关元数据信息单元，分别计算各个相关分割区域的子色调映射值。
23.在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。该设计中，分割区域和元数据信息单元不仅可以为一对一的对应关系，还可以为多对一的对应关系，通过多对一的对应关系，可以减少采集端设备与显示端设备需要传输的元数据的信息量，从而可以提升元数据的传输效率。
24.在一种可能的设计中，所述目标分割方式为预设分割方式、或所述元数据中指示的分割方式。该设计中，目标分割方式可以为采集端设备与显示端设备分别预先存储的，也可以为显示端设备采用的分割方式为采集端设备指示，从而可以保障采集端设备与显示端设备之间进行色调映射的准确性。
25.第二方面，本技术实施例提供了一种生成元数据的方法，应用于采集端设备。所述方法包括：采集图像数据，得到待显示数据帧；采用目标分割方式将所述待显示数据帧分割为多个分割区域，并为所述多个分割区域确定对应的至少一个元数据信息单元；发送所述待显示数据帧和元数据到显示端设备；所述元数据包括所述至少一个元数据信息单元。
26.在一种可能的设计中，所述方法还包括：基于所述多个分割区域分别包含的像素个数，确定第一加权强度值；和/或，基于所述多个分割区域分别对应的预设特征值，确定第二加权强度值；将所述第一加权强度值和/或所述第二加权强度值关联到所述元数据中。
27.在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。
28.在一种可能的设计中，所述元数据信息单元包括分割区域对应的色调映射曲线的参数。
29.在一种可能的设计中，所述元数据还包括：预设尺寸信息；所述预设尺寸信息用于指示为像素选取预设区域时，所采用的预设形状的预设大小；或者，所述元数据还包括：预设形状和预设尺寸信息。
30.在一种可能的设计中，所述为所述多个分割区域确定对应的至少一个元数据信息单元，包括：从所述分割区域中选取多个预设位置的像素，获取所述多个预设位置的像素的坐标信息；将所述坐标信息关联到所述元数据信息单元中。
31.在一种可能的设计中，所述元数据信息单元还包括：所述元数据信息单元对应的分割区域标识、扫描顺序；其中，所述对应的分割区域标识和所述扫描顺序用以所述显示端设备确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。
32.在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。
33.在一种可能的设计中，所述方法还包括：将所述目标分割方式关联到所述元数据中，以指示所述显示端设备采用所述目标分割方式分割所述待显示数据帧。
34.第三方面，本技术实施例提供了一种色调映射处理装置，该装置包括用于执行第一方面或第一方面任一种可能的实施方式中所述方法的模块。
35.示例性的，该装置可以包括：获取模块、处理模块以及色调映射模块。其中，获取模块，用于获取待显示图像帧和元数据，所述元数据包括至少一个元数据信息单元。处理模块，用于采用目标分割方式将所述待显示图像帧分割为多个分割区域，并确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。色调映射模块，用于针对所述待显示图像帧中的第i个像素，执行：基于所述第i个像素选取的预设区域中包含的多个像素，确定所述多个像素所属的至少一个相关分割区域，以及根据所述对应关系确定各所述相关分割区域对应的相关元数据信息单元；根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，以及为各所述相关分割区域分配对应的权重因子；基于各所述相关分割区域对应的所述子色调映射值和所述权重因子，得到所述第i个像素的色调映射值；并根据所述色调映射值，对所述第i个像素进行色调映射；其中，所述i分别取遍1至n中的任一正整数，所述n为所述待显示图像帧包含的像素数量。
36.在一种可能的设计中，所述色调映射模块，用于为各所述相关分割区域分配对应的权重因子时，具体用于：分别确定各所述相关分割区域中属于所述预设区域的像素个数、以及所述预设区域对应的总像素个数；针对第一相关分割区域，执行：根据所述第一相关分割区域中属于所述预设区域的像素个数和所述总像素个数，为所述第一相关分割区域分配对应的第一权重因子，所述第一相关分割区域为所述至少一个相关分割区域中的任一个；和/或，分别确定各所述相关分割区域中属于所述预设区域对应的预设特征值；针对第二相关分割区域，执行：根据所述第二相关分割区域中属于所述预设区域对应的预设特征值和所述第i个像素的预设特征值的特征差异，为所述第二相关分割区域分配对应的第二权重因子，所述第二相关分割区域为所述至少一个相关分割区域中的任一个。
37.在一种可能的设计中，所述元数据还包括以下信息中的一种或组合：第一加权强度值、第二加权强度值；其中，所述第一加权强度值用于根据所述待显示图像帧的像素个数分布情况对所述第一权重因子进行调整；所述第二加权强度值用于根据所述待显示图像帧的预设特征值变化情况对所述第二权重因子进行调整。
38.在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。
39.在一种可能的设计中，所述色调映射模块，用于根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，具体用于所述相关元数据信息单元包含色调映射曲线的参数，基于所述色调映射曲线得到所述第i个像素在所述相关分割区域对应的子色调映射值。
40.在一种可能的设计中，所述基于所述第i个像素选取的预设区域为：以所述第i个像素为中心选取的预设大小的预设形状的区域；或者为：以所述第i个像素为中心、且根据预设形状和所述元数据中包含的预设尺寸信息确定的区域；或者为：以所述第i个像素为中心、且根据所述元数据中包含的预设形状和预设尺寸信息确定的区域。
41.在一种可能的设计中，所述处理模块，用于确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，具体用于：针对任一所述分割区域，从任一所述分割区域中选取预设位置的像素，获取所述预设位置的像素的坐标信息；根据所述坐标信息，确定任一所述分割区域对应的元数据信息单元；建立任一所述分割区域与所述对应的元数据信息单元的对应关系；或者，针对任一所述元数据信息单元，根据所述元数据信息单元包含的一个或者多个坐标信息，确定所述一个或多个坐标信息对应的至少一个分割区域；建立任一所述元数据信息单元与所述对应的至少一个分割区域的对应关系。
42.在一种可能的设计中，所述处理模块，用于确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，包括：所述元数据信息单元包含对应的分割区域标识，按照目标扫描顺序和所述分割区域标识对所述多个分割区域进行遍历，确定各所述分割区域对应的元数据信息单元；其中，所述目标扫描顺序为预设扫描顺序、或所述元数据中指示的扫描顺序。
43.在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。
44.在一种可能的设计中，所述目标分割方式为预设分割方式、或所述元数据中指示的分割方式。
45.第四方面，本技术实施例提供了一种色调映射装置，该装置包括用于执行第二方面或第二方面任一种可能的实施方式中所述方法的模块。
46.示例性的，该装置可以包括：采集模块、处理模块和收发模块。其中，采集模块，用于采集图像数据，得到待显示数据帧；处理模块，用于采用目标分割方式将所述待显示数据帧分割为多个分割区域，并为所述多个分割区域确定对应的至少一个元数据信息单元；收发模块，用于发送所述待显示数据帧和元数据到显示端设备；所述元数据包括所述至少一个元数据信息单元。
47.在一种可能的设计中，所述处理模块，还用于基于所述多个分割区域分别包含的像素个数，确定第一加权强度值；和/或，基于所述多个分割区域分别对应的预设特征值，确定第二加权强度值；将所述第一加权强度值和/或所述第二加权强度值关联到所述元数据中。
48.在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。
49.在一种可能的设计中，所述元数据信息单元包括分割区域对应的色调映射曲线的参数。
50.在一种可能的设计中，所述元数据还包括：预设尺寸信息；所述预设尺寸信息用于指示为像素选取预设区域时，所采用的预设形状的预设大小；或者，所述元数据还包括：预设形状和预设尺寸信息。
51.在一种可能的设计中，所述处理模块，用于为所述多个分割区域确定对应的至少一个元数据信息单元，具体用于从所述分割区域中选取多个预设位置的像素，获取所述多个预设位置的像素的坐标信息；将所述坐标信息关联到所述元数据信息单元中。
52.在一种可能的设计中，所述元数据信息单元还包括：所述元数据信息单元对应的分割区域标识、扫描顺序；其中，所述对应的分割区域标识和所述扫描顺序用以所述显示端设备确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。
53.在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。
54.在一种可能的设计中，所述处理模块，还用于将所述目标分割方式关联到所述元数据中，以指示所述显示端设备采用所述目标分割方式分割所述待显示数据帧。
55.第五方面，本技术实施例提供了一种显示端设备，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如第一方面或第一方面中任一种可能的实施方式中所述的方法。
56.第六方面，本技术实施例提供了一种采集端设备，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如第二方面或第二方面中任一种可能的实施方式中所述的方法。
57.第七方面，本技术实施例提供一种计算机可读存储介质，包括程序或指令，当程序或指令在计算机上运行时，使得如第一方面或第一方面中任一种可能的实施方式中的方法被执行，或，使得第二方面或第二方面中任一种可能的实施方式中的方法被执行。
58.应理解，第二方面至第七方面可以达到的技术效果，具体可以参照上述第一方面或第一方面中任意一种可能的实施方式所带来的技术效果描述，这里不再赘述。
附图说明
59.图1为pq光电转移函数关系示意图；
60.图2为hlg光电转移函数关系示意图；
61.图3为slf光电转移函数关系示意图；
62.图4为本技术实施例适用的一种可能的系统架构的示意图；
63.图5为本技术实施例提供的一种色调映射方法的流程示意图；
64.图6示出的为本技术实施提供的分割方式a的分割示意图；
65.图7示出的为本技术实施提供的分割方式b的分割示意图；
66.图8示出的为本技术实施提供的分割方式c的分割示意图；
67.图9示出的为本技术实施例提供的一种扫描顺序的示意图；
68.图10示出的为本技术实施例提供的确定相关分割区域的示意图；
69.图11示出的为本技术实施例提供的确定相关分割区域的另一示意图；
70.图12示出的为本技术实施例提供的一种亮度特征值的示意图；
71.图13为本技术实施例提供的一种色调映射方法的另一流程示意图；
72.图14为本技术实施例提供的一种色调映射装置的结构示意图；
73.图15为本技术实施例提供的一种色调映射装置的另一结构示意图；
74.图16为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
75.本技术实施例中的术语“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c，a-b，a-c，b-c，或a-b-c中任意一种情况可以包括单个a、单个b、单个c，也可以包括多个a、多个b、多个c。
76.以及，除非有相反的说明，本技术实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一优先级准则和第二优先级准则，只是为了区分不同的准则，而并不是表示这两种准则的内容、优先级或者重要程度等的不同。
77.此外，本技术实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块/单元的过程、方法、系统、产品或设备，不限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块/单元。
78.在数字图像显示领域，动态范围(dynamic range)可以表示在图像可显示的范围内最大灰度值和最小灰度值之间的比率。目前大部分的彩色数字图像中，r、g、b各通道分别使用一个字节8位来存储，也就是说，各通道的表示范围是0～255灰度级，这里的0～255就是图像的动态范围。但是真实世界中同一场景中动态范围通常在10-3
到106范围内，可以称之为高动态范围(high dynamic range，hdr)。相对于高动态范围，普通图片上的动态范围称之为低动态范围(low dynamic range，ldr)，ldr可以显示的动态范围通常在1到100范围内。由此可以理解的是，数码相机的成像过程实际上就是真实世界的高动态范围到相片的低动态范围的映射。
79.图像的动态范围越大，表明图像显示的场景细节越多，亮度的层次越丰富，视觉效果越逼真。
80.光学数字成像的过程(例如，数码相机的成像过程、视频播放过程)是将真实场景的光辐射通过图像传感器转化为电信号，并以数字图像的方式保存下来。而图像显示的目的是通过显示端设备重现一幅数字图像所描述的真实场景。两者的最终目标是使用户获得与其直接观察真实场景相同的视觉感知。而光辐射(光信号)所能展示的真实场景中的亮度层次几乎是线性的，因此也将光信号称为线性信号。但是，光学数字成像在将光信号转换为电信号的过程中，并不是每一个光信号都对应着一个电信号，转换得到的电信号通常是非线性的。因此，也将电信号称为非线性信号。将光信号转换为电信号的曲线为光电转移函数(optical electro transfer function，oetf)，本技术实施例中涉及的光电转移函数可以
包括但不限于：感知量化(perceptual quantizer，pq)光电转移函数、混合对数伽马(hybrid log-gamma，hlg)光电转移函数、场景亮度保真(scene luminance fidelity，slf)光电转移函数等。
81.pq光电转移函数是根据人眼的亮度感知模型提出的感知量化光电转移函数。pq光电转移函数表示图像像素的线性信号值到pq域非线性信号值的转换关系。参见图1所示，为一种pq光电转移函数关系示意图。pq光电转移函数可以表示为公式(1-1)：
[0082][0083]
其中，公式(1-1)中各参数通过如下方式计算得到：
[0084][0085]
其中，
[0086]
l表示线性信号值，其值归一化为[0，1]。
[0087]
l'表示非线性信号值，其值取值范围为[0，1]。
[0088]
m1为pq光电转移系数。
[0089]
m2为pq光电转移系数。
[0090]
c1为pq光电转移系数。
[0091]
c2为pq光电转移系数。
[0092]
c3为pq光电转移系数。
[0093]
hlg光电转移函数是在传统的gamma曲线的基础上改进得到的。hlg光电转移函数在低段应用传统的gamma曲线，在高段补充了log曲线。参见图2，为hlg光电转移函数关系示意图。hlg光电转移函数表示图像像素的线性信号值到hlg域非线性信号值的转换关系，hlg光电转移函数可表示为式(1-2)：
[0094][0095]
其中，l表示线性信号值，其取值范围为[0，12]。l'表示非线性信号值，其取值范围为[0，1]。a＝0.17883277，表示hlg光电转移系数。b＝0.28466892，表示hlg光电转移系数。c＝0.55991073，表示hlg光电转移系数。
[0096]
slf光电转移函数是在满足人眼光学特性的前提下，根据hdr场景亮度分布获得的最优曲线。参见图3，图3为slf光电转移函数关系示意图。
[0097]
slf光电转移曲线表示图像像素的线性信号值到slf域非线性信号值的转换关系。
图像像素的线性信号值到slf域非线性信号值的转换关系如公式(1-3)所示：
[0098][0099]
slf光电转移函数可以表示为公式(1-4)：
[0100][0101]
其中：
[0102]
l表示线性信号值，其值归一化为[0，1]，l'表示非线性信号值，其值取值范围为[0，1]。p＝2.3，表示slf光电转移系数。m＝0.14，表示slf光电转移系数。a＝1.12762，表示slf光电转移系数。b＝-0.12762，表示slf光电转移系数。
[0103]
目前采集端设备可以采集得到动态范围更大的hdr视频或图像(以下实施例中以图像作为示例进行介绍，可以理解视频可以表示为多帧图像)，但显示端设备的显示能力有限，无法与采集端设备采集得到的动态范围进行较好地匹配。相关技术中给出了可以采用对待显示的图像进行色调映射(tone mapping，tm)的处理方式，从而可以实现图像在不同动态范围下的匹配。示例性的，色调映射可以分为高动态范围到低动态范围的映射，或者低动态范围到高动态范围的映射。例如，采集端设备采集到的hdr图像包括4000尼特(nit，光照信号单位)的光照信号，而显示端设备(如电视机，手机)的hdr显示能力只有500nit尼特，则需要把4000nit信号映射到500nit的设备上，即从高到低的色调映射过程。又例如，hdr图像包括100nit的sdr信号，而目标显示端设备的显示能力只有2000nit，则需要把100nit的信号映射到2000nit的设备上，即从低到高的色调映射过程。
[0104]
色调映射通常应用在采集端设备采集到高等级的hdr图像和显示端设备显示低等级的hdr图像或sdr图像的匹配上。参阅图4，为本技术实施例适用的一种可能的系统架构的示意图。本技术实施例的系统架构可以包括采集端设备401、显示端设备402以及传输链路403。显示端设备402具体还可以分为hdr显示设备402a和sdr显示设备402b。
[0105]
其中，采集端设备401用于采集或制作hdr视频或图像。示例性的采集端设备401可以是视频(或图像)采集设备，也可以是视频(或图像)制作设备。一种可能的示例中，采集端设备401还可以基于hdr视频或图像生成元数据(metadata)。元数据用于记录采集的场景或者帧中图像的关键信息。在本技术实施例中该元数据可以包括色调映射曲线的参数、动态元数据(dynamic metadata)和静态元数据(static metadata)等。其中，动态元数据可以理解为与每帧图像相关联的数据，该数据可以随画面不同而改变，例如场景中像素亮度的平均值，最大值，最小值等。静态元数据可以理解为与图像序列相关联的数据，该数据在图像序列内保持不变。
[0106]
采集端设备401可以通过传输链路403将hdr视频或图像、即元数据传输给显示端设备402。具体的，hdr视频或图像和元数据可以以一个数据包的形式进行传输，或者分别以两个数据包进行传输，本技术实施例不作具体的限定。
[0107]
显示端设备402可以用于接收元数据和hdr视频或图像，并根据元数据中包含的色调映射曲线的参数，确定色调映射曲线，以及根据该色调映射曲线对hdr图像进行色调映射，转换为显示端设备402适配的显示内容。其中，显示端设备402可以分为hdr显示设备
402a、sdr显示设备402b。需要说明的是，显示端设备402的hdr与采集端设备401采集的hdr的范围可以不同，通常显示端设备402的hdr比采集端设备401的hdr的范围更低，例如，采集端设备401的hdr的范围为10-3
到104(本技术实施例中也可称为“高等级的hdr”)，而显示端设备402的hdr范围为10-1
到103范围(本技术实施例中也可称为“低等级的hdr”)。还应理解，在不同的实施例中，显示端设备402中也可以包括具有比采集端设备401产生的hdr视频或图像更高动态范围的显示能力的显示端设备，其显示适配的过程同样可以应用于本系统架构，本技术不作限定。
[0108]
基于背景技术中介绍到的内容，传统的色调映射方式主要可以采用基于色调映射曲线或者基于分块的局部色调映射等方式，但是存在色调映射效果不佳的问题。例如，基于色调映射曲线的方式，一般是基于单个局部窗口实现色调映射，在采用较为单一的形状进行局部处理时，可能会存在边界效应。
[0109]
有鉴于此，本技术实施例提供一种色调映射方法，用以设计一种可以提高色调映射效果的技术方案。以下结合附图对本技术实施例提供的方法进行介绍。
[0110]
图5为本技术实施例提供适用于显示端设备402的一种色调映射方法的流程示意图。图5示出的流程包括：
[0111]
步骤501、显示端设备402获取待显示图像帧和元数据，所述元数据包括至少一个元数据信息单元。应理解，待显示图像帧可以为图像，还可以为视频包含的多帧图像中的任一帧图像。并且，待显示图像帧可以为采集端设备401发送的数据；或者也可以为经过其他图像处理流程之后得到的数据，其他图像处理流程如全局色调映射。其中，元数据可以为采集端设备401基于采集得到的待显示图像帧生成的，生成元数据的具体实现方式在后续介绍采集端设备401的处理流程部分进行介绍，在此暂不详述。
[0112]
步骤502、显示端设备402采用目标分割方式将所述待显示图像帧分割为多个分割区域，并确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。
[0113]
其中，所述目标分割方式可以为预设分割方式、或还可以为所述元数据中指示的分割方式。可选的，预设分割方式可以为显示端设备402预先设置的；应理解，为了得到准确的元数据，此场景下采集端设备401与显示端设备402可以预先设置相同的预设分割方式。或者，可选的，为了实现采集端设备401与显示端设备402采用相同的分割方式，显示端设备402的目标分割方式也可以由采集端设备401在元数据中指示的。
[0114]
示例性的，本技术实施例提供以下几种可能的分割方式。应理解，实施时不限定以下分割方式。
[0115]
分割方式a，显示端设备402根据第一方向和第二方向分别对应的第一分割参数，将所述待显示图像帧均分为多个矩形分割区域。所述第一方向与所述第二方向垂直。可选的，第一分割参数可以为分割个数，此时划分得到的多个分割区域表示为等大小的矩形区域。
[0116]
如图6示出的为本技术实施提供的分割方式a的分割示意图，第一方向可以为水平方向，第二方向可以为竖直方向。假设在第一方向上的分割个数以m1来表示(m1取值通常≤16)，及在第二方向上的分割个数以m2表示(m2取值通常≤16)。其中，图6中以m1取值为4，m2取值也为4作为示例，则待显示图像帧可以被划分为16个划分区域，也即16个等大小的矩形区域。应理解，m1和m2的取值可以相同，也可以不同，例如m1可取值为6，m2取值为4等。
[0117]
分割方式b，显示端设备402根据第一方向和第二方向分别对应的第二分割参数，将所述待显示图像帧划分为多个矩形分割区域。可选的，第二分割参数可以为分割列表，此时划分得到的多个分割区域表示为任意大小的矩形区域。
[0118]
如图7示出的为本技术实施提供的分割方式b的分割示意图。假设第一方向上的分割列表以w[j1](j1可取值1～m1，m1表示第一方向上的分割个数)来表示，及第二方向上的分割列表以h[j2](j2可取值1～m2，m2表示第二方向上的分割个数)。其中，图7中以m1取值为4，m2取值也为4来表示。示例性的，图7包含的w[1]、w[2]、w[3]及w[4]中每两个数值之间可以相同也可以不同，及图7包含的h[1]、h[2]、h[3]及h[4]中每两个数值之间可以相同也可以不同。
[0119]
分割方式c，显示端设备402通过对所述待显示图像帧包含的像素进行聚类，根据聚类结果将所述待显示图像帧划分为多个不规则分割区域，每个不规则分割区域包括至少一类像素。
[0120]
如图8示出的为本技术实施提供的分割方式c的分割示意图。本技术实施时，可从多种可选的聚类方式中选择目标聚类方式对待显示图像帧进行聚类处理，具体的聚类方式本技术不做限定。例如，聚类处理之后的待显示图像帧可被划分为图8中示出的16块分割区域。示例性的，显示端设备402对待显示图像帧进行聚类时，可首先根据如前述介绍的第一分割参数或第二分割参数将待显示图像帧划分为多个矩形区域；然后确定每个矩形区域的中心像素点的坐标信息以及特征信息(特征信息比如为颜色分量值)；通过对待显示图像帧中包含的各像素点与各所述中心像素点进行聚类分析，得到聚类结果；最后可以根据聚类结果得到如图8示出的分割示意图。
[0121]
此外，为了便于进行聚类分析，减少聚类处理的处理量，本技术实施时，在对待显示图像帧进行图像分割时，还可以结合缩略的待显示图像帧进行图像分割处理。如缩略的待显示图像帧可以选择采集的待显示图像帧的第一方向上分辨率的1/n1、及第二方向上分辨率的1/n2。这样，基于缩略的待显示图像帧进行聚类分析，可以减少聚类处理过程中的像素数量。
[0122]
需要说明的是，本技术实施时可对具有不同特征的图像选取合适的分割方式。示例性的，分割方式a可适用于待显示图像帧为局部特征不明显的图像帧等，例如纯色类图像帧或规则类图像；也可以适用于任意图像帧中，本技术对此不做限定。分割方式c可适用于具有一定局部特征的图像帧等。可以理解，显示端设备402和/或采集端设备401可以预先存储多种分割方式，基于不同特性的图像帧可进一步选择对应的目标分割方式。
[0123]
显示端设备402在得到多个分割区域之后，基于元数据中包括至少一个元数据信息单元，确定每个分割区域对应的元数据信息单元，从而可以从元数据信息单元中获取分割区域对应的色调映射曲线的参数、动态元数据和静态元数据等。可选的，所述多个分割区域与所述至少一个元数据信息单元可以为一对一的对应关系；也即每个分割区域可以对应一个元数据信息单元；如图8中的16块分割区域可以对应16个元数据信息单元。另一可选的，所述多个分割区域与所述至少一个元数据信息单元还可以为多对一的对应关系；也即一个或多个分割区域可以对应一个元数据信息单元；如图8中的分割区域1和分割区域2可以对应一个元数据信息单元、分割区域3和分割区域4可以对应一个元数据信息单元等。可以理解，通过多对一的关系，可以减少采集端设备401和显示端设备402之间传输元数据的
数据量，从而可以提升数据传输效率。
[0124]
示例性的，本技术实施例提供以下几种可能的确定所述多个分割区域与所述至少一个元数据信息单元的对应关系的示例。应理解，实施时不限定以下示例。
[0125]
示例1，采集端设备401可以在元数据信息单元中指示对应的分割区域标识。
[0126]
可选的，分割区域标识可以为元数据信息单元包含的分割区域数量。实施时，显示端设备402可以基于目标扫描顺序和分割区域数量，对待显示图像帧中包含的多个分割区域进行遍历。其中，目标扫描顺序包括但不限于包括：自左到右再自顶向下、自上到下再自左到右等；并且所述目标扫描顺序可以为预设扫描顺序、或可以为元数据中指示的扫描顺序。应理解，显示端设备402与采集端设备401采用相同的预设扫描顺序。
[0127]
例如，图9示出的为本技术实施例提供的一种扫描顺序的示意图，示出的扫描顺序为自左到右再自顶向下。假设图9对应的16块分割区域对应3个元数据信息单元。其中，第1个元数据信息单元对应4块分割区域、第2个元数据信息单元对应7块分割区域、第3个元数据信息单元对应5块分割区域，则所述多个分割区域与所述至少一个元数据信息单元的对应关系，可以如以下表1-1所示：
[0128]
表1-1
[0129]
分割区域标识元数据信息单元标识4第1个元数据信息单元7第2个元数据信息单元5第3个元数据信息单元
[0130]
根据以上表1-1示出的对应关系，显示端设备402可以基于目标扫描顺序确定第1个元数据信息单元对应的分割区域为分割区域1～分割区域4，第2个元数据信息单元对应的分割区域为分割区域5～分割区域11，第3个元数据信息单元对应的分割区域为分割区域12～分割区域16。
[0131]
另一可选的，分割区域标识还可以为分割区域序号信息。实施时，显示端设备402可以基于元数据信息单元中包含的分割区域序号信息，确定元数据信息单元对应的分割区域。
[0132]
例如，沿用图9示出的内容。该示例下所述多个分割区域与所述至少一个元数据信息单元的对应关系，可以如以下表1-2所示：
[0133]
表1-2
[0134]
分割区域标识元数据信息单元标识分割区域1～分割区域4第1个元数据信息单元分割区域5～分割区域11第2个元数据信息单元分割区域12～分割区域16第3个元数据信息单元
[0135]
根据以上表1-2示出的对应关系，显示端设备402可以直接根据元数据信息单元包含的分割区域序号信息确定对应的分割区域。
[0136]
示例2，显示端设备402还可以针对任一所述分割区域，从任一所述分割区域中选取一个或多个预设位置的像素，获取所述一个或多个预设位置的像素的坐标信息；根据所述坐标信息，确定任一所述分割区域对应的元数据信息单元；从而建立任一所述分割区域与所述对应的元数据信息单元的对应关系。其中，预设位置可以包括以下位置中的一个或
多个：左上角、中心、右下角、左上角和右下角等位置。例如，对分割区域1，预设位置可以选取左上角、中心和右下角，左上角的坐标信息为(x1，y1)、中心的坐标信息为(x2，y2)及右下角的坐标信息为(x3，y3)；然后确定包含(x1，y1)、(x2，y2)及(x3，y3)的元数据信息单元，从而可以得到分割区域1对应的元数据信息单元。
[0137]
应理解，显示端设备402也可以针对任一所述元数据信息单元，根据所述元数据信息单元包含的一个或者多个坐标信息，确定所述一个或多个坐标信息对应的至少一个分割区域；建立任一所述元数据信息单元与所述对应的至少一个分割区域的对应关系。
[0138]
针对所述待显示图像帧中的第i个像素(其中，所述i分别取遍1至n中的任一正整数，所述n为所述待显示图像帧包含的像素数量)，显示端设备402执行以下步骤503至步骤505(应理解，以下实施例中以任一像素点作为示例，待显示图像帧中包含的其他像素点的处理过程类似，以下实施例中不再一一介绍)，如下：
[0139]
步骤503、基于所述第i个像素选取的预设区域中包含的多个像素，确定所述多个像素所属的至少一个相关分割区域，以及根据所述对应关系确定各所述相关分割区域对应的相关元数据信息单元。
[0140]
其中，所述基于所述第i个像素选取的预设区域为：以所述第i个像素为中心选取的预设大小的预设形状的区域，例如预设形状可以为预设宽度和预设长度的矩形或其他形状。或者为：以所述第i个像素为中心、且根据预设形状和所述元数据中包含的预设尺寸信息确定的区域，其中若预设形状为矩形，预设尺寸信息可以为矩形的长宽信息；若预设形状为圆形，预设尺寸信息可以为圆形的半径或直径信息。或者为：以所述第i个像素为中心、且根据所述元数据中包含的预设形状和预设尺寸信息确定的区域。换言之，显示端设备402为第i个像素选取预设区域所采用的预设形状和/或预设形状的预设尺寸信息，可以为在本地存储的信息，也可以为元数据中指示的信息。
[0141]
例如，图10示出的为本技术实施例提供的确定相关分割区域的示意图，基于图6采用的分割方式得到的待显示图像帧。结合图10中(a)和(b)示出的内容，在对像素点1进行处理时，以像素点1为中心的预设矩形区域内包含多个像素点，该多个像素点分别属于分割区域1、分割区域2、分割区域5和分割区域6，则可以确定像素点1的相关分割区域包含4个。结合图10中的(a)和(c)示出的内容，在对像素点2进行处理时，以像素点2为中心的预设矩形区域内包括的多个像素点分别属于分割区域6、7、8、10、11、12、14、15和16，则可以确定像素点2的相关分割区域包含9个。应理解，像素点的相关分割区域基于像素点位置和预设区域确定，在待显示图像帧中包含的不同像素点的相关分割区域数量可以相同也可以不同。需要说明的是，对待显示图像帧的包含的多个像素点，通常可以采用相同预设尺寸信息的预设区域，但本技术对此不进行限定，实施时也可以采用不同预设尺寸信息的预设区域，如图10示出的像素点1和像素点2采用为不同的预设尺寸信息。
[0142]
又例如，图11示出的为本技术实施例提供的确定相关分割区域的另一示意图，基于图8采用的分割方式得到的待显示图像帧。在对像素点3进行处理时，以像素点3为中心的预设矩形区域内包括的多个像素点分别数据分割区域9、10、13、14和15，则可以确定像素点3的相关分割区域数量为5个。
[0143]
基于步骤502中显示端设备402可以得到多个分割区域与至少一个元数据信息单元的对应关系，则在确定像素点的相关分割区域之后，可以进一步从相关分割区域对应的
元数据信息单元中，获取到相关分割区域包含的关键信息，如色调映射曲线的参数、动态元数据和静态元数据等元数据信息，以实现对待处理的像素点的色调映射。
[0144]
步骤504、显示端设备402根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，以及为各所述相关分割区域分配对应的权重因子。
[0145]
示例性的，所述相关元数据信息单元包含色调映射曲线的参数，所述显示端设备402可基于所述色调映射曲线得到所述第i个像素在所述相关分割区域对应的子色调映射值。可以理解，第i个像素的子色调映射值的数量取决于相关分割区域的数量，例如，对图10示出的像素点1，像素点1的相关分割区域数量为4个，则可得到像素点1对应的4个子色调映射值；对图10示出的像素点2，像素点2的相关分割区域数量为9个，则可得到像素点2对应的9个子色调映射值。
[0146]
其中，本技术实施时不限定上述示例中介绍的相关数据信息单元中包含的色调映射曲线的参数，例如，色调映射曲线的参数可以根据选取的色调映射曲线形态决定。色调映射曲线形态包括但不限于包括：s型(sigmoidal)函数曲线、三次(或多次)样条函数曲线、贝塞尔曲线、gamma函数曲线等。
[0147]
一种基于色调映射曲线的参数得到色调映射曲线的实施例为，色调映射曲线为三次样条函数。本技术实施时，显示端设备402确定任一相关分割区域的色调映射曲线可以包括以下步骤：
[0148]
a1、从所述相关分割区域对应的相关元数据信息单元中获取最大亮度值(maxlum)。
[0149]
a2、根据所述maxlum和三次样条区间信息(num3)确定三次样条的区间长度(len)。
[0150]
其中，len可以表示为公式(2-1)：
[0151][0152]
a3、根据所述len和区间索引(index，用于标识第一区间)得到第一区间的起始位置(th[index-1])和结束位置(th[index])；第一区间为三次样条包含的多个区间中的任一区间。其中，th[index]可以表示为公式(2-2)：
[0153]
th[index]＝index*len
ꢀꢀꢀ
(2-2)
[0154]
a4、根据三次样条区间信息、区间索引以及三次样条区间值得到第一区间的三次样条参数p0、p1、p2以及p3。
[0155]
a4-1，根据三次样条区间值和三次样条区间信息获取第一区间的初始区间斜率。其中，初始区间斜率可以表示为公式(2-3)：
[0156][0157]
其中，gainorg[index]表示第一区间的初始区间斜率。thvalue[index]表示第一区间的三次样条区间值，thvalue[index-1]表示第一区间的前一区间的三次样条区间值。
[0158]
a4-2，根据初始区间斜率获取第一区间的区间端点斜率。其中，区间端点斜率包括区间起始端点斜率，可以表示为以下公式(2-4)；和区间结束端点斜率，可以表示为以下公式(2-5)：
[0159]
[0160]
其中，gainorg[index-1]表示第一区间的前一区间的初始区间斜率。gainstart[index]表示区间起始端点斜率。
[0161][0162]
其中，gainorg[index+1]表示第一区间的后一区间的初始区间斜率。gainend[index]表示区间结束端点斜率。
[0163]
a4-3，第一区间的三次样条参数p0、p1、p2以及p3可以表示为以下公式(2-6)至(2-9)：
[0164]
p0＝thvalue[index-1]
ꢀꢀꢀ
(2-6)
[0165]
p1＝gainstart[index]
ꢀꢀꢀ
(2-7)
[0166][0167][0168]
其中，公式(2-8)和公式(2-9)中的valuea、valueb、valuec为中间值，可以通过以下方式计算得到：
[0169]
valuea＝thvalue[index]-gainstart[index]*valuec-thvalue[index-1]
[0170]
valueb＝gainend[index]-gainstart[index]
[0171]
valuec＝th[index]-th[index-1]
[0172]
a5、根据三次样条参数p0、p1、p2以及p3可得到相关分割区域的色调映射曲线对应的函数表达式，可以表示为以下公式(2-10)：
[0173]
l
′
＝h(l)＝p0+p1*(l-th[index-1])+p2*(l-th[index-1])2+p3*(l-th[index-1])2(2-10)
[0174]
其中，l表示线性信号值，其值归一化为[0，1]，l'表示非线性信号值，其值取值范围为[0，1]。h(l)表示色调映射曲线对应的函数。
[0175]
另一种基于色调映射曲线的参数得到色调映射曲线的实施例为，色调映射曲线对应的函数表达式还可以表示为以下公式(2-11)
[0176][0177]
其中，l表示线性信号值，其值归一化为[0，1]，l'表示非线性信号值，其值取值范围为[0，1]。f(l)表示色调映射曲线对应的函数。a、b、p、m和n表示色调映射曲线的参数，用于对色调映射曲线的形态进行调整。应理解，不同的分割区域对应的如(2-11)示出的色调映射曲线函数的参数可以不同。实施时，各分割区域的色调映射曲线的参数可以在对应的元数据信息单元中指示。
[0178]
需要说明的是，实施时基于色调映射曲线形态不同，可以采用不同的色调映射曲线的函数，选取的色调映射曲线本技术不进行限定。
[0179]
在得到相关分割区域对应的色调映射曲线之后，显示端设备402基于色调映射曲线对第i个像素进行色调映射，得到该像素点在该相关分割区域的子色调映射值。例如，对图11中的像素3，可以得到分割区域9对应的子色调映射值1、分割区域10对应的子色调映射值2、分割区域13对应的子色调映射值3、分割区域14对应的子色调映射值4以及分割区域15
对应的子色调映射值5，共5个子色调映射值。
[0180]
一种色调映射的实施例为，显示端设备402可以对第i个像素基于色调映射曲线进行亮度的调整过程和/或色彩的调整过程。可选的，对第i个像素进行色彩的调整，可以表示为以下公式(3-1)：
[0181][0182]
其中，rp，gp，bp表示第i个像素的三个颜色分量，f[id]表示色调映射曲线对应的函数，如前述介绍的h(l)、f(l)等；id表示分割区域标识。
[0183]
第i个像素在相关分割区域的子色调映射值，可以表示为以下公式(3-2)至(3-4)：
[0184]
rptm[i]＝rp*gain
ꢀꢀꢀ
(3-2)
[0185]
gptm[i]＝gp*gain
ꢀꢀꢀ
(3-3)
[0186]
bptm[i]＝bp*gain
ꢀꢀꢀ
(3-4)
[0187]
其中，rptm[i]，gptm[i]，bptm[i]可以表示为第i个像素在相关分割区域的子色调映射值。
[0188]
另一示例性的，显示端设备402在确定各相关分割区域对应的子色调映射值之外，还可以确定各相关分割区域对应的权重因子，从而基于权重因子来确定各相关分割区域的子色调映射值对第i个像素的色调映射值的影响程度。
[0189]
可选的，本技术实施时，显示端设备402可以采用为各所述相关分割区域分配对应的权重因子的方式。并且，显示端设备402可以基于预设方式确定权重因子，也可以基于元数据的指示来确定。本技术提供以下两种可能的确定权重因子的方法，实施时可采用以下方法中的一种或组合，并且实际实施时不限定以下两种方法。
[0190]
方法1，分别确定各所述相关分割区域中属于所述预设区域的像素个数、以及所述预设区域对应的总像素个数。针对第一相关分割区域，执行：根据所述第一相关分割区域中属于所述预设区域的像素个数和所述总像素个数，为所述第一相关分割区域分配对应的第一权重因子。所述第一相关分割区域为所述至少一个相关分割区域中的任一个。
[0191]
例如，结合图11示出的像素点3，各所述相关分割区域中属于所述预设区域的像素个数、以及所述预设区域对应的总像素个数，可以如以下表2-1所示：
[0192]
表2-1
[0193][0194]
其中，num[id]表示预设区域下包含的分割区域的像素个数，id表示分割区域标识；如图11中(b)示出的像素点3在预设区域下，每个相关分割区域包含的像素个数。weight1[id]表示分割区域id的第一权重因子。
[0195]
可选的，第一权重因子可以与分割区域的像素个数呈正相关关系，如线性关系；换言之，分割区域的像素个数越多，则分割区域对应的第一权重因子越高，且为线性增长。
[0196]
另一可选的，正相关关系还可为指示关系，指数关系可以基于第一加权强度值来确定。其中，所述第一加权强度值用于根据所述待显示图像帧的像素个数分布情况对所述第一权重因子进行调整。例如，采用第一加权强度值对第一加权因子进行调整，可以表示为以下公式(4-1)：
[0197][0198]
其中，numstr[id]表示第一加权强度值，例如可以为2或者0.5。第一加权强度值可以根据待显示图像帧中多个分割区域的像素相似度来确定；例如，若多个分割区域的像素为较为相似的像素，则可以设置较大的第一加权强度值；否则，可以设置较小的第一加权强度值。应理解，第一加权强度值可以为显示端设备402基于预设规则确定的，也可以为采集端设备401在元数据中指示的，本技术对此不进行限定。这样，通过设置第一加权强度值，在待显示图像帧的局部特征较明显时，通过较小的第一加权强度值，比如0.5，可以减少分割区域之间的边界效应。
[0199]
方法2，分别确定各所述相关分割区域中属于所述预设区域对应的预设特征值、以及所述第i个像素的预设特征值。针对第二相关分割区域，执行：根据所述第二相关分割区域中属于所述预设区域部分区域对应的预设特征值和第i个像素的预设特征值的特征，为所述第二相关分割区域分配对应的第二权重因子。所述第二相关分割区域为所述至少一个相关分割区域中的任一个。其中，所述预设特征值为亮度特征值(avglum[id])、或者为颜色特征值(avgrgb[id][3]，其中，[3]表示三个颜色分量)等。应理解，相关分割区域中属于所述预设区域对应的预设特征值和所述第i个像素的预设特征值选取相同的预设特征值。
[0200]
其中，所述预设特征值的数量为至少一个，例如一个分割区域的亮度特征值可以有4个(avglum[id](4))、一个分割区域的颜色特征值也可以有4个(avgrgb[id](4)[3])。图12示出的为本技术实施例提供的一种亮度特征值的示意图，图12中(a)示出的为亮度特征值为1个的场景，图12中(b)示出的为亮度特征值为4个的场景。其中，亮度特征值的数量可以基于分割区域内数量最多或者平均最多的亮度值得到。
[0201]
上述示例中，当预设特征值为4个时，本技术实施时还可以根据所述第二相关分割区域中，属于所述预设区域的部分区域的中心坐标(x，y)(也可以是第i个像素(当前像素)的坐标(x,y))，与所述第二相关分割区域的中心坐标(xr，yr)的相对关系来确认从4个预设特征值中的选取的目标预设特征值。示例性的，结合图12中(b)示出的内容，左上区域为亮度特征值1、右上区域为亮度特征值2、左下区域为亮度特征值3、右下区域为亮度特征值4。当x≤xr且y≥yr时，使用亮度特征值1；当x》xr且y≥yr时，使用亮度特征值2；当x≤xr且y《yr时，使用亮度特征值3；当x》xr且y《yr时，使用亮度特征值4。
[0202]
例如，结合图11示出的像素点3，且以预设区域特征为亮度特征值作为示例，各所述相关分割区域中属于所述预设区域的亮度特征值、以及所述第i个像素的亮度特征值，可以如以下表2-2所示：
[0203]
表2-2
[0204]
名称亮度特征值第二权重因子
分割区域9avglum[1]weight2[1]分割区域10avglum[2]weight2[2]分割区域13avglum[3]weight2[3]分割区域14avglum[4]weight2[4]分割区域15avglum[5]weight2[5]第i个像素avglum[i] [0205]
其中，avglum[id]表示预设区域下包含的分割区域的亮度特征值，id表示分割区域标识；如图11中(b)示出的像素点3相关分割区域属于预设区域的部分区域的亮度特征值。weight2[id]表示分割区域id的第二权重因子。
[0206]
可选的，第二权重因子可以与分割区域的亮度特征值与第i个像素的亮度特征值的差异值呈负相关关系，如线性关系；换言之，分割区域的亮度特征值与第i个像素的亮度特征值的差异值越大，则分割区域对应的第二权重因子越小，且为线性减小。
[0207]
另一可选的，正相关关系还可为指数关系，指数关系可以基于第二加权强度值来确定。其中，所述第二加权强度值用于根据所述待显示图像帧的预设特征值变化情况对所述第二权重因子进行调整。例如，采用第二加权强度值对第二加权因子进行调整，可以表示为以下公式(4-2)：
[0208][0209]
其中，g()表示为归一化操作，例如，将信号除以其最大值将其范围变化到0到1。clip()表示为钳位操作，min是最小值(例如等于0)，max是最大值(例如等于1)，将clip()中包含第三个操作数大于max或者小于min的值分别截断到max和min；例如，若clip()中包含第三个操作数的值小于min时，则取min；若clip()中包含第三个操作数大于max时，则取max。k为预设值，取值范围为0到1023。avglumstr[id]表示第二加权强度值，例如可以为2或者0.5。
[0210]
示例性的，第二加权强度值可以根据待显示图像帧中多个分割区域的像素亮度变化来确定。例如，若多个分割区域的像素的亮度变化较明显，则可以设置较大的第二加权强度值；否则，可以设置较小的第二加权强度值。应理解，第二加权强度值可以为显示端设备402基于预设规则确定的，也可以采集端设备401在元数据中指示的，本技术对此不进行限定。这样，通过设置第二加权强度值，在待显示图像帧的局部特征较明显时，通过较小的第二加权强度值，比如0.5，可以减少分割区域之间的边界效应。
[0211]
可选的，各相关分割区域对应的权重因子可以为第一权重因子，可根据如公式(4-1)示出的公式计算得到，也即weight[id]＝weight1[id]；也可以为第二权重因子，可根据如公式(4-2)示出的公式计算得到，也即weight[id]＝weight2[id]；还可以由第一权重因子和第二权重因子共同确定，可表示为以下公式(4-3)：
[0212]
weight[id]＝w(weight1[id]，weight2[id])
ꢀꢀꢀ
(4-3)
[0213]
其中，w()表示用于根据第一权重因子和第二权重因子得到相关分割区域对应的权重因子的预设函数，该预设函数可以为相乘或相加等，可以通过预先设置来确定。
[0214]
步骤505、显示端设备402基于各所述相关分割区域对应的所述子色调映射值和所述权重因子，得到所述第i个像素的色调映射值；并根据所述色调映射值，对所述第i个像素
进行色调映射。
[0215]
示例性的，本技术可以根据以下公式(5-1)至(5-5)得到所述第i个像素的色调映射值：
[0216]
maxrgbp＝max(rp，gp，bp)
ꢀꢀꢀ
(5-1)
[0217][0218][0219][0220][0221]
其中，z表示第i个像素的相关分割区域的数量。rtm，gtm，btm表示色调映射值。spline[id]表示色调映射曲线对应的函数；id表示分割区域标识。
[0222]
此外，本技术实施时，色调映射值还可以由rtm，gtm，btm变换到色域空间，得到ytm，utm，vtm；对应的，各子色调映射值为yp，up，vp。
[0223]
进一步的，本技术实施时，在得到第i像素的色调映射值之后，显示端设备402还可以对待显示图像帧进行饱和度调整。换言之，显示端设备402根据第i个像素的初始像素值以及步骤505中获得的色调映射值对第i个像素的进行饱和度调整。
[0224]
需要说明的是，以上介绍的示例中，计算每个像素的色调映射值所需要的信息可以由显示端设备402进行处理；还可以由采集端设备401计算得到之后，通过元数据指示给显示端设备402。换言之，显示端设备402和采集端设备401各自需要处理的内容可以根据计算能力进行分配，本技术对此不进行限定。可以理解，元数据指示的信息，显示端设备402可以基于指示的信息进行后续的实现对待显示图像帧的色调映射。
[0225]
图13为本技术实施例提供的一种色调映射方法的另一流程示意图，适用于图4中示出的采集端设备401。
[0226]
步骤1301：采集图像数据，得到待显示数据帧。示例性的，图像数据可以为采集端设备401通过摄像装置摄取的，也可以为采集端设备402通过预设应用程序制作生成的。
[0227]
步骤1302：采用目标分割方式将所述待显示数据帧分割为多个分割区域，并为所述多个分割区域确定对应的至少一个元数据信息单元。示例性的，目标分割方式可以为前述内容中介绍的多种分割方式，如图6示出的分割方式a、图7示出的分割方式b或图8示出的分割方式c等；并且，采集端设备401与显示端设备402采用的分割方式相同。此外，采集端设备401还可以将目标分割方式通过元数据指示给显示端设备402。以及，采集端设备402还可以将目标分割方式中可能涉及的第一分割参数、第二分割参数等通过元数据指示给显示端设备402。
[0228]
示例性的，针对分割方式a，采集端设备可以根据图像数据中不同行的直方图确定竖直方向上的分割个数；以及根据图像数据中不同列的直方图确定水平方向上的分割个数。
[0229]
另一示例，针对分割方式b，采集端设备可以根据图像数据中不同行的直方图进行聚类，确定竖直方向上的分割列表；以及根据图像数据中不同列的直方图进行聚类，确定水
平方向上的分割列表。
[0230]
步骤1303：发送所述待显示数据帧和元数据到显示端设备402；所述元数据包括所述至少一个元数据信息单元。
[0231]
应理解，为了降低显示端设备402的计算量，平衡采集端设备401和显示端设备402分别需要处理的内容，本技术实施时采集端设备401可以计算得到例如第一加权强度值、第二加权强度值、分割区域的预设特征值等信息，并通过元数据指示给显示端设备402。需要说明的是，采集端设备401进行处理的实现过程与在显示端设备402介绍的内容类似，因此不再赘述。
[0232]
根据与上述方法相同的发明构思，本技术实施例提供了一种色调映射处理装置1400。色调映射处理装置1400可以适用于上述显示端设备402。参见图14，该装置可以包括：获取模块1401、处理模块1402以及色调映射模块1403。其中，
[0233]
获取模块1401，用于获取待显示图像帧和元数据，所述元数据包括至少一个元数据信息单元。处理模块1402，用于采用目标分割方式将所述待显示图像帧分割为多个分割区域，并确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。色调映射模块1403，用于针对所述待显示图像帧中的第i个像素，执行：基于所述第i个像素选取的预设区域中包含的多个像素，确定所述多个像素所属的至少一个相关分割区域，以及根据所述对应关系确定各所述相关分割区域对应的相关元数据信息单元；根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，以及为各所述相关分割区域分配对应的权重因子；基于各所述相关分割区域对应的所述子色调映射值和所述权重因子，得到所述第i个像素的色调映射值；并根据所述色调映射值，对所述第i个像素进行色调映射；其中，所述i分别取遍1至n中的任一正整数，所述n为所述待显示图像帧包含的像素数量。
[0234]
在一种可能的设计中，所述色调映射模块1403，用于为各所述相关分割区域分配对应的权重因子时，具体用于：分别确定各所述相关分割区域中属于所述预设区域的像素个数、以及所述预设区域对应的总像素个数；针对第一相关分割区域，执行：根据所述第一相关分割区域中属于所述预设区域的像素个数和所述总像素个数，为所述第一相关分割区域分配对应的第一权重因子，所述第一相关分割区域为所述至少一个相关分割区域中的任一个；和/或，分别确定各所述相关分割区域中属于所述预设区域对应的预设特征值；针对第二相关分割区域，执行：根据所述第二相关分割区域中属于所述预设区域对应的预设特征值和所述第i个像素的预设特征值的特征差异，为所述第二相关分割区域分配对应的第二权重因子，所述第二相关分割区域为所述至少一个相关分割区域中的任一个。
[0235]
在一种可能的设计中，所述元数据还包括以下信息中的一种或组合：第一加权强度值、第二加权强度值；其中，所述第一加权强度值用于根据所述待显示图像帧的像素个数分布情况对所述第一权重因子进行调整；所述第二加权强度值用于根据所述待显示图像帧的预设特征值变化情况对所述第二权重因子进行调整。
[0236]
在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。
[0237]
在一种可能的设计中，所述色调映射模块1403，用于根据所述相关元数据信息单元得到各所述相关分割区域对应的子色调映射值，具体用于所述相关元数据信息单元包含色调映射曲线的参数，基于所述色调映射曲线得到所述第i个像素在所述相关分割区域对
应的子色调映射值。
[0238]
在一种可能的设计中，所述基于所述第i个像素选取的预设区域为：以所述第i个像素为中心选取的预设大小的预设形状的区域；或者为：以所述第i个像素为中心、且根据预设形状和所述元数据中包含的预设尺寸信息确定的区域；或者为：以所述第i个像素为中心、且根据所述元数据中包含的预设形状和预设尺寸信息确定的区域。
[0239]
在一种可能的设计中，所述处理模块1402，用于确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，具体用于：针对任一所述分割区域，从任一所述分割区域中选取预设位置的像素，获取所述预设位置的像素的坐标信息；根据所述坐标信息，确定任一所述分割区域对应的元数据信息单元；建立任一所述分割区域与所述对应的元数据信息单元的对应关系；或者，针对任一所述元数据信息单元，根据所述元数据信息单元包含的一个或者多个坐标信息，确定所述一个或多个坐标信息对应的至少一个分割区域；建立任一所述元数据信息单元与所述对应的至少一个分割区域的对应关系。
[0240]
在一种可能的设计中，所述处理模块1402，用于确定所述多个分割区域与所述至少一个元数据信息单元的对应关系，包括：所述元数据信息单元包含对应的分割区域标识，按照目标扫描顺序和所述分割区域标识对所述多个分割区域进行遍历，确定各所述分割区域对应的元数据信息单元；其中，所述目标扫描顺序为预设扫描顺序、或所述元数据中指示的扫描顺序。
[0241]
在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。
[0242]
在一种可能的设计中，所述目标分割方式为预设分割方式、或所述元数据中指示的分割方式。
[0243]
根据与上述方法相同的发明构思，本技术实施例提供了一种色调映射处理装置1400。色调映射处理装置1500可以适用于上述采集端设备401。参见图15，该装置1500可以包括：采集模块1501、处理模块1502和收发模块1503。其中，
[0244]
采集模块1501，用于采集图像数据，得到待显示数据帧；处理模块1502，用于采用目标分割方式将所述待显示数据帧分割为多个分割区域，并为所述多个分割区域确定对应的至少一个元数据信息单元；收发模块1503，用于发送所述待显示数据帧和元数据到显示端设备；所述元数据包括所述至少一个元数据信息单元。
[0245]
在一种可能的设计中，所述处理模块1502，还用于基于所述多个分割区域分别包含的像素个数，确定第一加权强度值；和/或，基于所述多个分割区域分别对应的预设特征值，确定第二加权强度值；将所述第一加权强度值和/或所述第二加权强度值关联到所述元数据中。
[0246]
在一种可能的设计中，所述预设特征值为以下特征值中的一种：亮度特征值、颜色特征值。其中，所述预设特征值的数量为至少一个。
[0247]
在一种可能的设计中，所述元数据信息单元包括分割区域对应的色调映射曲线的参数。
[0248]
在一种可能的设计中，所述元数据还包括：预设尺寸信息；所述预设尺寸信息用于指示为像素选取预设区域时，所采用的预设形状的预设大小；或者，所述元数据还包括：预设形状和预设尺寸信息。
[0249]
在一种可能的设计中，所述处理模块1502，用于为所述多个分割区域确定对应的至少一个元数据信息单元，具体用于从所述分割区域中选取多个预设位置的像素，获取所述多个预设位置的像素的坐标信息；将所述坐标信息关联到所述元数据信息单元中。
[0250]
在一种可能的设计中，所述元数据信息单元还包括：所述元数据信息单元对应的分割区域标识、扫描顺序；其中，所述对应的分割区域标识和所述扫描顺序用以所述显示端设备确定所述多个分割区域与所述至少一个元数据信息单元的对应关系。
[0251]
在一种可能的设计中，所述多个分割区域与所述至少一个元数据信息单元为一对一的对应关系、或为多对一的对应关系。
[0252]
在一种可能的设计中，所述处理模块1502，还用于将所述目标分割方式关联到所述元数据中，以指示所述显示端设备采用所述目标分割方式分割所述待显示数据帧。
[0253]
本技术实施例还提供一种电子设备1600，如图16所示，电子设备1600可以为上述实施方式中介绍到的显示端设备402或采集端设备401。该电子设备1600中可以包括通信接口1610、处理器1620。可选的，电子设备1600中还可以包括存储器1630。其中，存储器1630可以设置于电子设备内部，还可以设置于电子设备外部。上述图14中所示的获取模块1401、处理模块1402以及色调映射模块1403均可以由处理器1620实现。或者，上述图15中所示的采集模块1501、处理模块1502和收发模块1503也可以由处理器1620实现。其中，可选的通信接口1610、处理器1620以及存储器1630可以通过通信线路1640相互连接；通信线路1640可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。所述通信线路1640可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0254]
在一种可能的实施方式中，处理器1620用于实现图13中所述的采集端所执行的任一方法，并通过通信接口1610输出采集端进行编码后的码流，如待显示图像帧、元数据等。
[0255]
在实现过程中，处理流程的各步骤可以通过处理器1620中的硬件的集成逻辑电路或者软件形式的指令完成图13中采集端所执行的方法。为了简洁，在此不再赘述。处理器1620用于实现上述方法所执行的程序代码可以存储在存储器1630中。存储器1630和处理器1620耦合。
[0256]
本技术实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如电子设备1600中的通信接口1610，示例性地，该其它装置可以是与该电子设备1600相连的设备，比如，电子设备1600为采集端设备401时，该其它装置可以是显示端设备402等。
[0257]
处理器1620可能和存储器1630协同操作。存储器1630可以是非易失性存储器，比如硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)。存储器1630是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0258]
本技术实施例中不限定上述通信接口1610、处理器1620以及存储器1630之间的具体连接介质。本技术实施例在图16中以存储器1630、处理器1620以及通信接口1610之间通过总线连接，总线在图16中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，
并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0259]
本技术实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0260]
本技术实施例中的耦合是装置、模块或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、模块或模块之间的信息交互。
[0261]
基于以上实施例，本技术实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供的方法。所述计算机存储介质可以包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0262]
基于以上实施例，本技术实施例还提供了一种芯片，该芯片包括处理器，用于实现上述任意一个或多个实施例所涉及的功能。可选地，所述芯片还包括存储器，所述存储器，用于处理器所执行必要的程序指令和数据。该芯片，可以由芯片构成，也可以包含芯片和其他分立器件。
[0263]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0264]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0265]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0266]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0267]
显然，本领域的技术人员可以对本技术实施例进行各种改动和变型而不脱离本技术实施例的范围。这样，倘若本技术实施例的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。