本公开一般涉及图像增强。更具体地，本公开涉及用于虚拟现实图像的图像增强的方法和装置。
背景技术：
目前，新的高动态范围(HDR)相机和显示器正变得越来越突出。HDR相机可以捕获强度范围从0.01到约10000尼特的图像。虽然工作室主要创建HDR内容，但是由于HDR相机和显示器的高成本，它们还没有到达普通消费者。
此外，大多数消费者仍然拥有SDR显示器。还可以期待的是HDR显示器将长期比SDR显示器昂贵，并且普通消费者将只能使用SDR显示器。
技术实现要素：
技术问题
在本领域中需要增强虚拟现实图像，以便结合用户的图像的实际视点提供临时(contingent)图像。
问题的解决方案
本公开提供了用于虚拟现实图像的依赖视图的色调映射的方法和装置。
在第一实施例中，用户装置(UE)包括接收器、至少一个传感器和处理器。接收器被配置为接收包括至少一个编码图像和用于所述至少一个编码图像的元数据的信号。传感器被配置为确定用户的视点信息。处理器被配置为基于元数据和视点信息来渲染至少一个编码图像。
在第二实施例中，提供了用于在用户装置(UE)中渲染媒体的方法。该方法包括基于UE的朝向确定媒体的视口、导出与由视口定义的部分媒体对应的色调映射函数，以及基于所述色调映射函数渲染该部分媒体。
在第三实施例中，提供了体现计算机程序的非瞬态计算机可读介质。计算机程序包括计算机可读程序代码，该计算机可读程序代码在被执行时使至少一个处理设备基于用户装置(UE)的朝向来确定视口，导出与由UE接收的媒体的一部分相对应的整体色调映射功能，由视口定义，以及基于色调映射函数渲染媒体的该部分。
根据以下附图、描述和权利要求，其它技术特征对本领域技术人员而言可以是显而易见的。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1图示了根据本公开的示例无线网络；
图2图示了根据本公开的示例eNodeB(eNB)；
图3图示了根据本公开的示例头戴式显示器(HMD)；
图4图示了根据本公开的实施例的示例分段图像；
图5图示了根据本公开的实施例的用于编码图像的系统；
图6图示了根据本公开的实施例的用于渲染图像的系统；
图7图示了根据本公开的实施例的用于基于色调来映射渲染部分虚拟现实图像的流程图；
图8图示了根据本公开的实施例的用于确定用户视口的流程图；
图9图示了根据本公开的实施例的示例视口；
图10图示了根据本公开的实施例的用于定义边界框的示例图表；以及
图11图示了应用于HDR图像的平滑处理的系统框图。
具体实施方式
在进行以下的具体实施方式之前，阐述在本专利文档中使用的某些词和短语的定义会是有利的。术语“耦合”及其派生词是指两个或更多个元件之间的任何直接或间接通信，不管这些元件是否彼此物理接触。术语“发送”、“接收”和“传送”及其派生词涵盖直接和间接通信。术语“包括”及其派生词意味着包括但不限于。术语“或”是包含性的，意思是“和/或”。短语“与…相关联”及其派生词意味着包括、包括在...内、与…互连、包含、包含在…内、连接到或与...连接、耦合到或与...耦合、与...可通信、与...协作、交织、并置、接近、绑定到或与...绑定、具有、具有…属性、与...具有关系，等等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地还是远程。当与项目的列表一起使用时，短语“至少一个”意味着可以使用所列出的项目中的一个或多个的不同组合，并且可以仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一种：A、B、C、A和B、A和C、B和C以及A和B和C。
而且，下面描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序均由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其一部分码。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或任何其它类型的存储器。“非瞬态”计算机可读介质排除了运输瞬态电信号或其它信号的有线、无线、光学或其它通信链路。非瞬态计算机可读介质包括数据可以被永久存储的介质以及数据可以被存储并且随后被重写的介质(诸如可重写光盘或可擦除存储器设备)。
贯穿本专利文档提供了对其它某些词语和短语的定义。本领域普通技术人员应当理解的是，在许多情况下(如果不是绝大多数情况下)，这种定义适用于这样定义的词和短语在先前以及未来的使用。
以下讨论的图1至11以及用来描述本专利文档中本公开的原理的各种实施例仅作为说明，并且不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解的是，本公开的原理可以在任何适当布置的无线通信系统中实现。
图1图示了根据本公开的示例无线网络100。图1中所示的无线网络100的实施例仅用于说明。在不背离本公开的范围的情况下，可以使用无线网络100的其它实施例。
如图1中所示，无线网络100包括eNodeB(eNB)101、eNB 102和eNB 103。eNB 101与eNB 102和eNB 103通信。eNB 101还与至少一个互联网协议(IP)网络130(诸如互联网、专有IP网络或其它数据网络)通信。
eNB 102向eNB 102的覆盖区域120内的第一多个用户装置(UE)提供到网络130的无线宽带接入。第一多个UE包括可以位于小型企业(SB)中的UE 111；可以位于企业(E)中的UE 112；可以位于WiFi热点(HS)中的UE 113；可以位于第一住宅(R)中的UE 114；可以位于第二住宅(R)中的UE 115；以及可以是如蜂窝电话、无线膝上型电脑、无线PDA等的移动装置(M)的UE 116。eNB 103向eNB 103的覆盖区域125内的第二多个UE提供到网络130的无线宽带接入。第二多个UE包括UE 115和UE 116。在一些实施例中，一个或多个eNB 101-103可以使用5G、LTE、LTE-A、WiMAX、WiFi或其它无线通信技术来彼此通信并与UE 111-116通信。
取决于网络类型，可以使用其它众所周知的术语代替“eNodeB”或“eNB”，诸如“基站”或“接入点”。为了方便起见，术语“eNodeB”和“eNB”在本专利文档中被用来指提供对远程终端的无线访问的网络基础设施组件。而且，取决于网络类型，可以使用其它周知的术语代替“用户装置”或“UE”，诸如“移动台”、“用户站”、“远程终端”、“无线终端”、“电视机”或“用户设备”。为了方便起见，在本专利文档中使用术语“用户装置”和“UE”来指电视机、显示器、监视器或其它此类有线或无线设备。UE可以与另一个UE(诸如移动设备或其它电视机)通信。
点线示出了覆盖区域120和125的大致范围，为了说明和解释的目的，覆盖区域120和125被示为大致圆形。应当清楚地理解，取决于eNB的配置以及与自然和人为障碍相关联的无线电环境中的变化，与eNB相关联的覆盖区域(诸如覆盖区域120和125)可以具有其它形状，包括不规则形状。
本公开的一个或多个实施例提供了执行HDR内容的后处理以在SDR显示器上显示HDR内容的方法和装置。在一个示例中，HDR内容被转换为较低的动态范围。如本文所使用的，本公开的一个或多个实施例涉及SDR或HDR图像。但是，本公开的不同实施例也可以用于视频。当在本文参考图像时，无论是SDR还是HDR，本公开的不同实施例都可以针对给定帧速率(每单位时间的图片数量)指视频内的帧。
虽然图1图示了无线网络100的一个示例，但是可以对图1进行各种改变。例如，无线网络100可以以任何合适的布置包括任意数量的eNB和任意数量的UE。而且，eNB 101可以直接与任意数量的UE通信并且向那些UE提供到网络130的无线宽带接入。类似地，每个eNB 102-103可以直接与网络130通信并且向UE提供到网络130的直接无线宽带接入。另外，eNB 101、102和/或103可以提供到其它或附加的外部网络(诸如外部电话网络或其它类型的数据网络)的接入。
图2图示了根据本公开的示例eNB 102。图2中图示的eNB 102的实施例仅用于说明，并且图1的eNB 101和103可以具有相同或相似的配置。但是，eNB出现在多种配置中，并且图2不将本公开的范围限制到eNB的任何特定实现。
如图2中所示，eNB 102包括多个天线205a-205n、多个RF收发器210a-210n、发送(TX)处理电路215和接收(RX)处理电路220。eNB 102还包括控制器/处理器225、存储器230以及回程或网络接口235。
RF收发器210a-210n从天线205a-205n接收传入的RF信号(诸如由网络100中的UE发送的信号)。RF收发器210a-210n对传入的RF信号进行降频转换，以生成IF或基带信号。IF或基带信号被发送到RX处理电路220，RX处理电路220通过对基带或IF信号进行滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路220将处理后的基带信号发送到控制器/处理器225以供进一步处理。
TX处理电路215从控制器/处理器225接收模拟或数字数据(诸如语音数据、web数据、电子邮件或交互式视频游戏数据)。TX处理电路215编码、多路复用和/或数字化传出的(outgoing)基带数据，以生成处理后的基带或IF信号。RF收发器210a-210n从TX处理电路215接收传出的处理后的基带或IF信号，并将基带或IF信号升频转换为经由天线205a-205n发送的RF信号。
控制器/处理器225可以包括控制eNB 102的整体操作的一个或多个处理器或其它处理设备。例如，控制器/处理器225可以控制由RF收发器210a-210n、RX处理电路220和TX处理电路215对正向信道信号的接收和反向信道信号的发送。控制器/处理器225也可以支持附加功能，诸如更高级的无线通信功能。例如，控制器/处理器225可以支持波束成形或定向路由操作，其中来自多个天线205a-205n的传出信号被不同地加权，以有效地将传出的信号转向到期望的方向。多种其它功能中的任何一种可以在eNB 102中由控制器/处理器225支持。在一些实施例中，控制器/处理器225包括至少一个微处理器或微控制器。
控制器/处理器225还能够执行驻留在存储器230中的程序和其它处理(诸如基本OS)。控制器/处理器225可以根据执行处理的需要将数据移入或移出存储器230。
控制器/处理器225还耦合到回程或网络接口235。回程或网络接口235允许eNB 102通过回程连接或通过网络与其它设备或系统进行通信。接口235可以支持通过任何合适的有线或无线连接的通信。例如，当eNB 102被实现为蜂窝通信系统(诸如支持5G、LTE或LTE-A的系统)的部分时，接口235可以允许eNB 102通过有线或无线回程连接与其它eNB通信。当eNB 102被实现为接入点时，接口235可以允许eNB 102通过有线或无线局域网或者通过到更大网络(诸如互联网)的有线或无线连接进行通信。接口235包括支持通过有线或无线连接(诸如以太网或者RF收发器或接收器)进行通信的任何合适的结构。
存储器230耦合到控制器/处理器225。存储器230的一部分可以包括RAM，并且存储器230的另一部分可以包括闪存或其它ROM。
虽然图2图示了eNB 102的一个示例，但是可以对图2进行各种改变。例如，eNB 102可以包括图2中所示的任意数量的每个组件。作为特定示例，接入点可以包括多个接口235，并且控制器/处理器225可以支持路由功能以在不同的网络地址之间路由数据。作为另一个特定示例，虽然被示为包括TX处理电路215的单个实例和RX处理电路220的单个实例，但eNB 102可以包括每个部件的多个实例(例如每个RF收发器一个)。而且，图2中的各种组件可以被组合、进一步细分或省略，并且可以根据特定的需要添加附加的组件。
图3图示了根据本公开的示例头戴式显示器(HMD)300。图3中图示的HMD 300的实施例仅用于说明，并且图1的UE 111-116中的任何一个可以具有相同或相似的配置。但是，HMD具有各种各样的配置，并且图3不将本公开的范围限制到HMD的任何特定实现。在本公开的一个或多个实施例中，HMD 300可以由电视机代替。
如图3所示，HMD 300包括天线305、射频(RF)收发器310、发送(TX)处理电路315、麦克风320和接收(RX)处理电路325。HMD 300还包括扬声器330、主处理器340、输入/输出(I/O)接口(IF)345、小键盘350、显示器355和存储器360。存储器360包括基本操作系统(OS)程序361和一个或多个应用362。
RF收发器310或接收器从天线305接收由网络100的eNB发送的传入的RF信号。RF收发器310或接收器对传入的RF信号进行降频转换，以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，RX处理电路325通过滤波、解码和/或数字化基带或IF信号来生成处理后的基带信号。RX处理电路325将处理后的基带信号发送到扬声器330(诸如用于语音数据)或发送到主处理器340以供进一步处理(诸如用于web浏览数据)。
TX处理电路315从麦克风320接收模拟或数字语音数据或者从主处理器340接收其它传出的基带数据(诸如web数据、电子邮件或交互式视频游戏数据)。TX处理电路315编码、多路复用和/或数字化传出的基带数据，以生成处理后的基带或IF信号。RF收发器310从TX处理电路315接收传出的处理后的基带或IF信号，并将基带或IF信号升频转换为经由天线305发送的RF信号。
主处理器340可以包括一个或多个处理器或其它处理设备，并且执行存储在存储器360中的基本OS程序361，以便控制HMD 300的整体操作。例如，主处理器340可以通过RF收发器310、RX处理电路325和TX处理电路315根据周知的原理控制正向信道信号的接收和反向信道信号的发送。在一些实施例中，主处理器340包括至少一个微处理器或微控制器。
主处理器340还能够执行驻留在存储器360中的其它处理和程序。主处理器340可以根据执行处理的需要将数据移入或移出存储器360。在一些实施例中，主处理器340被配置为基于OS程序361或者响应于从eNB或操作者接收的信号来执行应用362。主处理器340还耦合到I/O接口345，I/O接口345向HMD 300提供连接到其它设备(诸如膝上型计算机和手持式计算机)的能力。I/O接口345是这些附件与主处理器340之间的通信路径。
主处理器340还耦合到小键盘350和显示单元355。HMD 300的操作者可以使用小键盘350将数据输入到HMD 300中。显示器355可以是液晶显示器或其它能够渲染文本和/或至少有限的图形(诸如来自网站)的显示器。在一个实施例中，小键盘350也可以是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、按键或超声输入设备。触摸屏可以识别例如电容方案、压力敏感方案、红外方案或超声方案中的至少一个方案中的触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以识别触摸或接近。
存储器360被耦合到主处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其它只读存储器(ROM)。
HMD 300还包括一个或多个传感器370，这些传感器可以计量物理量或检测HMD 300的激活状态并将所计量或所检测的信息转换成电信号。例如，传感器370可以包括用于触摸输入的一个或多个按钮(例如，在头戴式耳机或HMD 300上)、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、抓握传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照度传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等等。传感器370还可以包括用于控制包括在其中的至少一个传感器的控制电路。如将在下面更详细讨论的，这些传感器370中的一个或多个可以被用于控制UI、检测UI输入、为了3D内容显示识别而确定用户的朝向和面向方向，等等。例如，在HMD 300包括头戴式耳机的实施例中，这些(一个或多个)传感器370可以位于HMD 300内、被配置为保持HMD 300的头戴式耳机内，或者头戴式耳机和HMD 300两者中。
虽然图3图示了HMD 300的一个示例，但是可以对图3进行各种改变。例如，图3中的各种组件可以被组合、进一步细分或省略，并且可以根据特定的需要添加附加的组件。作为特定示例，主处理器340可以被划分成多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。而且，虽然图3图示了被配置为移动电话或智能电话的UE 116，但UE可以被配置为作为其它类型的移动或静止设备来操作。在另一个示例实施例中，当UE 116是电视机时，UE 116可以不包括收发器、小键盘或麦克风。UE 116可以包括接收器或解码器而不包括发送器或编码器。
图4图示了根据本公开的实施例的示例分段图像。如图4中所示，图像400表示可以由HDR相机(未示出)捕获的三百六十度(360°)HDR图像的全景图。如下面将要讨论的，图像400被分段成不同的片段。例如，图像400被分段成十二(12)个相等大小的片段。在其它实施例中，取决于图像，可以使用任意数量的片段，并且每个片段的大小可以是固定的或可变的。
图像400在暗区域(例如，片段402)和量区域(例如，片段404)之间具有高动态范围。为了在设备(诸如HMD 300)上显示图像400，图像400可能需要被降频转换，以匹配设备的特性。如图4中所示，每个片段402、404和406具有指派给其的特定色调映射函数，其可以用于降频转换图像。
图5图示了根据本公开的实施例的用于对图像进行编码的系统500。如图5中所示，将360°图像提供给图像分段模块502。图像分段模块502将图像分段成多个片段。如图4中所示，每个片段的大小可以是固定的，或者图像分段模块502可以根据智能分段来分段图像。例如，如果存在覆盖整个顶视图的天空区域，那么可以为整个天空区域创建单个片段，并且对这整个区域使用单个HDR元数据，而不是使用多个HDR元数据(如果该区域被均匀划分的话)。可以使用任何用于智能分段的技术，诸如Otsu方法、K均值聚类、分水岭算法、纹理滤波器等等。
图像分段模块502将分段元数据提供给多路复用器504。分段元数据可以包括但不限于下面表1中所示的参数。
表1
分段的图像被提供给色调映射参数计算模块508，如图4中所示，色调映射参数计算模块508为每个片段确定色调映射函数。应用于每个片段的色调映射函数是基于片段的照度峰值。色调映射参数计算模块508将色调映射函数作为元数据提供给多路复用器504。
视频编码器506还使用已知的视频编码技术对360°图像进行编码，并将编码后的360°视频提供给多路复用器504。多路复用器504然后将编码后的视频、分段元数据和色调映射元数据多路复用成可以被发送到如图1中所示的用户装置111-116中的任何一个的位流。
图6图示了根据本公开的实施例的用于使用例如图3中所示的HMD 300来渲染图像的系统600。虽然图6的系统将通过参考图3的HMD 300进行描述，但系统600可以被结合到适于显示部分360°图像或视频的任何其它设备(诸如电视机)中。
如图6中所示，HMD 300将视点信息提供给可以由一个或多个处理器(例如，主处理器340)实现的依赖视图的色调映射模块602。视点信息包括由一个或多个传感器370确定的俯仰和偏转，并被用来定义要向用户显示的视口606。解复用器604解复用包括编码后的图像和/或视频以及分段和色调映射元数据的传入的位流。解复用器604将编码后的图像和/或视频以及元数据提供给依赖视图的色调映射模块602。基于视点信息，依赖视图的色调映射模块602选择要在HMD 300上显示的片段并应用与该片段对应的色调映射函数，以便降频转换所显示的片段以匹配HMD 300的特性。在一些实施例中，视口可以包括多个片段。当视口包括多个片段时，每个片段的色调映射函数被平均并应用于与视口对应的图像的部分。
图7图示了根据本公开的实施例的用于基于色调映射渲染部分虚拟现实图像的方法700的流程图。为了便于解释，将结合图3的HMD 300和图6的系统600来描述图7。方法700在处理702开始，其中基于由一个或多个传感器提供的俯仰和偏转来确定用户的视点。基于该观点，HMD 300在处理704中确定视口和包括在视口中的片段。在处理706中，依赖视图的色调映射模块602基于视口中包括的每个片段的色调映射函数来导出依赖视图的色调映射函数。使用导出的色调映射函数，HMD 300在处理708中渲染与视口导出的色调映射函数对应的HDR图像的至少一部分。在处理710中，HMD确定用户的视点是否已改变。如果用户的视点已改变，那么该方法返回到处理702。如果用户的视点没有改变，那么该方法前进到处理712，其中进行确定是否已经渲染了所有的图像或帧。如果还没有渲染所有的图像或帧，那么该方法返回到处理708。否则，该方法完成。
图8图示了根据本公开的实施例的用于确定用户视口的方法800的流程图。图9图示了根据本公开的实施例的示例性视口。图10图示了根据本公开的实施例的用于定义边界框的示例图表。
如图9中所示，在处理802中，使用一个或多个传感器370从HMD 300确定用户的视点。然后HMD 300提供视点的俯仰和偏转分量以计算边界框902的边界框端点904，如图9中在处理804中使用分片线性近似所示出的。例如，图10示出了用来基于用户的视点计算边界框端点904的函数的示例。在处理806中，使用分段元数据基于与边界框902重叠的片段来确定重叠区域列表。重叠区域列表然后被用来导出将应用于视口的色调映射函数。
图11图示了应用于HDR图像的平滑处理的系统框图。如图11中所示，在导出依赖视图的色调映射函数之前，应用时空平滑处理1102。时空平滑处理1102基于重叠区域列表和分段元数据。
跨片段的照度峰值的大幅波动可以导致显著不同的色调映射函数，这可能导致闪烁的伪像。为了避免色调映射函数中的大幅变化，通过以下2D低通滤波器来空间平滑跨片段的照度峰值：
其中Nns表示围绕片段的相邻片段的数量。如果Nns小于8(例如，在图像的角落中或边界处的片段)，那么可以将滤波器与图像的重叠部分用于平滑。
另外，为了避免闪烁，片段性照度峰值也可以在时间上被平滑。平滑操作根据如下等式1执行：
Lst,i,k＝wLst,i,k-1+(1-w)Ls,i,k， (等式1)
其中Ls,i,k是当前帧中片段i中的空间平滑后的片段性照度峰值，Lst,i,k-1是前一帧中片段i中的时空平滑后的片段性照度峰值，Lst,i,k是当前帧中片段i中的时空平滑的片段性照度峰值，并且w是在范围[0,1]内的时间平滑权重。时间平滑权重可以按时间确定片段性照度峰值的平滑量。w的值越大，输出视频中的闪烁越少，但以自适应色调映射的更少局部性为代价。在当前的实施方法中，w可以被设置为0.5。
为了减少少数非常亮的像素的影响，基于每个片段中p百分位maxRGB计算每个片段中的片段性照度峰值，其中片段中像素的maxRGB值的p％将小于片段性照度峰值。在所提出的实施例中，可以设置为99％。
当用户的视口与多于一个片段重叠时，视口中的照度峰值可以通过根据如下等式2对与视口重叠的片段中的片段性照度峰值进行加权平均来计算
其中Lvp是用户视口中的照度峰值，Ns是片段的数量，c(i)是视口和片段i的重叠部分中像素的数量，Lst,i是片段i中时空平滑的片段性照度峰值，并且Nvp是视口中像素的数量。
虽然附图图示了设备的不同示例，但是可以对这些实施例进行各种改变。例如，如上所述，可以针对发送器处的固定数量的片段计算片段性照度峰值，并将其作为元数据发送给接收器。在一些实施例中，可以针对HMD处的任何视口来计算照度峰值。这可以需要HMD处额外的计算，但会减少传输带宽，因为不需要片段性照度峰值元数据。对于后一种方法，属于一组视口(即，不同的偏转和俯仰)的像素也可以被预标记，以减少解码器处的计算。
另外，在一些实施例中，可以针对不同的视点(例如，偏转和俯仰值)而不是矩形段来计算照度峰值，并且可以将与这些对应的元数据发送到接收器。在接收端，取决于观察者的视点(即，偏转和俯仰)，适当的照度峰值可以直接用于色调映射。这种方法的精确度可以取决于偏转和俯仰值的粒度。
在其它实施例中，可以利用视频内容中相继帧中的相关性来预测视频帧的元数据(例如，片段性照度峰值)。这种预测编码可以减少传输带宽和对元数据的计算。
在一些实施例中，通过使用图像分段的智能方式可以使图像分段更高效。例如，如果存在覆盖整个顶视图的天空区域，则可以为整个天空区域创建单个片段，并且对这整个区域使用单个HDR元数据，而不是使用多个HDR元数据(如果该区域被均匀划分的话)。与这种方法相关联的成本将是找到输入图像的最优分段，然后发送关于最优分段图(map)的信息，而不是关于均匀网格的信息。可以使用任何用于智能分段的技术，诸如Otsu方法、K均值聚类、分水岭算法、纹理滤波器，等等。
在其它实施例中，可以组合色调映射设计和图像分段。在这样做时，如下根据等式3执行联合优化，以找到最优分段和对应的色调映射参数：
其中N是片段的数量，K是片段K中像素的数量，d()是测量HDR与SDR像素之间的差的失真函数，Pik是段片k中的第i个HDR像素，Ω()是色调映射函数(由一组参数表示)。
对于失真函数，可以使用诸如HDR-VDP2之类的客观度量。所提出的优化过程是迭代的，从某个初始分段和色调映射参数开始，并且在多次迭代之后，可以找到最优分段和色调映射参数。
因为视点的概率取决于场景统计和用户偏好而不同，所以在一些实施例中，除了用于不同图像片段的元数据之外，还可以发送用于最常用视图(即，默认视图)的HDR元数据。如果使用默认视图，那么可以直接使用元数据，而无需进行任何附加处理，这可以降低复杂性。
在一些实施例中，可以在计算用于当前视图的元数据时考虑用户的移动。用户运动轨迹可以被用于适当地计算或平滑所述色调映射参数。如果优先级给予最近的先前时间视图，那么可以如下根据等式4平滑用于当前视图的色调映射参数，以避免所显示的视频中任何不期望的闪烁：
其中Ωt是用于当前视图的色调映射参数，是用于前一视图的平滑后的色调映射参数，是用于当前视图的平滑后的色调映射参数，并且α是在范围[0,1]内的遗忘因子，其中零值意味着不平滑。
本申请中的任何描述都不应当被理解为暗示任何特定的元素、步骤或功能是必须包含在权利要求范围内的基本元素。申请专利的主题的范围仅由权利要求定义。
虽然已经用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的此类改变和修改。