图像生成装置和图像生成方法与流程

1.本发明涉及用于生成显示图像的图像生成装置和图像生成方法。


背景技术：

2.迄今为止，为了提高电视广播、分布式运动图像等的视频显示的图像质量，已经开发了各种技术。近年来，除了用于提高分辨率和色彩饱和度的技术之外，用于在亮度范围被扩展的高动态范围(hdr)中处理信号的技术已经变得流行。由于hdr的允许亮度范围大约是常规标准动态范围(sdr)的100倍，因此即使在图像上，也可以更真实地表示在真实世界中感到眩目的对象，例如阳光反射。不仅在电视广播和分布式运动图像中，而且在诸如游戏图像的计算机图形世界中，hdr中的表示可以在虚拟世界中提供更真实的感觉(例如，参见ptl 1)。
3.[引文列表]
[0004]
[专利文献]
[0005]
[ptl 1]
[0006]
日本专利公开号2016
‑
58848


技术实现要素：

[0007]
[技术问题]
[0008]
由于各种条件的组合，图像显示所需的处理变得更加复杂，例如原始图像数据定义在哪个亮度范围内以及连接的显示器支持哪个亮度范围。具体地，在合成和显示多个图像的情况下，在一些情况下，这些条件的改变可能导致合成结果改变，导致图像显示不同于原始意图。
[0009]
本发明是鉴于上述问题而做出的。本发明的一个目的是提供一种技术，当合成和显示多个图像时，无论条件如何，该技术都能够在适当地控制合成结果。
[0010]
[问题的解决方案]
[0011]
本发明的一个方面涉及一种图像生成装置。该图像生成装置包括：图像数据生成部分，其被配置为生成显示图像的数据；帧缓冲器，其被配置为存储所生成的图像的数据；格式控制部分，其被配置为在所述图像数据生成部分开始进行多个图像的α合成的情况下，切换要存储在所述帧缓冲器中的像素值的数据格式；以及输出部分，其被配置为从所述帧缓冲器读取所述图像的数据、将所述数据转换为与显示器相对应的格式、并且输出所得数据。
[0012]
本发明的另一方面涉及一种图像生成方法。作为图像生成方法，图像生成装置生成显示图像的数据、将所述数据存储在帧缓冲器中、并且输出所述数据，所述图像生成方法包括：在多个图像的α合成开始的情况下，切换要存储在所述帧缓冲器中的像素值的数据格式的步骤；生成所述多个图像的数据、α合成所述数据、并且将所得数据存储在所述帧缓冲器中的步骤；以及从所述帧缓冲器读取所述图像的数据、将所述数据转换成与显示器相对
应的格式、并且输出所得数据的步骤。
[0013]
注意，作为本发明的方面，在方法、装置、系统、计算机程序、记录计算机程序的记录介质等之间转换的上述构成组件和本发明的表达式的任何组合也是有效的。
[0014]
[发明的有利效果]
[0015]
根据本发明，当合成和显示多个图像时，无论条件如何，都可以适当地控制合成结果。
附图说明
[0016]
图1是示出根据本实施例的图像显示系统的配置示例的图。
[0017]
图2是示例性地示出由根据本实施例的图像生成装置生成的图像的示例的图。
[0018]
图3是示出根据本实施例的图像生成装置的内部电路配置的图。
[0019]
图4是示出用于描述与视频信号相关的一般处理流程图。
[0020]
图5是示出用于合成两个图像的情况的基本处理流程图。
[0021]
图6是示出根据本实施例的用于量化图像数据的像素值的转换函数的图。
[0022]
图7是示出由于在本实施例中用于量化的转换函数之间的差异而对合成图像的影响的示意图。
[0023]
图8是示出根据本实施例的图像生成装置的功能块的配置的图。
[0024]
图9是示出作为本实施例的示例的hdr图像被转换为srgb空间的情况下的转换颜色值的范围的图。
[0025]
图10是示出在本实施例中用于在感知量化(pq)空间中生成要显示在hdr显示器上的sdr图像和hdr图像的合成图像的过程与在srgb空间中用于生成sdr图像和hdr图像的合成图像的过程的比较图。
[0026]
图11是示出根据本实施例的图像生成装置生成显示图像并将显示图像输出到显示器的处理过程的流程图。
[0027]
图12是示出在应用本实施例的情况下显示的图像的转换的图。
[0028]
图13是示出在应用本实施例的情况下显示的图像转换的另一示例的图。
[0029]
图14是示出在应用本实施例的情况下显示的图像转换的另一示例的图。
具体实施方式
[0030]
图1示出了根据本实施例的图像显示系统的配置的示例。图像显示系统包括图像生成装置10、输入装置14和显示器16。如图中所示，图像生成装置10可以连接到经由诸如因特网的网络8提供各种内容片段的服务器等。输入装置14可以是可以使用其执行用户操作的通用输入装置(诸如控制器、键盘、鼠标、操纵杆或触摸板)、用于拍摄真实世界(例如用户)的成像装置、用于获取声音的麦克风、用于检测各种物理值的传感器、或者它们的组合。
[0031]
显示器16由显示图像的液晶显示器、等离子体显示器、有机电致发光(el)显示器等实现。另外，显示器16还可以包括用于输出声音的扬声器。输入装置14和显示器16可以通过有线电缆连接到图像生成装置10，或者可以通过无线局域网(lan)等无线连接到图像生成装置10。此外，输入装置14、显示器16和图像生成装置10的外部形状不限于图中所示的外部形状。例如，两个或两个以上的可能是整体形成的。
[0032]
图像生成装置10从输入装置14接收与用户操作相关的信号、执行响应于该信号的处理、生成显示图像的数据、并将该数据输出到显示器16。图像生成装置10可以是游戏机、个人计算机、平板电脑终端、移动终端、移动电话等中的任何一个。根据用户选择的图像生成装置10或应用程序等的形式，由图像生成装置10执行处理的内容可以改变。
[0033]
例如，图像生成装置10使用户指定的电子游戏响应于用户操作而进行，并以预定帧速率生成和输出电子游戏的游戏屏幕的数据。或者，图像生成装置10可以经由网络8从服务器获取运动图像的数据，并依次解码和输出该数据。由于如上所述，图像生成装置10的使用目的可以改变，并且要执行的信息处理的内容也相应地改变，因此省略详细描述。以下描述主要关注用于适当地显示作为这种信息处理的结果而生成的内容的图像、表示要渲染的信息的图像等的方法。
[0034]
图2示意性地示出了由本实施例中的图像生成装置10生成的图像的示例。在该示例中，主图像200a例如是主要显示的图像，例如游戏屏幕或运动图像。附加图像200b例如是必要时临时显示的图像，并且图中所示的示例包括允许用户输入用于登录的地址和密码的对话框。当需要显示这样的对话框时，图像生成装置10将包括该对话框的附加图像200b叠加在最初显示的主图像200a上，并生成和输出显示图像202。
[0035]
此时，通使主图像200a作为尽可能宽的区域过附加图像200b可见，从而可以在不中断主图像200a的世界视图(例如游戏或运动图像)的情况下适当地集成必要的信息。此外，可以随时间改变附加图像200b的透明度，以产生使对话框逐渐出现或消失的效果。
[0036]
本领域技术人员应当理解，除了图中所示的示例之外，还存在多个图像相互重叠显示的各种其他可能情况。例如，在赛车游戏的情况下，除了表示驾驶员视野的主图像外，还可以另外显示表示整个球场鸟瞰图的附加图像。在显示电影的情况下，可以另外显示表示诸如故事情节和演员等书目信息的图像，以及用于再现、暂停、快进等的操作面板。
[0037]
当生成上述显示图像202时，可以基于由以下等式表示的α合成的计算来确定显示图像202的每个像素的颜色值c
out
。
[0038]
c
out
＝(1
‑
α)c1+αc2(等式1)
[0039]
这里，c1和c2分别表示主图像200a和附加图像200b的对应像素的颜色值，而α表示为附加图像200b的对应像素设置的一般α值，即，指示透明度的0或更大、和1.0或更小的值。
[0040]
例如，将整个图像中将α值从0改变为1.0逐渐使附加图像200b的颜色从仅显示主图像200a的状态变暗，并且最终不透明地显示附加图像200b。如果α值被设置为大于0且小于1.0的中间值，则附加图像200b变得半透明，其密度与该值对应。因此，主图像200a通过附加图像200b可见。
[0041]
注意，如果主图像200a和附加图像200b是rgb图像，则将颜色值c1和c2设置到这三个通道中的每一个。然而，在本实施例中，将它们统称为颜色值c1和c2。此外，为每个像素设置颜色值c1和c2以及α值中的每一个。因此，严格地说，颜色值c1和c2以及α值取决于图像平面上的二维位置坐标(x，y)。然而，由于等式1假设计算相同位置的像素，因此不显示位置坐标。这同样适用于以下描述。
[0042]
图3示出了图像生成装置10的内部电路配置。图像生成装置10包括中央处理单元(cpu)22、图形处理单元(gpu)24和主存储器26。这些单元中的每一个都通过总线30相互连接。另外，通信部分32、存储部分34、输出部分36、输入部分38和记录介质驱动部分40也连接
到总线30。通信部分32包括诸如通用串行总线(usb)或电气和电子工程师协会(ieee)1394之类的外围设备接口，或用于连接到网络8等的有线或无线lan网络接口。存储部分34是硬盘驱动器、非易失性存储器等。输出部分36将视频信号输出到显示器16。输入部分38从输入装置14接收数据。记录介质驱动部分40驱动诸如磁盘、光盘或半导体存储器之类的可移动记录介质。
[0043]
cpu 22通过执行存储在存储部分34中的操作系统来控制整个图像生成装置10。cpu 22还执行从可移动记录介质读取并加载到主存储器26或经由通信部分32下载的各种程序。通信部分32还可以经由网络8建立与诸如服务器的外部装置的通信，以获得诸如运动图像的电子内容的数据，或者发送在图像生成装置10内生成的数据。
[0044]
主存储器26包括随机存取存储器(ram)。主存储器26包括存储要显示的图像数据的帧缓冲器70。这里，对帧缓冲器的数量没有限制。此外，主存储器26还存储处理所需的程序和数据。gpu 24具有几何引擎的功能和渲染处理器的功能，以根据来自cpu 22的渲染指令执行渲染处理并将结果数据存储在帧缓冲器70中。输出部分36从帧缓冲器70读取图像的数据，并在适当的定时将图像的数据作为视频信号输出到显示器16。
[0045]
图4是用于描述与视频信号相关的一般处理流程的图。在(a)中，由图像生成装置10的gpu 24等渲染的图像量化之前的像素值是输入值，而由此应当表示的颜色值是输出值。当然，这两个值具有线性关系。当具有这种线性特性的数据被存储在图像生成装置10的帧缓冲器70中时，如(b)中所示，通过光电转换函数(oetf)对数据进行量化。对于亮度范围由sdr定义的图像和亮度范围由hdr定义的图像使用不同的函数，以便生成具有预定颜色深度的sdr或hdr视频信号。
[0046]
输出部分36从帧缓冲器70读取视频信号，并将视频信号提供给显示器16。显示器16通过如(c)所示的电光转换函数(eotf)将视频信号转换为亮度值。通过适当地选择eotf，即使信号具有相同的颜色深度，在sdr图像的情况下，为每个像素获得0到100尼特范围内的亮度值，而在hdr图像的情况下，为每个像素获得0到10000尼特范围内的亮度值，该范围与sdr图像的范围不同。根据显示面板的亮度特性进一步校正每个亮度值，然后在适当的定时将其顺序输出。因此，在相应的亮度范围内显示图像。
[0047]
图5示出了合成两个图像的情况的基本处理流程。在图中，“亮度范围a”和“亮度范围b”中的一个例如用于sdr，而另一个用于hdr。此外，每个图像的每个像素值通常被量化为0到1.0范围内的值。在(a)中，示出了在相同亮度范围“a”中渲染要合成的两个图像的环境，并且显示器16还处理和显示亮度范围“a”中的视频信号。在这种情况下，将要合成的第一和第二图像的每个像素值代入等式1，因为它生成由亮度范围“a”定义的合成图像。通过将合成图像输出到显示器16，从而可以显示合成图像。
[0048]
在(b)中表示的情况是，第一图像在对应于显示器的亮度范围“a”中渲染，而第二图像在不同于亮度范围“a”的亮度范围“b”中渲染。例如，假设第一图像和第二图像分别对应于图2的主图像200a和附加图像200b。在这种情况下，一种可能的情况是，前者以hdr显示以实现动态图像表示，而由系统提供的sdr图像叠加在其上。
[0049]
在这种情况下，在将这些值代入到合成第一图像和第二图像的等式1和α之前，图像生成装置10需要将第二图像的数据转换为亮度范围“a”中的值。这里，可以通过将sdr亮度范围映射到hdr亮度范围的一部分来执行亮度范围转换。例如，sdr的峰值亮度(1.0)被映
射到hdr亮度范围中大约100到300尼特的亮度，并且0到1.0的sdr值通过线性插值被映射。然而，无意限制亮度范围转换。
[0050]
然而，由于为每个图像确定的像素值是已经由上述oetf(以下称为转换函数)转换和量化的值，因此假定的转换函数对合成结果具有影响。图6例示了用于量化图像数据的像素值的转换函数。在(a)中表示的是srgb中使用的转换函数，srgb是sdr颜色空间的标准。假设原始像素值(即，要表示的亮度)是p并且量化后的颜色值是c，则该范围的大部分渲染c＝p
(1/γ)
形式的伽马曲线。在下文中，通过这种函数量化的颜色值的空间将被称为“srgb空间”。然而，无意限制应用于sdr图像的曲线。γ＝2.2的伽马2.2曲线，γ＝2.4的伽马2.4曲线等被类似地应用。
[0051]
在(b)中表示的是在hdr颜色空间中使用的称为pq曲线的转换函数。在下文中，通过这种函数量化的颜色值的空间将被称为“pq空间”。然而，无意限制应用于hdr图像的曲线。如(a)和(b)中所示，如果量化颜色值相对于亮度的特性不同，则特性的差异影响等式1中两项的权重。这导致要合成的图像的平衡与α值的设置所期望的图像的平衡不同。
[0052]
图7示出了由于用于量化的转换函数之间的差异对合成图像的影响的示意图。示出的(a)和(b)假设图2中所示的主图像200a和附加图像200b是α合成的情况。图7的(a)中表示的是如图5的(a)所示的主图像和附加图像都是sdr图像并且显示器也是sdr显示器的情况。因此，所有内容都在srgb空间中处理。在图7的(b)中，如图5的(b)所示，在hdr中生成主图像，而在sdr中生成附加图像。为了使附加图像显示在hdr显示器上，附加图像被转换为hdr亮度范围内的数据。
[0053]
在这种情况下，通常，随着亮度范围转换，关于亮度的特性也被转换。例如，附加图像(sdr图像)在从srgb空间中的数据转换为pq空间中的数据后被合成。因此，可以使用等式1通过相同空间中的加权和来计算合成图像的每个颜色值。然而，在(b)的合成图像中，与(a)相比，主图像在附加图像为暗的区域中的透明度较小。这是因为，与srgb曲线相比，pq曲线增加了低亮度区域中的颜色值的增加率，使得在要合成的图像中，对亮度较低的图像实质上应用了更大的权重。
[0054]
以这种方式，如果根据所连接的显示器确定转换函数，则在某些情况下，合成图像可能以应用程序或系统不期望的状态显示。此外，即使当显示相同的内容时，显示印象也可能取决于所连接的显示器而变化。因此，在本实施例中，独立于显示器的亮度范围来确定转换函数，以便可以在该空间中合成图像。
[0055]
图8示出了根据本实施例的图像生成装置10的功能块的配置。图8所示的功能块可以通过图3所示的cpu、gpu、各种存储器、数据总线等的配置以硬件方式实现，并且可以通过从记录介质等加载到存储器中并执行各种功能(诸如数据输入功能、数据保持功能、计算功能、图像处理功能和通信功能)的程序以软件方式实现。因此，本领域技术人员应当理解，这些功能块可以以仅通过硬件、仅通过软件或其组合的各种形式实现，并且不限于这些形式中的任何一种。
[0056]
图像生成装置10包括输入信息获取部分50、图像数据生成部分52、帧缓冲器56、格式控制部分54和输出部分58。输入信息获取部分50从输入装置14获取输入信息。图像数据生成部分52生成显示图像的数据。帧缓冲器56存储生成的图像的数据。格式控制部分54切换要存储在帧缓冲器56中的像素值的数据格式。输出部分58将显示图像的数据输出到显示
器16。
[0057]
输入信息获取部分50由图3的输入部分38、cpu 22等实现，并且从输入装置14获取指示用户操作内容的数据。这里，用户操作可以是在通用信息处理装置、移动终端和游戏装置上执行的操作，例如选择要执行的应用程序或内容、开始/结束处理或输入命令。输入信息获取部分50还可以经由网络8从服务器获取诸如运动图像之类的电子内容的数据。输入信息获取部分50将获得的数据适当地提供给图像数据生成部分52和格式控制部分54。
[0058]
图像数据生成部分52由图3的cpu 22、gpu 24等实现，并且根据用户操作等的内容生成要显示的图像。具体地，图像数据生成部分52包括图像渲染部分60和数据转换部分62。图像渲染部分60生成构成显示图像的图像，而不管是否合成了多个图像。例如，图像渲染部分60使电子游戏根据用户操作进行，并以预定帧速率渲染电子游戏的图像。或者，图像渲染部分60可以解码和解压缩由用户指定的运动图像的数据。
[0059]
可以从作为输入装置14的成像装置获得运动图像，或者经由网络8从服务器分发运动图像。运动图像可以是存储在连接的外部存储装置等中的图像。在下文中，以此方式生成的游戏图像或运动图像将被称为第一图像。图像渲染部分60将通过量化生成的第一图像的每个像素的亮度而获得的颜色值存储在帧缓冲器56中。
[0060]
如果需要，图像渲染部分60进一步生成第二图像。第二图像可以通过用户调用在任何时候显示，或者可以在根据游戏的进度或运动图像确定的定时显示。或者，第二图像可以始终显示在屏幕的一角。在任何情况下，第二图像是要叠加在第一图像上的图像，并且通过α值设置显示第二图像的透明度。可以为每个像素或每个区域设置α值。或者，α值可以在整个图像中固定。此外，设置值可以随时间而改变。
[0061]
在需要叠加第二图像的时段期间，图像渲染部分60首先将第一图像的量化颜色值存储在帧缓冲器56中，并且通过计算第一图像的量化颜色值和第二图像的量化颜色值的加权和来覆盖数据。如果需要，数据转换部分62转换要进行合成的图像数据的亮度范围。如有需要，数据转换部分62还转换要进行合成的图像数据的空间。换句话说，执行转换使得第一和第二图像的数据片段具有关于亮度的具有共同特性的值。例如，在合成sdr图像和hdr图像的情况下，sdr图像从srgb空间转换到pq空间。或者，hdr图像从pq空间转换到srgb空间。
[0062]
此时，当显示器16处理视频信号时，数据转换部分62独立于所连接的显示器16设置的空间(即独立于所使用的eotf)确定转换目的地空间。例如，即使连接了hdr显示器，也允许将作为hdr图像的第一图像转换到srgb空间。这使得能够以与两个图像都是sdr图像并且在sdr显示器上合成和显示的情况类似的透明度显示合成图像，如图7的(a)中所示。
[0063]
或者，将作为sdr图像的第二图像转换到pq空间，而不转换作为hdr图像的第一图像。如图7的(b)所示，即使这导致合成图像具有与(a)的图像不同的印象，也可以在抑制合成对第一图像造成的影响的同时保持hdr图像表示。以这种方式，合成结果根据合成图像的空间而变化。因此，在合成图像的再现性和原始图像的再现性中，数据转换部分62基于导致显示图像的应用程序或系统中的设置来确定具有较高优先级的图像，并选择相应的空间作为转换目的地。
[0064]
格式控制部分54由图3的cpu 22实现，并且根据由数据转换部分62选择的转换目的地的空间来切换要存储在帧缓冲器中的像素值的数据格式。通常，srd图像和hdr图像的像素值都主要通过相应的转换函数在高亮度区域中进行色调压缩，并且每种颜色被转换以
适合于预定数量的比特。这里，在某些情况下，使用不同于最初支持的转换函数的函数可能会产生转换值不能以相同数据格式存储的情况。为了将这样的数据存储在帧缓冲器56中，格式控制部分54切换每种颜色的比特深度、以及小数点是固定的还是浮动的中的至少一个。
[0065]
在图像数据生成部分52不执行α合成的情况下，或者在即使执行α合成也满足一般格式的情况下，格式控制部分54不需要切换帧缓冲器56的格式。帧缓冲器56存储由图像渲染部分60生成或合成的图像的数据。在合成第二图像的情况下，首先存储第一图像。然后，存储第一图像的像素值和第二图像的像素值的计算结果。这些在格式控制部分54的控制下以相同的数据格式执行。
[0066]
输出部分58由图3的gpu 24、输出部分36等实现，并且从帧缓冲器56读取图像的数据，并顺序地将数据输出到显示器16。这里，在存储在帧缓冲器56中的数据不同于与显示器16的亮度范围相对应的数据格式的情况下，输出部分36进一步对数据进行空间转换，并以适合显示器16的格式输出结果数据作为视频信号。
[0067]
图9是用于描述hdr图像被转换到srgb空间的情况下转换颜色值的范围的图，作为本实施例的示例。图中的图形表示用于srgb的转换函数，如图6的(a)所示。注意，在水平轴上表示的像素值p的上限(即原始亮度的范围)被设置为hdr的峰值亮度ph，其大于sdr的峰值亮度ps。尽管hdr的峰值亮度ph约为sdr的峰值亮度ps的100倍，但为了清楚起见，示意性地示出了该图。
[0068]
srgb的转换函数将0到ps的亮度转换为0到1.0的颜色值。同时，如果使用相同的函数来转换大范围的hdr亮度，其最大值ch当然会大于1.0。通常用于hdr图像的pq曲线还将亮度转换为1到1.0的颜色值。因此，通过使用srgb函数转换hdr图像而获得的值不能完全存储在为这种一般处理设置的数据格式的帧缓冲器中。因此，格式控制部分54根据hdr图像到srgb空间的转换来切换帧缓冲器56的格式。
[0069]
下表示出了用于要合成的图像的亮度范围和在本实施例中设置的显示器的亮度范围的组合的空间转换和数据格式的典型示例。
[0070]
[表一]
[0071][0072]
如表的第二列所示，在sdr显示器上表示sdr图像的情况下，设置总共32比特的定点数据格式；为每个红色、绿色和蓝色值设置8比特，为α值设置8比特。这在表中表示为“r8g8b8a8unorm”。在合成sdr图像和hdr图像以在该环境中显示的情况下，当通过映射等将hdr颜色值转换到sdr亮度范围内的值时，不转换sdr图像。
[0073]
相比之下，如表的第三列中所示，在hdr显示器上表示hdr图像的情况下，在特定情况下设置总共32比特的定点数据格式；为每个红色、绿色和蓝色值设置10比特，为α值设置2比特。这在表中表示为“r10g10b10a2unorm”。在sdr图像和hdr图像被合成以在该环境中显
示的情况下，不转换hdr图像，而sdr颜色值通过映射等被转换为hdr亮度范围中的值。
[0074]
在这种情况下，最初在srgb空间中表示的颜色值将转换到pq空间。因此，通过使用等式1进行合成，可以在pq空间中获得合成的颜色值。此外，由于转换的sdr颜色值不超过1.0，因此合成的颜色值也不超过1.0，并且初始设置的数据格式就足够了。然而，在这种情况下，如图7的(b)所示，合成结果与合成sdr图像的结果不同。
[0075]
因此，如上所述，提供了用于在srgb空间中合成的处理路径。在这种情况下，如果使用表的第三列中的数据格式，则超过1.0的值将被钳制，并且所有值都记录为1.0，这最终会显著改变合成图像。因此，如表的第四列所示，总共准备了32比特浮点数据格式；为每个红色和绿色值设置11比特，为蓝色值设置10比特。这在本表中表示为“r11g11b10float”。
[0076]
在总共32比特的限制下，基于视觉灵敏度的水平，优先按照绿色、红色和蓝色的顺序分配比特数。此外，在该示例中，没有为α值提供存储区域。然而，在需要为要进行合成的每个图像保持α平面的情况下，例如在将附加图像合成在写入帧缓冲器56的合成图像上的情况下，还需要将比特分配给α值。因此，除了表中所示的示例之外，根据合成时的各种设置以及可以为每个像素准备的比特数，适当地选择数据格式。
[0077]
例如，在迄今为止描述的示例中，pq空间或srgb空间主要用作执行α合成的空间。然而，只要在相同空间中执行合成，则要应用的实际曲线不限于此。取决于可以为每个像素准备的比特数，可以设想在线性空间中执行合成。此外，可以在诸如上述的伽马2.2或伽马2.4的空间中执行合成。当数据转换部分62选择其中一个时，格式控制部分54切换帧缓冲器56的数据格式，以便可以存储由此量化的值。
[0078]
在任何情况下，即使hdr图像的转换颜色值显著地超过1.0，数据格式的切换使得可以将颜色值存储在帧缓冲器中。在这种情况下，尽管hdr图像本身中发生错误，也可以适当地再现合成图像的透明度。
[0079]
图10将用于在pq空间中生成要显示在hdr显示器上显示的sdr图像和hdr图像的合成图像的过程与用于在srgb空间中生成sdr图像和hdr图像的合成图像的过程进行比较。在(a)中表示的是在pq空间中执行合成的情况。如上所述，不转换hdr图像(s10)。由于已经在srgb空间中对sdr图像执行了伽马曲线转换，因此数据转换部分62将数据一次返回到没有曲线的线性空间(s12)。图4所示的eotf可用于此目的。
[0080]
数据转换部分62将与以此方式获得的原始亮度成比例的每个值映射到hdr亮度范围的一部分，从而将该值转换为hdr亮度范围中的值(s14)。这实际上是通过矩阵计算来扩展色彩饱和度的过程，可以使用已知的计算方法。然后，数据转换部分62对其亮度范围已经以这种方式转换的数据执行pq曲线转换，以获得pq空间中的数据(s16)。因此，在pq空间中表示要合成的两个图像。因此，两个图像都使用公式1进行α合成，并且结果数据存储在“r10g10b10a2unorm”的帧缓冲器中。
[0081]
在(b)中表示的是在srgb空间中执行合成并且数据转换部分62还转换hdr图像的情况。即，由于已经对hdr图像执行了pq曲线转换，因此数据转换部分62使用eotf将该图像的数据一次返回到没有曲线的线性空间(s20)。然后，数据转换部分62对数据执行srgb曲线转换以获得srgb空间中的数据(s22)。
[0082]
同时，与(a)的情况一样，在sdr图像一次返回到线性空间(s24)之后，将sdr图像转换为hdr亮度范围内的值(s26)。之后，数据转换部分62对亮度范围已经转换的数据执行
srgb曲线转换，以获得srgb空间中的数据(s28)。因此，要合成的两个图像现在都表示在srgb空间中。因此，两个图像都使用公式1进行α合成，结果数据存储在“r11g11b10float”的帧缓冲器中。
[0083]
接下来，将描述通过上述配置实现的图像生成装置10的操作。图11是示出图像生成装置10生成显示图像并将显示图像输出到显示器的处理过程的流程图。该处理过程基于电子游戏等的主图像在hdr中生成并显示在hdr显示器上的假设。然而，如上所述，不意图将本实施例限制于这种组合。
[0084]
首先，当输入信息获取部分50获取用户操作的内容时，图像数据生成部分52根据操作的内容生成hdr图像，并且输出部分58从帧缓冲器56读取其数据并将数据输出到显示器(s40)。注意，生成显示图像的处理不限于在执行用户操作的时刻执行渲染，例如，此时记录的运动图像数据可以被解码。此外，由于仅显示hdr图像，因此帧缓冲器56使用与pq空间相对应的数据格式。
[0085]
如果不需要在hdr图像上合成sdr图像，则生成和输出hdr图像的处理继续(s42中为否)。如果需要在hdr图像上合成sdr图像(s42中为是)，则数据转换部分62确定优先考虑合成图像的再现性还是hdr图像的再现性(s44)。例如，在玩电子游戏时为了改变设置等而调用系统提供的菜单图像的情况下，优先考虑合成图像的再现性，以便产生类似的合成状态，而不管主图像是sdr图像还是hdr图像。
[0086]
另一方面，在例如正在玩的电子游戏的场景被保存为稍后观看或分发的静止图像或运动图像的情况下，hdr图像的再现性被优先考虑，以便确保主图像始终具有高质量。这也是再现运动图像内容的情况。以这种方式，由于即使具有相同的内容，优先级也取决于情况而改变，因此数据转换部分62根据由输入信息获取部分50获得的用户操作等来检测情况并确定优先级。在实践中，该处理可以由确定哪个优先级更高的逻辑电路来实现。
[0087]
在优先考虑合成图像的再现性的情况下(s44中为是)，格式控制部分54将帧缓冲器56的数据格式切换到与srgb空间相对应的格式，以便可以存储1.0或更大的颜色值(s46)。然后，图像数据生成部分52将转换为srgb空间的hdr和sdr图像的α合成结果存储在其格式已被切换的帧缓冲器56中，并且输出部分58读取并输出结果(s48)。此时，输出部分58将srgb空间中表示的合成图像转换为pq空间中的视频信号，并输出视频信号。
[0088]
在合成图像的再现性未被优先考虑的情况下，即，在hdr图像的再现性被优先考虑的情况下(s44中为否)，仅显示hdr图像的帧缓冲器56中设置的数据格式保持不变。该数据格式对应于pq空间。然后，图像数据生成部分52将sdr图像的数据转换为hdr亮度范围内的数据，并将与pq空间中的hdr图像进行α合成的结果存储在帧缓冲器56中，并且输出部分58读取并输出结果(s48)。
[0089]
在sdr合成继续的时段期间(s50中为否)，以预定的帧速率重复将合成图像以相同的数据格式存储在帧缓冲器56中并输出该合成图像的处理(s48)。当合成需要结束时(s50中为是)，处理返回到s40中hdr图像的生成和输出，同时显示本身继续(s52中为否)。之后，重复从s40到s50的处理，并且当需要结束显示时，所有处理结束(s52中为是)。
[0090]
接下来，举例说明用于在pq空间中的sdr图像和hdr图像的合成与在srgb空间中的sdr图像和hdr图像的合成之间进行切换的确定准则。如上所述，在pq空间中的合成保持hdr图像的质量，而在srgb空间中的合成实现合成图像的再现性。因此，在下面的描述中，前者
将被称为“图像质量优先模式”，而后者将被称为“合成优先级模式”。要切换这些模式，例如设置以下标准。
[0091]
1.在系统正在执行由系统提供的不希望损害应用程序中的hdr颜色再现性的应用程序的情况下设置图像质量优先模式，并且在其他情况下设置合成优先模式。
[0092]
2.在显示图像中没有或很少有半透明表示的元素的情况下设置图像质量优先模式，并且在有许多半透明表示的元素的情况下设置合成优先模式。
[0093]
3.根据不在系统控制下的内容中的规范切换图像优先模式和合成优先模式。
[0094]
图12示出了在应用本实施例的情况下显示的图像的转换的示例。该示例是应用上述1的情况。图像100是在其上选择由系统提供的应用程序的主屏幕。在显示这种配置的图像期间，设置合成优先模式。在图像100中，假设选择了名为“捕获图库(capture gallery)”的应用程序。
[0095]“捕获图库”是这样一个应用程序，在该应用程序中，在上一次游戏中捕获的表示游戏进行的方式的图像将在稍后的时间查看。例如，显示游戏期间的图像，例如图像102。在这样的图像显示期间，希望准确地再现游戏进行的方式。因此，如图左侧所示，当切换屏幕配置时，合成优先模式切换到图像质量优先模式。然后，当用户完成观看并执行关闭图像102的操作时，再次显示表示主屏幕的图像104。此时，随着切换到主屏幕，图像质量优先模式切换回合成优先模式。
[0096]
图13示出了在应用本实施例的情况下显示的图像的转换的另一示例。该示例表示应用上述2的情况。图像106表示构成图像的许多分量图像(元素)被半透明地表示的情况。在这种情况下，如果合成结果发生更改，则外观的印象会显著更改。因此，设置合成优先模式以实现稳定显示。
[0097]
相比之下，图像108表示存在少许半透明表示的元素的情况。在这种情况下，即使合成结果发生变化，印象也不会有很大变化。因此，保持高质量图像显示作为图像质量优先模式。例如，根据设置的阈值(例如，以半透明方式表示的元素的数量、以半透明方式表示的图像的面积等)来确定两种模式之间的切换。
[0098]
图14示出了在应用本实施例的情况下显示的图像的转换的另一示例。尽管该示例表示应用上述3的情况，但该示例不限于图像质量优先模式和合成优先模式之间的转换。这里，图像110是由系统提供的菜单屏幕，而图像112是由正在执行的游戏内容生成的游戏屏幕。图像114和116是图像110和112的合成结果。
[0099]
在这些图像中，图像114表示内容指定在线性空间中合成的情况下的合成图像。因此，数据转换部分62通过eotf等将图像110和图像112的数据转换到线性空间来合成图像110和图像112。相比之下，格式控制部分54将帧缓冲器56设置为可以存储线性量化值的数据格式。例如，这里设置的数据格式是浮点格式，其中为每个原色设置16比特，为α值设置16比特。注意，数据格式不限于此。
[0100]
图像115是用于内容指定在伽马2.2空间中合成的情况的合成图像。因此，数据转换部分62将图10的(b)中的最终转换目的地设置为伽马2.2空间。相比之下，格式控制部分54设置定点格式，其中例如，为每种原色设置8比特，并且为α值设置8比特。注意，数据格式不限于此。允许以这种方式在内容中指定合成空间始终可以反映内容创建者的意图。因此，系统可以为内容创建者提供应用程序编程接口(api)来指定空间。
[0101]
根据上述本实施例，生成显示图像的装置可以根据情况切换帧缓冲器的数据格式。因此，即使作为用于像素值的量化的转换函数的切换的结果而生成了超过通常获得的数值范围的值，也可以原样将这些值写入帧缓冲器。该配置可以减轻对亮度范围和转换函数的组合的限制，例如sdr图像和伽马曲线(例如srgb)或hdr图像和pq曲线。
[0102]
因此，如果使用伽马曲线转换hdr图像并与sdr图像进行合成，则得到的表示可以类似于合成sdr图像的情况下的表示。此外，在期望将原始hdr图像的动态表示优先于这种合成图像的再现性的情况下，可以在pq空间中执行合成，而无需切换数据格式。以此方式，即使原始图像或显示器的亮度范围以各种方式改变，也可以适当地控制显示图像的模式。
[0103]
以上基于实施例描述了本发明。上述实施例是示例，并且本领域技术人员应当理解，可以对实施例中的每个组成部分和每个处理过程的组合进行各种修改，并且这些修改也落入本发明的范围。
[0104]
[工业适用性]
[0105]
如上所述，本发明可用于各种装置，例如显示装置、内容再现装置和游戏装置，以及包括这些装置的系统。
[0106]
[参考符号列表]
[0107]
8：网络
[0108]
10：图像生成装置
[0109]
14：输入装置
[0110]
16：显示器
[0111]
22:cpu
[0112]
24:gpu
[0113]
26：主存储器
[0114]
36：输出部分
[0115]
38：输入部分
[0116]
50：输入信息获取部分
[0117]
52：图像数据生成部分
[0118]
54：格式控制部分
[0119]
56：帧缓冲器
[0120]
58：输出部分
[0121]
60：图像渲染部分
[0122]
62：数据转换部分
[0123]
70：帧缓冲器