图像处理装置、图像处理方法和图像处理程序与流程

1.本公开内容涉及图像处理装置、图像处理方法和图像处理程序。更具体地，本公开内容涉及在缩放宽视角图像时执行的图像处理。


背景技术：

2.随着虚拟现实(vr)技术的普及，能够进行360度全方位成像的球形摄像装置得到了广泛的应用。此外，作为用于球形内容(例如由球形摄像装置捕获的球形图像和球形电影)的观看环境，诸如头戴式显示器(hmd)的装置已经开始普及。
3.这里，已经提出了各种技术来执行诸如球面内容和全景图像之类的具有比显示器上显示的视角宽的视角的图像的回放(在下文中统称为“视角宽图像”)。例如，存在下述已知技术：通过在接收到切换为要显示的特定部分的指令时将回放侧上存在的特定部分的信息呈现给用户，直到该特定部分的回放数据已准备就绪，来减小由于缓冲而导致的回放延迟的影响(例如，专利文献1)。此外，存在下述技术：在显示具有相同内容的图像时，通过首先显示低分辨率数据然后响应于来自用户的请求而显示高分辨率数据来保持高响应(例如，专利文献2)。此外，已知下述技术：以低的部件成本在水平方向和竖直方向上在宽视角图像上滚动(例如，专利文献3)。
4.引用列表
5.专利文献
6.专利文献1：jp 2003
‑
304525 a
7.专利文献2：jp 2005
‑
223765 a
8.专利文献3：jp 11
‑
196369 a


技术实现要素：

9.技术问题
10.然而，人们并不认为上述技术对于改进关于宽视角图像的用户体验有效。例如，在执行切换或缩放时，在现有技术中，对于宽视角图像在显示器上显示的位置，执行画面显示的切换，使得首先显示低分辨率数据，然后显示高分辨率数据(或者反之，首先显示高分辨率数据，然后显示低分辨率数据)。
11.这可能导致用户反复经历从低分辨率数据的模糊图像到高分辨率数据的清晰图像的切换。尤其是在佩戴hmd时，由于诸如vr病或视频病等症状，此问题尤其严重。
12.鉴于此问题，本公开内容提出了能够改进关于宽视角图像的用户体验的图像处理装置、图像处理方法和图像处理程序。
13.问题的解决方案
14.为了解决上述问题，根据本公开内容的一个方面的图像处理装置具有：接收单元，其接收针对在显示单元上显示的宽视角图像的指定区域中包括的局部图像从第一视角到第二视角的变化；以及图像生成单元，在接收单元已经接收到视角变化的情况下，该图像生
成单元保持多个第一图像中的至少一个第一图像的显示，所述第一图像均具有与宽视角图像的分辨率不同的第一分辨率并且在变为第二视角之前已经被解码，以及在保持至少一个第一图像在显示单元上的显示的同时对第二图像执行解码，所述第二图像是在变为第二视角之后在显示单元上显示的并且具有与第一图像的分辨率不同的第二分辨率的图像。
15.本发明的有益效果
16.根据本公开内容的图像处理装置、图像处理方法和图像处理程序，可以改进关于宽视角图像的用户体验。应当注意的是，本文描述的效果不必受到限制，并且可以是本公开内容中描述的任何效果。
附图说明
17.图1是示出根据本公开内容的第一实施方式的图像处理系统的示例的图。
18.图2是示出宽视角图像中的缩放倍率的变化的图。
19.图3是示出根据本公开内容的第一实施方式的分割层方法的图。
20.图4是示出根据本公开内容的第一实施方式的图像生成处理的示例的图。
21.图5是示出宽视角图像与用户的视点之间的关系的图。
22.图6是示出通过分割层方法的图像生成处理的示例的图。
23.图7是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(1)。
24.图8是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(2)。
25.图9是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(3)。
26.图10是示出根据本公开内容的第一实施方式的处理流程的流程图(1)。
27.图11是示出根据本公开内容的第一实施方式的处理流程的流程图(2)。
28.图12是示出实现图像处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
29.下面将参照附图详细描述本公开内容的实施方式。在下面的每个实施方式中，相同的部件由相同的附图标记表示，并且将省略其重复描述。
30.(1.第一实施方式)
31.[1
‑
1.宽视角图像的图像处理]
[0032]
在根据本公开内容的图像处理之前，作为本公开内容的图像处理的前提，将描述显示宽视角图像的方法。
[0033]
根据本公开内容的宽视角图像是具有比显示器上显示的视角更宽的视角的图像，例如球形内容和全景图像。在本公开内容中，将描述球形内容作为宽视角图像的示例。
[0034]
球形内容是通过使用能够在所有方向上进行360度成像的球形摄像装置成像而生成的。由于球形内容具有比普通显示器(例如，用户佩戴的头戴式显示器(hmd))更宽的视角，因此在回放时选择性地显示在该显示中切割出的局部区域(换言之，就是用户视野中的“视角”)。例如，用户通过操作触摸显示器以改变显示位置或者通过用户佩戴的hmd以改变视线或姿势，从而在改变显示位置的同时观看球形内容。
[0035]
以这种方式，由于实际上仅将球形内容的局部区域显示在显示器上，因此可以通过减少针对非显示区域的解码处理和数据传输来抑制处理负荷或者提高信道带宽效率。
[0036]
然而，实际上，由于诸如回放装置的解码性能和电影的数据分发中的响应延迟之类的问题，因为切换后要显示的区域无法及时显示，因此存在由用户突然切换观看方向导致图像数据丢失的情况。图像数据的丢失可能会导致显示空白或者播放质量显著下降。
[0037]
为了避免这种情况，在宽视角图像的显示处理中，保持为所有方向保留最小数据的状态，以准备用户的突然转身运动等。在这种情况下，全向数据具有大量信息，使得难以保存具有相对高分辨率(在下文中称为“高分辨率”)的数据。因此，以相对低的分辨率(在下文中称为“低分辨率”)数据来保存球形内容。实际上，当用户观看图像时，与要显示的区域对应的高分辨率数据被解码以生成高分辨率图像，并且所生成的高分辨率图像将被叠加在低分辨率图像上并且被显示。
[0038]
使用这种方法，即使当由于用户的突然转身运动而未能将高分辨率图像及时解码时，也至少显示了低分辨率球形内容，从而导致防止显示器没有图像可显示的状态。因此，该方法使用户能够顺畅地观看球形内容，从而提高了可用性。
[0039]
在这种方法中，还可以对与显示器中实际使用的视角对应的球形内容的高分辨率图像进行解码。例如，当用户以高放大倍率观看球形内容时，即使在通常的高分辨率(在下文中称为“第一分辨率”)下，图像质量有时也似乎下降。因此，在这种方法中，通过对具有更高分辨率(在下文中称为“第二分辨率”)的图像数据进行解码，可以提供不会因高倍率缩放(换言之，非常窄的视角显示)而受损的图像质量。
[0040]
以这种方式，这样的方法切换显示三种类型的分辨率的图像：低分辨率球形内容；第一分辨率图像(在下文中称为“第一图像”)，对应于缩放倍率是1倍(无倍率)至相对低倍率(视角相对宽时)的情况；以及第二分辨率图像(在下文中称为“第二图像”)，对应于缩放倍率相对较高(视角相对窄时)的情况。在本公开内容中，这样的方法被称为分割层方法。例如，在分割层方法中，低分辨率的球形内容在解码状态下准备就绪，同时针对各个区域对第一分辨率图像或第二分辨率图像进行解码。可以同时解码的最大图像数目取决于例如硬件性能。即使在用户使用高缩放倍率时，该方法也可以提供在使用hmd观看的vr图像中观看高分辨率图像的体验。
[0041]
然而，在分割层方法中，当用户改变缩放倍率时，发生从第一分辨率到第二分辨率的切换。此时，根据硬件的性能，难以同时对第一分辨率图像和第二分辨率图像进行解码，因此，将显示低分辨率的球形内容，直到完成切换。在这种情况下，用户必须以倍率改变之前显示的第一分辨率图像、低分辨率球形内容和倍率改变之后显示的第二分辨率图像的顺序依次观看图像。这可能会导致用户反复经历从低分辨率数据的模糊图像到高分辨率数据的清晰图像的切换。尤其是在佩戴hmd时，由于诸如vr病或视频病等症状，此问题尤其严重。
[0042]
鉴于这种情况，即使当改变在hmd等上显示的图像的缩放倍率时(即，当改变视角时)，根据本公开内容的图像处理也会通过抑制分辨率的突然变化来减轻用户的不适感。根据本公开内容的图像处理，可以改进关于宽视角图像的用户体验。在下文中，将参照图1描述实现包括在根据本公开内容的图像处理的图像处理系统1中的每个装置。
[0043]
[1
‑
2.根据第一实施方式的图像处理系统的配置]
[0044]
图1是示出根据本公开内容的第一实施方式的图像处理系统1的示例的图。如图1所示，图像处理系统1包括hmd 10、控制器20和图像处理装置100。
[0045]
hmd 10是安装在用户头部上的显示装置，并且也被称为可穿戴式计算机。hmd 10
根据用户身体的取向和运动、运动速度等来实现显示处理。
[0046]
控制器20是经由有线或无线网络连接到图像处理装置100和hmd10的信息装置。控制器20是例如由佩戴hmd 10的用户持有和操作的信息装置，并且是用于将信息输入到hmd 10和图像处理装置100的输入装置的示例。例如，控制器20检测到用户的手的运动以及从用户输入到控制器20的信息，并且将检测到的信息发送到hmd 10和图像处理装置100。在第一实施方式中，控制器20用于指定要显示在hmd上的球形内容的区域，以及用于指定显示在hmd上的图像的缩放倍率。例如，控制器20可以是具有与图像处理装置100或hmd 10的通信功能(例如，bluetooth(注册商标))的任何遥控器、游戏控制器等。
[0047]
图像处理装置100是执行根据本公开内容的图像处理的信息处理装置。例如，图像处理装置100响应于从hmd 10发送的请求，将装置中保存的内容发送到hmd 10。
[0048]
首先，将描述hmd 10的配置。如图1所示，hmd 10包括诸如检测器15、发送单元16、接收单元17和显示控制单元18之类的处理单元。每个处理单元通过由中央处理单元(cpu)、微处理单元(mpu)等使用随机存取存储器(ram)等作为工作区域执行存储在hmd 10中的程序来实现。另外，每个处理单元可以由诸如专用集成电路(asic)或现场可编程门阵列(fpga)之类的集成电路来实现。
[0049]
检测器15检测佩戴hmd 10的用户的操作信息，该操作信息也称为头部跟踪信息。具体地，检测器15控制hmd 10中包括的传感器11以检测关于用户的运动的各种类型的信息，例如用户的身体取向、倾斜度、运动和运动速度。更具体地，检测器15检测关于用户的头部和姿势、用户的头部和身体的运动(加速度和角速度)、视野的方向、视点运动的速度等的信息，作为与用户的运动有关的信息。例如，检测器15控制如传感器11的各种运动传感器，例如三轴加速度传感器、陀螺仪传感器和速度传感器，以检测关于用户的运动的信息。注意，传感器11不必设置在hmd10内部，并且可以是例如通过有线或无线连接来连接到hmd 10的外部传感器。
[0050]
此外，检测器15检测用户注视在hmd 10的显示器12上的视点位置。检测器15可以通过使用各种已知方法检测视点位置。例如，检测器15可以通过使用上述三轴加速度传感器、陀螺仪传感器等估计用户头部的方向来检测用户的视点位置。此外，检测器15可以用作传感器11，以通过使用捕获用户的眼睛的摄像装置来检测用户的视点位置。例如，当用户将hmd 10佩戴在头上时，传感器11被安装在用户的眼球位于成像范围内的位置(例如，靠近显示器12并且使得镜片能够面对用户的位置)处。传感器11基于用户的右眼的眼球的捕获图像以及与右眼的位置关系来识别右眼的视线朝向的方向。类似地，传感器11基于用户的左眼的眼球的捕获图像以及与左眼的位置关系来识别左眼的视线朝向的方向。检测器15可以基于这样的眼球位置来检测用户注视显示器12的哪个位置。
[0051]
此外，检测器15检测与球形内容中的在显示器12上显示的区域(球形内容中的位置)有关的信息。即，检测器15检测指示由用户的头部和姿势信息指定的球形内容中的区域或者由用户通过触摸操作等指定的区域的信息。此外，检测器15检测在该区域中显示的球形内容的局部图像(在下文中称为“局部图像”)的视角的设置。换言之，视角设置是缩放倍率的设置。
[0052]
例如，检测器15检测由用户在局部图像中指定的缩放倍率，并且检测要在该区域中显示的局部图像的视角。随后，检测器15将检测到的信息发送到发送单元16。
[0053]
发送单元16经由有线或无线网络等发送各种类型的信息。例如，发送单元16将由检测器15检测到的头部跟踪信息发送到图像处理装置100。此外，发送单元16向图像处理装置100发送将球形内容发送到hmd 10的请求。此外，在显示球形内容的同时，发送单元16向图像处理装置100发送诸如用户显示球形内容的哪个位置的显示状态。发送单元16还将局部图像的当前缩放倍率和缩放倍率的变化发送到图像处理装置100。
[0054]
接收单元17经由有线或无线网络接收各种类型的信息。例如，接收单元17接收由显示控制单元18显示的图像(更具体地，诸如用于形成在显示器12上显示的图像的像素信息的数据)。
[0055]
显示控制单元18控制由接收单元17接收的图像的显示处理。具体地，显示控制单元18对低分辨率球形内容和叠加在显示器12的显示区域中的球形内容上的第一图像执行显示控制处理。此外，在显示器12上设置了高缩放倍率的情况下，显示控制单元18执行叠加在显示器12的显示区域中的球形内容上的第二图像的显示控制处理。
[0056]
显示器12是在hmd 10上显示图像的显示单元，并且通过有机电致发光(el)显示器、液晶显示器等实现。
[0057]
尽管在图1中未示出，但是hmd 10可以包括：用于接收来自用户的操作的输入单元；存储诸如所接收的球形内容之类的图像的存储单元；以及具有语音输出功能的输出单元。
[0058]
接下来，将描述图像处理装置100的配置。如图1所示，图像处理装置100包括通信单元110、存储单元120和控制单元130。
[0059]
例如，通信单元110由网络接口卡(nic)实现。通信单元110通过有线或无线连接来连接到网络(互联网等)，并且经由网络向/从hmd 10、控制器20等发送/接收信息。
[0060]
存储单元120由诸如随机存取存储器(ram)和闪存之类的半导体存储元件或者诸如硬盘或光盘之类的其他存储装置来实现。存储单元120包括低分辨率图像存储单元121、低倍率缩放图像存储单元122和高倍率缩放图像存储单元123。
[0061]
低分辨率图像存储单元121存储与要发送到hmd 10的内容中的低分辨率图像有关的信息(例如，作为在hmd 10的显示单元上显示的图像的源的图像数据)。低分辨率图像具体是覆盖在hmd 10上显示的宽视角图像的全向位置的图像。低分辨率图像具有全向覆盖范围，但分辨率较低，这使得可以防止在解码和传输到hmd 10期间在用于与hmd 10进行通信的频带上发生沉重的处理负荷或负担。例如，低分辨率图像具有与全高清(full hd)对应的分辨率(1920
×
1080像素(矩形))。
[0062]
低倍率缩放图像存储单元122存储在要发送到hmd 10的内容中的第一图像，该第一图像是用于低倍率缩放的高分辨率图像(例如，从无缩放到小于3倍的状态)。例如，当假设无缩放的视角为“100
°”
时，第一图像是覆盖从“100
°”
到“35
°”
的3倍缩放视角或更大范围的图像。具体地，在缩放倍率满足上述条件的情况下，并且当在hmd 10上显示宽视角图像时，第一图像将被显示为叠加在低分辨率图像上。
[0063]
当低分辨率图像具有与全高清对应的分辨率时，第一图像具有例如与8k或18k对应的分辨率。例如，当第一图像具有8k的分辨率时，与一个球形内容对应的第一图像是被90
°
的竖直视角和90
°
的水平视角分割的图像，每个图像具有“2048
×
2048像素”的分辨率。此外，例如，当第一图像具有18k的分辨率时，与一个球形内容对应的第一图像是被30
°
的竖
直视角和45
°
的水平视角分割的图像，每个图像具有“2304
×
1280像素”的分辨率。以这种方式，高分辨率图像被适当地分割和保存，以基本上均等地分割信息量。
[0064]
高倍率缩放图像存储单元123存储第二图像，该第二图像是用于发送到hmd 10的内容中的用于高倍率缩放的高分辨率(例如，3倍或更大)图像。例如，当假设无缩放的视角为“100
°”
时，第二图像是覆盖“35
°”
以下范围的3倍缩放视角的图像。具体地，在缩放倍率满足上述条件的情况下，并且当在hmd 10上显示宽视角图像时，第二图像将被显示为叠加在低分辨率图像上。
[0065]
当低分辨率图像具有与全高清对应的分辨率时，第二图像具有例如与44k对应的分辨率。例如，当第二图像具有44k的分辨率时，与一个球形内容对应的第二图像是被22
°
的竖直视角和13.7
°
的水平视角分割的图像，每个图像具有“1664
×
2560像素”的分辨率。通过这种方式的分割，第二图像中的信息量具有与第一图像基本相同的信息量。
[0066]
控制单元130通过cpu、mpu等使用ram等作为工作区域执行存储在图像处理装置100中的程序(例如，根据本公开内容的图像处理程序)来实现。此外，控制单元130可以是控制器，并且可以例如通过使用诸如asic或fpga的集成电路来实现。
[0067]
如图1所示，控制单元130包括接收单元131、图像生成单元132和发送单元133，并且实现或执行以下描述的信息处理功能或操作。控制单元130的内部配置不限于图1所示的配置，并且可以是另一种配置，只要该配置是执行下述信息处理的配置即可。
[0068]
接收单元131经由有线或无线网络等获取各种类型的信息。例如，接收单元131获取从hmd 10发送的头部跟踪信息等。此外，接收单元131接收从hmd 10发送的请求以及包含要求将球形内容发送到hmd 10的请求。
[0069]
此外，接收单元131接收宽视角图像的指定区域中包括的局部图像从第一视角到第二视角的变化。例如，接收单元131接收hmd 10的用户的区域指定信息。该指定信息是指定宽视角图像中的特定位置的信息，例如经由控制器20指定的位置或者基于头部跟踪信息指定的位置。即，接收单元131接收针对在hmd上显示的球形内容中的基于头部跟踪信息等指定的区域(实际上在显示器12上显示的球形内容的区域)的缩放倍率的变化。此时，接收单元131可以经由从用户使用的输入装置(控制器20)接收的信号来接收从第一视角到第二视角的变化。
[0070]
例如，接收单元131接收从第一视角到比第一视角窄的第二视角的变化。换言之，接收单元131接收对在hmd 10上显示的局部图像进行放大的请求。
[0071]
另外，接收单元131接收从第一视角到比第一视角宽的第二视角的变化。换言之，接收单元131接收对在hmd 10上显示的局部图像进行缩小的请求。
[0072]
另外，接收单元131接收与用户朝向该区域的视点有关的信息。换言之，接收单元131接收指示用户注视在hmd 10上显示的局部图像中的哪个部分的信息。
[0073]
图像生成单元132生成要发送到hmd 10的图像。更具体地，图像生成单元132生成在hmd 10的显示器12上显示的图像的源数据。
[0074]
图像生成单元132基于由接收单元131接收的缩放倍率、头部跟踪信息等来生成由hmd 10显示的图像。即，图像生成单元132用作：获取单元，用于获取由接收单元131接收的各种类型的信息；解码器，用于对由获取单元给出了指示的图像进行解码；呈现器，其基于解码图像、缩放倍率、头部跟踪信息等来确定显示区域，并在所确定的显示区域上执行呈现
(图像生成)。
[0075]
具体地，在根据本公开内容的图像处理中，在接收单元131已经接收到从第一视角到第二视角的变化的情况下，图像生成单元132保持在变为第二视角之前已经解码的多个第一图像中的至少一个第一图像在显示单元(显示器12)上的显示。随后，图像生成单元132在保持至少一个第一图像在显示单元上的显示的同时，对在变为第二视角之后在显示单元上显示的、具有与第一图像的分辨率不同的第二分辨率的第二图像进行解码。
[0076]
当第二图像的解码完成时，图像生成单元132将已经在显示单元上保持显示的第一图像替换为已经完成解码的第二图像，以更新局部图像。
[0077]
此外，在用已经完成解码的第二图像替换了已经在显示单元上保持显示的第一图像之后，图像生成单元132对具有第二分辨率的另一第二图像进行解码。
[0078]
具体地，在图像生成单元132已经接收到从第一视角到作为较窄的视角(即，放大)的第二视角的变化的情况下，图像生成单元132在保持将多个第一图像中的至少一个第一图像显示到显示单元的同时，将具有比第一分辨率高的分辨率的第二分辨率的第二图像解码。
[0079]
此外，在图像生成单元132已经接收到从第一视角到作为较宽的视角(即，缩小)的第二视角的变化的情况下，缩放图像生成单元132在保持将多个第一图像中的至少一个第一图像显示到显示单元的同时，将具有比第一分辨率低的分辨率的第二分辨率的第二图像解码。
[0080]
在这种情况下，图像生成单元132可以基于例如与用户的观点有关的信息来确定要保持在变为第二视角之前显示的多个第一图像中的哪个第一图像的显示。
[0081]
具体地，图像生成单元132可以以更高的优先级来保持在变为第二视角之前显示的多个第一图像中的、更靠近用户的视点的第一图像。
[0082]
发送单元133将由图像生成单元132生成的图像(构成图像的数据)发送到hmd 10。
[0083]
将参照图2至图9详细描述根据上述本公开内容的图像处理。图2是示出宽视角图像中的缩放倍率的变化的图。
[0084]
图2所示的图像p01至p07是佩戴hmd 10的用户在显示器12上观看的图像。例如，图像p01是与发送到hmd 10的球形内容中的可以在hmd 10的显示器12上显示的区域对应的局部图像。
[0085]
通过在控制器20或hmd 10上执行预定操作，用户可以改变用户正在观看的图像的缩放倍率。这意味着接收单元131接收用户观看的图像从第一视角到第二视角的变化。注意，图2示出了其中第二视角被假设为比第一视角窄的放大操作的示例。
[0086]
在已经接收到从第一视角到第二视角的变化的情况下，图像生成单元132执行将图像p01更新为图像p02或者将图像p02更新为图像p03的处理。在图2的示例中，以从图像p01朝向图像p07的顺序向用户提供具有更高倍率的缩放视频。在图2的示例中，假设图像p01是“无缩放(缩放倍率为1倍)”图像，图像p02和图像p03是“低倍率缩放”图像，图像p04至p07是“高倍率缩放”图像。
[0087]
即，如上所述，根据本公开内容的图像处理装置100接收针对在特定区域中显示的局部图像的视角的变化，并且根据变化在预定定时处(例如每秒30次或60次)执行更新图像的处理。
[0088]
接下来，参照图3，将描述使用分割层方法来叠加高分辨率图像。图3是示出根据本公开内容的第一实施方式的分割层方法的图。图3的示例示出了球形内容中相同位置的三种类型的图像，各个图像具有不同的缩放倍率。具体地，图3示出了无缩放的图像p11、具有低缩放倍率的图像p12和具有高缩放倍率的图像p13。
[0089]
例如，将在显示器12上显示图像p11连同与叠加到球形内容的低分辨率图像上的球形内容相比具有更高分辨率(在图3的示例中等同于8k)的图像p111。当要解码的图像的数目为“3”时，假设图像生成部132除了对图像p11和图像p111进行解码以外，还对其他高分辨率图像(未示出)进行解码。在这种情况下，另一个高分辨率图像覆盖图像p11的区域的外部。利用该配置，即使当用户移动自己的视线时，图像生成单元132也可以在不执行新解码的情况下向用户提供高分辨率图像。
[0090]
随后，假设用户改变缩放倍率并且图像p12被显示在显示器12上。在这种情况下，图像生成单元132叠加具有更高分辨率的图像(在图3的示例中为18k)。由于分辨率越高，图像p12中可以覆盖的区域就越窄，因此图像生成单元132使用除图像p12的另外两个可解码图像在图像p12上执行叠加。以这种方式，将高分辨率图像分割为多个图像，以叠加在低分辨率图像p12上。在下文中，被分割和叠加的高分辨率图像可以被称为分割图像。
[0091]
即，在将具有更高分辨率的分割图像p121和p122叠加在球形内容的低分辨率图像上之后，图像p12被显示在显示器12上。
[0092]
此外，假设用户改变缩放倍率并且图像p13被显示在显示器12上。在这种情况下，图像生成单元132叠加具有更高分辨率的图像(在图3的示例中对应于44k)。
[0093]
具体地，在将具有更高分辨率的分割图像p131和p132叠加在球形内容的低分辨率图像上之后，图像p13被显示在显示器12上。以这种方式，图像处理装置100以叠加的方式显示与缩放倍率对应的高分辨率分割图像，从而向用户提供具有不会因缩放而损坏的图像质量的图像。
[0094]
随后，将参照图4描述上述分割层方法的处理流程。图4是根据本公开内容的第一实施方式的图像生成处理的示例的图。
[0095]
在图4的示例中，假设图像处理装置100具有同时对三个图像进行解码的性能。在这种情况下，图像生成单元132不断地对低分辨率球形内容p21进行解码。这是为了防止之前描述的当用户突然转身时发生空白显示。
[0096]
此外，图像生成单元132根据当前缩放倍率对高分辨率图像即分割图像p22和分割图像p23进行解码。
[0097]
基于hmd 10中的头部跟踪信息，图像生成单元132指定用户正在观看的球形内容p21的位置，并且将分割图像p22和p23叠加在该位置上。通过该操作，hmd 10的显示器12显示通过将分割图像p22和p23叠加在用户在球形内容中的视点的位置上而获得的图像p31。由于分割图像p22和p23被叠加在图像p31上，因此用户可以观看例如图像p32中所示的清晰图像。
[0098]
这里，将参照图5描述宽视角图像与用户的视点之间的关系。图5是示出宽视角图像与用户的视点之间的关系的图。在图5的示例中，将描述球形内容作为宽视角图像的示例。
[0099]
如图5所示，使用方位角θ和仰角φ来示出用户在球形内容中的视点。方位角θ是在
图5所示的3d模型坐标系中的水平面即x
‑
z平面上相对于于预定参考轴的角度。仰角φ是当将图5所示的3d模型坐标系中的x
‑
z平面定义为参考平面时在上下方向上的角度。
[0100]
例如，图像处理装置100基于由hmd 10检测到的头部跟踪信息等，指定用户的视点在3d模型坐标系中指向的位置的方位角θ和仰角φ。接下来，图像处理装置100基于方位角θ和仰角φ来指定指示用户的视点的视点矢量50。随后，图像处理装置100将视点矢量50与和球形内容对应的3d模型坐标系相交的位置指定为用户在球形内容中正在观看的位置。
[0101]
如上所述的指定用户的视点的处理是示例，并且图像处理装置100可以基于各种已知技术来指定用户的视点。通过这种处理，图像处理装置100可以指定球形内容中用户正在观看的位置以及在显示器12上显示的局部图像中用户视点指向的部分。
[0102]
例如，利用该配置，图像生成单元132可以执行下述调整：以高优先级显示用户的视点指向的局部电影的一部分的高分辨率分割图像，并且省略用户的视点未指向的部分(周边视觉)的高分辨率分割图像的显示。例如，在图4的示例中，图像生成单元132可以执行以下调整：将两个分割图像布置在用户注视的部分(图像p32中示出的部分)的外围部分中，并且在周边视觉(在图像p31中由网格图案指示的部分)中不布置分割图像。
[0103]
随后，将参照图6详细描述用分割层方法执行的图像处理流程。图6是示出通过分割层方法进行的图像生成处理的示例的图。对于图6至图9，将使用显示在hmd 10中包括的显示器12(与用户的右眼或左眼对应的显示器)的一侧上显示的示意性图像进行描述。此外，在图6至图9中，假设可以由图像处理装置100解码的图像的数目为“3”。
[0104]
在图6的示例中，hmd 10获取球形内容p41，并且显示该内容中的与用户视点指向的位置对应的低分辨率图像c01连同要叠加在低分辨率图像c01上的分割图像a1和分割图像b1。
[0105]
这里是用户改变缩放倍率的可假设情况。hmd 10显示与新的缩放倍率对应的低分辨率图像c02。在这种情况下，执行对与新的缩放倍率对应的分割图像a1和分割图像b1进行解码的处理，因此，将删除分割图像a1和分割图像b1。这是因为图像处理装置100确定“3”是可解码图像的数目，其中一个图像已用于对球形内容p41进行解码，从而无法对四个图像即分割图像a1、分割图像b1、分割图像a1和分割图像b1同时进行解码。
[0106]
在完成了对分割图像a1和分割图像b1的解码之后，图像处理装置100生成其中分割图像a1和分割图像b1被叠加在低分辨率图像co2上的图像。
[0107]
将参照图7，通过在视觉上示出与由图像处理装置100用来对图像进行解码的处理区域(在下文中称为“时隙(slot)”)的关系。图7是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(1)。
[0108]
图7按时间顺序示出了在显示器12上显示的图像以及与图像处理装置100有关的图像生成单元132对图像进行解码的时隙的状态。
[0109]
与图6相似，显示器12显示低分辨率图像c01、分割图像a1和分割图像b1。此时，图像生成单元132在时隙1中对包括低分辨率图像c01的球形内容p41进行解码。此外，图像生成单元132在时隙2中对分割图像b1进行解码，并且在时隙3中对分割图像a1进行解码(定时t11)。
[0110]
此后，在已经接收到缩放倍率的变化(步骤s11)时，图像生成单元132显示改变后的低分辨率图像co2。如上所述，由于图像生成单元132对球形内容p41的整个位置进行解
码，因此可以显示低分辨率图像co2而无需等待时间。
[0111]
另一方面，在图像生成单元132已经接收到缩放倍率变化的情况下，由于需要对新的分割图像进行解码，因此分割图像a1和分割图像b1的解码将暂时停止(定时t12)。随后，图像生成单元132开始对新的分割图像a1和分割图像b1进行解码(定时t13)。在图7至图9的示例中，诸如定时t13的分割图像(以非实线示出)指示解码正在进行中。
[0112]
在完成对分割图像a1和分割图像b1的解码之后，图像生成单元132生成缩放倍率变化之后的图像(步骤s12)。
[0113]
此时，低分辨率图像c02、分割图像a1和分割图像b1被显示在显示器12上。即，图像生成单元132在时隙2中对分割图像b1进行解码，并且在时隙3中对分割图像a1进行解码，同时在时隙1中对球形内容p41进行解码(定时t14)。
[0114]
如上所述，图6和图7所示的示例包括不显示任何分割图像的定时的发生。因此，用户将观看低分辨率图像与高分辨率图像之间的切换。这导致上述处理可能无法减轻用户的例如vr病的症状。
[0115]
为了解决这个问题，根据本公开内容的图像处理执行图8中描述的处理。图8是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(2)。
[0116]
类似于图7，显示器12显示低分辨率图像c01、分割图像a1和分割图像b1。即，图像生成单元132在时隙1中对球形内容p41进行解码，在时隙2中对分割图像b1进行解码，并且在时隙3中对分割图像a1进行解码(定时t21)。
[0117]
此后，当接收到缩放倍率的改变时(步骤s21)，图像生成单元132保持在缩放倍率改变之前解码的分割图像中的至少一个分割图像的显示。例如，关于时隙2和3，图像生成单元132从时隙2中单独擦除分割图像b1，并且将分割图像a1保留在时隙3中。例如，在多个分割图像中，图像生成单元132保留更靠近用户视点的一侧的图像(图8的示例中的分割图像a1)，并且擦除远离用户视点的一侧的图像(图8的示例中的分割图像b1)(定时t22)。在这种情况下，尽管保持了分割图像a1的显示状态，但是分割图像a1的视角可以与缩放倍率改变一起改变。
[0118]
在时刻t21处，图像生成单元132基于低分辨率图像co2以及基于保持显示的分割图像a1来生成要在显示器12上显示的图像。在这种情况下，由于保持了作为高分辨率图像的分割图像a1，因此用户可以继续观看高分辨率图像。
[0119]
在通过擦除分割图像b1而空出的时隙2中，图像生成单元132开始对缩放倍率改变之后的分割图像a1进行解码(定时t23)。在完成对分割图像a1的解码之后(定时t24)，图像生成单元132将分割图像a1叠加在低分辨率图像co2和分割图像a1上，以显示分割图像a1。例如，由于分割图像a1是具有比分割图像a1更高分辨率的图像，因此图像的尺寸小于分割图像a1的尺寸。即，分割图像a1被包括在由分割图像a1显示的位置中。此外，分割图像a1是例如最靠近用户的视点位置的位置处的外围区域。
[0120]
在将分割图像a1叠加在低分辨率图像co2上之后，图像生成单元132擦除在时隙3中保持的分割图像a1(定时t25)。随后，图像生成单元132开始对空闲时隙3中的分割图像b1进行解码(定时t26)。
[0121]
在完成对分割图像b1的解码之后，图像生成单元132生成将分割图像a1和分割图像b1叠加在低分辨率图像co2上的图像(步骤s22)。此时，图像生成单元132在时隙1中对球
形内容p41进行解码，在时隙2中对分割图像a1进行解码，并且在时隙3中对分割图像b1进行解码(定时t27)。
[0122]
如上所述，在改变了缩放倍率的情况下，与图6和图7中所示的处理不同，图像生成单元132在保持缩放倍率改变之前存在的分割图像的同时，对缩放倍率改变之后获得的分割图像进行解码。利用这种配置，图像生成单元132可以改变缩放倍率，同时在用户注视的位置附近保持高分辨率。这可以消除用户在注视位置处观看从低分辨率模糊图像到高分辨率清晰图像的切换的需要，从而可以减轻诸如vr病的症状。
[0123]
尽管图8示出了放大情况下的图像处理的示例，但是图像生成单元132在缩小情况下执行类似的处理。将参照图9来描述这一点。图9是示出根据本公开内容的第一实施方式的图像生成处理的示例的图(3)。
[0124]
在图9中，首先，在显示器12上显示放大后的低分辨率图像c02、分割图像a1和分割图像b1。此时，图像生成单元132在时隙1中对球形内容p41进行解码，在时隙2中对分割图像a1进行解码，并且在时隙3中对分割图像b1进行解码(定时t31)。
[0125]
此后，当接收到缩放倍率改变(缩小)时(步骤s31)，图像生成单元132保持在缩放倍率改变之前解码的分割图像中的至少一个分割图像的显示。例如，关于时隙2和3，图像生成单元132从时隙3单独擦除分割图像b1，并且将分割图像a1保留在时隙2中。例如，在多个分割图像中，图像生成单元132保持更靠近用户的视点的一侧的图像(图9的示例中的分割图像a1)，并且擦除更远离用户的视点的一侧的图像(图9的示例中为分割图像b1)。在这种情况下，尽管保持了分割图像a1的显示状态，但是分割图像a1的视角可以与缩放倍率改变一起改变。
[0126]
在定时t32处，图像生成单元132基于缩小后的低分辨率图像c01和保持显示的分割图像a1来生成要在显示器12上显示的图像。在这种情况下，由于保持了作为高分辨率图像的分割图像a1，因此用户可以继续观看高分辨率图像。
[0127]
在由于擦除了分割图像b1而空出的时隙3中，图像生成单元132开始对缩放倍率改变之后的分割图像a1进行解码(定时t33)。在完成对分割图像a1的解码之后(定时t34)，图像生成单元132将分割图像a1叠加在低分辨率图像c01和分割图像a1上，以显示分割图像a1。例如，由于分割图像a1是具有比分割图像a1低分辨率的图像，因此图像的尺寸大于分割图像a1的尺寸。即，分割图像a1被显示在包括显示分割图像a1的位置的较宽区域中。此外，分割图像al是例如最靠近用户的视点位置的位置处的外围区域。
[0128]
在将分割图像al叠加在低分辨率图像c01上之后，图像生成单元132擦除在时隙2中保持的分割图像al(定时t35)。随后，图像生成单元132开始对空闲时隙2中的分割图像b1进行解码(定时t36)。
[0129]
在完成对分割图像b1的解码之后，图像生成单元132生成将分割图像a1和分割图像b1叠加在低分辨率图像c01上的图像(步骤s32)。此时，图像生成单元132在时隙1中对球形内容p41进行解码，在时隙2中对分割图像b1进行解码，并且在时隙3中对分割图像a1进行解码(定时t37)。
[0130]
如上所述，即使在缩小的情况下，图像生成单元132也可以与在放大的情况下一样在在用户的视点附近保持高分辨率的图像的同时改变缩放倍率。
[0131]
[1
‑
3.根据第一实施方式的图像处理的处理]
[0132]
接下来，将参照图10和图11描述根据第一实施方式的图像处理过程。图10是示出根据本公开内容的第一实施方式的处理流程的流程图(1)。
[0133]
如图10所示，在从hmd 10和控制器20接收到的预定操作之后，图像处理装置100开始回放在显示器12上显示的电影(步骤s101)。
[0134]
这里，图像处理装置100基于图像处理装置100和hmd 10的硬件性能来设置要显示的分割图像的最大数目“n”(步骤s102)。数目“n”是任何自然数。例如，当如图7等所示的时隙数是“3”时，要显示的分割图像的最大数目“n”将是通过从3减去与球形内容对应的数目而获得的“2”。
[0135]
图像处理装置100根据操作的回放适当地更新要显示的帧(步骤s103)。例如，图像处理装置100以诸如每秒30次或60次的定时来更新帧(换言之，在显示器12上显示的图像)。
[0136]
这里，图像处理装置100确定是否已经从用户接收到缩放倍率变化(步骤s104)。在已经接收到缩放倍率改变的情况下(步骤s104；是)，图像处理装置100将倍率变为所接收的缩放倍率(步骤s105)。在尚未接收到缩放倍率改变的情况下(步骤s104；否)，图像处理装置100保持当前的缩放倍率。
[0137]
此外，图像处理装置100获取hmd 10的跟踪信息(步骤s106)。这使得图像处理装置100能够确定在下一个定时处要显示的图像的位置(显示在显示器12上的球形内容的位置)。
[0138]
随后，图像处理装置100执行分割图像显示处理(步骤s107)。下面将参照图11描述分割图像显示处理的细节。
[0139]
在完成分割图像显示处理之后，图像处理装置100确定是否已经从用户接收结束操作的回放(步骤s108)。在尚未接收到结束回放的情况下(步骤s108；否)，图像处理装置100继续更新后续帧的处理(步骤s103)。
[0140]
相比之下，在已经接收到结束回放的情况下(步骤s108；是)，图像处理装置100结束电影的回放(步骤s109)。
[0141]
随后，将参照图11描述分割图像显示处理处理。图11是示出根据本公开内容的第一实施方式的处理流程的流程图(2)。
[0142]
如图11所示，图像处理装置100确定当前缩放倍率(在已经从用户接收到缩放倍率变化的情况下为改变之后的缩放倍率)的分割图像的数目与正在解码的分割图像的数目之和是否为n(步骤s201)。
[0143]
在图像之和不是n的情况下(步骤s201；否)，图像处理装置100确定是否正在显示先前缩放倍率(改变之前的缩放倍率)的分割图像(步骤s202)。
[0144]
在正在显示先前缩放倍率的分割图像的情况下(步骤s202；是)，图像处理装置100进一步确定是否正在显示n个分割图像(步骤s203)。
[0145]
在正在显示n个分割图像的情况下(步骤s203；是)，图像处理装置100停止对相对于用户的视线方向远的、以先前缩放倍率显示的分割图像之一进行解码(步骤s204)。即，图像处理装置100停止对正在显示的一个分割图像进行解码，以为时隙留出空间。
[0146]
在没有正在显示先前缩放倍率的分割图像的情况下(步骤s202；否)，在没有显示n个分割图像的情况下(步骤s203；否)，或者在步骤s204之后，图像处理装置100确定是否正在对当前缩放倍率的分割图像进行解码(步骤s205)。
[0147]
在没有对当前缩放倍率的分割图像进行解码的情况下(步骤s205；否)，图像处理装置100对相对于用户的视线方向更近的、当前缩放倍率的分割图像之一进行解码(步骤s206)。
[0148]
在对当前缩放倍率的分割图像进行解码的情况下(步骤s205；是)，在已经执行了步骤s206的处理的情况下，或者在当前缩放倍率的分割图像的数目与被解码的分割图像的数目之和为n的情况下(步骤s201；是)，图像处理装置100使用已经完成解码的图像来生成显示图像(步骤s207)。随后，图像处理装置100将所生成的显示图像发送到hmd 10(步骤s208)。
[0149]
[1
‑
4.第一实施方式的修改例]
[0150]
上述第一实施方式是其中图像处理装置100使用具有诸如第一分辨率或第二分辨率的高分辨率的分割图像来生成图像的示例。这些仅是示例，并且图像处理装置100可以更精细地设置分辨率(例如，设置为四个或五个级别)。
[0151]
此外，以上是图像处理装置100使用诸如低倍率和高倍率之类的缩放倍率的两级设置的示例。但是，缩放倍率可以设置得更精细(例如，三级或四级)。
[0152]
此外，上述图像处理是最大解码数为“3”的示例。例如，在图7至图9的示例中，可以由图像处理装置100解码的图像的数目是“3”(换言之，时隙的数目是“3”)。然而，根据本公开内容的图像处理中的时隙的数目不限于“3”。即，根据本公开内容的图像处理可以应用于任何情况，只要时隙的数目是两个或更多个并且时隙的数目小于使得能够对包括在宽视角图像中的所有分割图像进行并行解码的数目即可。
[0153]
此外，第一实施方式描述了图像处理装置100以较高的优先级将显示在最接近用户的视点的位置处的分割图像进行解码的示例。在此，图像处理装置100可以通过使用用户视点以外的元素来确定分割图像的解码顺序。
[0154]
例如，图像处理装置100可以以更高的优先级对位于显示器12上显示的图像的中心处的分割图像进行解码。此外，在存在用户预先指定的位置的情况下，图像处理装置100可以以更高的优先级对与指定位置对应的分割图像进行解码。
[0155]
此外，第一实施方式已经描述了其中在用户请求缩放倍率改变的情况下，即在用户请求改变正在显示的图像的视角的情况下，执行根据本公开内容的图像处理的示例。然而，即使在请求缩放倍率改变的情况以外的情况下，图像处理装置100也可以执行根据本公开内容的图像处理。
[0156]
例如，在显示器12上显示的图像是流电影的情况下，可能会遇到在电影回放期间传输状态改变并且需要改变图像质量的情况。即使在这种图像质量改变的情况下，图像处理装置100也可以通过使用本公开内容的图像处理来防止发生频繁交替的低分辨率图像和高分辨率图像的显示。
[0157]
第一实施方式已经描述了其中图像处理装置100执行将低于3倍的缩放定义为低倍率缩放并且将3倍或更高的缩放定义为高倍率的处理的示例。这仅是示例，并且图像处理装置100可以基于任意设置的倍率(视角)来执行根据本公开内容的图像处理。
[0158]
(2.第二实施方式)
[0159]
接下来，将描述第二实施方式。第一实施方式已经描述了其中图像处理装置100(执行相对复杂的处理的装置)和hmd 10协同执行处理的示例。然而，当其配备有显示器时，
根据本公开内容的图像处理可以仅由hmd 10执行。在这种情况下，根据本公开内容的图像处理装置由hmd 10表示。
[0160]
在这种情况下，根据第二实施方式的图像处理系统2包括控制器20和hmd 10。此外，hmd 10包括被配置成单独地执行与由根据图1所示的图像处理装置100的控制单元130执行的处理相同的处理的处理单元。hmd 10包括。换言之，hmd 10包括用于执行实现根据本公开内容的图像处理的程序的各个处理单元。
[0161]
hmd 10不必包括存储单元120。在这种情况下，hmd 10经由网络从预定的存储服务器获取各种类型的内容，该预定存储服务器保存球形内容以及与球形内容对应的高分辨率图像。
[0162]
如上所述，在第二实施方式中，hmd 10是具有用于显示各种类型的内容的显示器12并且被配置成执行生成要在显示器12上显示的图像的处理的信息装置。例如，hmd 10可以是通过将智能手机等插入到眼镜形状的壳体中而实现的智能手机vr眼镜。
[0163]
以这种方式，根据第二实施方式的hmd 10用作执行根据本公开内容的图像处理的图像处理装置。即，hmd 10可以在不依赖于图像处理装置100等的情况下作为独立装置执行根据本公开内容的图像处理。此外，根据第二实施方式的hmd 10使得可以作为独立操作来实现包括诸如在显示器12上显示通过根据本公开内容的图像处理生成的图像的显示控制处理的处理。通过该配置，根据第二实施方式的hmd 10可以利用简单的系统配置来实现根据本公开内容的图像处理。
[0164]
尽管上面已经描述了使用hmd 10的示例性情况，但是被实现为独立装置的装置可以是图像处理装置100。例如，图像处理装置100可以包括外部显示器作为显示单元，并且还可以包括与显示控制单元18对应的处理单元。这使得图像处理装置100可以显示根据本公开内容的图像处理生成的图像，从而将该装置实现为独立装置。
[0165]
(3.其他实施方式)
[0166]
除了上述每个实施方式之外，还可以以各种不同的形式(变型)执行根据上述每个实施方式的处理。
[0167]
例如，在上述每个实施方式中，示出了球形内容作为宽视角图像。然而，根据本公开内容的图像处理可以应用于除球形内容之外的内容。例如，根据本公开内容的图像处理可以应用于具有比显示器12的可显示区域宽的面积的全景图像或全景电影。此外，图像处理还可以应用于在180度范围内形成的(例如半球内容的)vr图像和vr电影。宽视角图像不限于静止图像和电影，而可以是例如在计算机图形(cg)中创建的游戏内容。
[0168]
此外，根据本公开内容的图像处理已被描述为基于与佩戴hmd 10等的用户的运动有关的信息(有关头部姿势或视线方向的倾斜度的信息)来指定要在显示器12上显示的区域的处理。然而，关于用户的运动的信息不限于上述信息。例如，在智能电话、平板终端等上显示球形内容的情况下，在某些情况下，用户通过在屏幕上进行触摸操作或者使用输入装置(鼠标、触控板等)来选择显示区域。在这种情况下，关于用户的运动的信息包括与触摸操作对应的信息以及经由输入装置输入的信息。此外，用户的运动速度包括诸如与触摸操作对应的手指的运动速度(换言之，平板终端中的指示器的运动速度)、经由输入装置的指示器的运动速度等的信息。另外，关于用户的运动的信息包括当用户移动或者使平板终端倾斜时由平板终端中包括的传感器检测到的信息。此外，由传感器检测到的信息可以包括例
1400将根据本公开内容的图像处理程序或数据存储在存储单元120中。作为另一个示例，在cpu 1100执行从hdd 1400读取的程序数据1450的同时，cpu 1100可以经由外部网络1550从其他装置获取这些程序。
[0181]
注意，本技术还可以具有以下配置。
[0182]
(1)一种图像处理装置，包括：
[0183]
接收单元，其接收针对在显示单元上显示的宽视角图像的指定区域中包括的局部图像从第一视角到第二视角的变化；以及
[0184]
图像生成单元，在所述接收单元已经接收到视角变化的情况下，所述图像生成单元保持多个第一图像中的至少一个第一图像的显示，所述第一图像均具有与所述宽视角图像的分辨率不同的第一分辨率并且在变为所述第二视角之前已经被解码，以及在保持所述至少一个第一图像在所述显示单元上的显示的同时对第二图像执行解码，所述第二图像是在变为所述第二视角之后在所述显示单元上显示的并且具有与所述第一图像的分辨率不同的第二分辨率的图像。
[0185]
(2)根据(1)所述的图像处理装置，
[0186]
其中，当所述第二图像的解码完成时，所述图像生成单元将已经在所述显示单元上被保持显示的所述第一图像替换为已经完成了解码的所述第二图像，以更新所述局部图像。
[0187]
(3)根据(2)所述的图像处理装置，
[0188]
其中，在将已经在所述显示单元上被保持显示的所述第一图像用已经完成了解码的所述第二图像替换之后，所述图像生成单元对具有所述第二分辨率的另一第二图像进行解码。
[0189]
(4)根据(1)至(3)中任一项所述的图像处理装置，
[0190]
其中，所述接收单元接收从所述第一视角到比所述第一视角窄的第二视角的变化，并且
[0191]
在所述接收单元已经接收到视角变化的情况下，所述图像生成单元保持所述多个第一图像中的至少一个第一图像在所述显示单元上的显示，以及在保持所述至少一个第一图像在所述显示单元上的显示的同时对第二图像执行解码，所述第二图像具有高于所述第一分辨率的第二分辨率。
[0192]
(5)根据(1)至(3)中任一项所述的图像处理装置，
[0193]
其中，所述接收单元接收从所述第一视角到比所述第一视角宽的第二视角的变化，并且
[0194]
在所述接收单元已经接收到视角变化的情况下，所述图像生成单元保持所述多个第一图像中的至少一个第一图像在所述显示单元上的显示，以及在保持所述至少一个第一图像在所述显示单元上的显示的同时对第二图像执行解码，所述第二图像具有低于所述第一图像的分辨率的第二分辨率。
[0195]
(6)根据(1)至(5)中任一项所述的图像处理装置，
[0196]
其中，所述接收单元接收与朝向所述区域的用户的视点有关的信息，并且
[0197]
所述图像生成单元基于与所述用户的视点有关的信息来确定要在到所述第二视角的所述变化之前显示的所述多个第一图像中的哪个第一图像要被保持。
[0198]
(7)根据(6)所述的图像处理装置，
[0199]
其中，所述图像生成单元确定以较高优先级来保持到所述第二视角的所述变化之前显示的所述多个第一图像中的更靠近所述用户的视点的第一图像。
[0200]
(8)根据(1)至(7)中任一项所述的图像处理装置，
[0201]
其中，所述接收单元基于用户的区域指定信息来确定要在所述显示单元上显示的所述宽视角图像的所述区域。
[0202]
(9)根据(8)所述的图像处理装置，
[0203]
其中，所述显示单元是用户佩戴在头上的显示器，并且
[0204]
所述接收单元基于佩戴所述显示器的用户的视点或姿势信息来确定要在所述显示单元上显示的所述宽视角图像的所述区域。
[0205]
(10)根据(1)至(9)中任一项所述的图像处理装置，
[0206]
其中，所述宽视角图像是球形内容、半球形内容或全景图像中的至少一个，并且
[0207]
所述接收单元接收针对在所述球形内容、所述半球形内容或所述全景图像中的至少一个中指定的区域中包括的局部图像从所述第一视角到所述第二视角的变化。
[0208]
(11)根据(1)至(10)中任一项所述的图像处理装置，
[0209]
其中，所述接收单元通过从用户使用的输入装置接收的信号来接收从所述第一视角到所述第二视角的变化。
[0210]
(12)根据(1)至(11)中任一项的图像处理装置，还包括
[0211]
显示控制单元，其控制在所述显示单元上的由所述图像生成单元生成的图像的显示。
[0212]
(13)一种图像处理方法，包括：由计算机执行包括以下的处理：
[0213]
接收针对在显示单元上显示的宽视角图像的指定区域中包括的局部图像从第一视角到第二视角的变化；以及
[0214]
在已经接收到从所述第一视角到所述第二视角的变化的情况下，保持多个第一图像中的至少一个第一图像的显示，所述第一图像均具有与所述宽视角图像的分辨率不同的第一分辨率并且在变为所述第二视角之前已经被解码，并且在保持所述至少一个第一图像在所述显示单元上的显示的同时对第二图像执行解码，所述第二图像是在变为所述第二视角之后在所述显示单元上显示的并且具有与所述第一图像的分辨率不同的第二分辨率的图像。
[0215]
(14)一种图像处理程序，使计算机用作：
[0216]
接收单元，其接收针对在显示单元上显示的宽视角图像的指定区域中包括的局部图像从第一视角到第二视角的变化；以及
[0217]
图像生成单元，在所述接收单元已经接收到视角变化的情况下，所述图像生成单元保持多个第一图像中的至少一个第一图像的显示，所述第一图像均具有与所述宽视角图像的分辨率不同的第一分辨率并且在变为所述第二视角之前已经被解码，以及在保持所述至少一个第一图像在所述显示单元上的显示的同时对第二图像执行解码，所述第二图像是在变为所述第二视角之后在所述显示单元上显示的并且具有与所述第一图像的分辨率不同的第二分辨率的图像。
[0218]
附图标记列表
[0219]1ꢀꢀ
图像处理系统
[0220]
10
ꢀꢀ
hmd
[0221]
11
ꢀꢀ
传感器
[0222]
12
ꢀꢀ
显示器
[0223]
15
ꢀꢀ
检测器
[0224]
16
ꢀꢀ
发送单元
[0225]
17
ꢀꢀ
接收单元
[0226]
18
ꢀꢀ
显示控制单元
[0227]
20
ꢀꢀ
控制器
[0228]
100
ꢀꢀ
图像处理装置
[0229]
110
ꢀꢀ
通信单元
[0230]
120
ꢀꢀ
存储单元
[0231]
121
ꢀꢀ
低分辨率图像存储单元
[0232]
122
ꢀꢀ
低倍率缩放图像存储单元
[0233]
123
ꢀꢀ
高倍率缩放图像存储单元
[0234]
130
ꢀꢀ
控制单元
[0235]
131
ꢀꢀ
接收单元
[0236]
132
ꢀꢀ
图像生成单元
[0237]
133
ꢀꢀ
发送单元