显示控制设备、显示控制方法和计算机可读介质与流程

本发明涉及显示控制设备。

背景技术：

近年来，广泛使用能够拍摄诸如全方位图像或天球图像等的具有比人类的视角宽的区域的图像的摄像设备。另外，还已知有如下的方法：通过将具有这样的宽区域的图像的一部分显示在显示单元中、并且响应于设备的姿势的变化而改变显示单元中所显示的图像的区域(显示区域)，来进行提供高沉浸感和高现实感的显示。

日本特开2011-40898公开了如下的技术：进行图像再现，使得基于天球图像中所包括的拍摄时的方向信息，将特定方向显示为图像的中心。另外，在再现天球图像时，在该方向相对于通过天顶和天底的轴自动改变的同时，转动并显示天球图像。

技术实现要素：

存在使用能够拍摄天球图像的照相机来拍摄星空的图像的情况。星体受到地球自转的影响，并且进行星体绕地球的地轴向西旋转的周日运动(diurnalmotion)。北极星位于通过向北延伸地球的地轴所获得的位置，因而特别是在北方天空，星体似乎绕北极星逆时针地移动。然而，即使在使用上述的传统技术时，也仅在方向相对于通过天顶和天底的轴改变的情况下才水平地转动并显示天球图像。因此，观看者不能在天球图像中容易地观察到星体所进行的周日运动的状态。

为了应对该情况，本发明提供了进行再现、使得在星空的天球图像中可以容易地观察到星体的周日运动。

本发明在其第一方面中提供一种显示控制设备，包括：

轴检测单元，其被配置为基于图像来检测转动轴，所述图像中包括的作为被摄体的天体响应于地球自转而围绕所述转动轴转动；以及

控制单元，其被配置为进行控制，使得将所述图像的部分区域显示为显示区域，并且通过在绕与所述轴检测单元所检测到的转动轴相对应的位置改变与所述显示区域相对应的角度的情况下改变所述显示区域，来进行转动显示。

本发明在其第二方面中提供一种显示控制方法，包括：

基于图像来检测转动轴，所述图像中包括的作为被摄体的天体响应于地球自转而围绕所述转动轴转动；以及

进行控制，使得将所述图像的部分区域显示为显示区域，并且通过在绕与所检测到的转动轴相对应的位置改变与所述显示区域相对应的角度的情况下改变所述显示区域，来进行转动显示。

本发明在其第三方面中提供一种程序，其使计算机用作上述的显示控制设备的各单元。本发明在其第四方面中提供一种存储有程序的计算机可读介质，所述程序使计算机用作上述的显示控制设备的各单元。

根据本发明，可以进行再现，使得在星空的天球图像中可以容易地观察到星体的周日运动。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1a和图1b各自是根据本实施例的数字照相机的外观图，并且图1c是根据本实施例的数字照相机的框图；

图2a是根据本实施例的显示设备的外观图，图2b是根据本实施例的显示设备的框图，并且图2c是根据本实施例的vr眼镜(goggle)的外观图；

图3是示出根据本实施例的显示设备的处理的流程图；以及

图4a是示出根据本实施例的vr图像的示例的图，并且图4b至图4g各自是示出根据本实施例的显示画面的示例的图。

具体实施方式

以下将参考附图来说明本发明的优选实施例。图1a是数字照相机100(摄像设备)的正面立体图(外观图)。图1b是数字照相机100的背面立体图(外观图)。数字照相机100是用于拍摄全方位图像(天球图像)的照相机(全方位照相机；天球照相机)。

挡板102a是具有数字照相机100的前方的范围作为拍摄范围的前方照相机单元所用的保护窗。前方照相机单元例如是具有数字照相机100的前方的上下方向和左右方向各自上的不小于180度的宽范围作为拍摄范围的广角照相机单元。挡板102b是具有数字照相机100的后方的范围作为拍摄范围的后方照相机单元所用的保护窗。后方照相机单元例如是具有数字照相机100的后方的上下方向和左右方向各自上的不小于180度的宽范围作为拍摄范围的广角照相机单元。

显示单元28显示图像和各种信息。快门按钮61是用于提供拍摄指示的操作单元(操作构件)。模式切换开关60是用于在各种模式之间切换的操作单元。连接i/f25是用于将连接线缆连接至数字照相机100的连接器，并且诸如智能电话、个人计算机和电视设备等的外部设备通过使用连接线缆连接至数字照相机100。操作单元70是用于接收来自用户的各种操作的各种开关、按钮、拨盘或触摸传感器。电源开关72是用于使电源在接通(on)状态和断开(off)状态之间切换的推式按钮。

发光单元(发光构件)21是发光二极管(led)等，并且发光单元21通过使用发光模式和发光颜色来向用户通知数字照相机100的各种状态。固定单元40是例如三脚架螺纹孔，并且用于用诸如三脚架等的固定装置来固定和安装数字照相机100。

图1c是示出数字照相机100的结构的示例的框图。

挡板102a覆盖前方照相机单元的摄像系统(摄像透镜103a、快门101a和摄像单元22a)，以由此防止摄像系统被污染或损坏。摄像透镜103a是包括变焦透镜和调焦透镜的透镜组，并且是广角透镜。快门101a是具有调整入射到摄像单元22a上的被摄体光量的光圈功能的快门。摄像单元22a是包括用于将光学图像转换成电气信号的ccd或cmos器件的摄像装置。a/d转换器23a将从摄像单元22a输出的模拟信号转换成数字信号。注意，代替设置挡板102a，摄像透镜103a的外表面可以暴露，并且可以利用摄像透镜103a防止其它摄像系统(快门101a和摄像单元22a)被污染或损坏。

挡板102b覆盖后方照相机单元的摄像系统(摄像透镜103b、快门101b和摄像单元22b)，以由此防止摄像系统被污染或损坏。摄像透镜103b是包括变焦透镜和调焦透镜的透镜组，并且是广角透镜。快门101b是具有调整入射到摄像单元22b上的被摄体光量的光圈功能的快门。摄像单元22b是包括用于将光学图像转换成电气信号的ccd或cmos器件的摄像装置。a/d转换器23b将从摄像单元22b输出的模拟信号转换成数字信号。注意，代替设置挡板102b，摄像透镜103b的外表面可以暴露，并且可以利用摄像透镜103b防止其它摄像系统(快门101b和摄像单元22b)被污染或损坏。

利用摄像单元22a和摄像单元22b拍摄虚拟现实(vr)图像。假定vr图像是能够进行vr显示的图像。假定vr图像包括由全方位照相机(天球照相机)拍摄到的全方位图像(天球图像)、以及具有比在显示单元中可以一次显示的显示区域宽的图像区域(有效图像区域)的全景图像。除静止图像之外，vr图像还包括视频和实时取景图像(从照相机基本上实时地获取到的图像)。vr图像具有与在上下方向(垂直角度、从天顶起的角度、仰角、俯角和高度角)上为360度并且在左右方向(水平角度、方位角度)上为360度的视野相对应的最大图像区域(有效图像区域)。

另外，vr图像被认为包括如下的图像：即使该图像具有在上下方向上小于360度的角度或者在左右方向上小于360度的角度，该图像也具有比通常照相机的视角宽的视角(视野区域)、或者具有比在显示单元中可以一次显示的显示区域宽的图像区域(有效图像区域)。例如，由天球照相机所拍摄到的图像是一种vr图像，该天球照相机能够拍摄与左右方向上的角度(水平角度、方位角度)为360度且以天顶为中心的垂直角度为210度的视野(视角)相对应的被摄体的图像。另外，例如，由如下的照相机所拍摄到的图像是一种vr图像，该照相机能够拍摄与左右方向上的角度(水平角度、方位角度)为180度且以水平方向为中心的垂直角度为180度的视野(视角)相对应的被摄体的图像。也就是说，如下的图像是一种vr图像，该图像具有与在上下方向和左右方向各自上不小于160度(±80度)的视野相对应的图像区域、并且具有比人类一次从视觉上可识别的区域宽的图像区域。

在根据vr显示而显示(以显示模式“vr视图”显示)vr图像时，可以通过在左右转动方向上改变显示设备(用于显示vr图像的显示设备)的姿势来观看在左右方向(水平转动方向)上无缝的全方位视频。可以在上下方向(垂直转动方向)上观看在从正上方(天顶)观看时在±105度的范围内无缝的全方位图像，但在从正上方观看时超过105度的范围内的区域是不存在图像的空白区域。vr图像也可被描述为“图像区域是虚拟空间(vr空间)的至少一部分的图像”。

vr显示(vr视图)是能够改变显示区域的显示方法(显示模式)，并且显示vr图像中的与显示设备的姿势相对应的一部分视野区域(显示区域；显示范围)的图像。在利用用作显示设备的头戴式显示器(hmd)观看vr图像的情况下，显示与用户的面部的朝向相对应的视野区域的图像。例如，假定：在vr图像中，在某个时间点处显示在左右方向上以0度的角度(特定方位、例如北)且在上下方向上以90度的角度(从天顶起的90度、即水平)作为中心的视角(视野)的图像。在该状态下，在显示设备的姿势翻转时(例如，在指向南的显示面改变为指向北时)，在同一vr图像中，显示区域改变，并且显示在左右方向上以180度的角度(相反方位、例如南)且在上下方向上以90度的角度(水平)作为中心的视角的图像。在用户观看hmd的情况下，在用户使他/她的面部从北转向南时(即，在用户面向背面时)，hmd上所显示的图像从北向的图像改变为南向的图像。利用上述的vr显示，可以从视觉上给用户带来在vr图像内(在vr空间内)的感觉。安装至vr眼镜(头戴式适配器)的智能电话可被描述为一种hmd。

注意，vr图像的显示方法不限于上述方法。显示区域可以响应于对触摸面板和方向按钮进行的用户操作而不是姿势变化而移动(滚动)。在vr显示时(在vr视图模式时)，可以进行用于响应于姿势变化而改变显示区域的处理、以及用于响应于对触摸面板进行的触摸移动操作或者对诸如鼠标等的操作构件进行的拖动操作而改变显示区域的处理这两者。

图像处理单元24对来自a/d转换器23a和a/d转换器23b的数据或者来自存储器控制单元15的数据进行预定处理(像素插值、诸如大小缩小等的调整大小处理、以及颜色转换处理)。此外，图像处理单元24通过使用所拍摄到的图像数据来进行预定的算术处理。系统控制单元50基于图像处理单元24所获得的算术计算的结果来进行曝光控制和测距控制。这样，进行了使用通过镜头(ttl)方法的自动调焦(af)处理、自动曝光(ae)处理和电子闪光灯预发光(ef)处理。此外，图像处理单元24通过使用所拍摄到的图像数据来进行预定的算术处理，并且基于所获得的算术计算的结果来进行使用ttl方法的自动白平衡(awb)处理。另外，图像处理单元24对a/d转换器23a和a/d转换器23b所获得的两个图像(鱼眼图像)进行基本图像处理，并且通过进行用于对已进行了基本图像处理的两个图像进行合成的图像连接处理来生成单个vr图像。此外，图像处理单元24进行用于在使用实时取景的情况下的vr显示时、或者在再现时进行vr图像的vr显示的图像剪切处理、放大处理和失真校正，并且进行用于在存储器32内的预定存储区域中绘制处理结果的绘制。

在图像连接处理中，图像处理单元24使用两个图像中的一个图像作为基准图像并使用两个图像中的另一图像作为比较图像，通过模式匹配处理来针对各区域计算基准图像和比较图像之间的位移量，并且基于各区域的位移量来检测两个图像彼此连接的连接位置。随后，图像处理单元24在考虑所检测到的连接位置和各光学系统的透镜特性的情况下，通过几何变换来校正各图像的失真。这样，各图像均被转换成天球型的图像。然后，图像处理单元24通过合成(混合)天球型的两个图像来生成一个天球图像(vr图像)。所生成的天球图像是使用例如等距圆柱投影的图像，并且可以将天球图像的各像素的位置与球体(vr空间)的表面上的坐标相关联。

来自a/d转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15、或者经由存储器控制单元15被写入存储器32中。存储器32存储由摄像单元22a和22b获得的并且由a/d转换器23a和23b转换成数字数据的图像数据、以及从连接i/f25要输出至外部显示设备的图像数据。存储器32具有足以存储预定数量的静止图像、预定时间段的视频和声音的存储容量。

另外，存储器32还用作图像显示所用的存储器(视频存储器)。存储器32中所存储的图像显示所用的数据可以从连接i/f25输出至外部显示设备。通过将由摄像单元22a和22b拍摄的、由图像处理单元24生成并累积在存储器32中的vr图像顺次传送至外部显示设备并显示这些vr图像，可以实现作为电子取景器的功能并实现实时取景显示(lv显示)。以下将根据实时取景显示所显示的图像称为实时取景图像(lv图像)。同样，可以通过将存储器32中所累积的vr图像顺次传送至经由通信单元54无线连接的外部设备(智能电话等)并显示这些vr图像来实现实时取景显示(远程lv显示)。

非易失性存储器56是用作电气可擦除/可记录的记录介质的存储器，并且是例如eeprom等。在非易失性存储器56中记录有系统控制单元50的操作所用的常数和程序。这里提到的程序表示用于执行本实施例中的后面所述的各种流程图的计算机程序。

系统控制单元50是具有至少一个处理器或一个电路的控制单元，并且控制整个数字照相机100。系统控制单元50通过执行上述的非易失性存储器56中所记录的程序来实现后面所述的本实施例的各处理。系统存储器52是例如ram，并且系统控制单元50将系统控制单元50的操作所用的常量和变量、以及从非易失性存储器56读取的程序加载到系统存储器52中。另外，系统控制单元50通过控制存储器32、图像处理单元24和存储器控制单元15来进行显示控制。系统计时器53是用于测量各种控制操作所使用的时间和集成时钟的时间的时间测量单元。

模式切换开关60、快门按钮61、操作单元70和电源开关72用于向系统控制单元50输入各种操作指示。

模式切换开关60将系统控制单元50的操作模式切换为静止图像记录模式、视频拍摄模式、再现模式和通信连接模式中的任意模式。静止图像记录模式包括自动拍摄模式、自动场景判断模式、手动模式、光圈优先模式(av模式)、快门速度优先模式(tv模式)和程序ae模式(p模式)。另外，静止图像记录模式包括用作各拍摄场景的拍摄设置的各种场景模式和自定义模式。用户可以使用模式切换开关60将操作模式直接切换到这些模式中的任何模式。可选地，在通过使用模式切换开关60将画面切换到拍摄模式的列表画面之后，可以通过使用其它操作构件将操作模式选择性地切换到显示单元28中所显示的多个模式中的任何模式。同样，视频拍摄模式可以包括多个模式。

快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在快门按钮61的操作的过程中通过所谓的半按下操作(拍摄准备指示)而变为接通(on)，并且生成第一快门开关信号sw1。利用第一快门开关信号sw1，系统控制单元50开始诸如自动调焦(af)处理、自动曝光(ae)处理、自动白平衡(awb)处理或电子闪光灯预发光(ef)处理等的拍摄准备操作。第二快门开关64在快门按钮61的操作完成时通过所谓的全按下操作(拍摄指示)而变为接通，并且生成第二快门开关信号sw2。利用第二快门开关信号sw2，系统控制单元50开始从读取来自摄像单元22a和22b的信号起直到将图像数据写入记录介质150中为止的一系列拍摄处理操作。

注意，快门按钮61不限于能够进行作为全按下操作和半按下操作的两级操作的操作构件，并且也可以是能够进行一级的按下操作的操作构件。在这种情况下，通过一级的按下操作连续地进行拍摄准备操作和拍摄处理。这是与在始终全按下能够进行半按下操作和全按下操作的快门按钮的情况下(在几乎同时生成第一快门开关信号sw1和第二快门开关信号sw2的情况下)的操作相同的操作。

通过选择和操作显示单元28中所显示的各种功能图标和选项来针对各场景适当地向操作单元70分配功能，并且操作构件70用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像给送按钮、跳转按钮、缩小按钮、属性改变按钮和info(信息)按钮。例如，在按下菜单按钮时，在显示单元28中显示可以进行各种设置的菜单画面。用户可以通过在观看显示单元28中所显示的菜单画面的同时操作操作单元70来直观地进行各种设置。

电源开关72是用于使电源在接通状态和断开状态之间切换的推式按钮。电源控制单元80包括电池检测电路、dc-dc转换器、以及用于切换要通电的块的开关电路，并且检测所安装的电池的有无、电池的类型和剩余电池电量。另外，电源控制单元80基于该检测结果和系统控制单元50的指示来控制dc-dc转换器，并且在所需时间段向包括记录介质150的各个单元供给所需电压。电源单元30包括诸如碱性电池或锂电池等的一次电池、诸如nicd电池、nimh电池或li电池等的二次电池、以及ac适配器。

记录介质i/f18是与诸如存储卡或硬盘等的记录介质150的接口。记录介质150是用于记录所拍摄到的图像的诸如存储卡等的记录介质，并且包括半导体存储器、光盘或磁盘。记录介质150可以是能够附接至数字照相机100并从数字照相机100拆卸的可更换记录介质，并且还可以是集成在数字照相机100中的记录介质。

通信单元54在通信单元54和无线地或使用线缆连接至通信单元54的外部设备之间进行图像信号和声音信号的发送和接收。通信单元54可以连接至无线局域网(lan)和因特网，并且可以经由网络与网络上的外部设备(服务器等)进行通信。另外，通信单元54可以使用蓝牙(bluetooth，注册商标)或蓝牙低功耗(bluetoothlowenergy)与外部设备进行通信。通信单元54可以发送摄像单元22a和22b所拍摄到的图像(包括lv图像)以及记录介质150中所记录的图像，并且可以从外部设备接收图像和其它各种信息。

姿势检测单元55检测数字照相机100相对于重力方向的姿势。可以基于姿势检测单元55所检测到的姿势来判断摄像单元22a和22b所拍摄到的图像是由横向保持的数字照相机100拍摄到的图像还是由纵向保持的数字照相机100拍摄到的图像。另外，可以判断摄像单元22a和22b所拍摄到的图像是否是由在诸如横摆方向、俯仰方向或侧倾方向等的转动方向上倾斜的数字照相机100拍摄到的，并且还可以判断倾斜量。系统控制单元50可以将与姿势检测单元55所检测到的姿势相对应的朝向信息添加到摄像单元22a和22b所拍摄到的vr图像的图像文件，并且转动图像(调整图像的朝向使得进行倾斜校正)并记录图像。作为姿势传感器55，可以使用诸如加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等的多个传感器中的一个以上的传感器的组合。还可以通过构成姿势检测单元55的加速度传感器、陀螺传感器和方位传感器来检测数字照相机100的移动(数字照相机100是否平摇、倾斜、抬起或静止)。

麦克风20拾取作为用作视频的vr图像(vr视频)的声音所记录的数字照相机100周围的声音。连接i/f25是连接有hdmi(注册商标)线缆或usb线缆以连接至外部设备并进行图像的发送和接收的连接插头。

图2a是作为根据本实施例的显示控制设备的示例的显示设备200的外观图。显示设备200可以通过使用智能电话等构成。显示单元205显示图像和各种信息。显示单元205是与触摸面板206a一体地构成的，并且可以检测对显示单元205的显示面进行的触摸操作。显示设备200可以在显示单元205中进行数字照相机100等所生成的vr图像(vr内容)的vr显示。操作单元206b是用于接收用于使显示设备200的电源在接通状态和断开状态之间切换的操作的电源按钮。操作单元206c和操作单元206d是用于调高和调低从声音输出单元212输出的声音的音量的音量按钮。操作单元206e是用于使显示单元205显示主画面的主按钮。声音输出端子212a是耳机插孔，并且是用于将声音信号输出至耳机或外部扬声器的端子。扬声器212b是用于输出声音的集成扬声器。

图2b是示出显示设备200的结构的示例的框图。cpu201、存储器202、非易失性存储器203、图像处理单元204、显示单元205、操作单元206、记录介质i/f207、外部i/f209和通信i/f210连接至内部总线250。另外，声音输出单元212和姿势检测单元213连接至内部总线250。连接至内部总线250的各个单元被配置为能够经由内部总线250彼此交换数据。

cpu201是控制整个显示设备200的控制单元，并且包括至少一个处理器或一个电路。存储器202包括例如ram(使用半导体装置的易失性存储器)。cpu201根据例如非易失性存储器203中所存储的程序，通过使用存储器202作为工作存储器来控制显示设备200的各个单元。非易失性存储器203存储图像数据、声音数据、其它数据、以及cpu201的操作所用的各种程序。非易失性存储器203包括例如闪速存储器或rom。

图像处理单元204基于cpu201的控制来对非易失性存储器203或记录介质208中所存储的图像、经由外部i/f209获取到的图像信号、以及经由通信i/f210获取到的图像进行各种图像处理。图像处理单元204所进行的图像处理包括a/d转换处理、d/a转换处理、图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理。另外，图像处理单元204对作为全方位图像或者作为尽管不是全方位图像但具有宽区域数据的宽区域图像的vr图像进行诸如全景展开、映射处理和转换等的各种图像处理。图像处理单元204还可以包括用于进行特定图像处理的专用电路块。另外，根据图像处理的类型，cpu201可以在不使用图像处理单元204的情况下根据程序进行图像处理。

显示单元205基于cpu201的控制来显示图像和构成图形用户界面(gui)的gui画面。cpu201控制显示设备200的各个单元，使得根据程序生成显示控制信号，并且生成要显示在显示单元205中的图像信号并将该图像信号输出到显示单元205。显示单元205基于所生成的图像信号来显示图像。注意，根据本实施例的显示控制设备的结构可以包括直到用于输出要显示在显示单元205中的图像信号的接口为止，并且显示单元205可以包括外部监视器(电视设备或hmd)。

操作单元206是用于接收用户操作的输入装置，其包括诸如键盘等的字符信息输入装置、诸如鼠标或触摸面板等的指点装置、按钮、拨盘、操纵杆、触摸传感器或触摸板。在本实施例中，操作单元206包括触摸面板206a以及操作单元206b、206c、206d和206e。

诸如存储卡、cd或dvd等的记录介质208可以附接至记录介质i/f207或者从记录介质i/f207拆卸。记录介质i/f207基于cpu201的控制，来从附接至记录介质i/f207的记录介质208读取数据并向记录介质208写入数据。例如，作为记录介质208，可以附接记录有数字照相机100所生成的天球图像的记录介质150。在这种情况下，可以从记录介质208读取vr图像的图像信号并将该图像信号显示在显示单元205中。外部i/f209是利用线缆或者无线地连接至外部设备、并且用于进行图像信号和声音信号的输入和输出的接口。通信i/f210是与外部设备和因特网211进行通信、并且用于进行诸如文件和命令等的各种数据的发送和接收的接口。

声音输出单元212输出视频和音乐数据的声音、操作音、铃声和各种通知声音。假定声音输出单元212包括耳机等连接至的声音输出端子212a、以及扬声器212b，但声音输出单元212也可以使用无线通信等进行声音输出。

姿势检测单元213检测显示设备200相对于重力方向的姿势。可以基于姿势检测单元213所检测到的姿势来判断显示设备200横向还是纵向保持、显示设备200指向上还是指向下、以及显示设备200是否倾斜地保持。另外，还可以判断显示设备200在诸如横摆方向、俯仰方向或侧倾方向等的转动方向上的倾斜的有无以及倾斜的量，并且判断显示设备200是否已沿转动方向转动。作为姿势检测单元213，可以使用诸如加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等的多个传感器中的一个以上的传感器的组合。注意，在根据本实施例的显示控制设备与显示设备分开的情况下(在显示单元205是外部监视器的情况下)，姿势检测单元213可以不设置在显示控制设备中、而是设置在显示设备中。

如上所述，操作单元206包括触摸面板206a。触摸面板206a是平坦地形成以堆叠在显示单元205上的输入装置，并且输出与接触位置相对应的坐标信息。cpu201可以检测对触摸面板206a进行的以下操作或者状态。

·没有触摸触摸面板206a的手指或笔新触摸触摸面板206a，即触摸的开始(以下称为“触及”)

·手指或笔触摸触摸面板206a的状态(以下称为“触摸持续”)

·触摸触摸面板206a的手指或笔移动(以下称为“触摸移动”)

·触摸触摸面板206a的手指或笔从触摸面板206a离开，即触摸的结束(以下称为“触摸停止”)

·没有触摸触摸面板206a的状态(以下称为“未触摸”)

在检测到触及时，同时检测到触摸持续。在检测到触及之后，只要未检测到触摸停止，通常继续检测到触摸持续。同样在检测到触摸移动时，同时检测到触摸持续。即使在检测到触摸持续时，在触摸位置没有移动的情况下，也不会检测到触摸移动。在检测到触摸触摸面板的所有手指或笔的触摸停止的情况下，检测到未触摸。

经由内部总线向cpu201通知这些操作和状态以及手指或笔在触摸面板206a上的触摸的位置的位置坐标，并且cpu201基于cpu201已被通知的信息来判断在触摸面板206a上进行了哪个操作(触摸操作)。关于触摸移动，基于位置坐标的变化针对触摸面板206a上的各垂直分量和各水平分量判断手指或笔在触摸面板206a上移动的移动方向。在检测到预定距离以上的触摸移动的情况下，判断为进行了滑动操作。

将使触摸触摸面板206a的手指快速移动一定距离、然后从触摸面板206a离开的操作称为轻拂(flick)。轻拂即是使手指在触摸面板206a上快速滑动使得手指拂过触摸面板206a的操作。在检测到具有预定距离以上并且具有预定速度以上的触摸移动、并且还检测到触摸停止的情况下，可以判断为进行了轻拂(可以判断为在滑动操作之后进行了轻拂)。

此外，将用于同时触摸多个位置(例如，两个点)并使这些触摸位置彼此靠近的触摸操作称为捏合(pinch-in)，并且将使这些触摸位置彼此远离的触摸操作称为分开(pinch-out)。将分开和捏合统称为捏分(pinch)操作(或简称为捏分)。这里所使用的触摸面板206a可以具有诸如以下等的各种触摸面板方式中的任何方式：电阻膜方式、静电电容方式、表面声波方式、红外方式、电磁感应方式、图像识别方式和光学传感器方式。存在用于基于与触摸面板的接触来检测触摸的方式和用于基于手指或笔向触摸面板的接近来检测触摸的方式，并且可以使用任何方式。

图2c是可以安装显示设备200的vr眼镜(头戴式适配器)230的外观图。显示设备200安装至vr眼镜230，由此显示设备200可以用作头戴式显示器。插入口231是显示设备200插入至的插入口。整个显示设备200可以以显示单元205的显示面面向用于将vr眼镜230固定到用户的头部的头部带232的侧(即，用户侧)的状态插入vr眼镜230中。用户在显示设备安装至的vr眼镜230安装在用户的头部上的状态下，可以在无需用手保持显示设备200的情况下观看显示单元205。在这种情况下，在用户移动头部或整个身体时，显示设备200的姿势改变。姿势检测单元213检测此时的显示设备200的姿势变化，并且cpu201基于该姿势变化进行vr显示所用的处理。在这种情况下，姿势检测单元213对显示设备200的姿势的检测等同于对用户的头部的姿势(用户的眼睛面向的方向)的检测。

图3是与显示设备200的图像再现处理相关联的流程图。将非易失性存储器203中所记录的程序(例如，用于进行记录介质208中所记录的vr图像的vr显示的特定应用程序)加载到存储器202中，并且cpu201执行该程序，由此实现图像再现处理。在操作电源按钮206b并且显示设备200的电源变为接通时，cpu201在初始化标志和控制变量之后开始图像再现处理。

在步骤s301中，cpu201获取记录介质208中所存储的vr图像，并将该vr图像的基准区域(预定显示区域)显示在显示单元205中。在本实施例中，与作为预定显示方向的基准方向有关的信息包括在vr图像的元数据中。显示方向是vr显示所用的方向，并且是从由vr图像形成的vr空间的中心向着显示区域的中心的方向。cpu201基于基准方向和vr图像，将具有由基准方向指示(表示)的位置作为中心并且具有与显示单元205的大小相对应的大小的区域作为基准区域显示在显示单元205中。基准方向例如是与拍摄时的数字照相机100的姿势相对应的方向。具体地，基准方向是表示如下位置的方向，其中在该位置处，方位角与前方照相机单元和后方照相机单元中的任一个(例如，前方照相机单元)的光轴一致，并且仰角是水平方向上的角度。基准方向也可以是拍摄时数字照相机100的正面面向的方向。

图4a示出作为包括天体(星空)的vr图像的示例的星空图像401。星空图像401包括北极星402、北极星周围的星体403、北斗七星404和山405。图4b示出步骤s301中所显示的画面的示例。图4b的画面显示星空图像401的部分区域，使得显示北斗七星404。在显示对象是星空图像401并且基准方向指示北斗七星404的位置的情况下，在步骤s301中显示图4b的画面。

在步骤s302中，cpu201显示叠加在步骤s301中所显示的画面上的动画按钮(用于在移动vr图像的同时显示vr图像的按钮)。图4c示出步骤s302中所显示的画面的示例。在图4c的画面中，包括动画按钮411～415的菜单410以叠加在图4b的画面上的方式显示。动画按钮411～415具有vr图像的不同移动。动画按钮414是星空动画按钮，该星空动画按钮用于通过以星空图像为目标的显示处理(用于通过适合于星空图像的移动来显示vr图像的处理；用于通过使星空图像看上去更令人印象深刻的移动来显示vr图像的处理)来显示vr图像。

在步骤s303中，cpu201判断是否对操作单元206进行了用于选择星空动画按钮414的选择操作。在进行了用于选择星空动画按钮414的选择操作的情况下，流程进入步骤s307，并且在未进行该选择操作的情况下，流程进入步骤s304。

在步骤s304中，cpu201判断是否对操作单元206进行了其它操作。在进行了其它操作的情况下，流程进入步骤s305，并且在未进行其它操作的情况下，流程进入步骤s306。在步骤s305中，cpu201进行与所进行的操作相对应的处理(其它处理)。随后，流程进入步骤s306。例如，响应于对触摸面板206a进行的捏分操作而放大或缩小所显示的图像，并且响应于对触摸面板206a进行的滑动操作和显示设备200的姿势变化而改变显示区域。另外，响应于用于选择动画按钮411～413和415中的任何按钮的选择操作，进行在移动vr图像的同时显示vr图像的动画显示。在步骤s306中，cpu201判断是否对操作单元206进行了结束操作(用于结束图像再现处理的操作)。在进行了结束操作的情况下，图像再现处理结束，而在未进行结束操作的情况下，流程进入步骤s303。

将说明步骤s307～s317的处理。在星空图像移动的同时显示星空图像的情况下，在通过使用再现星体的实际移动的移动来进行转动显示时，将会给用户(观察者)留下更深刻的印象。例如，在星空图像中包括北极星的情况下，在自动显示北极星(特征性的星体)存在于的方向时，星空图像看起来令人印象深刻，并且在进行星空图像绕北极星逆时针地(沿与地球自转相对应的方向)转动的转动显示时，星空图像看起来更令人印象深刻。根据步骤s307～s317的处理，可以实现上述的令人印象深刻的转动显示。

在步骤s307中，cpu201进行初始化处理，诸如禁用菜单410的显示、以及(后面所述的)星空判断中所使用的模式图像(模式数据)的获取等。在步骤s308中，cpu201通过将基准方向设置为显示方向来将显示区域改变为基准区域。由于在步骤s305中显示区域有可能从基准区域改变，因此进行步骤s308的处理。通过进行步骤s308的处理，用户始终可以观看相同的转动显示(从基准区域的转动显示)。注意，可以省略步骤s308的处理，并且可以进行从当前显示区域(视野)的转动显示。

在步骤s309中，cpu201判断是否仅星空(天体)包括在视野中。在仅包括星空的情况下，流程进入步骤s310，而在包括除星空以外的被摄体的情况下，流程进入步骤s311。在本实施例中，通过使用上述的模式图像的模式匹配(天体检测)来从所显示的vr图像(至少当前显示区域)中检测天体，并且基于天体检测的结果来判断是否仅星空包括在视野中。注意，也可以基于vr图像的诸如拍摄模式、拍摄时间、拍摄方位(纬度和经度)以及曝光设置等的拍摄参数来进行该判断。

在步骤s310中，cpu201判断北极星是否包括在视野中。在包括北极星的情况下，流程进入步骤s313，并且在不包括北极星的情况下，流程进入步骤s311。基于例如天体检测的结果来判断是否包括北极星。

在不包括北极星的情况下(s310中为“否”)，在步骤s311中，cpu201将vr空间的天顶方向设置为vr图像的转动显示所用的转动轴的方向。在步骤s312中，cpu201将顺时针的转动方向设置为vr图像的转动显示所用的转动方向。

在包括北极星的情况下(s310中为“是”)，在步骤s313中，cpu201检测到北极星方向(在vr空间中通过中心和北极星的方向)，并且将北极星方向设置为vr图像的转动显示所用的转动轴的方向。基于例如天体检测的结果来检测北极星方向。北极星方向的检测也可被描述为“vr图像中所包括的天体响应于地球自转而进行的转动所围绕的转动轴的检测(轴检测)”。在步骤s314中，cpu201将逆时针的转动方向设置为vr图像的转动显示所用的转动方向。

注意，步骤s312和s314中所设置的转动方向不限于上述的转动方向。然而，在步骤s314中设置逆时针的转动方向时，可以再现与星体的实际移动相同的移动。另外，在使步骤s312中所设置的转动方向不同于步骤s314中所设置的转动方向时，与仅改变转动轴的情况相比，转动的变化量增加，因而用户更容易识别出在包括星空作为被摄体的图像中再现星体的实际移动，并且将给用户留下更深刻的印象。

在步骤s315中，cpu201通过在相对于与所设置的转动轴相对应的位置而改变vr图像的显示区域的角度的同时、改变vr图像的显示区域，来在使vr图像沿所设置的转动方向转动的同时显示vr图像(转动显示)。注意，转动速度可以是恒定的，或者也可以随时间的经过而减小或增大。

在步骤s316中，cpu201判断自步骤s315中的转动显示开始起是否经过了预定时间段。在经过了预定时间段的情况下，流程进入步骤s317，并且在未经过预定时间段的情况下，流程进入步骤s309。在步骤s317中，cpu201进行诸如再次显示菜单410等的结束处理(用于结束转动显示的处理)。

将通过使用图4b至图4g来说明在显示对象是星空图像401(图4a)的情况下的显示画面(显示单元205中所显示的画面)的变化。在显示图4c的画面的状态下选择星空动画按钮414时，通过步骤s307的处理禁用菜单410的显示，并且通过步骤s308的处理使显示画面改变为图4b的画面(基准方向上的画面)。

在图4b的画面中除天体以外的被摄体(山405)包括在视野中，将沿天顶方向的轴设置为转动轴(步骤s311)，并且设置顺时针的转动方向(步骤s312)。随后，根据使用所设置的转动轴和所设置的转动方向的转动显示，显示画面改变为图4d的画面。在图4d的画面中除天体以外的被摄体(山405)也包括在视野中，因而转动轴和转动方向不改变，并且显示画面改变为图4e的画面。在图4b、图4d和图4e之间的画面变化中，北斗七星404和山405向画面左侧移动。注意，在仅天体包括在视野中(s309中为“是”)、但不包括北极星(s310中为“否”)的情况下，进行相同的转动显示。

在图4e的画面中，山405从视野完全消失，并且仅北极星402和北极星周围的星体403包括在视野中。结果，转动轴从沿天顶方向的轴切换到沿北极星方向的轴(步骤s313)，并且转动方向从顺时针的转动方向切换到逆时针的转动方向(步骤s314)。随后，根据使用所设置的转动轴和所设置的转动方向的转动显示，显示画面改变为图4f的画面。同样在图4f的画面中仅北极星402和北极星周围的星体403包括在视野中，因而转动轴和转动方向不改变，并且显示画面改变为图4g的画面。在图4e、图4f和图4g之间的画面变化中，北极星402周围的星体403绕北极星402逆时针地旋转。

如上所述，根据本实施例，进行控制，使得基于显示对象图像，检测显示对象图像中所包括的天体响应于地球自转而进行的转动所围绕的转动轴，并且在显示对象图像的显示区域绕所检测到的转动轴转动同时显示该显示区域。这样，在显示对象图像是星空的天球图像的情况下，再现图像，使得可以观察到星体的实际移动，因而可以给用户(观察者)留下更深刻的印象。

注意，在本实施例中，在假定地球的北半球的星空的情况下关注于北极星，但在假定地球的南半球的星空的情况下关注于南极星(南极座)。cpu201可以基于显示对象图像(基于例如用于检测天体的模式匹配的结果或元数据等)来判断图像是在地球的北半球拍摄到的图像还是在地球的南半球拍摄到的图像。另外，cpu201可以进行星空的转动显示，使得在北半球拍摄到的图像逆时针地转动、并且在南半球拍摄到的图像顺时针地转动。具体地，在步骤s310中，可以判断北极星或南极星是否包括在显示区域中。在判断为南极星包括在显示区域中的情况下，在步骤s313中可以设置在vr空间中通过中心和南极星的方向，并且在步骤s314中可以设置顺时针的转动方向。

即使在不包括北极星和南极星的情况下，也可以基于天体的位置关系和拍摄位置(纬度和经度)来检测自转轴(显示对象图像中所包括的天体响应于地球的自转而进行的转动所围绕的转动轴)。因此，在不论是否包括北极星或南极星、都仅星空(天体)包括在显示区域中的情况下，可以进行使用自转轴作为转动轴的转动显示。不论是否仅星空包括在显示区域中，都可以进行使用自转轴作为转动轴的转动显示。注意，在仅星空包括在显示区域中的情况下，可以实现更接近星空的时移视频的令人印象深刻的显示。

可以关注于不同于北极星和南极星的特征性的星体或星座(特定的星体或星座)。在转动显示期间，视野响应于用户操作可以是可改变的。在星空转动显示中，可以向图像添加诸如余像(afterimage)效果等的特殊效果。

在步骤s310中，可以判断特征性的星体或星座(例如，北极星或南极星等)是否包括在“预定区域(显示区域的中央部等)”中。这样，在容易看见特征性的星体或星座的状态下开始星空的转动显示。例如，可以进行北极星位于用户的前方的星空的转动显示。因此，将给用户留下更深刻的印象。

可以从整个显示对象图像中检测特征性的星体或星座，可以使显示方向逐渐接近检测位置的方向，并且在检测位置进入显示区域时，可以开始使用自转轴作为转动轴的转动显示。可以从整个显示对象图像中检测特征性的星体或星座，可以一度将显示方向改变为检测位置的方向，并且可以开始使用自转轴作为转动轴的转动显示。

注意，一个硬件可以进行在以上说明中假定由cpu201进行的上述各种控制操作，或者多个硬件(例如，多个处理器或电路)可以通过分担处理来进行整个设备的控制。

已经基于优选实施例详细说明了本发明，但本发明不限于具体实施例，并且在没有背离本发明的主旨的情况下的各种实施例也包括在本发明中。此外，以上所述的各个实施例仅仅例示本发明的典型实施例，并且这些实施例可以彼此适当组合。

另外，在上述各实施例中，已经通过使用将本发明应用于显示设备的情况作为示例进行了说明，但本发明不限于该示例，并且本发明可以应用于能够进行控制使得将图像显示在显示单元中的任何显示控制设备。例如，本发明可以应用于个人计算机、pda、蜂窝电话终端、便携式图像查看器、打印机设备、数码相框、音乐播放器、游戏机、电子书阅读器和视频播放器。另外，本发明还可应用于电视设备、投影设备、平板终端、智能电话、ai扬声器、家用电器、车载设备和医疗设备。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。