本公开内容涉及控制设备、控制方法和程序。具体地,本公开内容涉及用于对附接到用户身体或者由用户携带的显示设备例如头戴式显示器、即由用户戴在头部的显示器进行显示控制的控制设备、控制方法和程序。
背景技术:
近来,可携带式显示器或者由用户戴在头部的可穿戴式显示器例如头戴式显示器(hmd)已经广泛普及,并且许多用户在移动或者运动期间使用这些可携带式或可穿戴式显示设备。然而,这些可携带式或可穿戴式显示设备会随着用户的移动而振动,从而不利地难以识别显示单元上显示的信息。在识别这样显示的信息时的困难会导致由于注意力分散到周围环境以及诱发视疲劳而造成意外,这可能导致危险情况的发生。
具体地,用户并不需要携带在被用户戴在头上时显示用户观看的视频的显示设备即头戴式显示器(hmd),用户也能够在诸如行走或跑步之类的运动时欣赏喜爱的视频或音乐。另一方面,不利地难以防止由诸如行走或跑步之类的运动所引起的振动,这导致识别在显示单元上显示的信息的难度增加。
此外,头戴式显示器(hmd)具有用户能够用一只眼睛或两只眼睛观察到的显示单元,并且被配置成能够与耳机结合起来控制视觉和听觉。描述了头戴式显示器的结构及原理的现有技术的示例包括专利文献1(jp2011-145488a)。
如上所述,在使用可携带式或可穿戴式显示设备时,如果用户是静止的,则可以在相对稳定的状态下识别显示的信息。然而,如果用户进行诸如行走或跑步之类的动作时,则用户不利地难以识别该显示信息。
引用列表
专利文献
专利文献1:jp2011-145488a
技术实现要素:
技术问题
本公开内容是鉴于以上问题而做出的,本公开内容的目的是提供控制设备、控制方法和程序,其能够使具有移动、包括振动的显示设备能够控制其显示从而防止识别率的降低。显示设备的示例包括被穿戴在用户身体上的可穿戴式类型例如头戴式显示器或者由用户携带的可携带式类型。
问题的解决方案
根据本公开内容的第一方面,提供了一种控制设备,包括:控制器,该控制器被配置成对用户可穿戴式或可携带式显示单元执行显示信息输出控制。控制器设置打开(on)时段和关闭(off)时段,并且对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,该余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,该正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
根据本公开内容的控制设备的一种实施方式,控制器根据持有显示单元的用户的眼球速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。
根据本公开内容的控制设备的一种实施方式,控制器在持有显示单元的用户的眼球速度小于阈值的情况下执行余像考虑脉冲显示并在眼球速度大于或等于阈值的情况下执行正常脉冲显示。
根据本公开内容的控制设备的一种实施方式,控制器基于从传感器信息输入的用户移动信息来计算用户的眼球速度,并且根据计算出的眼球速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。
根据本公开内容的控制设备的一种实施方式,控制设备包括加速度计,以及控制器使用该加速度计的检测信息来计算用户的眼球速度并且根据计算出的眼球速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。
根据本公开内容的控制设备的一种实施方式,显示单元是戴在用户头部的头部可穿戴式显示单元,控制器计算在取决于用户头部的上下移动而生成的眼球移动期间的眼球移动速度,并且根据计算出的眼球移动速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。
根据本公开内容的控制设备的一种实施方式,控制器执行一个打开(on)时段被设置成小于或等于10ms的脉冲显示。
根据本公开内容的控制设备的一种实施方式,显示单元是具有透镜的显示单元,该透镜用于在比显示表面更加远离用户眼球的位置处设置虚拟观察位置。
根据本公开内容的第二方面,提供了一种控制设备,包括:控制器,该控制器被配置成对用户可穿戴式或可携带式显示单元执行显示信息输出控制。控制器对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在保持显示中连续地执行至显示单元的显示信息输出,而在脉冲显示中重复打开(on)时段和关闭(off)时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
根据本公开内容的控制设备,控制器根据持有显示单元的用户的眼球速度来执行保持显示与脉冲显示之间的切换控制。
根据本公开内容的控制设备,控制器在持有显示单元的用户的眼球速度小于阈值的情况下执行保持显示并在眼球速度大于或等于阈值的情况下执行脉冲显示。
根据本公开内容的控制设备,控制器基于从传感器信息输入的用户移动信息来计算用户的眼球速度并且根据计算出的眼球速度来执行保持显示与脉冲显示之间的切换控制。
根据本公开内容的控制设备,控制设备包括加速度计,控制器使用该加速度计的检测信息来计算用户的眼球速度并且根据计算出的眼球速度来执行保持显示与脉冲显示之间的切换控制。
根据本公开内容的控制设备,显示单元是戴在用户头部的头部可穿戴式显示单元,控制器计算在取决于用户头部的上下移动而生成的眼球移动期间的眼球移动速度,并且根据计算出的眼球移动速度来执行保持显示与脉冲显示之间的切换控制。
根据本公开内容的控制设备,控制器在执行脉冲显示时执行一次打开(on)时段被设置成小于或等于10ms的脉冲显示。
根据本公开内容的控制设备,显示单元是具有透镜的显示单元,该透镜用于在比显示表面更加远离用户眼球的位置处设置虚拟观察位置。
根据本公开内容的第三方面,提供了一种由控制设备对用户可穿戴式或可携带式显示单元执行的控制方法,该方法包括:由控制器设置打开(on)时段和关闭(off)时段,并且由控制器对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,该余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,该正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
根据本公开内容的第四方面,提供了一种由控制设备对用户可穿戴式或可携带式显示单元执行的控制方法,该方法包括:由控制器对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在保持显示中连续地执行至显示单元的显示信息输出,而在脉冲显示中重复打开(on)时段和关闭(off)时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
根据本公开内容的第五方面,提供了一种用于使控制设备对用户可穿戴式或可携带式显示单元进行控制的程序,该程序使得控制设备设置打开(on)时段和关闭(off)时段,并且对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,该余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,该正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
根据本公开内容的第六方面,提供了一种用于使控制设备对用户可穿戴式或可携带式显示单元进行控制的程序,该程序使控制设备对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在保持显示中连续地执行至显示单元的显示信息输出,而在脉冲显示中重复打开(on)时段和关闭(off)时段,打开(on)时段是显示信息向显示单元输出的时段,关闭(off)时段是显示信息不向显示单元输出的时段。
注意,根据本公开内容的程序例如是可以设置在存储介质或通信介质中的程序,该程序以计算机可读形式被提供用于能够执行各种类型的程序代码的图像处理设备或计算机系统。以计算机可读形式提供这种程序使得在信息处理设备或者计算机系统中可以实现根据该程序的处理。
稍后将通过基于本公开内容的实施方式和附图的更详细的说明来使本公开内容的目的、特征和优点清楚。此外,本说明书中的系统不限于逻辑上聚集全部包括在同一壳体内的多个设备的配置。
发明的有益效果
根据本公开内容的一个实施方式的配置,实现了使用户可穿戴式或可携带式显示单元的可视性得到提高的显示信息输出控制。
更具体地,包括对用户可穿戴式或可携带式显示单元执行显示信息输出控制的控制器。控制器设置打开(on)时段和关闭(off)时段,该打开(on)时段是显示信息作为输出至显示单元的显示信息向显示单元输出的时段,该关闭(off)时段是显示信息的非输出时段。控制器控制余像考虑脉冲显示与正常脉冲显示之间的切换,在该余像考虑脉冲显示中,关闭时段被设置在余像识别时段内,在该正常脉冲显示中,关闭时段被设置成长于或等于余像识别时段。控制器根据用户的眼球移动速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。如果用户的眼球速度小于阈值,则进行余像考虑脉冲显示,而如果用户的眼球速度大于或等于阈值,则进行正常脉冲显示。
此外,本说明书中描述的效果仅仅是示例而非限制性的,此外还可以有其他的效果。
附图说明
[图1]图1是被示出用于描述头戴式显示器的示例性配置的图。
[图2]图2是被示出用于描述使显示设备的可视性劣化的因素的图。
[图3]图3是被示出用于描述用于使显示单元上的图像在一定距离处虚拟可见的技术的示例的图。
[图4]图4是被示出用于描述使用用于使显示字符以闪烁模式进行显示的应用程序来评估识别程度的实验的图。
[图5]图5是被示出用于描述显示单元上的间歇显示(脉冲显示)的图。
[图6]图6是被示出用于描述将具有能够进行脉冲显示的显示单元的头戴式显示器附接到实验对象(用户)并且在进行各种运动和动作的同时查阅显示单元的显示信息的实验的图。
[图7]图7是被示出用于描述在行走期间保持注视稳定的头部移动及眼球移动的图。
[图8]图8是被示出用于描述在行走期间的眼球移动速度(角速度)的计算处理的示例的图。
[图9]图9是被示出用于描述在跑步期间的眼球移动速度(角速度)的计算处理的示例的图。
[图10]图10是被示出用于描述眼球移动速度与可视性劣化程度之间的对应关系的图。
[图11]图11是被示出用于描述根据在进行行走、低速跑步和高速跑步三种类型的运动期间的眼球移动速度和信息显示时间所发生的字符偏移量以及用于描述通过分析可识别的字符的尺寸而获得的结果的图。
[图12]图12是汇总了根据图11所示的结果而获得的两个分析结果的图。
[图13]图13是被示出用于描述根据穿戴着或携带着诸如头戴式显示器的人可穿戴式或可携带式显示设备的用户的各种运动状态而进行的显示控制的示例的图。
[图14]图14是被示出用于描述在各个用户状态下设置显示模式和显示信息的示例的图。
[图15]图15是示出了在行走和跑步期间的眼球位置(方向角)、移动速度(角速度)和眼球速度为0的图。
[图16]图16是被示出用于描述在执行脉冲显示的情况下的显示控制的示例的图,其中,在行走期间眼球速度变得基本为零的时间点打开(on)显示单元上的显示。
[图17]图17是被示出用于描述在执行脉冲显示的情况下的显示控制的示例的图,其中,在跑步期间眼球速度变得基本为零的时间点打开(on)显示单元上的显示。
[图18]图18是被示出用于描述用于根据背景视场的亮度来检查脉冲显示中的光量控制的实验设备的图。
[图19]图19是被示出用于描述使用图18所示的实验设备进行实验的结果的图。
[图20]图20是示出了通过将实际测量到的显示亮度转换成在超过4000nt的环境下所需亮度的一帧平均亮度(1帧=16.67ms)而获得的曲线图的图。
[图21]图21是示出了被示出为通过将横轴上设置成外部环境的环境亮度并且将纵轴设置成作为显示单元的显示信息所使用的帧的一帧平均亮度来描述用于环境亮度所需的显示单元的亮度的曲线图的图。
[图22]图22是示出了用于描述保持显示与脉冲显示之间的切换控制的基本流程的流程图的图。
[图23]图23是示出了用于描述运动情况确定处理流程的流程图的图。
[图24]图24是示出了用于描述在静止时或在执行低周期性运动期间的显示控制流程的流程图的图。
[图25]图25是示出了用于描述在执行高周期性运动时的显示控制流程的流程图的图。
[图26]图26是示出了用于描述在执行非周期性运动时的显示控制流程的流程图的图。
[图27]图27是被示出用于描述余像考虑脉冲显示的具体示例的图。
[图28]图28是被示出用于描述在各个用户状态下设置显示模式和显示信息的示例的图。
[图29]图29是示出了用于描述在根据显示设备上的显示是被设置成余像考虑脉冲显示还是正常脉冲显示而进行交替处理的情况下的基本显示控制流程的流程图的图。
[图30]图30是示出了用于描述在显示设备上的显示被设置成余像考虑脉冲显示的情况下的显示参数的设置和显示控制流程的流程图的图。
[图31]图31是被示出用于描述本公开内容的控制设备的示例性硬件配置的图。
具体实施方式
下面将参照附图来详细描述根据本公开内容的实施方式的控制设备、控制方法和程序。将按照以下项目顺序来进行描述。
1.头戴式显示器的示例性配置
2.显示信息的可视性劣化的因素及测试
3.对防止可视性劣化的考虑
4.对由于余像和追踪性眼球移动(视网膜滑动)而造成的可视性劣化的考虑
5.通过脉冲显示防止可视性劣化
6.通过脉冲显示的可视性改进的原理
7.用于根据用户的移动来执行控制的配置
8.脉冲显示中的显示定时的控制
9.显示单元的亮度的控制
10.显示控制的处理流程
10-1.保持显示与脉冲显示之间的切换控制的基本流程
10-2.运动情况确定处理流程
10-3.在静止时或在执行低周期性运动时的显示控制流程
10-4.在执行高周期性运动时的显示控制流程
10-5.在执行非周期性运动时的显示控制流程
11.正常显示与余像考虑脉冲显示之间的示例性切换处理,在余像考虑脉冲显示中,非显示时段设置在余像识别时段以内。
12.控制设备的示例性硬件配置
13.本公开内容的配置的小结
[1.头戴式显示器的示例性配置]
对作为根据本公开内容的一种实施方式的显示设备的示例的头戴式显示器(hmd)的示例性配置进行描述。图1是示出了戴着头戴式显示器(hmd)10的用户的图。头戴式显示器10具有能够被戴在用户头部的配置。图中所示的头戴式显示器10在用户的右眼侧设置有显示单元11但是在左眼侧没有设置显示器。显示单元11具有不覆盖眼球前表面的配置。这样的配置使得用户能够在正常条件下观察前方的外面的世界而不通过显示单元11。
因此,在一个示例中,用户可以在戴着头戴式显示器10时行走(持续行走)、跑步(持续跑步)或者骑自行车或摩托车。用户可以通过在进行这些运动等时暂时地将视线移动到显示单元11上来查阅显示单元11上显示的信息。换言之,可以在进行诸如行走或跑步之类的动作时通过不时地移动视线来查阅显示信息。
此外,显示信息的示例包括指示当前位置的地图信息、有关温度和湿度的信息以及有关用户心率的信息。头戴式显示器10设置有用于获取这些信息的各种类型的传感器,并且基于传感器感测的信息生成显示信息,以及在控制器15的控制下进行显示处理。
此外,除显示单元11之外,头戴式显示器10在左耳和右耳的相应位置处设置有扬声器12l和12r,这些扬声器输出与显示单元11上显示的信息对应的声音。在控制器15中对要在显示单元11上显示的信息执行控制并且对要从扬声器12l和12r输出的声音执行控制。
[2.显示信息的可视性劣化的因素及测试]
当用户在观看可携带式或可穿戴式显示设备诸如图1所示的头戴式显示器10上显示的信息时,如果用户是静止的,则用户可以在相对稳定的状态下查阅显示信息。然而,当用户在观看显示单元的同时还在进行诸如行走或跑步之类的动作时,无法立即识别显示信息,即,不利地难以识别显示信息。
使得难以在运动期间识别头戴式显示器(hmd)等上显示的信息的因素大致分为以下两类:
(1)头戴式显示器(hmd)的主单元的晃动
(2)人眼球的移动
由于“(1)头戴式显示器(hmd)的主单元的晃动”而造成的可视性劣化是由于眼球相对于头戴式显示器(hmd)的显示单元的位置未对准或者振动而导致显示器物理地移动到视场外面而造成的可视性的劣化,或者由于振动速度较快的事实而造成的可视性的劣化。
此外,由于“(2)人眼球的移动”而造成的可视性劣化具体地基于如下所述的多个生物反应。换言之,可视性劣化是由于“前庭眼球运动(vestibulareyemotion)”、“眼球扫视移动(saccadiceyemovement)”和“聚焦(focusing)”或“追踪性眼球移动(pursuiteyemovement)”而引起的,其中在“前庭眼球运动”中眼球会响应于人无意识进行的身体部位的移动而反射性地移动,在“眼球扫视移动”中眼球进行移动以获取关于周边视场的信息,“聚焦”或“追踪性眼球移动”是为感知或识别对象而进行的。
基于这些因素,针对可视性劣化的现有对策的示例包括如下。针对“(1)头戴式显示器(hmd)的主单元的晃动”,存在有效的物理对策,该对策中将显示设备牢固地固定到头部,并且使用准直光透镜。这种措施对于足够轻的显示单元或者对于从外部施加的“力”较小而言有效。然而,如果从外部施加的“力”较大例如加速度大于或等于预定值,则晃动幅度增加并且晃动不保持在固定方向上,在一个示例中,发生了扭转,从而发生多个方向上的晃动。在这种情况下,发生视网膜滑动等,因此不利地不能防止识别率的降低。
另一方面,对于“(2)人眼球的移动”的有效对策,尚未发现特定公开内容。因此,测试由“(2)人眼球的移动”而引起的可视性劣化。
图2是被示出用于描述在一个示例中戴着头戴式显示器的用户在进行例如行走、跑步和骑自行车之类的运动时观看外面的世界(前面)时通过将视线移至头戴式显示器的显示单元上来识别显示信息之前的状态转换的图。此外,图2是被示出用于描述在各状态下发生的引起可视性劣化的现象的图。
在从观看头戴式显示器的显示单元到识别显示单元上显示的信息的时段期间,存在针对如图2所示的4个状态的转换。
(状态1)外部观察状态,在外部观察状态中观看显示单元外面(外部世界的前方)的远点。
(状态2)注视移动状态,在注视移动状态中将视线移至显示单元。
(状态3)聚焦调整状态,在聚焦调整状态中调整在显示单元上的聚焦。
(状态4)显示信息识别状态,在显示信息识别状态中对显示单元上显示的信息进行识别。
在一个示例中,观看显示单元外面(外面世界的前方)的远点的外部观察状态(状态1)是用户面朝前方进行运动的状态。这是在面朝行进方向进行行走、跑步、骑自行车等时观看前方的外部世界的状态。
将视线移至显示单元的注视移动状态(状态2)是用户移动视线以观看头戴式显示器的显示单元(例如位于右眼尾部的显示单元)的状态。在这种情况下,用户进行被称为眼球扫视移动的精细眼球移动并尝试在眼球中心捕获显示单元(显示设备)的位置。然而,在注视移动阶段中,如果显示单元(显示设备)晃动,则不能在短时间内捕获显示单元。如果不能在短时间内捕获显示单元,则发生寻找另一地方或将视线返回前方的眼球移动。
为了使显示单元的晃动最小化,必须实现准确且快速的注视移动。降低显示单元的晃动能够有助于使用眼球扫视移动的捕获。
调整在显示单元上的聚焦的聚焦调整状态(状态3)是在捕获显示单元之后进行的处理并且是眼球在显示单元的显示表面上聚焦的状态。尽管在实现聚焦的时间上存在个体差异,但是实现聚焦所需的时间通常是400ms,这是标准时间。如果实现聚焦花费一定时间,则显示单元的主单元或身体的部分会在这时间期间发生晃动,从而不能很好地进行聚焦。
为了防止在聚焦处理中的可视性劣化,即使眼球相对显示单元发生轻微地偏移,只要这样的偏移在眼球能够移动的范围内,用于使得能够观看相同图像的设置处理也是有效的。此外,当对显示单元上显示的信息进行控制以使得观察到该信息是仿佛在远处的虚拟图像时,对于正在观察远方的用户来说,即使将视点移至显示单元上显示的信息也几乎不需要实现聚焦。因此,可以缩短实现聚焦所需的时间。
此外,显示单元中光学系统的设置使得能够在远处观察显示单元上显示的信息。具体地,可以对光学系统中的透镜进行设置,以使得使用接近准直光的设置通过视网膜来观察显示单元上显示的信息。稍后将对这种透镜设置的示例进行描述。
对显示单元上显示的信息进行识别的显示信息识别状态(状态4)是在聚焦之后进行的识别显示信息的处理的状态。识别显示信息的处理存在以下问题:该处理受到人眼的余像效应和追踪性眼球移动(视网膜滑动)的影响。
简单的讲,余像效应是指由人的视觉观看到的内容会保持较短时间的现象。作为由于余像效应而难以进行观看的现象的示例,众所周知,在设置有持续打开的背光的液晶电视中,当观看显示快速的移动的画面例如体育运动时会感到“运动模糊”。发生这种问题是因为在观看显示单元上显示的由帧构成的运动图像比如体育运动的情况下,第一帧向第二帧的转换将第二帧的图像交叠到第一帧的余像上。
追踪性眼球移动(视网膜滑动)是对运动进行预测并相应地移动眼球以便在视场中心捕获移动对象时连续地跟随移动对象。在预测位置与实际显示位置之间存在偏移的情况下,发生将实际上未观看到但仿佛被大脑观看到的内容加以补充的处理,或者发生错误识别例如将其擦除。这也引起运动模糊的出现。
[3.对防止可视性劣化的考虑]
如参照图2所描述的那样,在观看外面世界的用户将视线移动到头戴式显示器的显示单元上并且识别显示信息之前存在引起可视性劣化的各种因素。
如图2所示,引起可视性劣化的因素可以分为两类,即归因于眼球的因素和归因于身体运动的因素。作为应对由归因于身体运动的因素而引起的显示晃动及冲击的对策,包括对头戴式显示器本身进行小型化及重量减轻并且提供诸如头垫和缓冲垫之类的振动吸收构件的对策被认为是有效的。此外,作为归因于眼球的因素之一的“扫视”也很大程度地受显示晃动的影响。因此,与上述情况类似,作为用于减轻头戴式显示器的晃动的方法,包括对头戴式显示器本身进行小型化及重量减轻并且提供诸如头垫和缓冲垫之类的振动吸收构件的对策被认为是有效的。
此外,通过作为归因于眼球的因素之一的“聚焦”而引起的可视性劣化是由在用户将视线移至显示单元之前眼球在外面观察状态下在长距离上聚焦的焦点位置与需要眼球在短距离上聚焦以观看显示单元上的显示信息的焦点位置之间的间隔引起的。
作为对策,如上所述,用于使显示单元的光学系统能够使显示单元上的图像虚拟地在更远方的技术是有效的。下面将参照图3来描述该技术。图3示出了例如是头戴式显示器的显示设备30以及对显示信息进行观察的用户的眼球20的截面配置。
显示设备30被配置成包括在显示表面31的前表面上的透镜32。用户通过透镜32观察显示表面31上显示的信息。显示表面31与用户的眼球20之间的距离大约是30mm。
需要将眼球20的焦距设置为30mm以不通过透镜32而直接识别显示表面31上显示的信息。在试图通过将视点从观看远处的风景的状态移到显示表面31上来实现聚焦的情况下,需要将远处的焦点位置显著地改变成30mm的焦点位置。因此,需要花费时间来实现聚焦,因此在识别显示信息时出现延迟。
然而,在图3所示的配置中,如控制线51b所指示的,透镜32控制要从显示表面31输出的光51a。换言之,通过透镜32将要从显示表面31输出的光控制成接近基本准直光,并被用户的眼球20观察到。该控制使得用户的眼球20能够观察显示表面31上显示的信息,例如在沿控制线51b和控制线51c的位置上的字符“a”,即图中所示的虚拟观察位置35。
在图中所示的示例中,虚拟观察位置35在距离眼球20大约3m的距离处。到虚拟观察位置35的距离是由透镜32的配置所决定的距离,并且能够通过透镜的设置来改变。
以这种方式,通过透镜32将显示表面31上显示的信息的观察位置设置在该距离处。因此,在用户将视点从观看外面较远的景观的状态移到要输出至显示设备30的显示表面31的显示信息上的情况下,可以减少眼球20的焦距变化。这使得可以减少用于对准焦点位置所需的时间从而能够立即识别显示信息。
此外,图3所示的这种控制透镜的方式是在现有头戴式显示器中已经使用的作为准直光和长距离成像的方法。此外,在使用这种控制透镜的方式的情况下,即使眼球20的位置如图中所示的眼球20p和眼球20q那样相对于显示设备30发生偏移,相对于虚拟观察位置35的位置偏移量也还是相对低于相对于显示表面31的位置偏移量。因此,不需要进行大的视点偏移,从而更稳定地观察显示信息。
[4.对由于余像和追踪性眼球移动(视网膜滑动)而造成的可视性劣化的考虑]
考虑图2所示的作为归因于眼球的可视性劣化的因素之一的由于余像和追踪性眼球移动(视网膜滑动)而造成的可视性劣化。
如上面参照图2所描述的那样,余像效应是指人用眼球观看到的内容会保持较短时间的效应。在一个示例中,在设置有持续打开的背光的液晶电视中,当观看显示快速的移动的画面的情况下例如在观看体育运动的情况下,下一帧的图像与前一帧的余像交叠,因此会感到“运动模糊”。
追踪性眼球移动(视网膜滑动)是对运动进行预测并相应地移动眼球以便在视场中心捕获移动对象时连续地跟随移动对象。这是感知由于预测位置与实际显示位置之间的偏移而造成的感觉仿佛观看到但实际没有观看到的内容的处理,而这引起运动模糊的发生。
防止余像的方法的示例包括索尼公司(sonycorporation)制造的电视设备所使用的畅动流(motionflow)技术。这是用于通过液晶显示设备的背光的闪烁来减少余像的影响的解决方案。具体地,每隔大约1ms(1/960)从上到下依次打开led的背光的处理使得能够将图像设置成相当于16倍速度(960帧每秒)的图像,从而显著地减少观看者感觉到的余像感。换言之,可以通过缩短显示用作一个固定图像的帧图像所需的时间来减少余像感。
进行了一个简单的实验来获取为了将此应用于用户可穿戴式或可携带式显示器的数据。参照图4来描述该实验。通过下述方式进行实验:在用作平板电脑终端的显示设备40上输出由两位数字构成的显示字符41、创建用于以闪烁的方式显示该显示字符的应用,然后进行观察以评估识别程度。
在显示设备40上运行的显示应用随机地生成并显示2位数字字符。设置如下两种显示模式,并分别执行这两种显示模式。
(a)“连续显示(保持显示)模式”,在该模式下数字字符连续不断地持续打开。
(b)“间歇显示(脉冲显示)模式”,在该模式下数字字符每隔10ms重复打开和关闭。
通过在测试对象用一只手持握显示设备40并且显示设备40轻微晃动的状态下使测试对象观察显示信息来检查显示信息的可视性。根据多人的评估结果,确定重复执行打开和关闭的“间歇显示(脉冲显示)模式”明显比“连续显示(保持显示)模式”更容易观看。
[5.通过脉冲显示防止可视性劣化]
基于参照图4所描述的实验发现,重复执行显示信息的输出(on)和停止(off)的脉冲显示具有以下效果:防止在人体可穿戴式或可携带式显示设备例如头戴式显示器等上显示信息时出现可视性劣化。在脉冲显示中,以短时间间隔重复地执行显示单元上的信息的显示和非显示。该处理使得可以将短时间的输出图像投影到视网膜上,因此认为其具有防止视网膜上的滑动的效果。
考虑可视性与脉冲显示控制之间的相关性,脉冲显示控制包括设置显示信息的输出(on)和停止(off)的各个时间段。通过在现有的头戴式显示器上安装控制板以及通过准备能够高速打开和关闭由构成显示单元的液晶制成的背光的实验设备,来进行各种实验。
除设置连续不断地打开的“连续显示(保持显示)”之外,显示单元的背光被配置成使得图5所示那样设置打开/关闭(on/off)的各时间的“间歇显示(脉冲显示)”能够执行。如图5所示,可以在以下范围内选择性地设置打开/关闭(on/off)的各时间。
打开时间=1至10ms
关闭时间=10至500ms
实验是在实验对象(用户)戴着设置有显示单元的头戴式显示器的状态下进行的,其中该显示单元能够在前述范围内设置的时间处进行on/off。
在图5所示的图中,将打开时间设置成可以在1至10ms的范围内进行调整,并且将关闭时间设置成可以在10至500ms的范围内进行调整。以设置的时间间隔重复地on和off,从而造成重复进行显示信息的on/off的脉冲显示。
如图6所示,将设置有能够进行脉冲显示的显示单元的头戴式显示器附接至实验对象(用户)上,并且使实验对象进行行走、跑步、骑自行车、楼梯攀爬、滑行、强烈摇晃颈部等各种运动或动作。进行该实验是为了让实验对象在进行这些运动的同时查阅显示单元上显示的信息。
通过该实验,可以获得以下结论作为针对显示单元上的显示信息的可视性评估结果。
(结论1)“连续显示(保持显示)”与“间歇显示(脉冲显示)”之间的对比。
“间歇显示(脉冲显示)”比“连续显示(保持显示)”更有利于可视性。
(结论2)各种on/off设置的“间歇显示(脉冲显示)”之间的对比
当将打开(on)时间设置为等于1ms至5ms,并且将关闭(off)时间设置为等于100ms至300ms时,可见性的效果是显著的。获得以上结论。
[6.通过脉冲显示的可视性改进的原理]
基于视网膜滑动的产生原理对脉冲显示的有效性进行理论验证。图7是基于文章“eye-head-trunkcoordinationstrategiesforgazestabilizationduringlocomotion(用于在运动期间的注视稳定的眼-头-躯干协调策略)”(osakauniversity(大阪大学),hirasakieishi,2000)的图。
图7所示的用户50u、用户50m和用户50d表示在行走期间脸部的各位置及倾斜度。在行走期间人的头部上下移动或摆动。在这种情况下,会无意识地做出倾斜头部的动作以稳定视线。
用户50m指示在行走期间脸部在垂直方向上的中间位置处的位置及倾斜度。用户50u指示在行走期间脸部在最高位置处的位置及倾斜度。用户50d指示在行走期间脸部在最低位置处的位置及倾斜度。人通常在行走期间设置观察目标(目标)并在行走的同时看着观察目标。因此,当头部在摆动时,头部向上和向下倾斜,以使得视线指向观察目标(目标)。
可以在各种位置设置观察目标(目标)。在该图中,作为两个设置示例,示出了远观察位置(远目标)和近观察位置(近目标)。在一个示例中,用户设置其中一个作为观察目标(目标)并在行走的同时看着该观察目标。
在一个示例中,图中所示的中间位置处的用户50m在与用户m的视线相同的高度处观看观察目标(目标),因此头部的倾斜度为0。然而,头部在垂直方向上移动至上部的用户50u将头部向下倾斜以观看同一观察目标(目标)。倾斜角度是如图所示的头部旋转角度(φh)。类似地,头部在垂直方向上移动至下部的用户50d将头部向上倾斜以观看同一观察目标(目标)。倾斜角度是如图所示的头部旋转角度(φh)。
然而,头部的该倾斜角度并不是完全准确的到观察目标的方向,在一个示例中,当在一定距离处观看远观察目标(远目标)时,头部倾斜度
头部旋转以及用于校正过量头部旋转的眼部旋转使得能够连续地观察观察目标并且稳定地行走。
此外,在行走期间在更远距离处观察远观察目标(远目标)的情况下,进行在与头部相反的方向上移动眼球的校正处理。另一方面,在观察靠近用户的近观察目标(近目标)时,进行在与头部相同的方向上移动眼球的校正处理。
换言之,在行走期间观察远观察目标(远目标)和观察近观察目标(近目标)的两种情况下,调整头部的倾斜度以使得头部大致朝向头部固定点(hpf)。根据朝向头部固定点(hpf)的头部方向与观察目标(目标)之间的位置关系,眼球在与头部倾斜相同的方向上或者在与头部倾斜相反的方向上移动。该处理使得能够在不将视线转到观察目标(目标)的情况下行走。
这样的眼球移动处理是可视性劣化的一个因素。如果眼球的旋转角速度为2deg/s至4deg/s或者更大,则发生可视性劣化。在如图7所示的发生头部倾斜及眼球移动的前提下计算行走和跑步期间的眼球移动速度(角速度)。图8是示出了在行走期间的眼球移动速度(角速度)的计算处理的示例的图。图9是示出了在跑步期间的眼球移动速度(角速度)的计算处理的示例的图。
将参照图8来描述在行走期间的眼球移动速度(角速度)的计算处理的示例。图8示出了以下两个曲线图。
(a1)在行走期间头部位置的时间变换
(a2)在行走期间眼球方向和眼球移动速度(角速度)的时间变换
在行走期间头部位置的时间变换(a1)基于在以上参照图7描述的理论,并且是示出了在行走期间头部的垂直移动的曲线图。此外,将在行走期间头部的移动距离设置成纵向宽度为50mm、频率为2hz(对应于每秒的步数)。
在行走期间眼球方向和眼球移动速度(角速度)的时间变换(a2)中,眼球方向(等于眼球方向角度(φe))基于以上参照图7所描述的理论,并且眼球移动速度(角速度)(等于眼球角速度(φe-v))是基于眼球方向时间变换数据计算出的眼球速度数据(角速度)。
在图8所示的曲线图(a2)中,虚线数据是指示眼球方向的角度变换数据,实线数据指示眼球移动速度(角速度)。如图8的(a2)中实线所指示的那样,眼球移动速度(角速度)φe-v是周期性地重复以下范围的曲线图。
φe-v=-1.8deg/s至+1.8deg/s
在行走期间的眼球移动速度(角速度)等于φe-v=-1.8deg/s至+1.8deg/s,这小于或等于发生上述的可视性劣化时的角速度、即2deg/s至4deg/s,从而确定在这种程度下不太可能发生可视性劣化。
将参照图9来描述在跑步期间的眼球移动速度(角速度)的计算处理的示例。与图8类似,图9示出了以下两个曲线图。
(b1)在跑步期间头部位置的时间变换
(b2)在跑步期间眼球方向和眼球移动速度(角速度)的时间变换
在跑步期间头部位置的时间变换(b1)基于以上参照图7所描述的理论,并且是示出了在跑步期间头部的上下移动的曲线图。此外,将在跑步期间头部的移动距离设置成纵向宽度为100mm、频率为3hz(对应于每秒的步数)。
在跑步期间眼球方向和眼球移动速度(角速度)的时间变换(b2)中,眼球方向(等于眼球方向角度(φe))基于上面参照图7所描述的理论,并且眼球移动速度(角速度)(等于眼球角速度(φe-v))是基于眼球方向时间变换数据计算出的速度数据。
在图9所示的曲线图(b2)中,虚线数据是指示眼球方向的角度变换数据,实线数据指示眼球移动速度(角速度)。如图9的(b2)中实线所指示的那样,眼球移动速度(角速度)φe-v是周期性地重复以下范围的曲线图。
φe-v=-5.5deg/s至+5.5deg/s
在跑步期间的眼球移动速度(角速度)等于φe-v=-5.5deg/s至+5.5deg/s,这超过发生上述的可视性劣化时的角速度、即2deg/s至4deg/s,从而确定在这种程度下发生可视度劣化。
参照图10及随后的图来描述眼球移动速度与可视性劣化程度之间的对应关系。图10的(a)部分示出了在相距3米处的24英寸虚拟图像监视器上显示的字符大小的评定。图10的(a)部分所示的显示信息对应于对设置有上面参照图3所描述的透镜32的显示设备30进行观看的用户在虚拟观察位置35处观察显示单元31上显示的信息时所获取的信息。
图10的(a)部分所示的显示信息指示从“(1)88mm的纵向宽度”到“(9)5.2mm的纵向宽度”的9个不同尺寸的字符a、b和c,以及朗多耳氏环(landoltring)[c]。此外,“(1)88mm的纵向宽度”指示具有88mm纵向宽度的字符或朗多耳氏环。
最小的字符是“(9)5.2mm的纵向宽度”的字符abc和朗多耳氏环c。“(9)5.2mm的纵向宽度”中所示的字符abc和朗多耳氏环c是相当于视敏度为0.8的人可见的符号。换言之,如果你处于身体不移动的静止状态,则前提是具有0.8的视敏度的人能够看见“(9)5.2mm的纵向宽度”的字符abc和朗多耳氏环c。
根据这些字符移动多少来确定可视性劣化的条件。在这种情况下,可视性劣化的确定条件是如图10的(b)部分所示的当图像从字符高度偏移10%(对应于朗多耳氏环的缺口被填充50%)时。
在一个示例中,当88mm的字符的高度发生了10%的偏移时,即当发生88mm×0.1=8.8mm的字符偏移时,确定无法识别“(1)88mm的纵向宽度”的字符、即图10的(a)部分中所示的最大字符。
此外,当44mm的字符的高度发生了10%的偏移时,即当发生44mm×0.1=4.48mm的字符偏移时,确定无法识别图10的(a)部分所示的“(3)44mm的纵向宽度”的字符。
此外,当5.2mm的字符的高度发生了10%的偏移时,即当发生5.2mm×0.1=0.52mm的字符偏移时,确定无法识别“(9)5.2mm的纵向宽度”的字符、即图10的(a)部分所示的最小字符。
以这种方式,即使在偏移量大的情况下也容易识别大字符,但是由于偏移量小,因此难以识别小字符。
在一个示例中,如果图10的(a)部分所示的信息在显示单元上连续地显示并且观察者在行走或跑步期间观看显示单元上显示的信息,则发生上面参照图8和图9所描述的眼球移动。眼球移动使得字符偏移了的图像被识别成图10的(b)部分所示的那样。
然而,在一个示例中,如果将如图10的(a)部分所示的信息在显示单元上显示较短时间、即脉冲显示而非连续显示(保持显示),则观察者通过眼球仅能识别与显示时段所对应的时间中的眼球移动对应的偏移量。因此,脉冲显示更有可能提高识别程度。
此外,如上面参照图8和图9等所描述的那样,眼球移动速度是根据正在进行的运动诸如在行走或跑步期间而不同的速度。因此,可辨认的字符的尺寸、即参照图10的(b)部分所描述的发生可见性确定阈值(字符的高度偏移10%)的字符的尺寸,取决于显示单元上显示的信息的显示时间以及观看显示单元的观察者进行的运动类型。
图11示出了通过分析在进行以下三种运动中的眼球移动速度、取决于信息显示时间而生成的字符的偏移量以及可辨认的字符尺寸而获得的结果。
(1)行走
(2)低速跑步、即慢跑
(3)高速跑步、即快跑
根据参照图7、图8和图9所描述的逻辑来计算眼球移动速度,并将眼球移动速度设置为以下值。
(1)在行走期间的眼球移动速度=2deg/s
(2)在低速跑步、即慢跑时的眼球移动速度=5deg/s
(3)在高速跑步、即快跑时的眼球移动速度=10deg/s
此外,将脉冲显示中的字符显示时间设置为6种:1ms、2ms、3ms、5ms、10ms和16ms。此外,16ms的显示时间对应于连续显示(保持显示)。
基于通过将眼球移动速度乘以显示时间而获得的值来计算视网膜的偏移量。换言之,建立以下计算公式:
视网膜偏移量=眼球移动速度×显示时间
此外,将通过上述计算公式计算的“视网膜偏移量”设置成参照图10的(b)部分所描述的“偏移量”。可识别的字符尺寸是10倍于偏移量的尺寸。基于在字符尺寸发生10%的显示偏移量情况下无法进行识别的评判标准,可识别的字符尺寸是被设置为可识别的字符尺寸的偏移量的十倍。
下面将描述行走(2deg/s的眼球移动速度)的情况。在将图像设置成具有等于1ms的显示时间的情况下(对应于脉冲显示),偏移量等于0.1mm。基于此,使用上述可视性劣化条件(字符高度偏移10%,相当于朗多耳氏环的缺口被填充50%)来计算可识别的字符尺寸。将偏移量为10%=0.1mm的字符的尺寸(纵向尺寸)设置为1.00mm。该尺寸小于或等于图10的(a)部分中“(9)5.2mm的纵向宽度”这项的尺寸。换言之,在行走期间设置了显示时间等于1ms的脉冲显示的情况下,可以识别图10的(a)部分中(1)到(9)项的所有尺寸的字符。
另一方面,在将图像设置成具有等于16ms的显示时间(对应于保持显示)的情况下,偏移量等于1.68mm。将其与上述可视性劣化条件(字符高度偏移10%,相当于朗多耳氏环的缺口被填充50%)进行比较。将偏移量为10%=1.68mm的字符的尺寸(纵向尺寸)设置为16.8mm。该尺寸位于图10的(a)部分中的“(6)18.0mm的纵向宽度”与“(7)14.0mm的纵向宽度”之间。
换言之,在行走期间设置了显示时间等于16ms的脉冲显示(对应于保持显示)的情况下,可以识别图10的(a)部分中具有大于或等于(6)这项的尺寸的项的字符。然而,不能识别具有小于或等于(7)这项的尺寸的项的字符。
根据图11所示的数据,可以将在行走期间(2deg/s的眼球移动速度)视觉上识别图10的(a)部分中5.2mm的(9)这项的字符所需的最长显示时间确定为指示可识别的字符为5.2mm的条目,即,显示时间等于5ms。换言之,通过在行走期间(2deg/s的眼球移动速度)进行on输出时段设置为5ms的时间或更短的时间的脉冲显示,能够识别图10的(a)部分中(1)至(9)项中的所有尺寸的字符。
此外,图11所示的虚线框是指示对应于最长显示时间的条目的框,在该最长显示时间下能够识别图10的(a)部分中“(1)88mm”到“(9)5.2mm”这些项中的所有字符。
下面将描述低速跑步(5deg/s的眼球移动速度)的情况。在将图像设置成具有等于1ms的显示时间的情况下(对应于脉冲显示),偏移量为0.21mm。使用上述可视性劣化条件(字符偏移10%,相当于朗多耳氏环的缺口被填充50%)来计算可识别的字符尺寸。将偏移量为10%=1.21mm的字符的尺寸(纵向尺寸)设置为2.10mm。该尺寸小于或等于图10的(a)部分中的“(9)5.2mm的纵向宽度”这项的尺寸。换言之,在低速跑步期间设置了显示时间等于1ms的脉冲显示的情况下,可以识别图10的(a)部分中(1)到(9)这些项的所有尺寸的字符。
另一方面,在将图像设置成具有等于5ms的显示时间的情况下(对应于脉冲显示),偏移量等于0.63mm。将其与上述可视性劣化条件(字符高度偏移10%,相当于朗多耳氏环的缺口被填充50%)进行比较。将偏移量为10%=0.63mm的字符的尺寸(纵向尺寸)设置为6.30mm。该尺寸位于图10的(a)部分中的“(8)10.0mm的纵向宽度”与“(9)5.2mm的纵向宽度”之间。
换言之,如果在低速跑步期间将显示时间设置为5ms(对应于脉冲显示),则可以识别尺寸大于或等于图10的(a)部分中的(8)这项的尺寸的字符。然而,不能识别尺寸小于或等于图10的(a)部分中(9)这项的尺寸的字符。
根据图11所示的数据,可以将在低速跑步期间(5deg/s的眼球移动速度)视觉上识别图10的(a)部分中5.2mm的(9)这项的字符所需的最长显示时间确定为指示可识别的字符尺寸小于或等于5.2mm的条目,即显示时间等于2ms。换言之,通过在低速跑步期间(5deg/s的眼球移动速度)进行on输出时段被设置为2ms的时间或更短的时间的脉冲显示,能够识别图10的(a)部分中(1)至(9)这些项中的所有尺寸的字符。
下面将描述高速跑步(10deg/s的眼球移动速度)的情况。在将图像设置成具有等于1ms的显示时间的情况下(对应于脉冲显示),偏移量为0.521mm。使用上述可视性劣化条件(字符偏移10%,相当于朗多耳氏环的缺口被填充50%)来计算可识别的字符尺寸。将偏移量为10%=0.52mm的字符的尺寸(纵向尺寸)设置为5.20mm。该尺寸等于图10的(a)部分中的“(9)5.2mm的纵向宽度”这项的尺寸。换言之,在高速跑步期间设置了显示时间等于1ms的脉冲显示的情况下,可以识别图10的(a)部分中(1)到(9)这些项的所有尺寸的字符。
另一方面,在将图像设置成具有等于2ms的显示时间的情况下(对应于保持显示),偏移量等于1.05mm。将其与上述可视性劣化条件(字符高度偏移10%,相当于朗多耳氏环的缺口被填充50%)进行比较。将偏移量为10%=1.05mm的字符的尺寸(纵向尺寸)设置为10.50mm。该尺寸位于图10的(a)部分中的“(7)14.0mm的纵向宽度”与“(8)10.0mm的纵向宽度”之间。
换言之,在高速跑步期间设置了显示时间等于2ms的脉冲显示的情况下(对应于保持显示),可以识别图10的(a)部分中尺寸大于或等于(7)这项的尺寸的项的字符。然而,不能够识别尺寸小于或等于(8)这项的尺寸的项的字符。
根据图11所示的数据,可以将在高速跑步期间(10deg/s的眼球移动速度)视觉上识别图10的(a)部分中的5.2mm的(9)这项的字符所需的最长显示时间确定为指示可识别的字符尺寸小于或等于5.2mm的条目,即显示时间等于1ms。换言之,通过在高速跑步期间(10deg/s的眼球移动速度)进行on输出时段被设置为1ms的时间或更短的时间的脉冲显示,能够识别图10的(a)部分中(1)至(9)这些项中的所有尺寸的字符。
图12是汇总了根据图11所示的结果而获得的两个分析结果的图。图12示出了针对(a)行走、(b)低速跑步和(c)高速跑步中的每个对以下两个分析结果进行分析的结果。
(分析结果1)在图10的(a)部分所示的字符中,在连续显示(16ms的保持显示)中可识别的字符尺寸和不可识别的字符尺寸
(分析结果2)能够识别图10的(a)部分中所示的具有5.2mm的最小字符纵向宽度的字符的脉冲显示的显示时间
(分析结果1)表明针对(a)行走、(b)低速跑步和(c)高速跑步中的每个进行连续显示(16ms的保持显示)时可识别的字符尺寸和不可识别的字符尺寸。如图所示,获得了以下分析结果。
(a)行走(眼球移动速度=2deg/s)
可识别:图10的(a)部分中的(1)88mm的纵向宽度至(6)18.0mm的纵向宽度
不可识别:图10的(a)部分中的(7)14.0mm的纵向宽度至(9)5.2mm的纵向宽度
(b)低速跑步(眼球移动速度=5deg/s)
可识别:图10的(a)部分中的(1)88mm的纵向宽度至(3)44.0mm的纵向宽度
不可识别:图10的(a)部分中的(4)33.6mm的纵向宽度至(9)5.2mm的纵向宽度
(c)高速跑步(眼球移动速度=10deg/s)
可识别:只有图10的(a)部分中的(1)88mm的纵向宽度
不可识别:图10的(a)部分中的(2)67.2mm的纵向宽度至(9)5.2mm的纵向宽度
从上述结果中可以理解,随着移动变得剧烈,在保持显示中可识别的字符尺寸逐渐增加。
此外,(分析结果2)表明针对(a)行走、(b)低速跑步和(c)高速跑步的每个能够识别图10的(a)部分中所示的具有5.2mm的最小字符纵向宽度的字符的脉冲显示的显示时间。如图所示,获得了以下分析结果。
(a)行走(眼球移动速度=2deg/s)
具有5ms或更短显示时间的脉冲显示
(b)低速跑步(眼球移动速度=5deg/s)
具有2ms或更短显示时间的脉冲显示
(c)高速跑步(眼球移动速度=10deg/s)
具有1ms或更短显示时间的脉冲显示
从上述结果可以理解,在行走时需要将脉冲显示的显示时间设置为5mms或更短,并且当运动变得剧烈时,需要将脉冲显示的显示时间设置为更短。
在(a)行走、(b)低速跑步和(c)高速跑步中任一运动期间,通过将脉冲显示时间设置成1ms至5ms,可以保证图10的(a)部分中所示的“(1)88mm的纵向宽度”至“(9)5.2mm的纵向宽度”的所有字符的可视性。从图11和图12所示的分析结果可以理解,发现可以通过根据运动强度控制“显示字符(符号)尺寸和脉冲显示时间”来实现在运动期间清楚地识别显示的内容的显示设备。
[7.用于根据用户的移动来执行控制的配置]
根据上述分析结果,仅考虑在运动期间可以清楚地识别诸如头戴式显示器等的人体可穿戴式或可携带式显示设备的显示信息这一点,可以说,可以通过设置其中将显示时间设置得较短并且将非显示时间设置得长于或等于余像时间的脉冲显示来加以解决。
然而,在一个示例中,假设停止时的脉冲显示不明显,并且与正常显示(保持显示)相比,可视性可能是坏的且不舒适的。考虑到这种情况,认为优选的是根据用户的活动状态或动作状态(例如行走、跑步和骑自行车)以及外部光线环境(例如早晨、白天、夜晚和区域)来控制(最佳调整)显示内容(例如字符和图像)及其他参数值。
下面将描述用于实现对通过根据上述情况执行显示控制来提高在执行显示信息识别处理时的舒适度的实施方式。下述实施方式是通过根据移动或动作状态来控制显示的模式、定时、内容、亮度,能够在各种使用环境和状态下被舒适地使用的显示设备的说明性实施方式。
图13是被示出用于描述根据穿戴着或携带着诸如头戴式显示器之类的人体可穿戴式或可携带式显示设备的用户的各种运动状态而进行的显示控制的示例的图。在图13中,设置以下五个运动情景作为用户的运动情景。
(1)静止(stay)
(2)行走(walk)
(3)低速跑步(jog)
(4)高速跑步(run)
(5)骑自行车(bike)
在图13中,示出了对应于这五个运动情景项的以下信息。
(a)运动振动周期(s)
(b)头部移动宽度(mm)
(c)眼球速度(deg/s)
(d)最佳显示模式
(e)最佳显示时间
(f)信息深度
(a)项的移动周期基本上对应于包括戴着诸如头戴式显示器的显示设备的头部等的身体部位的移动的周期。在移动周期中,静止的情况下是无穷大(∞)、行走的情况下是0.5秒、低速跑步的情况下是0.3秒以及高速跑步的情况下是0.2秒。这些周期对应于进行行走或跑步中的一步的周期。在骑自行车的情况下,周期根据速度和路面条件的不同而不同,从而无法获得周期性的数据。
(b)项的头部移动宽度对应于(a)项的每个周期的头部移动宽度。在头部移动宽度中,静止的情况下是0mm、行走的情况下是50mm、低速跑步的情况下是100mm以及高速跑步的情况下是100mm或更多。在骑自行车的情况下,头部移动宽度根据速度和路面条件的不同而不同。
(c)项的眼球速度是基于上面参照图7等所描述的理论的眼球角速度(deg/s)数据。在眼球速度中,静止的情况下是0deg/s,行走的情况下是2.0deg/s、低速跑步的情况下是5.0deg/s以及高速跑步的情况下是10deg/s。在骑自行车的情况下,眼球速度根据速度和路面条件的不同而不同。
(d)项的最佳显示模式是根据基于上面参照图7至图12描述的分析结果所获得的取决于用户运动情况的最佳显示模式的设置信息。换言之,是可以合理地识别显示单元的显示信息而没有任何不适的显示模式的设置信息。具体地,(d)项的最佳显示模式是根据通过基于头部移动状态对眼球移动速度进行计算而获得的计算结果来确定的最佳显示模式。
在图13所示的示例中,在用户状态是静止、行走或低速跑步的情况下执行保持(连续)显示,在用户状态是行走、低速跑步、高速跑步或骑自行车的情况下执行脉冲显示。在行走或低速跑步的情况下,意味着可以选择保持显示或模糊(burrs)显示。
此外,在静止、行走和低速跑步的情况下使用保持(连续)显示,但是在检测到眼球高速移动的身体移动或者检测到撞击的情况下,执行显示控制来暂时地关闭(off)显示。
此外,在低速跑步、高速跑步和骑自行车时进行脉冲显示的情况下,优选地还根据用户的运动来控制脉冲显示中的显示on和off的定时。
具体地,进行以下控制。
*脉冲显示,在脉冲显示中将显示周期设置成根据运动周期结果而获得的眼球稳定定时。
在动作周期小于或等于预设的阈值(例如0.25秒)的情况下,使用打开(on)时间较短的短期脉冲显示。在动作周期长于阈值的情况下,使用打开(on)时间较长的长期脉冲显示。
*用于非周期性运动的具有固定周期的脉冲显示
这种显示控制使得用户能够更稳定地识别显示信息。
在(d)项的最佳显示时间中,在用户状态是静止、行走和低速跑步的情况下,使用保持(连续)显示。因此,显示时间是连续的、即无穷大(∞)。在行走、低速跑步、高速跑步和骑自行车时使用脉冲显示的情况下,优选地根据活动情况和外部照度来进行控制。具体地,优选地执行打开(on)时间设置为2至10ms并且关闭(off)时间设置为50至200ms的脉冲显示。
(e)项的信息深度指在显示单元上显示的信息的程度。在一个例子中,在静止状态中,执行使用小字符尺寸来显示包括句子、地图、详细图形等的详细信息的完全显示。在发生例如行走和跑步的移动的情况下,停止例如小字符信息的信息显示,而显示具有以中等偏移量可识别的程度的信息。一个这样的示例包括当前位置信息、简单的地图、导航信息等。此外,在移动剧烈的情况下,例如高速跑步或骑自行车时,即使偏移量较大也只显示可识别程度的信息。更具体地,一个这样的例子包括简单的指示信息、避险信息等。
图14是汇总了以下用户状态中的显示模式和显示信息的设置示例的图。
(1)静止(stay)
(2)行走(walk)
(3)低速跑步(jog)
(4)高速跑步(run)
(5)骑自行车(bike)
在静止、行走和低速跑步的情况下,使用保持显示。在低速跑步、高速跑步和骑自行车的情况下,使用脉冲显示。此外,在行走和低速跑步的情况下可以设置保持显示或脉冲显示中的任一个。具体地,在一个示例中,优选地使用根据眼球移动速度来执行切换控制的配置。在移动速度低于或等于预设的阈值(例如3.5deg/s)的情况下,设置保持显示。在速度高于或等于阈值的情况下,设置脉冲显示。
在显示信息中,通过随着例如静止和行走时眼球移动速度变小而增加信息量并且通过使用更小的字符尺寸构建显示信息来进行显示处理。通过随着例如高速跑步和骑自行车时眼球移动速度变大而减小信息量并且通过使用更大的字符尺寸构建显示信息来进行显示处理。
[8.对脉冲显示中的显示定时的控制]
在参照图13描述的脉冲显示中,已经简单地描述了将显示周期设置成根据运动周期结果而获得的眼球稳定定时的脉冲显示,下文将详细地描述脉冲显示的处理。
如上面参照图8和图9所描述的那样,在行走或跑步期间,眼球根据用户的运动周期产生移动。在这种情况下的眼球移动速度(角速度)也以预定周期发生变化。
图15是示出了上面参照图8和图9所描述的在行走和跑步期间的眼球位置(方向角)和眼球移动速度(角速度)的曲线图。图15的(a)部分是示出了在行走期间的眼球位置(方向角)和眼球移动速度(角速度)的曲线图,其对应于图8的(a2)部分的曲线图。图15的(b)部分是示出了在跑步期间的眼球位置(方向角)和眼球移动速度(角速度)的曲线图,其对应于图9的(b2)部分的曲线图。
在这些曲线图中的每个中,用实线曲线图来表示眼球移动速度(角速度)。在通过实线所示的眼球移动速度中,速度周期性地变化,指示速度等于0的点周期性地出现。在一个示例中,在行走的情况下,图15的(a)部分中所示的由箭头(p)、箭头(q)和箭头(r)所指示的点是移动速度=0的点。此外,在跑步的情况下,图15的(b)部分中所示的由箭头(p)、箭头(q)、箭头(r)和箭头(s)所指示的点是移动速度=0的点。在这些定时处,用户处于眼球静止状态,在眼球静止状态中即使是在行走或跑步时眼球也基本不移动。
将这些箭头的定时的控制作为脉冲显示的on(打开)时间使得能够在用户的眼球基本上不移动的状态下观察显示信息,因此可以稳定地识别显示信息。
图16的上部示出了在行走期间的眼球方向和眼球移动速度的曲线图。下部示出了在执行下述脉冲显示的情况下的显示控制的示例,在所述脉冲显示中,在根据该曲线图得出的眼球速度基本为0的定时处打开(on)显示单元的显示。
图16的下部所示的曲线图示出了执行在眼球速度变成基本为0的定时处、即在p、q、和r的每个定时处打开(on)显示并在其他定时处关闭(off)显示的脉冲显示。此外,可以通过将on时段设置为2至10ms并将off时段设置为约200ms的脉冲显示仅在行走期间眼球速度变成基本为0的定时处打开(on)来实现上述脉冲显示。
图17的上部示出了在跑步期间的眼球方向和眼球移动速度的曲线图。下部示出了在进行下述脉冲显示的情况下的显示控制的示例,在该脉冲显示中,在根据该曲线图得出的眼球速度变成基本为0的定时处打开(on)显示单元的显示。
图17的下部所示的曲线图示出了执行在眼球速度变成基本为0的定时处、即在p、q、r和s中的每个定时处打开(on)显示并在其他定时处关闭(off)显示的脉冲显示。此外,可以通过将on时段设置为2至10ms并将off时段设置为大约150ms的脉冲显示仅在跑步期间眼球速度变成基本为0的定时处打开来实现脉冲显示。
[9.对显示单元的亮度的控制]
在进行脉冲显示的情况下可视性根据显示时间和亮度的乘积的值而变化。这是因为人眼根据光对时间积分的量来感知亮度,并且如果显示时间较短,则需要其光谱量(巴洛克(baroque)定律)。还需要考虑在明亮的户外使用。如果背景视场明亮,则瞳孔将收缩,因此需要增加脉冲显示的光量。没有关于以毫秒为单位的显示时间与亮度之间的关系的文章,因此创建了实验系统并实际测量。图18是实验系统的配置图。
将用于照相负片投影的光盒77布置成背景亮度设备。光盒77向实验对象呈现相当于外部光的光(最大4000nt)。将显示设备70布置在右侧。显示设备70被配置成包括具有控制器的led71、漫反射板72和ohp片73。显示设备70是呈现头戴式显示器的虚拟图像画面的显示监视器(最大2500nt)。
从显示设备70发射的光被附着有中央遮光片75的半反射镜74反射然后被输入到实验对象78的眼球。显示设备70的显示字符是由ohp片73制成的白色的朗多耳氏环(c)。该系统提供伪环境来观察当暴露于要产生的室外光时头戴式显示器的显示单元的显示信息。
显示设备70可以选择性地改变亮度和显示时间。在实验中,当将显示时间从3ms减少到1ms时,测量实验对象78开始识别朗多耳氏环时的亮度,以及朗多耳氏环清晰可见时的亮度。存在四个对象。图19所示的曲线图是示出了结果的曲线图。
图19示出了以下模式的脉冲显示的实验结果。
(a)在打开1ms、关闭300ms的脉冲显示中识别显示信息的显示亮度
(b)在打开2ms、关闭300ms的脉冲显示中识别显示信息的显示亮度
(c)在打开3ms、关闭300ms的脉冲显示中识别显示信息的显示亮度
图19中所示的各条线示出了四个实验对象的平均值。
根据该实验的结果,在一个示例中,在打开3ms时背景亮度为4000nt的情况下,如果显示亮度为400nt或更大,则可以实现视觉识别。此外,在打开2ms时背景亮度为4000nt的情况下,当打开1ms时显示亮度为700nt或更多时,实际测量发现在背景亮度=4000nt时显示亮度为1200nt。
接着,计算在基于实验结果在更明亮的环境中在显示单元上显示信息的情况下要视觉上识别显示信息所需的必要亮度。上述由图18所示的系统实际测量出的4000nt的背景亮度大约是相当于在晴朗的天空或者春季的白天的亮度,并且假设在体育运动期间实际使用时是更明亮的环境。
图20是在超过4000nt的环境下计算必要亮度时通过将实际测量的显示亮度转换成每一帧平均亮度(一帧=16.67ms)而获得的曲线图。横轴表示对应于外面世界的背景环境的环境亮度,纵轴表示用作显示单元的显示信息的帧的每一帧平均亮度。根据该曲线图,可以理解显示平均亮度与背景亮度之间的关系并不取决于显示时间(2ms或3ms)
图21示出了通过基于以上结果计算对应于实际外部环境的数据而获得的结果。在图21中,横轴表示外部环境的环境亮度,纵轴表示用作显示单元的显示信息的帧的每一帧平均亮度。在一个示例中,在夏天晴朗天空的时候外部环境的环境亮度大约为6000nt,在夏天好天气大约为11000nt,在夏天好天气且是诸如海洋之类的反射性环境下大约为16000nt。
在一个示例中,在作为例如跑步的运动环境的典型环境(夏天好天气=11000nt)的情况下,如果将进行脉冲显示的显示单元的每个打开(on)时间设置为4ms、2ms和1ms,则
4ms脉冲显示=1000nt的必要亮度,
2ms脉冲显示=2000nt的必要亮度,
1ms脉冲显示=4000nt的必要亮度。
如上所述,获得了对于每个脉冲显示中的信息识别所需的必要亮度信息。
此外,在作为亮度的极限环境的阳光反射(=16000nt)下,如果将进行脉冲显示的显示单元的每次打开(on)时间设置为3ms、2ms和1ms,则
3ms脉冲显示=2000nt的必要亮度,
2ms脉冲显示=3000nt的必要亮度,
1ms脉冲显示=6000nt的必要亮度。
如上所述,获得了对于每个脉冲显示中的信息识别所需的必要亮度信息。
[10.显示控制的处理流程]
接着,下面将参照图22及随后的图中所示的流程图来描述由本公开内容的控制设备执行的显示控制处理流程。此外,在一个示例中,在包括具有程序执行功能的cpu等的数据处理单元(控制器)的控制下,根据控制设备的存储器中存储的程序,执行参照图22及随后的图中所示的流程图进行描述的处理。
(10-1.保持显示与脉冲显示之间的切换控制的基本流程)
图22所示的流程图是用于描述在通过将显示设备上的显示设置成保持(连续)显示或者设置成重复打开(on)/关闭(off)的脉冲显示来进行交替处理的情况下的基本显示控制流程的流程图。下面将描述各步骤的处理。
(步骤s11)
在步骤s11中,获取与诸如头戴式显示器的显示设备相关联的传感器信息。显示设备设置有各种传感器例如用于检测用户移动的传感器。控制器获取这些传感器信息。在步骤s11中,具体地,在一个示例中,获取诸如加速度计等的传感器信息。
(步骤s12)
接着,在步骤s12中,控制器基于获取的传感器信息来确定用户的移动,并且基于确定的用户移动来计算最大眼球移动速度。在一个示例中,根据上面参照图7至图9所描述的理论来执行眼球速度计算处理作为上述计算处理。
(步骤s13)
接着,在步骤s13中,确定在步骤s12中计算出的最大眼球速度是否大于或等于预定的阈值或者小于该阈值。在一个示例中,该阈值是2deg/s的眼球速度,以及确定公式如下:
最大眼球速度≥2deg/s
在满足上述确定公式的情况下,即,如果确定在步骤s12中计算出的最大眼球速度大于或等于预定的阈值,则处理进行至步骤s14。在不满足上述确定公式的情况下,即,如果确定在步骤s12中计算出的最大眼球速度小于预定的阈值,则处理进行至步骤s15。上述阈值是一个示例,可以设置各种阈值。
(步骤s14)
在满足上述确定公式的情况下,即,如果确定在步骤s12中计算出的最大眼球速度大于或等于预定的阈值,则处理进行至步骤s14。然后,将显示单元上的显示设置成脉冲显示并且执行该显示处理。优选地,将脉冲显示的打开(on)时间设置为2至10ms并且将关闭(off)时间设置为50至200ms。
(步骤s15)
在不满足确定公式的情况下,即,如果确定在步骤s12中计算出的最大眼球速度小于预定的阈值,则处理进行至步骤s15。然后,将显示单元上的显示设置成保持(连续)显示并且执行该显示处理。
此外,以周期性的方式重复地执行根据图22所示流程的处理。从而,根据用户的运动情况的变化适当地切换保持显示和脉冲显示。然而,如果频繁地进行这种切换,则担心可视性可能会劣化。因此,对在模糊显示与保持显示之间的切换设置合适的迟滞以防止频繁地切换模式。
此外,在以上描述中,基于以上参照图7至图9所描述的理论使用用户的移动来计算眼球移动速度。然而,可以通过使用用于通过直接监视眼球的移动来测量移动的传感器进行的处理来计算眼球速度。
此外,在一个示例中,在根据通过附接至头部以检测用户移动的传感器而获得的测量值来计算眼球移动速度的情况下,可以应用根据以下公式的处理。
目标视点(例如3.0m)=l[m]
常量=a(其中0<a<0.3),在以下示例中,a=0.21
头部位置(高度改变量)ph[m]
眼球移动速度ve[deg/s]:通过以下公式获得:
ve=d(arctan(ph/l)-arctan(ph/al))/dt。
(10-2.运动情况确定处理流程)
接着,将参照图23所示的流程图来描述用于确定穿戴着诸如头戴式显示器之类的显示设备的用户的运动情况的处理流程。下面将描述各步骤的处理。
(步骤s101)
在步骤s101中,获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。显示设备设置有各种传感器例如用于监测用户移动的传感器,并且控制器获取这些传感器信息。在步骤s101中,具体地,在一个示例中,获取诸如加速度计等的传感器信息。
(步骤s102)
基于步骤s101中获取的传感器信息,控制器确定用户是静止的、还是进行重复固定移动的周期性运动、或者进行非周期性运动。此外,周期性运动是例如包括参照图8所描述的行走(持续行走)和参照图9描述的跑步的运动。非周期性运动是伴随着不恒定移动的运动,其示例包括骑自行车等。
如果确定用户处于静止状态或者正在进行周期性运动,则处理进行至步骤s103。如果确定用户进行不是周期性运动的非周期性运动,则处理进行至步骤s106。
(步骤s103)
如果在步骤s102中确定用户处于静止状态或者正在进行周期性运动,则处理进行至步骤s103,然后确定用户是处于静止还是行走状态还是跑步(跑步)状态。基于运动周期的长度做出该确定。换言之,如上面参照图13所描述的那样,可以基于图13的部分(1)中的运动振动周期的长度来做出确定。
在步骤s103中,如果确定用户处于静止或者行走状态,则处理进行至步骤s104。另一方面,如果在步骤s103中确定用户处于跑步(持续跑步)状态,则处理进行至步骤s105。
(步骤s104)
如果在步骤s103中确定用户处于静止或者行走状态,则处理进行至步骤s104,然后在步骤s104中,执行对应于静止或低周期性运动的显示控制。换言之,执行与用户处于静止或行走状态的情况对应的显示控制。此外,该处理是与图13的(d)栏所示的保持显示处理对应的处理。
(步骤s105)
如果在步骤s103中确定用户处于跑步(持续跑步)状态,则处理进入步骤s105,然后在步骤s105中执行与高周期性运动对应的显示控制。换言之,执行与用户处于行走、跑步(跑步)等情况对应的显示控制。此外,该处理是与在执行不包括与图13的(d)栏所示的脉冲显示处理中(5)这项的进行骑自行车等的非周期性运动的周期性运动期间的显示控制处理相对应的处理。
(步骤s106)
如果在步骤s102中确定用户正在进行非周期性运动,则处理进行至步骤s106,然后在步骤s106中,执行对应于非周期性运动状态的显示控制。换言之,执行与用户正在骑自行车等情况相对应的显示控制。此外,该处理是与在执行图13的(d)栏所示的脉冲显示处理中(5)这项的骑自行车的非周期性运动期间的显示控制处理相对应的处理。
(10-3.在静止时或在进行低周期性运动时的显示控制流程)
接着,参照图24所示的流程图,将描述用户正在进行诸如静止或行走的低周期性运动的情况下的显示控制处理流程。换言之,是图23所示的步骤s104中显示控制处理的详细流程。下面将描述各步骤的处理。
(步骤s201)
在步骤s201中,获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。除了用于捕获用户移动的传感器之外,显示设备设置有用于捕获用户位置和用户身体条件(心跳和排汗量)的传感器,并且还设置有用于测量外面世界的温度、湿度、照度等的各种传感器。控制器获取这些传感器信息。
(步骤s202)
接着,在步骤s202中,控制器基于获取的传感器信息来构建要向用户呈现的显示信息。在一个示例中,构建由基于从位置传感器获得的信息来指示当前位置的地图信息、根据用于捕获用户身体条件的传感器获得的指示用户身体条件的信息、关于外面空气温度及湿度的信息所组成的显示信息。
(步骤s203)
在步骤s203中,建立用于组合在步骤s202中生成的显示信息并且用于将其输出到显示单元的画面。显示画面是诸如连续显示的保持显示画面。此外,显示亮度是通过光度计获得的外面世界的亮度,即根据环境亮度确定的亮度。具体地,如上面参照图19至图21等所描述的那样,将根据环境亮度而确定的显示信息设置成能够被容易地识别的亮度水平。
(步骤s204)
在步骤s204中,启动在步骤s203中建立的显示画面的连续(保持)显示。
图24的右侧所示的流程是在继续进行左侧的步骤s201至步骤s204的处理时执行的中断控制流程。下面将描述该处理流程。
(步骤s251)
在步骤s251中,控制器获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。在一个示例中,显示设备设置有用于检测突发撞击等的传感器,例如加速度计。控制器基于加速度计的输出来确定是否存在诸如对显示设备的冲击之类的撞击。如果确定检测到了撞击,则处理进行至步骤s252。
(步骤s252)
如果在步骤s251中确定检测到了撞击,则在步骤s252中停止显示单元的输出。此外,该处理对应于上面参照图13描述的在图13的(d)部分的最佳显示模式中在执行保持显示期间检测到撞击时的显示关闭处理。
(10-4.在执行高周期性运动时的显示控制流程)
接着,参照图25所示的流程图,将描述在用户正在进行诸如跑步之类的高周期性运动的情况下的显示控制处理流程。换言之,该显示控制处理流程是图23所示的步骤s105中的显示控制处理的详细流程。下面将描述各步骤的处理。
(步骤s301)
在步骤s301中,获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。如上所述,除了用于捕获用户移动的传感器之外,显示设备设置有用于捕获用户位置和用户身体条件(心跳和排汗量)的传感器,并且还设置有用于测量外面世界的温度、湿度、照度等的各种传感器。控制器获取这些传感器信息。
(步骤s302)
接着,在步骤s302中,控制器基于获取的传感器信息来构建要向用户呈现的显示信息。在一个示例中,构建由基于从位置传感器获得的信息来指示当前位置的地图信息、根据用于捕获用户身体条件的传感器获得的指示用户身体条件的信息、关于外面空气温度及湿度的信息所组成的显示信息。
(步骤s303)
在步骤s303中,计算眼球稳定定时。换言之,计算参照图16和图17所描述的眼球移动速度变成基本为0的定时。可以基于根据用户的运动周期计算出的眼球移动周期来计算该定时。
可以通过对用户的运动情况数据进行学习的处理来计算定时信息。在步骤s303中,在一个示例中,准备了用户的运动周期与眼球稳定定时之间的对应关系数据,并且根据传感器检测到的用户运动情况来生成能够立刻确定当前时间是否是眼球稳定定时的数据。
(步骤s304)
在步骤s304中,确定用户的动作周期是否小于或等于预定的阈值。如果小于或等于该阈值,则处理进行至步骤s306。如果大于该阈值,则处理进行至步骤s305。在该处理中,在一个示例中,在进行短周期的剧烈运动例如高速跑步的情况下,处理进行至步骤s306,执行将用于使显示on的打开时间设置得被缩短的脉冲显示。在进行具有相对较长周期的适度运动例如低速跑步的情况下,处理进行至步骤s305,这意味着执行将用于使显示on的打开时间延长的脉冲显示。
(步骤s305)
步骤s305是在步骤s304中确定用户的动作周期大于预定的阈值的情况下的处理。换言之,是当进行具有相对较长周期的适度运动例如低速跑步时执行的处理。在这种情况下,在步骤s305中,执行将用于使显示on的打开时间延长的脉冲显示。
(步骤s306)
步骤s306是在步骤s304中确定用户的动作周期小于或等于预定的阈值的情况下的处理。换言之,这是在进行具有较短周期的长且剧烈的运动例如高速跑步的情况下的处理,并且在这种情况下,在步骤s306中执行将用于使显示on的打开时间缩短的脉冲显示。
(步骤s307)
在完成步骤s305或步骤s306中的脉冲显示设置之后,在步骤s307确定是否设置了眼球稳定时间点。换言之,随后基于用户运动情况与在步骤s303中计算出的眼球稳定定时之间的对应关系数据,根据传感器检测到的运动信息来确定是否设置了眼球稳定定时。
如果确定当前时间是眼球稳定定时,则处理还进行至步骤s308,否则处理返回步骤s301。
(步骤s308)
在步骤s308中,确定脉冲显示中的关闭时间(off)是否在预定时间的范围内。如上面参照图10至图13所描述的那样,用于在脉冲显示中打开(on)和关闭(off)的适当时间如下。
打开(on)时间=2至10ms
关闭(off)时间=50至200ms
在步骤s308中,确定关闭(off)时间是否在50至200ms的范围内。如果关闭(off)时间在该范围内,则处理进行至步骤s309,如果关闭(off)时间不在该范围内,则处理返回步骤s301。
(步骤s309)
在步骤s309中,在脉冲显示中输出显示信息,即,打开(on)显示单元以输出显示信息。将打开(on)时间设置成在步骤s305或步骤s306中设置的打开(on)时间。如果经过了打开时间,则处理返回步骤s301。
(10-5.在执行非周期性运动时的显示控制流程)
接着,将参照图26所示的流程图,描述在用户正在进行非周期性运动例如骑自行车的情况下的显示控制处理流程。换言之,是图23所示的步骤s106中的显示控制处理的详细流程。下面将描述各步骤的处理。
(步骤s401)
在步骤s401中,获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。除了用于捕获用户移动的传感器之外,显示设备设置有用于捕获用户位置和用户身体条件(心跳和排汗量)的传感器,并且还设置有用于测量外面世界的温度、湿度、照度等的各种传感器。控制器获取这些传感器信息。
(步骤s402)
接着,在步骤s402中,控制器基于获取的传感器信息来构建要向用户呈现的显示信息。在一个示例中,构建由基于从位置传感器获得的信息来指示当前位置的地图信息、根据用于捕获用户身体条件的传感器获得的指示用户身体条件的信息、关于外面空气温度及湿度的信息组成的显示信息。
(步骤s403)
在步骤s403中,建立用于组合在步骤s402中生成的显示信息并且用于将其输出到显示单元的画面。显示画面是脉冲显示画面。此外,显示亮度是通过光度计获得的外面世界的亮度,即根据环境亮度确定的亮度。具体地,如上面参照图19至图21等所描述的那样,将根据环境亮度而确定的显示信息设置成能够容易地识别的亮度水平。
(步骤s404)
在步骤s404中,启动对在步骤s403中建立的显示画面的脉冲显示。
图26的右侧所示的流程是在继续进行左侧的步骤s401至步骤s404的处理时执行的中断控制流程。下面将描述该处理流程。
(步骤s451)
在步骤s451中,控制器获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。在一个示例中,显示设备设置有用于检测突发撞击等的传感器,例如加速度计。控制器基于加速度计的输出来确定是否存在诸如对显示设备的冲击之类的撞击。如果确定检测到了撞击,则处理进行至步骤s452。
(步骤s452)
如果在步骤s451中确定检测到了撞击,则在步骤s452中停止显示单元的输出。
[11.正常显示与余像考虑脉冲显示之间的示例性切换处理,在余像考虑脉冲显示中,非显示时段被设置在余像识别时段以内]
在上述实施方式中,已经描述了在以下两种设置之间进行切换控制的配置。
(a)显示单元的背光被设置成连续打开的“连续显示(保持显示)”
(b)显示单元的背光被设置成重复地打开/关闭(on/off)的“间歇显示(脉冲显示)”
描述了用于进行该切换控制的实施方式。如上面参照图13和图14所述,执行控制以使得在用户状态是静止、行走或低速跑步的情况下使用保持(连续)显示,以及在用户状态是行走、低速跑步、高速跑步或骑自行车的情况下使用脉冲显示。
下面将对上述显示控制的另一示例进行描述。在下述的显示控制中,显示单元上的显示在以下两种模式之间切换。
(a)余像考虑脉冲显示,其中将非显示时段设置在余像识别时段以内,余像考虑脉冲显示是重复地进行显示单元的背光的打开/关闭(on/off)的脉冲显示。
(b)正常脉冲显示,其中将非显示时段设置成长于或等于余像识别时段,正常脉冲显示是重复地进行显示单元的背光的打开/关闭(on/off)的脉冲显示。
执行用于在(a)项与(b)项的显示之间进行切换的控制。
模式(a)的“余像考虑脉冲显示”与上述实施方式中的连续打开的“连续显示(保持显示)”具有基本上相同的效果,即,模式(a)的“余像考虑脉冲显示”是观察者处于连续观察显示信息的状态的显示模式。下面将参照图27来描述该余像考虑脉冲显示。
在图27中,横轴表示时间,纵轴表示显示单元上的on/off设置。在一个示例中,在t1至t2时段或者t3至t4时段中,显示单元处于on状态,并且执行信息显示。另一方面,在t2至t3时段或者t4至t5时段中,显示单元处于off状态,并且不执行信息显示。然而,在显示单元刚刚从on状态切换到off状态后,这是人眼中出现余像并且识别出显示信息、例如图中所示的显示单元上显示的字符[abc]的状态。换言之,产生预定时段的“余像识别时段”。在经过预定时段的“余像识别时段”之后,人们会意识到显示单元上没有显示任何内容。然而,如果在“余像识别时段”过去之前再次将显示单元设置成on状态,则人们确定显示单元上的显示信息是连续显示的。
如上所述,余像脉冲显示是将显示单元的非显示时段(例如图中所示时间t2至t3,t4至t5等)设置在“余像识别时段”以内的时间的脉冲显示。执行这样的脉冲显示使得人们能够识别到显示单元上的显示信息是连续显示的。换言之,实现与上述实施方式中的保持显示类似的效果。
此外,模式(b)的正常脉冲显示是将非显示时段设置成长于或等于余像识别时段的脉冲显示,并且对应于上述实施方式中描述的脉冲显示。在下述的显示控制中,显示单元上的显示在这两种模式之间切换。换言之,执行对以下显示模式(a)与显示模式(b)之间的切换的控制。
(a)余像考虑脉冲显示,其中将非显示时段设置在余像识别时段以内,余像考虑脉冲显示是重复地进行显示单元的背光的打开/关闭(on/off)的脉冲显示。
(b)正常脉冲显示,其中将非显示时段设置成长于或等于余像识别时段,正常脉冲显示是重复地进行显示单元的背光的打开/关闭(on/off)的脉冲显示。
具体地,如图28所示,在用户状态是静止、行走和低速跑步的情况下控制要进行余像考虑脉冲显示,在行走、低速跑步、高速跑步和骑自行车的情况下控制要进行正常脉冲显示。
图29所示的流程图是用于描述在根据显示设备上的显示是余像考虑脉冲显示还是正常脉冲显示而进行交替处理时的基本显示控制流程的流程图。下面将描述各步骤的处理。
(步骤s501)
在步骤s501中,获取与诸如头戴式显示器之类的显示设备相关联的传感器信息。显示设备设置有各种传感器例如用于检测用户移动的传感器。控制器获取这些传感器信息。在步骤s501中,具体地,获取诸如加速度计等的传感器信息。
(步骤s502)
在步骤s502中,控制器基于获取的传感器信息来确定用户的移动,并且基于确定的用户移动来计算最大眼球移动速度。在一个示例中,眼球速度计算处理按照根据上面参照图7至图9所描述的理论的计算处理来执行。
(步骤s503)
接着,在步骤s503中,确定在步骤s502中计算出的最大眼球速度是大于或等于预定的阈值还是小于该阈值。在一个示例中,该阈值例如是2deg/s的眼球速度,以及确定公式如下:
最大眼球速度≥2deg/s
在满足上述确定公式的情况下,即,如果确定在步骤s502中计算出的最大眼球速度大于或等于预定的阈值,则处理进行至步骤s504。在不满足上述确定公式的情况下,即,如果确定在步骤s502中计算出的最大眼球速度小于预定的阈值,则处理进行至步骤s505。上述阈值是一个示例,可以设置各种阈值。
(步骤s504)
在满足上述确定公式的情况下,即,如果确定在步骤s502中计算出的最大眼球速度大于或等于预定的阈值,则处理进行至步骤s504。然后,将显示单元上的显示设置成正常脉冲显示,即,将显示单元的非显示时段设置成被设置成大于或等于余像识别时段的正常脉冲显示,并且执行该显示处理。
(步骤s505)
在不满足确定公式的情况下,即,如果确定在步骤s502中计算出的最大眼球速度小于预定的阈值,则处理进行至步骤s505。然后,将显示单元上的显示设置成余像考虑脉冲显示,即,将显示单元的非显示时段设置成被设置在在余像识别时段以内的余像考虑脉冲显示,并且执行显示处理。
此外,以周期性的方式重复地执行根据图29所示的流程进行的处理。从而,根据用户的运动情况的变化适当地切换余像考虑脉冲显示和正常脉冲显示。然而,如果频繁地进行这种切换,则担心可视性可能会劣化。因此,在低速毛边显示与正常脉冲显示之间的切换设置合适的迟滞以使得不会频繁地切换模式。
此外,优选地通过直接监视眼球移动来测量眼球速度。在运动(跑步)期间,在无法进行对眼球移动的直接测量的情况下,在一个示例中,可以设置成根据以下值来计算。
(1)包括头部、手腕和肩膀的身体的移动、腿和胳膊的移动、跑步速度、移动时段等。
作为具体的示例,这里描述了对根据附接到头部的传感器的测量来估计以下值的示例。
“ve:眼球移动角速度[deg/s]”
在一个示例中,设置以下参数。
l:目标视点(假设为3.0m)[m]
a:常数(0<a<0.3)(假设为0.21)
ph:头部位置(高度改变量)[m]
在这些参数设置下,可以通过以下公式来计算ve:眼球移动角速度[deg/s]:
ve=d(arctan(ph/l)-arctan(ph/al))/dt
图30是用于描述在显示设备的显示被设置成余像考虑脉冲显示的情况下的显示参数的设置和显示控制流程的流程图。将余像考虑脉冲显示作为“显示和非显示”的重复处理执行一段固定时间。然而,当施加撞击(加速)以使得晶状体的振动宽度超过可视极限时,出于安全原因,优选地将显示操作设置成立刻暂停(显示关闭)。下面将描述各步骤的处理。
(步骤s521)
在步骤s521中,设置非显示时间(时段)。在一个示例中,通过以下公式计算非显示时间。
非显示时间=余像识别时间(时段)×0.8
作为具体值的示例,在一个示例中可以设置值(缺省值)=通过考虑了典型余像识别时间而获得的96ms。此外,余像识别时间根据用户的不同而不同,在可以测量每个用户独有的值的情况下,可以对测量的值进行设置。
(步骤s522)
接着,设置每次显示时间。将显示时间设置成例如10ms。
(步骤s523)
接着,创建余像考虑脉冲显示。在一个示例中,构建由基于从位置传感器获得的信息来指示当前位置的地图信息、根据用于捕获用户身体条件的传感器获得的指示用户身体条件的信息、关于外面空气温度及湿度的信息组成的显示信息。此外,显示亮度是通过光度计获得的外面世界的亮度、即根据环境亮度确定的亮度。具体地,如上面参照图19至图21等所描述的那样,将根据环境亮度而确定的显示信息设置成能够容易地识别的亮度水平。
接着,在图30所示的流程中,将非显示时段的设置值设置为例如96ms。然而,如上所述,在一个示例中,在存在由用户测量的值的情况下,优选地调整成小于或等于测量的值。在根据图30所示的流程图的控制示例中,在考虑针对余像识别时段20%的余量的情况下进行设置。此外,在图30所示的流程中将显示时间设置成10ms,但这是个说明性示例。在实践中,优选地在考虑显示元件的亮度-功率消耗特性/响应速度、外部亮度等的情况下来确定。此外,通过将on/off重复时间调整为一帧例如视频,甚至可以在低速显示下观看一般视频内容。在一个示例中,非显示时段=2ms并且设置显示时间=(每1帧2ms)。
[12.控制设备的示例性硬件配置]
接着,将参照图31来描述执行上述处理的控制设备的示例性硬件配置。
控制设备100是附接到用户身体的诸如头戴式显示器之类的显示设备,或者是对可携带式显示设备进行控制的设备。如图31所示,控制设备100被配置成包括控制器101、存储器102、操作单元103、显示单元104、音频输出单元105、通信单元106和各种传感器。
作为传感器,设置有磁力计121、gps单元122、气压计123、心率计124、排汗计125、陀螺仪传感器126、加速度计127、光度计128、温度湿度计129等。此外,图中所示的传感器仅仅是示例,还可以提供其他传感器。
控制器101是具有程序执行功能的数据处理单元比如cpu,并且根据存储在存储器102中的数据处理程序来执行各种处理。具体地,在一个示例中,执行根据上述图22至图26所示的流程图进行的处理。
除了存储在存储器102中的由控制器执行的程序以外,存储器102还具有例如要通过显示单元104或声音输出单元105输出的内容之类的数据以及通过各传感器获取的传感器信息。在一个示例中,运算单元103包括电源开关和各种操作单元例如对输出至显示单元104的数据的选择和音频输出的音量操作。
在一个示例中,显示单元104是由lcd等组成的显示单元,并且在控制器101的控制下显示各种数据。基于控制器101的控制,执行包括保持显示和脉冲显示的各种模式的显示。在一个示例中,音频输出单元105是扬声器,并且输出与显示单元105上显示的内容对应的音乐、音频信息等。通信单元105包括无线、有线和各种设置的通信单元,并且与外部终端等交换数据。
磁力计121获取要应用于当前位置信息的计算处理等的地磁信息。此外,由各传感器获取的传感器信息被输入到控制器101中,并且计算通过根据存储在存储器102中的传感器信息分析程序的处理而预先定义的各种信息。通过磁力计121获取的地磁信息被输入到控制器101中并且用于当前位置信息计算处理等。
gps单元122也是传感器,用于使用gps卫星获取当前位置数据,通过gps单元122获取的信息被输入到控制器101中并且用于当前位置信息计算处理等。
气压计123是用于测量大气压的传感器。心率计124是用于测量用户心率的传感器。排汗计124是用于测量用户排汗量的传感器。陀螺仪传感器126是用于检测角度和角速度的传感器。加速度计127是用于检测加速度的传感器。光度计128是用于检测外面世界的亮度的传感器。温度湿度计129是用于测量外面世界的温度和湿度的传感器。
这些传感器的检测信息被输入到控制器102中,并用于显示信息的构建和控制。
[13.本公开内容的配置的小结]
已经参照具体实施方式描述了本公开内容的实施方式。然而,显然本领域技术人员可以在不脱离本公开的范围的情况下对实施方式进行修改和替换。即,本发明以示例的形式公开,并且不应被解释为限制。为了确定本公开的范围,应当参考所附权利要求。
注意,本说明书中公开的技术可以具有以下配置。
(1)一种控制设备,包括:
控制器,被配置成对用户可穿戴式或可携带式显示单元执行显示信息输出控制,
其中,所述控制器设置打开(on)时段和关闭(off)时段,并且对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,所述余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,所述正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
(2)根据(1)所述的控制设备,
其中,所述控制器根据持有所述显示单元的用户的眼球速度来执行所述余像考虑脉冲显示与所述正常脉冲显示之间的切换控制。
(3)根据(1)或(2)所述的控制设备,
其中,所述控制器在持有所述显示单元的用户的眼球速度小于阈值的情况下执行所述余像考虑脉冲显示,并在所述眼球速度大于或等于所述阈值的情况下执行所述正常脉冲显示。
(4)根据(1)至(3)中的任意一项所述的控制设备,
其中,所述控制器基于从传感器信息输入的用户移动信息来计算用户的眼球速度,并且根据计算出的眼球速度来执行所述余像考虑脉冲显示与所述正常脉冲显示之间的切换控制。
(5)根据(1)至(4)中的任意一项所述的控制设备,
其中,所述控制设备包括加速度计,以及
所述控制器使用所述加速度计的检测信息来计算用户的眼球速度,并且根据计算出的眼球速度来执行所述余像考虑脉冲显示与所述正常脉冲显示之间的切换控制。
(6)根据(1)至(5)中的任意一项所述的控制设备,
其中,所述显示单元是戴在用户头部的可头戴式显示单元,以及
所述控制器计算在取决于用户头部的上下移动而生成的眼球移动期间的眼球移动速度,并且根据计算出的眼球移动速度来执行所述余像考虑脉冲显示与所述正常脉冲显示之间的切换控制。
(7)根据(1)至(6)中的任意一项所述的控制设备,
其中,所述控制器执行一次打开(on)时段被设置成小于或等于10ms的脉冲显示。
(8)根据(1)至(7)中的任意一项所述的控制设备,
其中,所述显示单元是具有透镜的显示单元,所述透镜用于在比显示表面更加远离用户眼球的位置处设置虚拟观察位置。
(9)一种控制设备,包括:
控制器,被配置成对用户可穿戴式或可携带式显示单元执行显示信息输出控制,
其中,所述控制器对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在所述保持显示中连续地执行至显示单元的显示信息输出,而在所述脉冲显示中重复打开(on)时段和关闭(off)时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
(10)根据(9)所述的控制设备,
其中,所述控制器根据持有所述显示单元的用户的眼球速度来执行所述保持显示与所述脉冲显示之间的切换控制。
(11)根据(9)或(10)所述的控制设备,
其中,所述控制器在持有所述显示单元的用户的眼球速度小于阈值的情况下执行所述保持显示,并在所述眼球速度大于或等于所述阈值的情况下执行所述脉冲显示。
(12)根据(9)至(11)中的任意一项所述的控制设备,
其中,所述控制器基于从传感器信息输入的用户移动信息来计算用户的眼球速度,并且根据计算出的眼球速度来执行所述保持显示与所述脉冲显示之间的切换控制。
(13)根据(9)至(12)中的任意一项所述的控制设备,
其中,所述控制设备包括加速度计,以及
所述控制器使用所述加速度计的检测信息来计算用户的眼球速度并且根据计算出的眼球速度来执行所述保持显示与所述脉冲显示之间的切换控制。
(14)根据(9)至(13)中的任意一项所述的控制设备,
其中,所述显示单元是戴在用户头部的可头戴式显示单元,以及
所述控制器计算在取决于用户头部的上下移动而生成的眼球移动期间的眼球移动速度,并且根据计算出的眼球移动速度来执行所述保持显示与所述脉冲显示之间的切换控制。
(15)根据(9)至(14)中的任意一项所述的控制设备,
其中,所述控制器在执行所述脉冲显示时执行一次打开(on)时段被设置成小于或等于10ms的脉冲显示。
(16)根据(9)至(15)中的任意一项所述的控制设备,
其中,所述显示单元是具有透镜的显示单元,所述透镜用于在比显示表面更加远离用户眼球的位置处设置虚拟观察位置。
(17)一种由控制设备对用户可穿戴式或可携带式显示单元执行的控制方法,所述方法包括:
由控制器设置打开(on)时段和关闭(off)时段,并且由所述控制器对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,所述余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,所述正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
(18)一种由控制设备对用户可穿戴式或可携带式显示单元执行的控制方法,所述方法包括:
由控制器对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在所述保持显示中连续地执行向所述显示单元的显示信息输出,而在所述脉冲显示中重复打开(on)时段和关闭(off)时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
(19)一种用于使控制设备对用户可穿戴式或可携带式显示单元进行控制的程序,所述程序使所述控制设备:
设置打开(on)时段和关闭(off)时段,并且对余像考虑脉冲显示与正常脉冲显示之间的切换进行控制,所述余像考虑脉冲显示具有被设置在余像识别时段以内的关闭时段,所述正常脉冲显示具有被设置成长于或等于余像识别时段的关闭时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
(20)一种用于使控制设备对用户可穿戴式或可携带式显示单元进行控制的程序,所述程序使所述控制设备:
对保持显示与用作间歇显示的脉冲显示之间的切换进行控制,在所述保持显示中连续地执行向所述显示单元的显示信息输出,而在所述脉冲显示中重复打开(on)时段和关闭(off)时段,所述打开(on)时段是显示信息向所述显示单元输出的时段,所述关闭(off)时段是显示信息不向所述显示单元输出的时段。
此外,说明书中描述的一系列处理可以通过硬件、软件或二者的组合来实现。在通过软件来实现处理的情况下,可以在加入专用硬件中的计算机内的存储器中安装记录了处理流程的程序,并且执行该程序。还可以在能够执行各类处理的通用计算机中安装程序,并且执行该程序。在一个示例中,可以将程序预先记录在记录介质中。除了通过记录介质将程序安装在计算机中之外,还可以通过诸如局域网(lan)或因特网之类的网络来接收程序,然后可以将程序安装在内置在计算机内的诸如硬盘之类的记录介质中。
注意,本说明书中描述的各类处理可以按照执行处理的设备的处理能力或者根据需要,不仅可以按时间顺序执行也可以并行或单独地执行。此外,本说明书中的系统不局限于逻辑上聚集全部包括在同一壳体内的多个设备的配置。
工业实用性
如上所述,根据本公开内容的一个实施方式的配置,实现了使用户可穿戴式或可携带式显示单元的可视性得到提高的显示信息输出控制。更具体地,包括对用户可穿戴式或可携带式显示单元执行显示信息输出控制的控制器。控制器设置打开(on)时段和关闭(off)时段,打开(on)时段是显示信息作为输出至显示单元的显示信息向显示单元的输出时段,关闭(off)时段是显示信息的非输出时段。控制器控制余像考虑脉冲显示与正常脉冲显示之间的切换,在余像考虑脉冲显示中,关闭时段被设置在余像识别时段内,在正常脉冲显示中,关闭时段被设置成长于或等于余像识别时段。控制器根据用户的眼球移动速度来执行余像考虑脉冲显示与正常脉冲显示之间的切换控制。如果用户的眼球速度小于阈值,则执行余像考虑脉冲显示,而如果用户的眼球速度大于或等于该阈值,则执行正常脉冲显示。利用该配置,实现了使显示单元的可视性得到提高的对显示信息的输出控制。
附图标记列表
10头戴式显示器
11显示单元
12扬声器
15控制器
30显示设备
31显示表面
32透镜
35虚拟观察位置
40显示设备
41显示字符
100控制设备
101控制器
102存储器
103操作单元
104显示单元
105音频输出单元
106通信单元
121磁力计
122gps单元
123气压计
124心率计
125排汗计
126陀螺仪传感器
127加速度计
128光度计
129温度湿度计