头戴式显示装置的制作方法

本发明涉及可穿戴式信息显示系统，特别是佩戴在使用者头部、具有在使用者眼前显示规定影像信息的功能的头戴式显示装置(以下记作hmd)及其应用系统。

背景技术：

近年来，佩戴在使用者头部的风镜式(goggles)或眼镜式的由所谓hmd实现的信息影像显示装置迅速开始普及。

该hmd具有投影虚像——该虚像从使用者看来具有规定的视觉距离——的功能，利用该功能能够将必要的信息影像作为虚像显示给使用者。

另一方面，人的视觉能力(视力)存在个体差异或偏差。例如，通常来说，近视的人在观看书、报等较近距离处的物体时与视力健全的人没有大的差别，但具有视觉对象越远则视力迅速下降的特性，反之远视的人则具有近距离下的视力比远距离下低的特性。

进一步地，当今的老龄化社会反映到年龄段上，中老年年龄段的对象人口急剧增多，在这样的年龄段中，虽然在中距离下能确保较好的视力，但近距离和远距离下的视力迅速下降。也即通常存在这样的趋势，即，可保证一定程度以上视力的视觉距离范围相比年轻人变窄。这也就是所谓的老花眼。

考虑到这样的每个人的视力的差异或偏差，例如日本特开2000-89157号公报(专利文献1)公开了一种能够改变虚像视觉距离的hmd结构，使得能够与使用者的视力相应地投影具有合适的视觉距离的虚像。

现有技术文献

专利文献

专利文献1：日本特开2000-89157号公报

技术实现要素：

发明要解决的技术问题

如果利用上述专利文献1公开的具有可改变虚像的视觉距离之功能的hmd，通过例如先使用视频摄像机等拍摄使用者观看的外部情景，并将该拍摄的外部情景影像投影显示为视觉距离最适合使用者视力的虚像，则能够不受每个使用者的视力的差异或偏差的影响，使使用者始终以良好的视觉状态观看外部情景。从而，能够使hmd具有犹如对每个使用者都进行了最优化的视觉矫正眼镜那样的视觉辅助功能。

不过，若像上述那样单纯地将拍摄视野内的所有对象物影像都投影到相同的虚像距离处，则裸眼观看外部情景时感觉到的对象物的远近感都全部失去，只能认知为平面的影像，与裸眼观看的情景相比产生明显的不协调感。

本发明的目的鉴于上述问题而提出，提供一种能够利用hmd在保持与裸眼目视相同的远近感的同时确保良好的视觉性能的具有高功能性的视觉辅助系统。

解决问题的技术手段

为解决上述问题，本发明例如采用以下技术方案。本申请包含多个解决上述问题的技术手段，举一例如下。一种佩戴在使用者头部并在其眼前显示信息影像的头戴式显示装置，其包括：外部情景拍摄器，以包含使用者的直接可视视野的视野范围来拍摄外部情景；虚像投影器，将外部情景拍摄器所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上；视野内对象物距离检测器，检测从使用者到外部情景拍摄器所拍摄的外部情景影像内呈现的对象物的实际距离；和远近感影像生成器，基于该视野内对象物距离检测器检测出的对象物的实际距离信息，对左眼用和右眼用虚像影像实施规定的处理来生成附加了远近感的虚像影像。

发明效果

通过本发明，可实现能够利用hmd在保持远近感的同时与个人的视觉能力相匹配地确保良好的视觉性能的视觉辅助系统。

附图说明

图1是表示作为本发明之前提的hmd及其应用系统的概要的立体图。

图2是作为本发明之前提的虚像投影的说明图。

图3是表示作为本发明之前提的使用者到注视对象物的实际距离与裸眼目视下的相对视力的关系的曲线图。

图4是实施例1的hmd应用视觉辅助系统的模块结构图。

图5是用于说明实施例1的虚像的双眼视差的概要平面图。

图6表示实施例1中的赋予了双眼视差的虚像之一例的概要平面图。

图7是表示实施例1中的使用者到注视对象物的实际距离与裸眼目视对象物时的实像的相对视力以及虚像的相对视力的关系的曲线图。

图8是表示实施例1中的使用者到注视对象物的实际距离与对虚像内的对象物影像赋予的视觉上的换算距离的关系的曲线图。

图9是表示实施例1的处理流程的流程图。

图10是实施例2的hmd应用视觉辅助系统的模块结构图。

图11是实施例3的hmd应用视觉辅助系统的模块结构图。

图12是实施例4的hmd应用视觉辅助系统的模块结构图。

具体实施方式

以下，使用附图对本发明的实施例进行说明。

首先，针对作为本发明之前提的hmd及其应用系统的概要进行说明。图1是表示作为本发明之前提的hmd及其应用系统的概要的立体图。以下，将hmd应用系统作为补偿使用者的裸眼视觉性能的视觉辅助系统进行说明。

在图1中hmd1佩戴在使用者20的头部。并且，hmd1为所谓视频透视式(videosee-through)hmd，具有在配置于使用者20的左右两眼前的非透明影像显示屏幕(影像显示装置)2上投影显示规定影像的功能。即，至少在hmd1为工作状态时影像显示屏幕2为不透明状态，因此使用者20无法裸眼观看外部而仅能观看投影在影像显示屏幕2上的影像。

此外，除影像显示屏幕2之外，hmd1还包括配置在使用者的裸眼周边的外部情景拍摄用电子摄像头3。外部情景拍摄用电子摄像头3设置成从大致与佩戴hmd1的使用者20的视线方向相同的方向拍摄外部情景，具有能够以与使用者20的裸眼视野大致相同或更加宽广的视野拍摄外部情景的功能，即能够以包含直接可视视野在内的视野范围拍摄外部情景作为电子影像信息的功能，并且配备与使用者的裸眼视觉性能相比足够高的拍摄性能(分辨率、mtf等)。此外，电子摄像头3也可具有与裸眼目视的景深相比足够大的景深。

此外，电子摄像头3还具有能够自动地对焦在拍摄视野内的规定对象物上的自动对焦功能。作为要对焦的对象物，可为位于拍摄视野中央的对象物，例如也可如后文所述，设置检测使用者的视线方向的某种视线检测装置，将焦点对焦在位于该视线方向的对象物上。此外，也可以包括这样的装置，其使焦点依次对焦在拍摄视野内的与使用者之间的距离不同的多个对象物上，拍摄并保存多个影像信息并将它们合成，由此生成在近距离到远距离的宽广距离范围内合焦的被称为所谓“泛焦(pan-focus)”或“深焦(deep-focus)”的影像。

进一步地，电子摄像头3也可以具有根据使用者20的指示以规定的放大率放大拍摄外部情景的功能。

此外，hmd1具有测量使用者到外部情景拍摄用电子摄像头3所拍摄的视野内的各对象物间的距离的测距功能。作为该测距功能的具体实施方法，可利用电子摄像头3的自动对焦功能，也可使用根据分开一定距离配置的两个电子摄像头各自独立拍摄的对象物影像的视差来检测距离的方法。只要是能够实现规定的测距功能的方法，任意方法均可使用，例如还可以另行设置使用红外线或超声波等的测距传感器等。

如上所述拍摄或生成的外部情景影像使用hmd1配备的虚像投影器作为虚像投影到影像显示屏幕2上。

此时，例如不管是在注视如图2(a)所示的交通标志等位于较远距离处的对象物30的情况下，或者是反过来注视如图2(b)所示的报纸或书等位于较近距离处的对象物40的情况下，无论使用者与注视对象物之间的距离大小如何，都投影显示对于使用者可获得最好的视觉性能的、具有合适的视觉距离c的虚像31、41。由此，与因注视对象物30或40等的实际距离d、d’的大小带来的使用者20的视觉能力的差异或偏差无关地，使用者能够始终以良好的视觉状态观看与裸眼目视到的相同的外部情景。

上述的虚像的合适视觉距离c可如下所述地决定。图3是将使用者到注视对象物的实际距离与裸眼观看对象物时的相对视力(对象物视觉性能的相对值)的关系以图表示的例子(以下将这样的图记为相对视力特性图)。两图中，横轴为使用者到注视对象物的实际距离，纵轴为以健全视力者裸眼观看距离1m的对象物时的视力为1.0的情况下的相对视力值。一般地，在以健全视力裸眼目视的情况下，如各图中的虚线100所示，相对视力特性图为大致与实际距离成反比的关系。

与此相对，图3(a)中的实线101表示近视的人的相对视力特性图的一个例子。近视的人有这样的趋势，即，在其与对象物之间的距离较近的情况下，与健全的相对视力的差异较小，但随着距离变大则相对视力迅速降低。因此，在使用者具有这种近视的视力特性的情况下，例如可将能够确保与健全的视力特性下的相对视力1.0同等的相对视力的点p的对象物实际距离(图3(a)的例子中为0.8m)作为上述虚像的合适视觉距离c。

另一方面，虽然未图示，远视的人有这样的趋势，即，在较远距离处具有与健全的相对视力同等或以上的相对视力，但近距离下的相对视力与健全的相对视力相比显著降低。因此，在使用者具有这种远视的视力特性的情况下，可将能够确保与健全的视力特性同等的相对视力的对象物距离(位于较远距离处)作为虚像的合适视觉距离c。

进一步地，图3(b)中的实线表示老花眼的人的相对视力特性图的一个例子。在老花眼的情况下的趋势是，近距离和远距离处的视力都比健全视力低，而在中距离附近(图3(b)的例子中为0.8m～1.0m)存在相对视力最好的点q。因此，可将该q点的对象物实际距离作为虚像的合适视觉距离c。

其中，以上所述的虚像的合适视觉距离c的决定方法仅为一个例子，本实施例并不限定于上述的决定方法。人的相对视力特性因个体差、年龄差以及周围环境的影响等各种因素而存在较大的差异或偏差。对于本实施例中的虚像的合适视觉距离c，可根据使用者各自的视觉能力任意决定。

此外，也可以采用这样的结构，即，通过在显示屏幕2与使用者20的眼球之间佩戴规定的视觉辅助眼镜镜片来矫正使用者一侧的视力，使得可将任意的视觉距离作为合适视觉距离。

此外，为了使如上所述地投影的虚像的视觉距离任意地匹配各使用者的合适视觉距离，需要具备能够使虚像的视觉距离适当地改变、调节的功能，对此，可使用公知的虚像视觉距离改变方法，例如可如上述专利文献1记载的结构那样，设置使用于生成虚像的光学系统的至少一部分沿光轴机械移动的装置。

通过采用如上所述的结构，无论其视觉能力的差异或偏差如何，使用者都能够将hmd用作可良好地观看外部情景或视觉对象物的高性能视觉辅助系统。

然而，在利用以上所述的方法将hmd用作视觉辅助系统的情况下，存在产生如下所述的重大问题的隐患。

即，在如上所述地将拍摄到的外部情景影像以与使用者的合适视觉距离相匹配的方式投影显示为虚像的情况下，虽然使用者确实能够与注视对象物的远近无关地始终以良好的视觉状态观看外部情景，但反过来，由于视野内的所有对象物影像都显示为同一视觉距离处的虚像，因此由各对象物的实际距离的大小带来的远近感的感觉完全缺失，只能识别为平面的情景。因此，与裸眼目视相比，使用者会产生因远近感缺失带来的显著的不协调感和不适感。

为此，需要一种新的虚像显示方法和装置，在将拍摄到的外部情景影像以与合适视觉距离相匹配的方式投影为虚像来保持良好的视觉状态的同时，尽可能忠实地重现使用者裸眼目视外部情景时感觉到的远近感，消除使用者的不协调感和不适感。以下针对其具体的实施例进行说明。

实施例1

图4表示本实施例的hmd应用视觉辅助系统的模块结构图。以下针对该模块结构图的各部分的功能进行说明。

在图4中，外部情景拍摄用电子摄像头3拍摄到的外部情景影像信息被发送到视野内对象物距离检测器10和远近感影像生成器11。

视野内对象物距离检测器10具有检测所拍摄的外部情景影像内拍摄到的各对象物的实际距离(从使用者到对象物的实际的距离)的功能。其中，图4的例子给出了利用所拍摄的影像或拍摄用电子摄像头3自身具备的测距功能来检测上述距离信息的例子，但当然也可如上所述，除了电子摄像头3之外，对象物的距离信息检测可使用专用的测距传感器或测距装置。在这种情况下，上述视野内对象物距离检测器10自然构成为从上述测距传感器或测距装置接收信息信号。此外，电子摄像头3拍摄的影像信息根据需要以附带有视野内对象物距离检测器10检测到的各对象物的距离信息的形式，保存在存储器12内。

远近感影像生成器11为本实施例的视觉辅助系统的核心部分，其具有这样的功能，即，利用电子摄像头3拍摄的外部情景影像信息和视野内对象物距离检测器10检测出的各对象物的距离信息，以及根据需要从存储器12提取的规定的影像信息等，来生成分别独立地投影显示在配置于hmd使用者20的左右眼前的影像显示屏幕2上的、具有远近感的虚像影像。其中，针对该远近感影像生成器11中的远近感赋予功能的细节，在后面详细地进行说明。

远近感影像生成器11生成的显示影像被发送到影像显示控制器13。该影像显示控制器13具有为了将远近感影像生成器11发送来的显示影像适当地作为虚像投影到hmd1内的投影屏幕2上，而对hmd1内所配备的虚像投影装置进行控制的功能。

进一步地，该影像显示控制器13也可具有对虚像投影装置内配备虚像生成用光学系统进行控制的功能，以能够将虚像的视觉距离改变、调节为规定的距离。

此外，上述的外部情景拍摄用电子摄像机3、视野内对象物距离检测器10、远近感影像生成器11、存储器12、影像显示控制器13分别由控制器14来适当地控制其功能和动作。

如上所述，在图4中的各模块之中，远近感影像生成器11为本实施例的核心部分，在该模块中，对要分别独立地投影显示在左右影像显示屏幕2上的虚像影像实施规定的加工处理，生成从使用者20看来可感觉到规定的远近感的虚像影像。以下针对该远近感之生成的具体实施例进行说明。

首先，在人观看虚像时，为了对虚像感受到远近感，以下三要素是必须的。

(1)双眼视差

(2)与距离相应的虚像的虚化

(3)双眼内聚(辐辏)带来的不协调感的缓和

首先，(1)之双眼视差是指，左右各眼看到的影像(虚像)的位置根据观测者到对象物的距离而产生面内方向的差异。图5表示其一例。在此，令佩戴hmd1的使用者20到位于该使用者的正前方的注视实际对象物50的实际距离为d，而通过hmd1投影到其左右投影屏幕2上的对象物50的虚像51和52的视觉距离为c。此外，令使用者的双眼距离为w。此时，为了让使用者观看实际对象物50的虚像51和52时感觉到与实际对象物50自身相同的远近感，至少必须将左右各眼分别看到的实际对象物50的虚像51和52，投影到将实际对象物50与使用者的左右两眼分别的直线(图中的虚线)与距离使用者视觉距离c处的虚像视觉面的交点位置上。

即如图6所示，左眼的实际对象物50的虚像51必须投影到从虚像中心向右侧偏移δx的位置上，右眼的虚像52必须投影到从虚像中心向左侧偏移δx的位置上。

该左右虚像的相对偏移量δx通常利用上述实际距离d、虚像视觉距离c和观测者两眼的间隔w由下式表示。

δx＝(w/2)×(1-c/d)……(1)

这样，由于相对偏移量δx对投影到左右两眼的虚像影像赋予规定的面内方向偏移(视差)——其中该偏移即视差与观测者(本实施例的情况下为hmd使用者)到注视对象物的距离大致成反比，能够有助于观测者感受到远近感。

其次，(2)之与距离相应的虚像的虚化是指，考虑到人的视觉能力如上所述大致与到对象物的距离成反比，对所投影的虚像内的每个对象物影像，根据该对象物的实际距离而对该虚像影像赋予规定的“虚化”。

图7中表示其一例。该图与图3同样地表示人的相对视力特性，图的横轴、纵轴与图3相同。如上所述，直接裸眼目视对象物时的实像的相对视力如图中的虚线100所示，大致与该对象物的实际距离成反比地降低。

另一方面，在通过虚像观看摄像机拍摄的情景时，由于虚像的视觉位置固定而与对象物的远近无关，因此对象物的虚像影像的相对视力如图中的实线200所示，与该对象物的实际距离无关，为固定值。这成为妨碍感觉到虚像的远近感的一大因素。

因此，通过预先对投影为虚像的影像内呈现的各对象物影像赋予与该对象物的实际距离信息大致成比例的量的“虚化”，即使对于处于同一视觉距离的虚像，也能够使其接近裸眼目视下的实像的相对视力特性曲线100，利用该相对视力特性效果帮助观测者感受到远近感。

此外，此时为了使使用者对其正在注视的对象物的辨识性最好，因此可适当地调节与对象物的实际距离对应的“虚化”量，使得该注视对象物的实际距离下的相对视力最为合适。

此外，关于上述注视对象物的确定，可将位于与使用者的裸眼视野大致一致的拍摄视野的中央的对象物确定为使用者的注视对象物，也可如后文所述，检测使用者的视线方向，将处于该视线方向上的对象物确定为注视对象物。

最后，(3)之双眼内聚带来的不协调感的缓和指的是以下内容。双眼的内聚是指，尤其是直接观看近距离对象物的情况下，为了将双眼的焦点对焦在该对象物上，双眼的眼球彼此向内侧转动的运动(内收运动)。通过由大脑检测该眼球的内收运动，人在一定程度上检测到对象物的远近感。该内聚在对象物位于数十cm左右以内的极近距离时显著地发生。而另一方面，人在观看虚像的情况下，此人的眼睛焦点仅对焦在虚像的视觉距离上。因此，在观看视觉距离为数十cm左右以上的位于远离的位置上的虚像的情况下，不发生明显的内聚。但在对象物位于观测者的极近距离的情况下，由上述的双眼视差和与距离相应的虚像的虚化而任意赋予的虚像的远近感，与基于上述内聚检测出的距离感出现背离，观测者产生较大的不协调感和不适感。

本实施例的目的为消除这种观测者(hmd使用者)的不协调感和不适感。因此，本实施例提出了一种实施修正的方法，其修正对象物的实际距离与对该对象物的虚像影像赋予的视觉上的换算距离之间的关系。

图8是表示其一例的图。该图为曲线图，其中描绘出了使用者到注视对象物的实际距离与本实施例中对虚像内的各对象物影像赋予的视觉上的换算距离的关系(以下将该关系记为距离换算特性)。

原本上，使用者到对象物的实际距离(纵轴)与对虚像内的对象物影像赋予的换算距离(纵轴)在理想情况下是严格一致的。即，理想情况下，上述距离换算特性为如图8中的虚线110所示的斜率(比例系数)为1.0的线性关系。然而，如上所述，若保持这种正确的距离关系，尤其是在近距离区域中，会产生如上所述的对虚像任意赋予的远近感与基于内聚检测出的距离之间出现大幅度的背离。

因此，在本实施例中，在视野内对象物距离检测器10或远近感影像生成器11内具备按以下距离换算特性来计算换算距离的功能，其中，该距离换算特性在中距离、远距离区域内遵照原来的表示正确距离关系的直线110，而在比规定的点r(图的例子中为实际距离1m处)更近距离的区域内，使对虚像影像赋予的视觉距离的变化量与使用者到对象物的实际距离的变化量的比例系数，随着该对象物的实际距离的减小而从1.0逐渐增大，例如为图中实线210所示的曲线上的距离换算特性。

然后，基于如上所述地计算出的换算距离，在远近影像生成器11中，计算要对分别投影到左眼用和右眼用影像显示屏幕2上的左眼用和右眼用虚像影像赋予的双眼视差量和与距离相应的像的虚化量，并进行影像的加工处理以赋予这样的视差量和虚化量。通过实施这样的处理，能够减少对虚像影像任意赋予的远近感与上述内聚之间的背离，能够良好地消除对观测者(hmd使用者)造成的不协调感和不适感。

不过，如果像这样地在近距离区域使对虚像影像赋予的视觉距离的变化量与实际距离的变化量的比例系数从1.0逐渐减小，则当然在该区域中，相对于实际对象物的远近感而言，虚像影像的远近感的忠实性发生劣化。然而，尤其是在注视近距离对象物的情况下，例如读书或看报等情况下，大多情况下仅集中地注视该对象物，注意到周围情景的远近感的状况极少。因此，作为视觉矫正系统来说，相比确保对象物的远近感的忠实性，尽可能地消除观测者(hmd使用者)的不协调感和不适感的实用性更高。

此外，如图8所示的距离换算特性210仅为一例，本实施例当然并不限定于此。可根据使用者个体特性或偏好或者周围环境、状况，任意地设定距离换算特性的拐点r的位置(实际距离)和/或距离比r更靠近的一侧的距离换算特性曲线的形状。距离换算特性只要在比规定距离点更近距离一侧，使对虚像影像赋予的视觉上的换算距离比对象物的实际距离大规定量或规定比例即可，可为任意特性。

如上所述，通过以带来(1)双眼视差、(2)与距离相应的虚像虚化、(3)双眼内聚带来的不协调感的缓和的方式，对投影在配置于使用者的左右眼前的hmd1的投影屏幕2上的各影像实施规定的处理，从而能够使使用者以良好的视觉特性观看外部情景，并且对虚像的远近感不会产生不协调感或不适感。

接着，利用图9的流程图针对本实施例的视觉辅助系统的处理流程进行说明。在图9中，首先在步骤1(s1)中，从外部情景拍摄用电子摄像头3依次获取规定的影像信息。在接下来的步骤2中，获取拍摄视野内的各对象物的实际距离信息。在接下来的步骤3中，利用步骤2中获取的各对象物的实际距离信息，根据上述的距离换算特性，作为应对双眼内聚的对策，计算要对虚像内的各对象物影像赋予的视觉上换算距离。在接下来的步骤4中，基于步骤3中换算的虚像的视觉上换算距离，例如按照上述式(1)计算对左右两眼的虚像影像赋予的“双眼视差量”。

同样地在步骤5中，基于步骤3中换算的上述虚像的视觉上换算距离，计算应对各对象物的虚像影像赋予的规定“虚化量”。

在接下来的步骤6中，利用步骤4和步骤5中计算出的“双眼视差量”和“虚化量”等构建远近感的参数，对步骤1获取的影像信息实施加工，生成用于分别投影到hmd1内的左右影像显示屏幕2上的虚像影像。

最后在步骤7中，在hmd1内的左右影像显示屏幕2上投影显示经步骤6加工、生成的左右虚像影像，并在接下来的步骤8中，判断是否要继续上述一系列的处理流程。如果判断结果为“是”则重新返回步骤1，如果判断结果为“否”则结束一系列的处理流程。

不过，如果结束以上的处理流程，则配置在使用者20眼前的影像显示屏幕2变成不显示任何影像的状态。由于该影像显示屏幕2基本上是不透明的，因此在什么都不显示的状态下，连裸眼观看外部情景都是困难的，所以如果不脱下hmd则会非常危险。因此，例如利用液晶型调光玻璃等构成该影像显示屏幕2，能够通过电压on/off切换透明状态和不透明状态。由此，在作为视觉辅助系统的功能为工作状态时，起到作为不透明的影像显示屏幕的功能，而上述系统的动作为off时，影像显示屏幕2自动地变成透明或半透明状态，能够裸眼观看外部情景，即使始终佩戴hmd也是安全的。

此外，在如图4所示的本实施例的hmd应用视觉辅助系统中，各模块构成部分可与hmd1构成为一体，也可分体构成。此外，虚像的合适视觉距离c也能够以可改变的方式由用户设定。

如上所述，本实施例为一种佩戴在使用者头部并在眼前显示信息影像的头戴式显示装置，其包括：外部情景拍摄器，以包含使用者的直接可视视野的视野范围来拍摄外部情景；虚像投影器，将外部情景拍摄器所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上；视野内对象物距离检测器，检测从使用者到外部情景拍摄器所拍摄的外部情景影像内呈现的对象物的实际距离；远近感影像生成器，基于视野内对象物距离检测器检测出的对象物的实际距离信息，对左眼用和右眼用虚像影像实施规定的处理来生成附加了远近感的虚像影像。

此外，本实施例为一种佩戴在使用者头部并在眼前显示信息影像的头戴式显示装置的影像显示方法，以使用者的视野范围来拍摄外部情景影像，检测从使用者到外部情景影像内呈现的对象物的实际距离，将所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上，左眼用和右眼用虚像影像基于检测出的对象物的实际距离信息被附加了远近感。

由此，可实现能够利用hmd在保持远近感的同时与个人的视觉能力相匹配地确保良好的视觉性能的视觉辅助系统。

实施例2

图10表示本实施例的hmd应用视觉辅助系统的模块结构图。在该模块图中，对与图4的模块图相同的结构要素标注相同标记并省略其说明。

在本实施例中，除图4所示的实施例1的结构要素之外，还包括用于检测使用者20的视线方向的视线方向检测器15，和根据从该视线方向检测器15获得的视线方向和电子摄像头3拍摄的外部情景影像检测和确定使用者当前注视的对象物的注视对象物检测器16。于是，以使得由该注视对象物检测器16检测和确定的注视对象物能够以最良好的辨识性观看的方式，调节对虚像影像赋予的“虚化量”，并由远近感影像生成器11生成用于投影到左右影像显示屏幕2上的虚像影像。

通过采用这种结构，即使在使用者正在注视偏离其视野中央的对象物的情况下，也能够以合适的视觉特性观看该注视对象物的虚像。

实施例3

图11表示本实施例的hmd应用视觉辅助系统的模块结构图。在该模块图中，对与图4和图10的模块图相同的结构要素标注相同标记并省略其说明。

在本实施例中，除图4所示的实施例1的结构要素之外，包括用于检测使用者20发出的声音的拾音麦克风17，和对该拾音麦克风17采集到的使用者20的声音进行分析，来识别使用者20说出的语言的内容的声音识别器18。

本实施例可设置这样的功能，即，例如当检测到使用者20发出的“放大”或“zoomup”等某种关键词时，利用上述声音识别器18识别该关键词，以规定的放大率对外部情景拍摄用电子摄像头3的拍摄影像进行放大。

或者也可设置这样的功能，即，在上述系统内另外设置文字识别器或规定的语言自动翻译器，当检测和识别到“翻译”等关键词时，对拍摄视野内的英文单词、英文文章或难读汉字等进行自动翻译，在呈现在显示屏幕2上的虚像影像上叠加显示该翻译结果。

通过这样设置检测、识别使用者的声音的装置，使用者能够仅通过声音就能操作与hmd相关的各种功能，能够进行完全的解放双手(freehand)的操作。

实施例4

图12表示本实施例的hmd应用视觉辅助系统的模块结构图。在该模块图中，对与图4、图10和图11的模块图相同的结构要素标注相同标记并省略其说明。

在本实施例中，除图4所示的实施例1的结构要素之外，包括具有自动测量佩戴本实施例的视觉辅助系统的使用者20的视力的功能的小型自动视力测量器(autorefractometer，自动折光仪)60，和根据该自动视力测量装置60检测到的使用者20的视力来计算对该使用者可确保最佳辨识性的虚像视觉距离的最佳虚像视觉距离计算器61。从而，将该最佳虚像视觉距离计算器61计算出的最佳虚像视觉距离信息发送到远近感影像生成器11和影像显示控制器13，生成具有最佳虚像视觉距离且保持有良好的远近感——不会对使用者造成不协调感和不适感——的虚像影像，并通过影像显示控制器13自动调节hmd1内的虚像生成用光学系统，以将该虚像影像投影到影像显示屏幕上。

通过采用这种结构，在使用者20每次佩戴本视觉辅助系统系统时，能够自动测量该使用者的视力，并自动调节虚像位置，以使其为对使用者而言而获得最佳视觉性能的虚像视觉距离。

实施例5

本实施例所针对说明的例子是，将hmd应用视觉辅助系统中的远近感影像生成器11的处理作为外部处理，来减轻hmd应用视觉辅助系统的处理负担。

如实施例1的图4所示，远近感影像生成器11具有这样的功能，即，利用电子摄像头3拍摄的外部情景影像信息和视野内对象物距离检测器10检测出的各对象物的距离信息，以及根据需要从存储器12提取的规定的影像信息等，来生成分别独立地投影显示在配置于hmd使用者20的左右眼前的影像显示屏幕2上的、具有远近感的虚像影像；并且，如上所述，以带来(1)双眼视差、(2)与距离相应的虚像虚化、(3)双眼内聚带来的不协调感的缓和之方式，对投影在配置于使用者的左右眼前的hmd1的投影屏幕2上的各影像实施规定的处理。因此，在远近感影像生成器11的处理中，程序负载或处理速度负载等较大，在将hmd应用视觉辅助系统与hmd1形成为一体以实现轻量化等情况下，可预料到其成为瓶颈的情况。

因此，将远近感影像生成器11处理作为外部处理，例如可构成为，将外部情景影像信息和对象物的距离信息通过网络发送到云端，在云端进行远近感影像生成器11的处理，并接收该处理后的显示影像，由hmd应用视觉辅助系统的影像显示控制器13进行处理，显示在hmd1的影像显示屏幕2上。

由此，能够减轻hmd应用视觉辅助系统的程序负载或处理负载。

此外，上述实施例是为了简单易懂地说明本发明而作出的详细说明，并非限定必须具备所说明的全部的结构。此外，可将某实施例的结构的一部分替换成其它实施例的结构，或者可在某实施例的结构中添加其它实施例的结构。另外，对于各实施例的结构的一部分，能够进行其它结构的追加、删除、替换。此外，也可将各实施例的结构、功能组合。

附图标记说明

1……hmd，2……影像显示屏幕，3……外部情景拍摄用电子摄像头，10……视野内对象物距离检测器，11……远近感影像生成器，15……视线方向检测器，16……注视对象物检测器，17……声音麦克风，20……使用者，30、40、50……对象物，31、41、51、52……虚像，60……自动视力测量器，61……最佳虚像视觉距离计算器。