头戴式显示器及其控制方法
【专利摘要】一种用于控制头戴式显示器(HMD)的方法，包括：检测外部设备；将增强现实图像显示为第一模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式；以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式，以及第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式。
【专利说明】
头戴式显示器及其控制方法
技术领域
[0001]本说明书涉及一种头戴式显示器(HMD)，并且更加具体地，涉及一种用于显示增强现实图像的HMD及其控制方法。
【背景技术】
[0002]增强现实服务使用户能够观看真实图像和增强现实图像以向用户提供真实信息和虚拟信息。最近，随着技术已经被发展，头戴式显示器(HMD)已经被用作用于提供增强现实服务的设备。
【发明内容】
[0003]技术问题
[0004]当使用HMD提供增强现实服务时，存在对于用于执行与增强现实图像相对应的功能的更加方便的输入方法。
[0005]技术解决方案
[0006]因此，本说明书是针对一种头戴式显示器(HMD)及其控制方法，其在实质上避免由于现有技术的限制和缺点造成的一个或者多个问题。
[0007]本说明书的目的是为了提供HMD及其控制方法，该HMD用于根据在外部设备与增强现实图像之间的对准或者在外部设备上显示的内容图像和增强现实图像之间的对准来执行与增强现实图像相对应的功能。
[0008]本说明书的附加的优点、目的和特征将在随后的描述中被部分地阐述，并且对于本领域普通技术人员在考察了下文之后将部分地变得明显，或者可以从本发明的实践中学至IJ。本说明书的目的和其他优点可以通过在撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。
[0009]为了实现这些和其他优点并且根据本发明的用途，如在此具体化和广泛地描述的，头戴式显示器(HMD)包括:相机单元，该相机单元被配置成检测外部设备；显示单元，该显示单元被配置成显示增强现实图像;凝视检测单元，该凝视检测单元被配置成检测用户的凝视；以及处理器，该处理器被配置成控制相机单元、显示单元以及凝视检测单元，其中该处理器进一步被配置成检测外部设备，将增强现实图像显示为第一模式，其中第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式，其中第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式，以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。
[0010]在本说明书的另一方面中，一种用于控制头戴式显示器(HMD)的方法，包括:检测外部设备;将增强现实图像显示为第一模式，其中第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式，其中第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式；以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。
[0011]要理解的是，本说明书的一般描述和下面的详细描述这两者都是示例性和解释性的，并且意在提供对所要求保护的本发明的进一步解释。
[0012]发明的有益效果
[0013]根据本说明书，取决于是否增强现实图像取决于外部设备的位置，HMD可以将增强现实图像显示为两种模式，即，第一模式或者第二模式。
[0014]根据本说明书，HMD可以根据用户对增强现实图像的凝视将第一模式变成第二模式或者将第二模式变成第一模式。
[0015]根据本说明书，当外部设备和增强现实图像被对准时或者当外部设备的内容图像和增强现实图像被对准时，与增强现实图像相对应的功能可以被执行。因此，HMD可以使用更加方便的输入方法来执行与增强现实图像相对应的功能，从而向用户提供用户友好的增强现实服务。
【附图说明】
[0016]附图被包括以提供说明书的进一步理解并且被并入且组成本说明书的一部分，图示说明书的实施例并且连同描述一起用作解释本说明书的原理。在附图中:
[0017]图1示出根据本说明书的一个实施例的用于在头戴式显示器(HMD)处检测外部设备和用户的凝视以及显示增强现实图像的方法的图；
[0018]图2是示出根据本说明书的一个实施例的在HMD处将增强现实图像显示为第一模式或者第二模式的方法的图；
[0019]图3是示出根据本说明书的一个实施例的用于在HMD处根据在增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图；
[0020]图4a和图4b是示出根据本说明书的另一实施例的在HMD处根据在增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图；
[0021]图5是示出根据本说明书的一个实施例的用于在HMD处提供与增强现实图像相对应的功能的执行屏幕的方法的图；
[0022]图6是示出根据本说明书的一个实施例的用于在HMD处当与增强现实图像相对应的功能被终止时显示增强现实图像的方法的图；
[0023]图7是示出根据本说明书的一个实施例的用于在HMD处显示凝视保持区域的方法的图；
[0024]图8是示出根据本说明书的一个实施例的HMD的配置的框图；以及
[0025]图9是图示根据本说明书的一个实施例的用于控制HMD的方法的流程图。
【具体实施方式】
[0026]在下文中，将会参考附图详细地描述实施例。然而，本说明书不限于在此描述的实施例。
[0027]虽然从通常已知和使用的术语中选择在本说明书中使用的术语，但是取决于技术中操作者的意图或者习俗、新技术的出现等等可以变化在此使用的术语。另外，在本说明书的描述中提及的一些术语已经由本
【申请人】以他的或者她的判断选择，其详细的含义在此处在本说明书的相关部分中描述。此外，所要求的是，不只是通过实际使用的术语，而是通过落入其内的每个术语的含义来理解本发明。
[0028]在本说明书中，头戴式显示器(HMD)可以意指被佩戴在用户的身体上以显示可视信息的可佩戴设备。例如，HMD可以是被佩戴在用户的头上以显示增强现实图像的可佩戴设备。另外，在本说明书中，增强现实图像是虚拟图像并且可以包括图形图像、文本、符号以及表情符号。
[0029]图1是示出根据本说明书的一个实施例的在头戴式显示器(HMD)处检测外部设备和用户的凝视并且显示增强现实图像的方法的图。
[0030]更加具体地，图1的上侧示出用于使用相机单元110在HMD 100处检测外部设备200的方法，并且图1的下侧示出用于使用显示单元在HMD 100处显示增强现实图像10并且使用凝视检测单元来检测用户的凝视20的方法。
[0031]如在图1的上侧中所示，HMD100可以使用相机单元110检测外部设备200。另外，HMD 100可以使用相机单元110来检测外部设备200的位置变化。更加具体地，HMD 100可以从通过相机单元110捕获的图像来检测外部设备200和外部设备200的位置变化。外部设备200是用于显示至少一个内容图像的显示设备。
[0032]如在图1的下侧中所示，HMD 100可以使用显示单元来显示增强现实图像10。如果显示单元是由光学透视式显示面板组成，则HMD 100可以经由透视式显示面板在由用户看到的真实世界的外部设备200的外围上显示增强现实图像10。
[0033]这时，HMD 100可以显示与外部设备200相对应的增强现实图像10。例如，HMD 100可以显示与外部设备200的显示功能相对应的增强现实图像10。即，HMD 100可以显示与外部设备200的运动图像回放按钮相对应的增强现实图像1。另外，HMD 100可以显示与HMD100相对应的增强现实图像10。例如，HMD 100可以显示与HMD 100的电话功能或者消息传输功能相对应的增强现实图像10。上述实施例仅是增强现实图像10的示例并且通过实施例没有限制本说明书的HMD 100
[0034]如在图1的下侧中所示，HMD100可以使用凝视检测单元来检测用户的凝视20。例如，HMD 100可以使用凝视检测单元检测用户到增强现实图像10的凝视20。另外，HMD 100可以使用凝视检测单元检测用户的凝视20的位置变化。
[0035]图2是示出根据本发明的一个实施例的用于在HMD处将增强现实图像显示为第一模式或者第二模式的方法的图。
[0036]如在图2的上侧中所示，HMD可以将增强现实图像10显示为第一模式。第一模式可以意指其中增强现实图像10的显示位置取决于外部设备200的位置的模式。即，在第一模式中，当外部设备200的位置被改变时，基于被改变的外部设备200的位置来改变增强现实图像10的显示位置。例如，如在图2的上侧中所示，当外部设备200的位置从左向右改变时，基于被改变的外部设备200的位置，HMD可以将被显示为第一模式的增强现实图像10的位置从左变成右。因此，HMD可以给用户提供与外部设备200捆绑并且与外部设备200—起移动的增强现实图像20。
[0037]如在图2的下侧中所示，HMD可以将增强现实图像10显示为第二模式。第二模式可以意指其中即使当外部设备200的位置被改变时增强现实图像10的显示位置保持固定的模式。例如，如在图2的下侧中所示，即使当外部设备200的位置从左向右改变时，HMD可以固定增强现实图像10的显示位置。HMD可以给用户提供与外部设备200独立的增强现实图像10。SP，HMD可以给用户提供没有与外部设备100捆绑的增强现实图像10。
[0038]这时，HMD可以在HMD的显示区域中固定被显示为第二模式的增强现实图像。即，HMD可以在HMD的显示区域的特定位置(例如，显示单元的特定坐标)处固定被显示为第二模式的增强现实图像10。在这样的情况下，即使当HMD的位置被改变时，佩戴HMD的用户能够在HMD的显示区域的特定位置处连续地观看增强现实图像20。另外，HMD可以在HMD的外围空间中固定被显示为第二模式的增强现实图像10。即，HMD可以在HMD的外围空间的特定位置(例如，空间的特定坐标)处固定被显示为第二模式的增强现实图像10。在这样的情况下，当HMD的位置被改变同时观看增强现实图像20时佩戴HMD的用户不可以连续地观看增强现实图像10，但是当HMD被返回到最初位置时可以再次观看增强现实图像10。
[0039]图3是示出根据本说明书的一个实施例的用于在HMD处根据增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图。
[0040]如在图3的左上侧中所示，HMD可以将增强现实图像10显示为第一模式。例如，如所示的，HMD可以将在外部设备200的上端的外围上的增强现实图像10显示为第一模式。当外部设备200被检测时，HMD可以将增强现实图像10显示为第一模式。另外，当用户对外部设备200的凝视被检测时，HMD可以将增强现实图像10显示为第一模式。
[0041]如在图3的右上侧中所示，当在第一模式中检测到用户对增强现实图像10的凝视20时，HMD可以将第一模式变成第二模式。更加具体地，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的第一凝视时，HMD可以将第一模式变成第二模式。在此，第一凝视区域可以等于增强现实图像10的显示区域。另外，第一凝视区域可以大于增强现实图像10的显示区域。例如，第一凝视区域可以包括增强现实图像10的显示区域。
[0042]另外，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的第一凝视时，当第一凝视被保持时HMD可以获取第一凝视保持时段。如果第一凝视保持时段等于或者大于第一时间段，HMD可以将第一模式变成第二模式。如果第一凝视保持时段小于第一时间段，则HMD可以保持第一模式。因此，当用户瞥一眼增强现实图像10时，HMD不可以改变模式。在此，可以通过用户设置第一时间段，或者在HMD的制造时可以设置第一时间段。
[0043]另外，当在第二模式中检测到用户对第一凝视区域的外部区域的第二凝视时，当第二凝视被保持时HMD可以获取第二凝视保持时段。如果第二凝视保持时段等于或者大于第二时间段，HMD可以将第二模式再次变成第一模式。如果第二凝视保持时段小于第二时间段，则HMD可以保留第二模式。因此，当用户的凝视偏离增强现实图像10时，HMD可以提供取决于外部设备的增强现实图像10。在此，可以通过用户设置第二时间段，或者在HMD的制造时可以设置第二时间段。
[0044]在此，第一凝视保持时段和第二凝视保持时段可以是不同的。第一凝视保持时段可以大于第二凝视保持时段。
[0045]如在图3的右下侧中所示，HMD可以在第二模式中检测在增强现实图像10和外部设备200之间的对准。更加具体地，HMD可以在第二模式中检测外部设备100的位置变化并且根据外部设备200的位置变化来检测在增强现实图像10和外部设备200之间的对准。这时，HMD可以从通过相机单元捕获的图像来检测外部设备200的位置变化。
[0046]在增强现实图像10和外部设备200之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像10的显示区域的大约90%重叠外部设备200的区域时，HMD可以检测在增强现实图像10和外部设备200之间的对准。
[0047]另外，当在第二模式中对准增强现实图像10和外部设备时，HMD可以执行与增强现实图像10相对应的功能。与增强现实图像10相对应的功能可以意指与HMD或者外部设备相关联的各种功能。例如，如果增强现实图像10对应于HMD的消息传输功能，则当在第二模式中对准增强现实图像10和外部设备200时HMD可以执行消息传输功能。
[0048]另外，当在第二模式中对准增强现实图像10、外部设备200和用户对增强现实图像的凝视20时，HMD可以执行与增强现实图像10相对应的功能。即，如果用户的凝视20被进一步对准时，则HMD可以执行与增强现实图像1相对应的功能。
[0049]另外，当在第二模式中在预先确定的时间期间增强现实图像10和外部设备200被对准时，HMD可以执行与增强现实图像10相对应的功能。HMD能够防止与增强现实图像10相对应的功能被执行，不论用户意图如何。
[0050]如在图3的左下侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的增强现实图像30。例如，如果增强现实图像10对应于HMD的图像传输功能，则HMD可以显示用于提供消息传输屏幕的执行增强现实图像30。这时，执行增强现实图像30的显示位置可以取决于增强现实图像10的显示位置。即，当增强现实图像10的显示位置被改变时，HMD可以基于被改变的增强现实图像10的位置来改变执行增强现实图像30的显示位置。
[0051 ]图4a和图4b是示出根据本发明的另一实施例的用于在HMD处根据增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图。
[0052]更加具体地，图4a和图4b示出用于当对准外部设备200上显示的内容图像和增强现实图像1时在HMD处执行与增强现实图像1相对应的功能的方法。
[0053]如在图4a和图4b的左上侧中所示，HMD可以将增强现实图像10显示为第一模式。例如，如在图4a中所示，当外部设备200被检测时，HMD可以在外部设备200的上端的外围上显示增强现实图像10。在此，如在图4b中所示，增强现实图像20可以对应于选择功能。
[0054]这时，外部设备200可以显示至少一个内容图像。例如，如在图4a中所示，外部设备200可以显示第一内容图像210和第二内容图像220。在此，内容图像可以包括视频内容图像、照片内容图像以及音频内容图像。例如，如在图4 b中所示，第一内容图像210可以是视频内容图像并且第二内容图像220可以是照片内容图像。内容图像不限于上述实施例。
[0055]如在图4a和图4b的右上侧中所示，当在第一模式中检测到用户对增强现实图像10的凝视20时，HMD可以将第一模式变成第二模式。这等于参考图3的右上侧描述的并且因此其描述将会被省略。
[0056]如在图4a和图4b的右下端中所示，HMD可以在第二模式中检测在增强现实图像10和外部设备200上显示的至少一个内容图像中的任意一个之间的对准。例如，如所示的，当第一内容图像210和第二内容图像220被显示在外部设备200上时，HMD可以检测在增强现实图像10与第一内容图像210和第二内容图像220中的任意一个之间的对准。
[0057]这时，在增强现实图像10和外部设备200(在下文中，被称为内容图像)上显示的内容图像之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像10的显示区域的大约90%重叠内容图像的显示区域时，HMD可以检测在增强现实图像10和内容图像之间的对准。
[0058]当在增强现实图像10和内容图像之间的对准被检测时，HMD可以执行与增强现实图像10相对应的功能。例如，如在图4a中所示，当增强现实图像10和第一内容图像210之间的对准被检测时，HMD可以执行与增强现实图像10相对应的功能。即，如在图4b中所示，当在增强现实图像10和第一内容图像210之间的对准被检测时，HMD可以执行与增强现实图像10相对应的选择功能。
[0059]如在图4a和图4b的左下侧中所示，当与增强现实图像1相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的增强现实图像30。这时，HMD可以显示用于提供与对准的内容图像相关联的功能的执行屏幕的执行增强现实图像30。例如，如在图4b中所示，如果增强现实图像10对应于选择功能并且第一内容图像210是视频内容图像，则HMD可以显示用于提供用于选择和回放视频内容的执行屏幕的执行增强现实图像30。作为另一示例，如果增强现实图像10对应于HMD的消息传输功能并且第一内容图像210是照片内容图像，则HMD可以显示用于提供与照片内容图像附接的消息传输屏幕的执行增强现实图像30。这时，执行增强现实图像30的显示位置可以取决于增强现实图像10的显示位置。即，即使当外部设备200的位置被改变时，执行增强现实图像30的显示位置可以保持固定。
[0060]图5是示出根据本说明书的一个实施例的用于提供与增强现实图像相对应的功能的执行屏幕的方法的图。
[0061 ]更加具体地，图5示出用于根据设置来在HMD处提供与增强现实图像10相对应的功能的执行屏幕作为执行增强现实图像30或者作为外部设备200上显示的执行图像40的方法。
[0062]如在图5的左边所示，当在第二模式中检测到增强现实图像10和外部设备200之间的对准时，HMD可以执行与增强现实图像10相对应的功能。这等于在图3的右下侧中描述的内容并且因此其详细描述将会被省略。
[0063]如在图5的右上侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的执行增强现实图像30。这等于在图3的左下侧中描述的内容并且因此其详细描述将会被省略。
[0064]如在图5的右上侧中所示，当与增强现实图像1相对应的功能被执行时，HMD可以控制外部设备200以在显示单元上显示功能的执行图像。
[0065]更加具体地，当与增强现实图像10相对应的功能被执行时，HMD可以使用通信单元将用于控制外部设备200以显示功能的执行图像40的控制信息发送到外部设备200。另外，外部设备200可以使用控制信息在外部设备200的显示单元上显示与增强现实图像10相对应的功能的执行图像40。
[0066]另外，当执行图像40被显示在外部设备200上时，HMD可以终止增强现实图像的显不O
[0067]图6是示出根据本说明书的一个实施例的用于当与增强现实图像相对应的功能被终止时显示增强现实图像的方法的图。
[0068]更加具体地，图6的上侧示出用于当执行增强现实图像30被显示时根据功能执行结束在HMD处显示增强现实图像10的方法，并且图6的下侧示出用于当执行图像40被显示在外部设备200上时根据功能执行结束在HMD处显示增强现实图像10的方法。
[0069]如在图6的左上侧中所示，当执行增强现实图像30被显示时，当与增强现实图像10相对应的功能的执行被终止时HMD可以终止增强现实图像10的显示。
[0070]如在图6的右上侧中所示，当执行增强现实图像30的显示被终止时，HMD可以将第二模式再次变成第一模式。
[0071]如在图6的左下侧中所示，如果执行图像40被显示在外部设备200上时，当与增强现实图像10相对应的功能的执行被终止时HMD可以终止外部设备200上显示的执行图像40的显示。更加具体地，当功能的执行被终止时，HMD可以使用通信单元将用于终止外部设备200上显示的执行图像40的显示的控制信息发送到外部设备200。
[0072]如在图6的左下侧中所示，当在外部设备上的执行图像40的显示被终止时，HMD可以将增强现实图像10再次显示为第一模式。
[0073]图7是示出根据本说明书的一个实施例的用于在HMD处显示凝视保持区域的方法的图。
[0074]如在图7的左上侧中所示，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的凝视20时，HMD可以将第一模式变成第二模式。第一凝视区域可以等于增强现实图像10的显示区域。这等于在图3的右上侧中描述的内容并且因此其详细描述将会被省略。
[0075]如在图7的右上侧中所示，当模式变成第二模式时HMD可以显示增强现实图像10的第二凝视区域50。在此，第二凝视区域50可以意指其中第二模式被保持的凝视保持区域。
[0076]S卩，如在图7的右下侧中所示，当在第二模式中检测到用户对第二凝视区域50的凝视20时，HMD可以保留第二模式。第二凝视区域50可以比第一凝视区域更宽。例如，第二凝视区域50可以包括第一凝视区域。
[0077]如在图7的左下侧中所示，当在第二模式中检测到用户对第二凝视区域50的外部区域的凝视20时，HMD可以将第二模式再次变成第一模式。当第二模式再次变成第一模式时，HMD可以终止增强现实图像10的第二凝视区域50的显示。
[0078]图8是示出根据本说明书的一个实施例的HMD的配置的框图。在图8中，将会省略与在图1至图7中示出的HMD 800的部件相似或者相等的部件的详细描述。
[0079]下面描述的处理器850的操作对应于参考附图在上面描述的HMD800的操作。即，在本说明书中，处理器850被描述为等同于HMD。
[0080]参考图8，HMD 800可以包括相机单元810、凝视检测单元830、通信单元840以及处理器850。在此，通彳目单兀840是可选的。
[0081]相机单元810可以在视角内捕获图像。在本说明书中，相机单元810可以检测外部设备。更加具体地，相机单元810可以捕获位于麗0800的前方向中的图像并且将捕获到的图像递送给处理器850。这时，捕获到的图像可以包括外部设备的图像。处理器850可以从捕获到的图像检测外部设备。
[0082]显示单元820可以显示图像。在本说明书中，显示单元820可以显示增强现实图像。在本说明书中，增强现实图像可以是与外部设备或者HMD相关联的虚拟图像。
[0083]凝视检测单元830可以检测用户的凝视。更加具体地，凝视检测单元830可以检测用户的凝视并且将检测到的结果递送给处理器850。另外，凝视检测单元830可以检测用户的凝视变化。这时，凝视检测单元830可以是被提供在HMD 800的后表面上以捕获凝视图像的后相机单元810。这仅是凝视检测单元830的示例并且本说明书的HMD 800不限于实施例。
[0084]通信单元840可以与外部设备进行通信。在本说明书中，通信单元840可以将HMD800与外部设备配对。配对意指在HMD 800和外部设备之间的有线/无线连接。用于通过有线或者无线连接HMD 800和外部设备的方法没有被限制。
[0085]在本说明书中，通信单元840可以将用于在外部设备上显示执行图像或者用于终止执行图像的显示的控制信息发送到外部设备。
[0086]处理器850可以控制HMD 800中包括的至少一个单元。更加具体地，处理器850可以控制上述单元以及控制单元之间的数据传输和/或接收。
[0087]在本说明书中，处理器850可以检测外部设备，如参考图1所描述的。处理器850可以使用相机单元810检测外部设备。另外，处理器850可以使用相机单元810检测外部设备的位置变化。更加具体地，处理器850可以从通过相机单元810捕获的图像来检测外部设备和外部设备的位置变化。
[0088]处理器850可以将增强现实图像显示为如参考图2描述的第一模式或者第二模式。在第一模式中，增强现实图像的显示位置可以取决于外部设备的位置。即，第一模式可以意指下述模式，其中当外部设备的位置被改变时，增强现实图像的显示位置基于被改变的外部设备的位置而改变。第二模式可以意指下述模式，其中，即使当外部设备的位置被改变时，增强现实图像的显示位置保持固定。这时，在第二模式中，处理器850可以在HMD 800的显示区域中固定增强现实图像。另外，在第二模式中，处理器850可以在HMD 800的外围空间中固定增强现实图像。
[0089]另外，如参考图3的右上侧所描述的，当在第一模式中检测用户到增强现实图像的凝视时，处理器850可以将第一模式变成第二模式。更加具体地，当在第一模式中检测到用户到增强现实图像的第一凝视区域的第一凝视时，处理器850可以将第一模式变成第二模式。在此，第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。
[0090]另外，如参考图3的右下侧所描述的，处理器850可以在第二模式中检测在增强现实图像和外部图像之间的对准。更加具体地，处理器850可以在第二模式中检测外部设备的位置变化并且根据外部设备的位置变化来检测在增强现实图像和外部设备之间的对准。
[0091]另外，如参考图4a和图4b的右下侧所描述的，处理器850可以在第二模式中检测在增强现实图像和外部设备上显示的至少一个内容图像中的任意一个之间的对准。
[0092]另外，如参考图5的左边所描述的，当在第二模式中检测到在增强现实图像和外部设备之间的对准或者检测到在增强现实图像和外部内容图像之间的对准时，处理器850可以执行与增强现实图像相对应的功能。另外，如参考图5的右上侧所描述的，当与增强现实图像相对应的功能被执行时，处理器850可以显示用于提供功能的执行屏幕的执行增强现实图像。另外，如参考图5的右下侧所描述的，当与增强现实图像相对应的功能被执行时，处理器850可以控制外部设备以在显示单元820上显示功能的执行图像。
[0093]如参考图6所描述的，当与增强现实图像相对应的功能的执行终止时，处理器850可以终止执行增强现实图像或者执行图像的显示。
[0094]图9是图示根据本说明书的一个实施例的用于控制HMD的方法的流程图。在此流程图中，将省略与在图1至图8中示出的那些相似或者相等的部件的详细描述。
[0095]参考图9，HMD可以将增强现实图像显示为第一模式。第一模式意指其中增强现实图像的显示位置取决于外部设备的位置的模式。即，在第一模式中，当外部设备的位置被改变时，基于被改变的外部设备的位置来改变增强现实图像的显示位置。因此，HMD能够给用户提供与外部设备一起移动的增强现实图像。
[0096]根据一个实施例，当外部设备被检测时HMD可以在第一模式中显示增强现实图像(S910)。根据另一实施例，当用户到外部设备的凝视被检测时HMD可以在第一模式中显示增强现实图像。
[0097]接下来，HMD可以确定是否在第一模式中检测到用户对增强现实图像的凝视(S920)。根据一个实施例，HMD可以检测是否在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视。在此，第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。例如，第一凝视区域可以包括增强现实图像的显示区域。
[0098]接下来，当在第一模式中检测到用户对增强现实图像的凝视时，HMD可以将第一模式变成第二模式(S930)。更加具体地，当在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视时，HMD可以将第一模式变成第二模式。第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。
[0099]第二模式可以意指下述模式，其中，即使当外部设备的位置被改变时，增强现实图像的显示区域保持固定。因此，HMD能够给用户提供独立于外部设备的增强现实图像。
[0100]当在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视时，当第一凝视被保持时HMD可以获取第一凝视保持时段。如果第一凝视保持时段等于或者大于第一时间段，则HMD可以将第一模式变成第二模式。如果第一凝视保持时段小于第一时间段，则HMD可以保持第一模式。因此，当用户瞥一眼增强现实图像时HMD不可以改变模式。
[0101]当在第二模式中检测到用户对第一凝视区域的外部区域的第二凝视时，当第二凝视被保持时HMD可以获取第二凝视保持时段。如果第二凝视保持时段等于或者大于第二时段时，HMD可以再次将第二模式变成第一模式。如果第二凝视保持时段小于第二时间段，则HMD可以保持第二模式。因此，当用户的凝视偏离增强现实图像时，HMD可以提供取决于外部设备的增强现实图像。
[0102]第一凝视保持时段和第二凝视保持时段可以是不同的。第一凝视保持时段可以大于第二凝视保持时段。
[0103]接下来，HM D可以在第二模式中检测在增强现实图像和外部设备之间的对准(S940)。更加具体地，HMD可以在第二模式中检测外部设备的位置变化以及根据外部设备的位置变化来检测在增强现实图像和外部设备之间的对准。这时，HMD可以从通过相机单元捕获到的图像来检测外部设备的位置变化。在增强现实图像和外部设备之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像的显示区域的大约90%重叠外部设备的区域时，HMD可以检测在增强现实图像和外部设备之间的对准。这等于参考图3所描述的内容。
[0104]当外部设备显示至少一个内容图像时，HMD可以在第二模式中检测外部设备上显示的至少一个内容图像中的任意一个和增强现实图像之间的对准。这时，在增强现实图像和外部设备上显示的内容图像(在下文中，被称为内容图像)之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像的显示区域的大约90%重叠内容图像的显示区域时，HMD可以检测在增强现实图像和内容图像之间的对准。这等于参考图4a和图4b描述的内容。
[0105]接下来，当在第二模式中对准增强现实图像和外部图像时，与增强现实图像相对应的功能可以被执行(S950)。另外，当与增强现实图像相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的执行增强现实图像。这时，执行增强现实图像的显示位置可以取决于增强现实图像的显示位置。这等于参考图3所描述的内容。
[0106]如果外部设备显示至少一个内容图像，当在第二模式中对准增强现实图像和内容图像时HMD可以执行与增强现实图像相对应的功能。这等于参考图4a和图4b描述的内容。
[0107]虽然为了说明书目的已经公开了本说明书的优选实施例，但是本领域的技术人员将会理解，在没有脱离如在随附的权利要求中所公开的说明书的范围和精神内，各种修改、添加以及替代是可能的。不应该从技术精神或者本说明书的前景来单独地理解这样的修改。
[0108]HMD和用于控制本说明书的HMD的方法可以被实现为能够被写入到计算机可读记录介质并且因此能够由处理器读取的代码。计算机可读记录介质可以是其中以处理器可读方式存储数据的任何类型的记录设备。处理器可读记录介质的示例包括R0M、RAM、磁带、软盘、光数据存储、以及载波(例如，通过互联网的数据传输)。能够将处理器可读记录介质分布在连接到网络的多个计算机系统上，使得处理器可读代码被写入其中并且以分散的方式从中执行。
[0109]在本说明书中，术语“角度”、“距离”以及“方向”可以指示精确的角度、距离和方向或者分别包括预先确定的范围的实质角度、距离和方向。即，本说明书的角度、距离和方向可以指示具有错误的实质角度、距离和方向。
[0110]在本说明书中提及装置和方法发明这两者并且装置和方法发明这两者的描述可以相互互补地应用。
[0111]对于本领域的技术人员来说显然的是，在没有脱离本发明的精神或者范围的情况下能够在本说明书中进行各种修改和变化。因此，旨在本说明书覆盖落入随附的权利要求和它们的等效物的范围内的本说明书的修改和变化。
[0112]发明的模式
[0113]以用于执行本发明的最佳方式已经描述了各种实施例。
[0114]对于本领域的技术人员来说显然的是，在没有脱离本发明的精神或者范围的情况下能够在本说明书中进行各种修改和变化。因此，旨在本说明书覆盖落入随附的权利要求和它们的等效物的范围内的本说明书的修改和变化。
[0115]工业实用性
[0116]如上所述，本发明可完全地或者部分地应用于电子设备。
【主权项】
1.一种头戴式显示器(HMD)，包括: 相机单元，所述相机单元被配置成检测外部设备； 显示单元，所述显示单元被配置成显示增强现实图像； 凝视检测单元，所述凝视检测单元被配置成检测用户的凝视；以及 处理器，所述处理器被配置成控制所述相机单元、所述显示单元以及所述凝视检测单元， 其中，所述处理器进一步被配置成: 检测所述外部设备， 将所述增强现实图像显示为第一模式，其中所述第一模式是其中所述增强现实图像的显示位置取决于所述外部设备的位置的模式； 当在所述第一模式中检测到所述用户对所述增强现实图像的凝视时将所述第一模式变成所述第二模式，其中所述第二模式是其中即使当所述外部设备的位置被改变时所述增强现实图像的显示位置保持固定的模式；以及 当在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。2.根据权利要求1所述的HMD，其中，所述处理器被配置成:当在所述第二模式中对准所述增强现实图像和所述外部设备上显示的至少一个内容图像中的任何一个时，执行与所述增强现实图像相对应的功能。3.根据权利要求1所述的HMD，其中，当执行与所述增强现实图像相对应的功能时，所述处理器被配置成显示用于提供所述功能的执行屏幕的执行增强现实图像。4.根据权利要求2所述的HMD，其中，当与所述增强现实图像相对应的功能被执行时，所述处理器被配置成显示与被对准的内容图像相关联的用于提供所述功能的执行屏幕的执行增强现实图像。5.根据权利要求3所述的HMD，其中，所述执行增强现实图像的显示位置取决于所述增强现实图像的显示位置。6.根据权利要求1所述的HMD，其中，所述处理器被配置成:当在所述第二模式中对准所述增强现实图像、所述外部设备和所述用户对增强现实图像的凝视时，执行与所述增强现实图像相对应的功能。7.根据权利要求1所述的HMD，其中，所述处理器被配置成:当在预先确定的时段期间在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。8.根据权利要求1所述的HMD，进一步包括:通信单元，所述通信单元被配置成与所述外部设备通信， 其中，当与所述增强现实图像相对应的功能被执行时，所述处理器进一步被配置成使用所述通信单元将用于控制所述外部设备以在所述外部设备的显示单元上显示所述功能的执行屏幕的控制信息发送到所述外部设备。9.根据权利要求1所述的HMD，其中，所述处理器进一步被配置成:当与所述增强现实图像相对应的功能的执行被终止时，再次变成所述第一模式。10.根据权利要求1所述的HMD，其中，所述处理器被配置成:当检测到所述用户对所述外部设备的凝视时，将所述增强现实图像显示为所述第一模式。11.根据权利要求1所述的HMD，其中，所述处理器被配置成: 当在所述第一模式中检测到所述用户对所述增强现实图像的第一凝视区域的第一凝视时，当所述第一凝视被保持时获取第一凝视保持时段， 当所述第一凝视保持时段大于或者等于第一时间段时，将所述第一模式变成所述第二模式，以及 当所述第一凝视保持时段小于所述第一时间段时，保留所述第一模式。12.根据权利要求11所述的HMD，其中，所述增强现实图像的所述第一凝视区域大于所述增强现实图像的显示区域。13.根据权利要求11所述的HMD，其中，所述处理器进一步被配置成: 当在所述第二模式中检测到所述用户对所述第一凝视区域的外部区域的第二凝视时，当所述第二凝视被保持时获取第二凝视保持时段， 当所述第二凝视保持时段大于或者等于第二时间段时，将所述第二模式再次变成所述第一模式，以及 当所述第二凝视保持时段小于所述第二时间段时，保留所述第二模式。14.根据权利要求13所述的HMD，其中，所述第一凝视保持时段和所述第二凝视保持时段是不同的。15.根据权利要求13所述的HMD，其中，所述第一凝视保持时段大于所述第二凝视保持时段。16.根据权利要求11所述的HMD，其中，所述处理器进一步被配置成:当所述第一模式变成所述第二模式时，显示所述增强现实图像的第二凝视区域。17.根据权利要求16所述的HMD，其中，所述第二凝视区域比所述第一凝视区域宽。18.根据权利要求16所述的HMD，其中，所述处理器进一步被配置成: 当在所述第二模式中检测到所述用户对所述第二凝视区域的凝视时，保留所述第二模式，以及 当在所述第二模式中检测到所述用户对所述第二凝视区域的外部区域的凝视时，将所述第二模式再次变成所述第一模式。19.根据权利要求16所述的HMD，其中，所述处理器进一步被配置成:当所述第二模式再次变成所述第一模式时，终止所述第二凝视区域的显示。20.—种用于控制头戴式显示器(HMD)的方法，所述方法包括: 检测外部设备； 将增强现实图像显示为第一模式，其中所述第一模式是其中所述增强现实图像的显示位置取决于所述外部设备的位置的模式； 当在所述第一模式中检测到用户对所述增强现实图像的凝视时将所述第一模式变成所述第二模式，其中所述第二模式是其中即使当所述外部设备的位置被改变时所述增强现实图像的显示位置保持固定的模式；以及 当在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。
【文档编号】H04N5/64GK105917268SQ201480073675
【公开日】2016年8月31日
【申请日】2014年5月9日
【发明人】赵殷亨, 金钟虎, 李度泳, 金志桓, 千西内
【申请人】Lg电子株式会社