可携式虚拟现实系统的制作方法

本发明涉及虚拟现实技术领域，特别涉及一种可携式的虚拟现实系统。

背景技术：

随着电子科技以及图像处理技术的快速演进，虚拟现实已成为可以实现而非仅存于影片、动画的一种理想。然而，在既有的虚拟现实技术中，大多是在头戴式显示设备(Head-Mounted Display,HMD)上配置很多的感测元件，并需要使用者在设定好的空间中配戴头戴式显示设备方能实现虚拟现实的显示效果。而这个设定好的空间中，需要配备有红外线或激光发射器等各种光信号产生器。然后通过搭配头戴式显示设备上的传感器，来检测出使用者的姿态，以产生三维的虚拟现实影像。

值得注意的，在现有的虚拟现实技术中，当使用者要享受虚拟现实的快感，必须前往预先设定好的空间。如此一来，虚拟现实使用便利性上将会大打折扣，降低使用者的意愿。

技术实现要素：

本发明提供一种可携式虚拟现实系统，使可移动化虚拟现实得以实现。

本发明的可携式虚拟现实系统包括携带式电子装置、头戴式显示器以及物体姿态传感器。携带式电子装置与头戴式显示器相互耦接。物体姿态传感器分别耦接携带式电子装置及头戴式显示器，用以取得头戴式显示器的姿态变化信息，其中，携带式电子装置依据姿态变化信息来计算出虚拟现实的显示影像数据，并将显示影像数据传送至头戴式显示器，以使头戴式显示器依据显示影像数据进行影像显示。

在本发明的一实施例中，上述的可携式虚拟现实系统还包括输入设备，携带式电子装置还依据输入设备的被使用状态来决定是否使头戴式显示器显示键盘的影像以及使用者的手部影像。输入设备可以包括键盘、鼠标等。

在本发明的一实施例中，上述的物体姿态传感器取得该手部影像以及键盘 的影像，携带式电子装置依据手部影像以及键盘的影像的对应关系来获得键盘的被使用状态。

在本发明的一实施例中，上述的携带式电子装置依据该手部影像来获得手部影像的骨架影像，并依据骨架影像以及键盘的影像的对应关系来获得键盘的被使用状态。

在本发明的一实施例中，上述的骨架信息包括手掌骨架影像以及手指骨架影像，其中，携带式电子装置依据手掌骨架影像及手指骨架影像与键盘的影像的重叠状态以及手掌骨架影像及手指骨架影像的移动状态来决定是否使头戴式显示器显示键盘的影像以及手部影像。

在本发明的一实施例中，上述的物体姿态传感器包括用于发出光信号的光信号产生器以及用于接收该光信号以获得感测信息的光信号接收器，其中，光信号产生器配置在携带式电子装置以及头戴式显示器的其中之一者，光信号接收器配置在携带式电子装置以及头戴式显示器的另一者，光信号产生器发送光信号，光信号接收器则接收光信号以获得感测信息，物体姿态传感器依据感测信息来产生姿态变化信息。

在本发明的一实施例中，上述的光信号为红外线、激光或固定频率闪烁的光信号。

在本发明的一实施例中，上述的物体姿态传感器包括摄像机以及三维深度传感器，摄像机以及三维深度传感器配置在携带式电子装置上。摄像机可以是例如彩色摄像机。

在本发明的一实施例中，上述的彩色摄像机以及三维深度传感器的至少其中之一采集头戴式显示器的影像，而携带式电子装置依据头戴式显示器的影像来获得姿态变化信息。

在本发明的一实施例中，上述的彩色摄像机还采集使用者的脸部影像，并使携带式电子装置依据脸部影像判断出使用者的情绪信息。

在本发明的一实施例中，上述的携带式电子装置更包括收音装置，其中收音装置接收多个声音信号。携带式电子装置针对声音信号进行比较来产生输出语音信号。

在本发明的一实施例中，上述的携带式电子装置接收一指令，并依据指令以驱动头戴式显示器显示虚拟输入接口。

在本发明的一实施例中，上述的指令依据检测使用者的手势是否属于特定手势来产生。

基于上述，本发明所提供的可携式虚拟现实系统可以通过携带式电子装置配合头戴式显示器，达成随时随地、随心所欲的享受虚拟现实的快感。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是本发明一实施例的可携式虚拟现实系统的结构示意图。

图2是本发明一实施例的可携式虚拟现实系统的使用操作示意图。

图3A～图3C分别是本发明一实施例的可携式虚拟现实系统的物体姿态传感器的不同实施方式的示意图。

图4A及图4B分别是本发明一实施例的可携式虚拟现实系统的物体姿态传感器的配置方式的示意图。

图5是本发明一实施例的可携式虚拟现实系统在显示键盘影像以及使用者手部影像时的示意图。

图6是本发明一实施例的可携式虚拟现实系统显示的骨架影像的示意图，其中的骨架影像可分为手掌骨架影像以及手指骨架影像。

图7A～图7C分别是本发明一实施例的可携式虚拟现实系统的显示虚拟输入接口时的示意图。

图8是本发明一实施例的可携式虚拟现实系统的操作流程示意图。

其中，附图标记如下：

100：可携式虚拟现实系统

110、310：携带式电子装置

120、320：头戴式显示器

130、330：物体姿态传感器

IFO：姿态变化信息

IMGD：显示影像数据

USR：使用者

KB：键盘

HD：手部

331：光信号接收器

332、403-1、403-2：光信号产生器

333、401：彩色摄像机

334、402：三维深度传感器

410：感测区域

IR1、IR2：红外线发光二极管

MIC：收音装置

SCR：显示屏幕

612：手掌骨架影像

611：手指骨架影像

701：虚拟选择按键

703：子虚拟选单

S810～S873：可携式虚拟现实系统操作步骤

具体实施方式

请参照图1，图1绘示本发明一实施例的可携式虚拟现实系统的结构。如图1所示，可携式虚拟现实系统100包括携带式电子装置110、头戴式显示器120以及物体姿态传感器130。携带式电子装置110可通过传输导线或无线的方式耦接至头戴式显示器120，物体姿态传感器130分别与携带式电子装置110以及头戴式显示器120相耦接。当进行虚拟现实时，物体姿态传感器130用以取得头戴式显示器120在空间中的姿态变化信息IFO，并将姿态变化信息IFO传送至携带式电子装置110。携带式电子装置110可依据姿态变化信息IFO来计算出虚拟现实的显示影像数据IMGD，并将显示影像数据IMGD传送至头戴式显示器120，以使头戴式显示器120可依据显示影像数据IMGD进行影像显示。在获取头戴式显示器120在空间中的姿态变化(例如位移、旋转及倾斜状态)信息IFO后，通过三维运算，例如摄像机标定技术中涉及的相关计算方法，得到虚拟现实的显示影像数据IMGD，然后将该数据显示于头戴式显示器120的显示画面中。

值得注意的，物体姿态传感器130可单独配置于携带式电子装置110上(例 如物体姿态传感器130和携带式电子装置110集成为一体)，或者可单独配置于头戴式显示器120(例如物体姿态传感器130和头戴式显示器120集成为一体)，又或者也可以包括两个部分且这两部分分别配置于携带式电子装置110以及头戴式显示器120上。其中涉及的配置方式可以是采用例如已知的安装或内嵌方式实现。

在本发明一实施例中，物体姿态传感器130可配置于携带式电子装置110上，通过对头戴式显示器120进行影像采集来获得头戴式显示器120的实时影像。然后，携带式电子装置110可以依据头戴式显示器120的实时影像获得头戴式显示器120的姿态变化信息IFO，据此计算出虚拟现实的显示影像数据IMGD，并将显示影像数据IMGD发送给头戴式显示器120，从而头戴式显示器120可进行虚拟现实的影像显示。

在本发明又一实施例中，物体姿态传感器130集成于头戴式显示器120，通过感测头戴式显示器120的姿态变化(例如使用者头部姿态移动、旋转及倾斜等状态)，获得头戴式显示器120的姿态变化信息IFO，并将所获得的姿态变化信息IFO传送给携带式电子装置110；携带式电子装置110据此计算出虚拟现实的显示影像数据IMGD，并将显示影像数据IMGD发送给头戴式显示器120，从而头戴式显示器120可进行虚拟现实的影像显示。物体姿态传感器130可以是例如三轴陀螺仪、三轴加速度计、和三轴磁强计等。

在本发明另一实施例中，物体姿态传感器130可包括两个部分，其中之一为光信号产生器，另一部分为光信号接收器。光信号产生器及光信号接收器分别配置在头戴式显示器120及携带式电子装置110上，或分别配置在携带式电子装置110及头戴式显示器120上。通过光线的发送与接收，携带式电子装置110可以获知头戴式显示器120实时的姿态变化信息IFO，并据以计算出显示影像数据IMGD。

关于物体姿态传感器130的实施细节，在之后的实施方式中将给出更详尽的描述。

请参照图2，图2绘示本发明一实施例的可携式虚拟现实系统的使用。其中，使用者USR配戴头戴式显示器120，并启动携带式电子装置(例如为笔记本电脑)110。通过物体姿态传感器130，可以获得头戴式显示器120的姿态变化信息，然后携带式电子装置110可依据头戴式显示器120的姿态变化信 息，产生对应的显示影像数据。在图2所示实施例中，携带式电子装置110举例为笔记本电脑，但其它实施例中，便携式电子装置110也可以是平板电脑或智能型手机等便于携带的电子装置。

在本发明一实施例中，可携式虚拟现实系统的物体姿态传感器可以包括光信号产生器和光信号接收器；在本发明另一实施例中，物体姿态传感器可以包括摄像机和三维深度传感器中的至少一者；在本发明又一实施例中，物体姿态传感器可包括光信号产生器、光信号接收器、摄像机和三维深度传感器中的至少一者。请参照图3A～图3C，图3A～图3C分别绘示本发明实施例的可携式虚拟现实系统中物体姿态传感器的不同实施方式。

在图3A中，物体姿态传感器330包括光信号接收器331以及光信号产生器332。光信号接收器331配置在头戴式显示器320中，光信号产生器332配置在携带式电子装置310中。在图3A所示实施方式中，配置在携带式电子装置310上的光信号产生器332可产生用以进行定位的光信号，而配置在头戴式显示器320上的光信号接收器331感测到该光信号后，将光信号的相关信息传送至携带式电子装置310。携带式电子装置310可依据光信号的相关信息来计算出头戴式显示器320的姿态变化信息。如此一来，携带式电子装置310可进一步的依据头戴式显示器320的姿态变化信息计算出显示影像数据，再将显示影像数据传送给头戴式显示器320，从而通过头戴式显示器320实现显示虚拟现实的影像。

在图3B中，物体姿态传感器330包括光信号接收器331以及光信号产生器332，其中光信号产生器332配置在头戴式显示器320中，光信号接收器331配置在携带式电子装置310中。在图3B所示实施方式中，配置在头戴式显示器320上的光信号产生器332可产生用以进行定位的光信号，而携带式电子装置310上的光信号接收器331感测到光信号后，携带式电子装置310可依据接收到的光信号的相关信息计算出头戴式显示器320的姿态变化信息。如此一来，携带式电子装置310可进一步的依据头戴式显示器320的姿态变化信息计算出显示影像数据，再将显示影像数据传送给头戴式显示器320，从而通过头戴式显示器320实现显示虚拟现实的影像。

在图3C中，物体姿态传感器330包括摄像机333以及三维深度传感器334。图3C所示实施例中，三维深度传感器334可以由红外线发射器和红外线 CMOS摄像机所构成，用以检测使用者的肢体动作；摄像机采用彩色摄像机333(其它例子中也可以是非彩色摄像机)，通过摄像并进行人脸辨识和/或身体特征辨识的方式，辨识出使用者的身分。此外，彩色摄像机333还可用来辨识使用者的脸部表情，以通过采集使用者的脸部影像，使得携带式电子装置可依据脸部影像判断出使用者的情绪信息。再者，还可以在扩增实境游戏以及视讯通话的相关应用上使用彩色摄像机333。在其它实施例中，通过结合机器视觉算法，可以直接利用彩色摄像机333(例如一般的红、绿、蓝(RGB)彩色摄像机)，即可以达到使用者的肢体动作的检测，如此可不需三维深度传感器334。

对于物体姿态传感器的配置方式，图4A及图4B绘示了本发明一实施例中物体姿态传感器的配置方式，其中，物体姿态传感器可以配置在携带式电子装置40的感测区域410(图示中感测区域为带状，但是其它形状亦可)上。感测区域410可以配置在携带式电子装置40的显示屏幕SCR的上方或是下方(见图4B)。下面以携带式电子装置为笔记本电脑作为示例，对图4A及图4B所示配置方式进行说明。

在图4A所示的实施方式中，物体姿态传感器包括光信号产生器(或光信号接收器)403-1、403-2、彩色摄像机401以及三维深度传感器402。以光信号产生器403-1、403-2为红外线发射器为示例，其具有至少一个红外线发光二极管IR1、IR2，可以安置在感测区域410两侧，并，也可以安置于感测区域410的两侧以及中间部位(例如图4A中彩色摄像机410和深度传感器402之间的小圆圈所示)，并且红外线光束分布于携带式电子装置的前方例如约为150厘米的使用者的活动区。如此，位于活动区中的头戴式显示设备的光信号接收器可以接收到这些红外线光束，并将红外线光束的相关信息传送至携带式电子装置。一种具体实现中，如图4A所示，彩色摄像机401可以安置在感测区域410的中央，三维深度传感器402可具有两个镜头，并可分别安置在彩色摄像机401的两侧。

在本发明其它实施例中，光信号产生器403-1、403-2也可以产生激光或者产生以特定频率闪烁的光线，例如可见光通信技术中涉及的LED光信号。

在本发明另一实施例中，感测区域410还可以包括收音装置MIC。收音装置MIC可接收至少一个声音信号，并提供给携带式电子装置以针对所接收 的声音信号进行比较以消除杂音，输出降噪后的语音信号。收音装置MIC可以是由例如阵列式麦克风实现，通过多组麦克风同时收音，比对后消除杂音，相当于进行降噪，让使用者的声音能更清楚地传递出去。

对于头戴式显示设备的姿态变化信息的获取，本发明一实施例可通过采用多点感应的指向定位技术予以实现。一种实现中，通过提供安置在便携式电子装置上的多个光传感器和安置在头戴式显示器上的单个点光源，或者提供安置在头戴式显示器上的多个光传感器和安置在便携式电子装置上的单个点光源，然后基于光强度、三边测量法等已知相关技术来实现定位，由此获得头戴式显示设备的姿态变化信息。另一种实现是利用多个光信号发射源，根据光信号直线前进的原理，光信号的发射角度会随信号发射器的元件特性而有不同的散射角度，产生相对应的感应接收值。据此，光信号接收器可接收到相对应的感应接收值。例如，当一颗红外线发射器发送光信号时，其对应的红外线接收器与相邻的红外线接收器都会接收到这个光信号，由于散射角度的因素，可以完成多点感应，进而获得头戴式显示设备的姿态变化信息。

在本发明一实施例中，可携式虚拟现实系统还可具有实体化或虚拟化的输入设备，其与携带式电子装置耦接。携带式电子装置还可用于依据输入设备的使用状态，控制头戴式显示器对输入设备的影像以及使用者的手部影像的显示，例如确定是否使头戴式显示器显示该输入设备的影像以及使用者的手部影像。

请再参照图2，使用者USR佩戴头戴式显示器120后，可能不方便看到输入设备(本实施例中输入设备为携带式电子装置110自身配备的键盘KB)的相关位置。对此，本发明一实施例的可携式虚拟现实系统中，携带式电子装置110还可采集键盘KB以及使用者USR的手部HD的影像。这样，在使用者需要通过键盘KB进行输入时，携带式电子装置110可驱使头戴式显示器120显示KB的影像以及使用者USR的手部HD的影像，从而避免传统VR系统需搭配专用的VR手套才能进行操作。

仍以图2为例，因为笔记本电脑中键盘的位置通常是固定的，所以可以将其直接转换成三维空间中的位置。通过笔记本电脑上感测区域(如图4A的410)中的摄像头(如图4A的401)获得手部影像后，可以转换成手部在三维空间中的坐标。然后，可携式虚拟现实系统可以将手部影像(例如可使用骨架方式 呈现，或是贴上预设的贴图呈现)与键盘影像同时显示在头戴式显示设备的画面上。

当使用者需要在笔记本电脑的键盘输入时，使用者通过头戴式显示设备的画面显示可以得知手指及各按键相对位置，从而可如同眼部未被遮挡似地照常操作键盘。对于其它输入设备，例如鼠标、飞行游戏杆、节流阀等，则可利用事先记录的相关设备的影像，再藉由机器视觉的技术，确定出输入设备在空间中的位置。为提升使用者体验，当画面显示使用者手部影像及键盘影像时，可以半透明的方式将手部及键盘影像叠于画面上，如图5所示，甚至，还可以在显示一段时间后将影像消除。而对于其它输入设备，通常不需要输入文字，使用者可以凭手感进行操作而不需看到手指及按键的相对位置，所以可以显示与手部相关的位置，让使用者可以用手触碰到输入设备即可。

下面进一步结合图示对涉及输入设备和使用者手部的影像作详细说明。

请参照图5，图5绘示本发明一实施例的可携式虚拟现实系统对键盘影像以及使用者手部影像的显示。其中，为使佩戴头戴式显示设备的使用者可以通过键盘进行输入，本发明实施例的携带式电子装置可于必要的时候驱动头戴式显示器进行手部以及键盘影像的显示。手部以及键盘影像可以由物体姿态传感器获取。携带式电子装置可通过判断手部影像以及键盘的影像的对应关系，获得键盘的被使用状态，并在当携带式电子装置判断出键盘处于使用状态时，使头戴式显示器显示手部以及键盘的影像。

仍以键盘作为输入设备为例，其使用情景如下：当使用者利用键盘输入文字时，通常将两手放在键盘上，且手掌部分的位移不大，二手指部分位移频繁，，此时在显示画面中可以持续显示手部影像及键盘影像；当使用者玩游戏时，其操作方式可能是一手操作键盘，另一手操作鼠标，或者两手操作键盘，或者两手都在操作游戏杆，由于游戏程序的功能键通常固定，所以手掌部分的位移不大，而手指部分在固定的若干个键上操作，此时在显示画面中于固定时间后可消去手部影像及键盘影像的显示；当使用者双手都离开键盘，使用者的手部影像与键盘影像不相重叠超过一段预设时间后，可以在显示画面中消去手部影像及键盘影像的显示；以及，当使用者任一只手由键盘外移至键盘上(例如原本一只手操作，为了进行文字输入，将另一只手移至键盘上；或者，原本两只手都在键盘外，准备进行输入或操作而移至键盘上)时，则在显示画面中显示手 部影像及键盘影像。

依据以上使用情景，可以让可携式虚拟现实系统自动判断使用者的动作而自动将手部影像及键盘影像显示于画面中或从画面中消除。而关于手掌影像与手指影像有无发生位移的判断细节，可以依据连续时间中的手掌影像(手指影像)的位置变化有无超过一个预设的距离，当手掌影像(手指影像)的位置变化超过默认的距离时，表示使用者的手掌(或手指)发生有效的移动，相对地，若手掌影像(手指影像)的位置变化没有超过默认的距离时，表示使用者的手掌(或手指)未发生有效的移动。前述画面中影像的出现及消除，可由系统自动判断，也可由使用者通过热键、语音、手势等触发后显示或消除影像。此外，系统用以判断手掌(手指)位移量的门限值，可以由使用者设定或者通过学习使用者输入习惯而设定。

关于上述手部影像以及键盘影像间位置关系的判断方式，也可以利用依据手部影像进行图像处理所获得的骨架影像来进行。请参照图6绘示的本发明一实施例可携式虚拟现实系统显示的骨架影像。其中的骨架影像可分为手掌骨架影像612以及手指骨架影像611。携带式电子装置可以依据手掌骨架影像612以及手指骨架影像611与键盘影像的对应关系，来进行是否要通过键盘进行输入的判断依据，并决定是否要使头戴式显示设备显示手部影像以及键盘影像。

在本发明一实施例的可携式虚拟现实系统中，携带式电子装置还可以接收用于驱动头戴式显示器显示虚拟输入接口的指令。在该实施例中，该指令通过使用者使用特定手势的方式而产生，例如可以预先在携带式电子装置的存储设备中存储这种特定手势，当携带式电子装置通过物体姿态传感器摄像或感测到该特定手势后，驱动头戴式显示器提供对应于虚拟输入接口的显示画面。请参照图7A～图7C，图7A～图7C分别绘示该实施例的可携式虚拟现实系统显示虚拟输入接口的过程。在图7A中，使用者使用表示启动虚拟输入接口的特定手势，而携带式电子装置通过物体姿态传感器摄像或感测等方式获得该特定手势的手部影像，从而获得启动虚拟输入接口的指令。例如，使用者通过该特定手势打开需要操作的软件界面，头戴式显示器将软件界面和手部影像显示于画面中供使用者观看。在图7B中，包括多个虚拟选择按键701的虚拟输入接口以及手部影像被显示，使用者可利用手部影像来触碰按键701以选择执行所要执行的动作。在图7C中，对应图7B的使用者的选择动作，子虚拟选单703被 显示在头戴式显示器中以供使用者进行进一步的操作。本发明对虚拟输入接口没有特别的形式限制，其也可以是虚拟键盘。

请参照图8，图8绘示本发明一实施例的可携式虚拟现实系统的一具体操作过程。在步骤S810中，开启可携式虚拟现实系统，；在步骤S820中，可携式虚拟现实系统通过其物体姿态传感器(例如光信号产生器以及光信号接收器)进行感应及定位，并据以判断出头戴式显示设备的姿态变化信息；在步骤S830中，头戴式显示器可在虚拟现实影像中显示相关影像，例如显示出笔记本电脑的影像(或仅显示其键盘影像)，并在步骤S850中进行使用者手部的定位。接着，对应使用者的特定手势，步骤S850中，虚拟现实影像显示出主选单，并通过对主选单的选择，在步骤S860中出现模式选择的选单。使用者可针对模式选择的选单进行选择，并选择进入表示输入文字的打字模式(步骤S871)、执行扩增虚拟现实程序(步骤S872)或是进行视讯通话(步骤S873)的模式等。

综上所述，本发明利用携带式电子装置搭配头戴式电子装置来组建出可携式虚拟现实系统，通过在携带式电子装置或在携带式电子装置以及头戴式电子装置间配置物体姿态传感器，如此一来，大幅简化虚拟现实系统的复杂度。且使用者不需要到特定的空间，而可以随时随地且随心所欲进行虚拟现实的显示动作，提升虚拟现实系统的便利性，相信可以提升使用者的使用意愿。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。