显示装置及控制方法、手势识别方法、头戴显示装置制造方法
【专利摘要】本发明提供一种显示装置及控制方法、手势识别方法、头戴显示装置，属于手势识别【技术领域】，可解决现有的手势识别中选择和确定操作须分别进行的问题。本发明的显示装置包括显示单元、开放式头戴显示器、图像采集单元、手势识别单元，其控制方法包括：开放式头戴显示器将虚拟3D控制画面提供给用户；图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。本发明可用于显示装置的控制。
【专利说明】显示装置及控制方法、手势识别方法、头戴显示装置
【技术领域】
[0001]本发明属于手势识别【技术领域】，具体涉及一种显示装置及控制方法、手势识别方法、头戴显示装置。
【背景技术】
[0002]随着技术发展，用手势对显示单元(电视、显示器等)进行控制已成为可能。具有手势识别功能的显示装置包括用于进行显示的显示单元，以及用于采集手势的图像采集单元(摄像头、相机等)；通过对所采集的图像进行分析，即可确定用户要进行的操作。
[0003]目前的手势识别技术中，“选择”和“确定”操作必须通过不同手势分别进行，操作麻烦，例如要通过手势为电视换台，则先要通过第一手势(如从左向右挥手)选台，每挥手一次台号变一次，当选到正确台号时，再通过第二手势(如从上向下挥手)进入该台。也就是说，现有显示装置的手势识别技术不能实现“选择”与“确定”合一的操作，即不能像平板电脑一样通过“点击(Touch)”多个候选图标中的某个，一次性选出要执行的指令并执行该指令。之所以如此，是因为“点击”操作必须准确判断点击位置。对平板电脑，手直接点在屏幕上，故通过触控技术确定点击位置是可行的。但对手势识别技术，手通常不能接触显示单元(尤其对电视，正常使用时用户离其很远)，而只能“指向”显示单元的某位置(如显示单元显示的某图标)，但这种远距离的“指向”准确度很差，在指向显示单元的同一位置时，不同用户的手势可能不同，有人指的偏左，有人指的偏右，故无法确定用户到底想指哪里，也就不能实现“点击”操作。
【发明内容】
[0004]本发明所要解决的技术问题包括，针对现有的手势识别中“选择”和“确定”操作必须分别进行的问题，提供一种可通过手势识别实现“选择”和“确定”操作一步完成的显示装置及其控制方法、手势识别方法、头戴显示装置。
[0005]解决本发明技术问题所采用的技术方案是一种显示装置的控制方法，所述显示装置包括显示单元、开放式头戴显示器、图像采集单元、手势识别单元，所述显示装置的控制方法包括:
[0006]开放式头戴显示器将虚拟3D控制画面提供给用户；
[0007]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0008]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0009]优选的，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于等于用户手臂的长度。
[0010]优选的，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于等于0.5米且大于等于0.25米。
[0011]优选的，在开放式头戴显示器将虚拟3D控制画面提供给用户的同时，显示单元进行显示；或在开放式头戴显示器将虚拟3D控制画面提供给用户的同时，显示单元停止显
/Jn ο
[0012]优选的，所述虚拟3D控制画面分为至少两个区域，每个区域对应I个控制指令。
[0013]优选的，所述图像采集单元设在开放式头戴显示器上；所述手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括:手势识别单元根据图像采集单元所采集的图像中用户手的位置判断用户对虚拟3D控制画面的点击位置。
[0014]解决本发明技术问题所采用的技术方案是一种显示装置，其包括:
[0015]用于进行显示的显示单元；
[0016]开放式头戴显示器，其用于将虚拟3D控制画面提供给用户；
[0017]图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；
[0018]手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0019]优选的，所述显示单元为电视或电脑显示屏。
[0020]优选的，所述显示装置还包括:分别与显示单元和开放式头戴显示器连接的无线通信单元，其用于显示单元和开放式头戴显示器间的信息交互。
[0021]优选的，所述图像采集单元设在开放式头戴显示器上；所述手势识别单元用于根据图像采集单元所采集的图像中用户手的位置判断用户对虚拟3D控制画面的点击位置。
[0022]解决本发明技术问题所采用的技术方案是一种手势识别方法，其包括:
[0023]头戴显示器将虚拟3D控制画面提供给用户；
[0024]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0025]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0026]解决本发明技术问题所采用的技术方案是一种头戴显示装置，其包括:
[0027]头戴显示器，其用于将虚拟3D控制画面提供给用户；
[0028]图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；
[0029]手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给头戴显示器。
[0030]其中，“头戴显示器”又称眼镜显示装置、视频眼镜、随身影院等，是以类似头盔或眼镜的形式直接戴在用户眼前的显示设备，由于其直接为用户双眼分别提供图像，故可容易的实现3D立体显示；而“开放式”则表示用户可在看到外界景物的同时看到头戴显示器显示的图像。
[0031]其中，“虚拟3D控制画面”是指由开放式头戴显示器显示的有立体感的画面，该画面用于实现控制。
[0032]其中，“虚拟距离”是指用户感到的虚拟3D控制画面与自己的距离；距离感是立体感的一部分，其是由左右眼所看到的图像的差别引起的，只要开放式头戴显示器显示特定内容，即可使用户感到虚拟3D控制画面位于自己前方一定距离处。
[0033]其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是显示单元，而对改变音量的指令，执行单元就是发声单元。
[0034]本发明的显示装置及其控制方法、手势识别方法、头戴显示装置中，头戴显示器可为用户呈现虚拟3D控制画面，且虚拟3D控制画面与用户的虚拟距离可调，故用户会感觉画面就在自己面前，可直接伸手准确“点击”虚拟3D控制画面，这样不同用户点击虚拟3D控制画面同一位置时动作是相同或相似的，从而手势识别单元可准确判断用户希望的点击位置，进而实现“选择”与“确定”合一的“点击”操作。
[0035]本发明用于显示装置的控制，尤其适用于电视的控制。
【专利附图】
【附图说明】
[0036]图1为本发明的实施例1的显示装置的控制方法的流程图；
[0037]图2为本发明的实施例1的显示装置显示虚拟3D控制画面时的示意图；
[0038]其中附图标记为:1、显示单元；2、开放式头戴显示器；3、用户的手；4、虚拟3D控制画面；5、图像采集单元；6、无线通信单元。
【具体实施方式】
[0039]为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和【具体实施方式】对本发明作进一步详细描述。
[0040]实施例1:
[0041]如图1所示，本实施例提供一种显示装置的控制方法，该显示装置包括显示单元
1、开放式头戴显示器2、图像采集单元5、手势识别单元；优选还包括无线通信单元6。
[0042]其中，显示单元I为任何能进行显示的显示设备,如液晶显示设备、有机发光二极管显示设备等。
[0043]优选的，显示单元I为电视。由于人们需要对电视进行比较频繁的操作(如换台、调整音量等)，且通常情况下用户距电视较远，难以通过触控等方式控制电视，故电视更适用于本发明。当然，若显示单元I为电脑显示屏等其他设备，也是可行的。
[0044]开放式头戴显示器2又称眼镜显示装置、视频眼镜、随身影院等，是以类似头盔或眼镜的形式直接戴在用户眼前的显示设备，由于其直接为用户双眼分别提供图像，故可容易的实现3D立体显示；而“开放式”表示用户可在看到外界景物的同时看到头戴显示器2显示的图像。
[0045]图像采集单元5则用于采集图像，其可为CCD(电荷耦合元件)摄像头、相机等已知器件。
[0046]无线通信单元6是指能以无线形式发送和接收信息的单元(如红外通信单元、射频通信单元等)，其用于实现在空间上相互分离器件间的信息交互。
[0047]具体的，上述控制方法包括以下步骤:
[0048]S01、显示单元I显示常规画面(如电视节目)。
[0049]也就是说，显示单元I进行正常显示并供用户观看，而此时开放式头戴显示器2可以一同进行显示，也可关闭。
[0050]S02、开放式头戴显示器2将虚拟3D控制画面4提供给用户。
[0051]其中，虚拟3D控制画面4是指专门用于对显示装置进行控制操作的画面，其中包括对显示装置的各种控制指令，用户通过选择不同控制指令即可实现对显示装置的控制。
[0052]如图2所示，开放式头戴显示器2为用户显示立体的虚拟3D控制画面4，且使用户感觉到该虚拟3D控制画面4即位于自己前方一定距离(第一距离)处。通常该第一距离小于显示单元I与用户间的距离(用户面向显示单元I时)，由于用户感觉到虚拟3D控制画面4与自己的距离较近，故可伸手3做出准确“点击”该画面某位置的动作，从而显示装置也可更准确的判断用户要进行什么操作，实现“点击”控制。
[0053]优选的，第一距离小于等于用户手臂的长度。在第一距离小于等于用户手臂的长度时，用户感觉自己伸手3即可“接触”虚拟3D控制画面4，这样可最大程度的保证点击动作的准确性。
[0054]优选的，第一距离小于等于0.5米且大于等于0.25米。按照以上第一距离的范围，绝大多数人既不用伸直手臂努力去“够”虚拟3D控制画面4，也不会觉得虚拟3D控制画面4离自己太近。
[0055]优选的，在开放式头戴显示器2将虚拟3D控制画面4提供给用户的同时，显示单元I仍进行显示。
[0056]也就是说，此时用户可同事看到开放式头戴显示器2和显示单元I显示的内容，以便在用户观看显示单元I的同时进行控制(如调整音量或换台)。显然，为了不使开放式头戴显示器2和显示单元I显示的画面相互干扰，可使虚拟3D控制画面4小于显示单元I的屏幕(如位于显示单元I屏幕的边上或角落)。
[0057]优选的，作为本实施例的另一种方式，在开放式头戴显示器2将虚拟3D控制画面4提供给用户的同时，显示单元I停止进行显示。
[0058]也就是说，在要进行控制时，显示单元I关闭，用户只能看到虚拟3D控制画面4，从而用户不会受到显示单元I显示内容的干扰，可专心操作虚拟3D控制画面4，此时虚拟3D控制画面4可较大，从而更易于进行准确的点击操作。
[0059]优选的，虚拟3D控制画面4分为至少两个区域，每个区域对应I个控制指令。也就是说，虚拟3D控制画面4可分为多个不同区域，点击每个区域可执行不同控制指令，从而通过一个虚拟3D控制画面4可进行多种不同操作。例如，虚拟3D控制画面4可等分为3行X 3列共9个矩形区域，每个矩形对应一个控制指令(如改变音量、改变台号、改变亮度、退出虚拟3D控制画面4等)。
[0060]当然，若虚拟3D控制画面4只对应一个控制指令(如对应的指令为“进入全屏控制画面”)也是可行的。
[0061]其中，开放式头戴显示器2所显示的虚拟3D控制画面4的内容，可以是存储在开放式头戴显示器2中的；但显然，其也可以是由显示单元I实时发送(例如通过无线通信单元6)给开放式头戴显示器2的。
[0062]S03、图像采集单元5采集用户对虚拟3D控制画面4的点击动作的图像。
[0063]也就是说，当开放式头戴显示器2显示虚拟3D控制画面4时，图像采集单元5开启，从而采集用户动作的图像，具体是用户伸手3对虚拟3D控制画面4进行点击动作的图像。
[0064]当然，在未显示虚拟3D控制画面4画面时，图像采集单元5也可开启，从而用于采集用户其他手势的图像。
[0065]优选的，图像采集单元5可设在开放式头戴显示器2上。
[0066]也就是说，图像采集单元5可在开放式头戴显示器2上从“后方”获取用户手3的图像。这种方式的优点在于，由于开放式头戴显示器2与用户间的相对位置关系是确定的(因其必然戴在用户头部)，故图像采集单元5与用户间的相对位置关系也是确定的，这样，不论用户处于什么位置，图像采集单元5都能获取用户的手3的图像，且只要用户做出的手势相同，图像采集单元5获取的图像也必然相同。相对的，若图像采集单元5设在其他位置(如设在显示单元I上)，则用户可能走出其采集范围从而导致其无法获得手势图像，且当用户在不同位置做出相同手势时，图像采集单元5采集的图像不同(至少用户在图中的位置不同)，从而使图像处理过程麻烦。
[0067]图像采集单元5设在开放式头戴显示器2上的另一个优点在于，此时若将手势识别单元也设在开放式头戴显示器2上，则手势识别单元可通过有线方式将图像(显然其含有较大信息量)传递给手势识别单元，在手势识别单元处理后，只需将最终的控制指令(显然其信息量较小)以无线方式(如通过无线通信单元6)传递给执行单元(如显示单元I)即可，从而避免了对信息量较大的图像的无线传送。
[0068]S04、手势识别单元根据图像采集单元5所采集的图像判断用户对虚拟3D控制画面4的点击位置，并将点击位置对应的控制指令发给相应的执行单元。
[0069]其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是显示单元I，而对改变音量的指令，执行单元就是发声单元。
[0070]如前所述，虚拟3D控制画面4位于用户之前一定距离处，因此，如图2所示，手势识别单元也可确认虚拟3D控制画面4相对图像采集单元5 (以图像采集单元5设在开放式头戴显示器2上为例)的空间位置，因此，当用户伸手3点击虚拟3D控制画面4时，手势识别单元可根据图像中用户手3的位置确认其所点击的虚拟3D控制画面4的位置，也就是确定与用户手势对应的控制指令；这样，手势识别单元即可将该控制指令发送(如通过无线通信单元6)给相应的执行单元，使该执行单元执行响应指令，实现控制。
[0071]当然，应当理解，若图像采集单元5设在其他位置(如显示单元I上)时，则分析其所采集的图像时，还要通过判断用户身体与手3的相对位置确定用户点击位置。
[0072]本实施例还提供一种可使用上述的方法进行控制的显示装置，其包括:
[0073]用于进行显示的显示单元I ;
[0074]开放式头戴显示器2，其用于将虚拟3D控制画面4提供给用户；
[0075]图像采集单元5，其用于采集用户对虚拟3D控制画面4的点击动作的图像；
[0076]手势识别单元，其用于根据图像采集单元5所采集的图像判断用户对虚拟3D控制画面4的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0077]优选的，显示单元I为电视或电脑显示屏。
[0078]优选的，显示装置还包括:分别与显示单元I和开放式头戴显示器2连接的无线通信单元6，其用于显示单元I和开放式头戴显示器2间的信息交互。
[0079]当然，应当理解，本实施例中的无线通信单元6不是必须的；例如，若开放式头戴显示器2中存储有虚拟3D控制画面4的信息，且图像采集单元5、手势识别单元均设在显示单元I上，则显示单元I与开放式头戴显示器2不必进行信息交互，也就不必设置无线通信单元6。
[0080]优选的，图像采集单元5设在开放式头戴显示器2上；手势识别单元用于根据图像采集单元5所采集的图像中用户手3的位置判断用户对虚拟3D控制画面4的点击位置。[0081]实施例2:
[0082]本实施例提供一种手势识别方法，其包括:
[0083]头戴显示器将虚拟3D控制画面提供给用户；
[0084]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0085]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0086]也就是说，上述的手势识别方法并不限于控制显示装置(即可不依赖于显示单元)，其也可用于控制其他装置(包括控制头戴显示器)，只要手势识别单元将控制指令发送(如通过无线方式)给相应的装置即可；例如，可通过一套专门的手势识别系统(或称头戴显示装置)对电视、电脑、空调、洗衣机等许多装置进行统一控制。
[0087]同时，由于此时用户不必观看显示单元，故头戴显示器也不一定是开放式的，其也可为封闭式头戴显示器(即用户不能看到外界景物)。
[0088]实施例3:
[0089]一种头戴显示装置，其包括:
[0090]头戴显示器，其用于将虚拟3D控制画面提供给用户；
[0091]图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；
[0092]手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给头戴显示器。
[0093]也就是说，上述的手势识别方法并不限于用于显示装置，其也可直接用于头戴显示装置(即可没有显示单元)。同时，由于此时用户不必观看显示单元，故头戴显示器也不一定是开放式的，其也可为封闭式头戴显示器(即用户不能开看到外界景物)。
[0094]可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
【权利要求】
1.一种显示装置的控制方法，其特征在于，所述显示装置包括显示单元、开放式头戴显示器、图像采集单元、手势识别单元，所述显示装置的控制方法包括: 开放式头戴显示器将虚拟3D控制画面提供给用户； 图像采集单元采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
2.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于等于用户手臂的长度。
3.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于等于0.5米且大于等于0.25米。
4.根据权利要求1所述的显示装置的控制方法，其特征在于， 在开放式头戴显示器将虚拟3D控制画面提供给用户的同时，显示单元进行显示； 或 在开放式头戴显示器将虚拟3D控制画面提供给用户的同时，显示单元停止显示。
5.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述虚拟3D控制画面分为至少两个区域，每个区域对应I个控制指令。
6.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述图像采集单元设在开放式头戴显示器上； 所述手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括:手势识别单元根据图像采集单元所采集的图像中用户手的位置判断用户对虚拟3D控制画面的点击位置。
7.一种显示装置，其特征在于，包括: 用于进行显示的显示单元； 开放式头戴显示器，其用于将虚拟3D控制画面提供给用户； 图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
8.根据权利要求7所述的显示装置，其特征在于， 所述显示单元为电视或电脑显示屏。
9.根据权利要求7所述的显示装置，其特征在于，还包括: 分别与显示单元和开放式头戴显示器连接的无线通信单元，其用于显示单元和开放式头戴显示器间的信息交互。
10.根据权利要求7所述的显示装置，其特征在于， 所述图像采集单元设在开放式头戴显示器上；所述手势识别单元用于根据图像采集单元所采集的图像中用户手的位置判断用户对虚拟3D控制画面的点击位置。
11.一种手势识别方法，其特征在于，包括: 头戴显示器将虚拟3D控制画面提供给用户；图像采集单元采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
12.—种头戴显示装置，其特征在于，包括: 头戴显示器，其用于将虚拟3D控制画面提供给用户； 图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击 位置所对应的控制指令发送给头戴显示器。
【文档编号】G06F3/01GK103530061SQ201310533541
【公开日】2014年1月22日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】冷长林 申请人:京东方科技集团股份有限公司