一种用于三维显示环境中的交互识别方法
【专利摘要】一种用于三维显示环境中的交互识别方法，所述方法包括下列步骤：a)持续采集进行交互的目标的图像；b)判断所采集的目标中是否出现半包围图案，若没有出现则返回步骤a继续采集，若出现，则进入步骤c；c)采集所述半包围图案持续第一时间周期，判断所述半包围图案中的开口部分是否在第一时间周期内持续缩小，并缩小至变成闭合图案，若是，则在采集到所述闭合图案后生成用于在所述三维显示环境中交互的第一交互指令。
【专利说明】
一种用于三维显示环境中的交互识别方法
技术领域
[0001]本发明涉及一种交互识别方法，特别涉及一种用于三维显示环境中的交互识别方法。
【背景技术】
[0002]随着虚拟现实产业的蓬勃发展，对向主机输入操作信息的输入装置需求也随之大增。现有输入装置，如游戏控制器、键盘、鼠标等，其主要通过操作控制器上相应的按键进行信号的输入。但是，该种按键的操作过于呆板且互动性不佳。现有的输入或互动方式不够友善，造成使用者在人机互动时难以尽兴，无法尽情融入到虚拟情景中达到休闲娱乐的作用。因此，有必要提供一种可更好地实现人机交互识别方法。
【发明内容】
[0003]本发明的目的在于提供一种用于三维显示环境中的交互识别方法，所述方法包括下列步骤:a)持续采集进行交互的目标的图像;b)判断所采集的目标中是否出现半包围图案，若没有出现则返回步骤a继续采集，若出现，则进入步骤c;c)采集所述半包围图案持续第一时间周期，判断所述半包围图案中的开口部分是否在第一时间周期内持续缩小，并缩小至变成闭合图案，若是，则在采集到所述闭合图案后生成用于在所述三维显示环境中交互的第一交互指令。
[0004]优选地，所述步骤a后还包括下列步骤:
[0005]al)基于所采集的图像，计算所采集的目标相对于采集装置的在水平和垂直两个方向上的偏转角度，以及所述目标与所述采集装置之间的距离。
[0006]优选地，为所述目标在所述三维显示环境中定义一组坐标，所述坐标包括下列四个维度的信息:
[0007]I)所述目标相对于采集装置在水平方向上的偏转角度；
[0008]2)所述目标相对于采集装置在垂直方向上的偏转角度；
[0009]3)所述目标与所述采集装置之间的距离；
[0010]4)所述目标是否包括由所述半包围图案变化生成的闭合图案。
[0011]优选地，所述目标是人的手部。
[0012]优选地，所述半包围图案为人的大拇指与其余四指中的任意一个手指相互靠拢但未闭合形成的图案。
[0013]优选地，所述闭合图案为人的大拇指与其余四指中的任意一个手指接触而形成的图案。
[0014]优选地，在所述步骤c后还包括下列步骤:
[0015]Cl)继续采集所述目标，判断所述闭合图案是否出现了断开而重新生成半包围图案，若是，则在采集到所述断开后生成用于在所述三维显示环境中交互的第二交互指令。
[0016]优选地，在所述步骤c后还包括下列步骤:
[0017]c2)继续采集所述目标，判断所述闭合图案是否保持闭合并发生位移，若是，则生成用于在所述三维显示环境中交互的第三交互指令。
[0018]优选地，所述第一交互指令为在所述三维显示空间中的选中指令。
[0019]优选地，所述第二交互指令为在所述三维显示空间中的触发或释放指令。
[0020]优选地，所述第三交互指令为在所述三维显示空间中移动所选中对象的指令。
[0021]优选地，提供佩戴在用户头部的摄像头来持续采集所述目标的图像。
[0022]优选地，将所述目标在所述三维显示环境中定义的所述一组坐标转换为所述目标在所述三维显示环境中的(x，y，z)坐标。
[0023]优选地，所述半包围图案为类似“C"型。
[0024]优选地，所述闭合图案设置为类似“O”型。
[0025]应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
【附图说明】
[0026]参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中:
[0027]图1示意性地示出了根据本发明的用于三维显示环境中的交互识别系统的原理图；
[0028]图2示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的步骤流程图；
[0029]图3示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的选中的指令操作图；
[0030]图4示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的触发或释放的指令操作图；
[0031]图5示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的移动所选中对象的指令操作图。
【具体实施方式】
[0032]通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
[0033]在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
[0034]图1示意性地示出了根据本发明的用于三维显示环境中的交互识别系统的原理图，用户101所在的真实物理三维空间具有坐标系oxyz。用户101可以通过实现虚拟现实或增强现实显示的设备来呈现虚拟环境105。例如，用户101可以佩戴实现虚拟现实或增强现实显示的头戴式显示器等设备，通过设备中的显示屏为用户呈现虚拟环境105。所述的真实物理三维空间的坐标系oxyz的原点0可以设置为用户101的眼部周围区域，例如设置为所佩戴的头戴式显示器等设备所在位置，将所述采集装置所在的真实物理三围空间的位置设置为坐标系O点，用户101的手指102当前位于坐标系oxyz的d点处，相对于所述采集装置构成向量Od0
[0035]所述虚拟环境105所在的三维空间具有坐标系01X1y1Z1，所述虚拟环境105包括以用户101第一视角模拟的虚拟人物及环境图像，例如包括对象104以及与用户101的手指102同步动作的闭合或半包围形状的图案103，通过用户101所佩戴的设备中的显示屏同步显示真实物理三维空间内的用户101及其实时运动。例如，所述坐标系原点ol设置为以用户101的第一视角模拟的虚拟人物的位置，所述显示屏可以向用户101同时显示以用户第一视角模拟的虚拟人物和环境图像；当所述坐标系原点ol设置为以用户101的第一视角模拟的虚拟人物的位置，所述显示器还可以仅显示环境图像，通过环境图像关于ol点的相对运动反映环境图像与虚拟人物的实时相对位置，例如反映用户101的手指102同步动作的闭合或半包围形状的图案103与对象104的位置关系。根据本发明的一个实施例，在虚拟环境中ol点可以设置为以用户的第一视角显示的虚拟人物的眼部周围区域，即与用户101所佩戴的头戴式显示器等设备相对应的位置，令01点对应真实物理三维空间坐标系oxyz的原点O。实时反映用户101的手指的102的闭合或半包围形状的图案103当前位于虚拟环境中的Cl1处，相对于坐标系Oixiyizi构成向量oidi，所述di的位置对应于真实物理三维空间坐标系oxyz的d点，d点为手指102当前所处位置，所以向量Cnd1能够反映用户101的手指102在虚拟空间的当前位置及形态。
[0036]如图1所示，用户101的手指102位置在坐标系oxyz中与原点构成od指向的向量，向量od相当于虚拟环境105的坐标系Oixiyizi中的oidi;其手指102位置在平面xoy内与X轴正向成α角，α角相当于虚拟环境105的坐标系Oixiyizi中的(^角;手指102位置在平面xoz内与X轴正向成β角，β角相当于虚拟环境105的坐标系Oixiyiz冲的氏角；闭合或半包围形状的图案与所述采集装置间的距离为od，其中om为od在平面xoy内的投影向量，om相当于虚拟环境105的坐标系OixiyiZ1中的0imi;手指102相当于虚拟环境105中的闭合或半包围形状的图案103，其为同步运动。通过三个维度的信息(Hod)或(α^β^οΜι)可获得手指102和闭合或半包围形状的图案103分别在三维坐标系oxyz和owayizi中的位置信息。
[0037]根据本发明的一个实施例，真实三维空间与以用户第一视角模拟的虚拟环境的坐标系的原点根据具体情况而选择，并不限定于固定位置。
[0038]图2示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的步骤流程图；如图2所示用于三维显示环境中的交互识别方法包括下列步骤:
[0039]步骤201:持续采集进行交互的目标的图像；
[0040]步骤202:判断所采集的目标中是否出现半包围图案，若没有出现则返回步骤201继续采集，若出现，则进入步骤203 ；
[0041 ]步骤203:采集所述半包围图案持续第一时间周期；
[0042]步骤204:判断所述半包围图案中的开口部分是否在第一时间周期内持续缩小，并缩小至变成闭合图案，若是，进入步骤205;
[0043]根据本发明的一个实施例，其中所述目标是人的手部，其中，所述半包围图案为人的大拇指与其余四指中的任意一个手指相互靠拢但未闭合形成的图案;所述闭合图案为人的大拇指与其余四指中的任意一个手指接触而形成的图案。
[0044]步骤205:在采集到所述闭合图案后生成用于在所述三维显示环境中交互的第一交互指令。
[0045]根据本发明的交互识别方法的一个实施例，其中提供佩戴在用户头部的摄像头来持续采集所述目标的图像；
[0046]根据本发明的一个实施例，在所述步骤201后还包括下列步骤:
[0047]步骤201a:基于所采集的图像，计算所采集的目标相对于采集装置的在水平和垂直两个方向上的偏转角度，以及所述目标与所述采集装置之间的距离，其中，为所述目标在所述三维显示环境中定义一组坐标，所述坐标包括下列四个维度的信息:
[0048]I)所述目标相对于采集装置在水平方向上的偏转角度；
[0049]2)所述目标相对于采集装置在垂直方向上的偏转角度；
[0050]3)所述目标与所述采集装置之间的距离；
[0051]4)所述目标是否包括由所述半包围图案变化生成闭合图案；
[0052]根据本发明的一个实施例，其中将所述目标在所述三维显示环境中定义的所述一组坐标转换为所述目标在所述三维显示环境中的(x，y，z)坐标，由以上四个维度的信息，能够确定虚拟环境中闭合和半包围图案在虚拟环境中的位置以及现实中闭合和半包围图案的位置；
[0053]根据本发明的一个实施例，其中在所述步骤203后还包括下列步骤203a:继续采集所述目标，判断所述闭合图案是否出现了断开而重新生成半包围图案，若是，则在采集到所述断开后生成用于在所述三维显示环境中交互的第二交互指令；
[0054]根据本发明的一个实施例，其中在所述步骤203后还包括下列步骤:
[0055]步骤203b:继续采集所述目标，判断所述闭合图案是否保持闭合并发生位移，若是，则生成用于在所述三维显示环境中交互的第三交互指令。
[0056]图3示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的选中的指令操作图，选中的过程为用户302佩戴的采集装置采集到目标301由半包围图案301a渐变成闭合图案301b，根据本发明的一个实施例，半包围图案301a和闭合图案301b均可视作是用户302的手势303渐变的实时图案，当目标301在对象304周围一定范围内时，形状在第一时间周期内由半包围图案渐变成闭合图案，则完成了第一交互指令，即选中的指令，具体方法步骤如下:
[0057]a)持续采集进行交互的目标的图像301;
[0058]b)所采集的目标301中是否出现类似“C"型的半包围图案301a;
[0059]c)采集所述“C”型半包围图案301a持续第一时间周期，并且所述“C”型半包围图案301a中的开口部分在第一时间周期内持续缩小，并缩小至变成类似“O”型的闭合图案301b，在采集到所述的“O”型闭合图案301b后生成用于在所述三维显示环境中交互的第一交互指令，即选中指令。
[0060]根据本发明的一个实施例，在所述步骤a后还包括下列步骤:
[0061]al)基于所采集的图像301，计算所采集的目标相对于采集装置的在水平和垂直两个方向上的偏转角度(如图2中的Ct1A1),以及所述目标与所述采集装置之间的距离(如图2中的Wd1)，通过以上信息可获取目标301在虚拟空间坐标系下的位置。
[0062]根据本发明的一个实施例，所述目标在所述三维显示环境中定义一组坐标，所述坐标包括下列四个维度的信息:
[0063]I)所述目标301相对于采集装置在水平方向上的偏转角度α1;
[0064]2)所述目标301相对于采集装置在垂直方向上的偏转角度ft;
[0065]3)所述目标301与所述采集装置之间的距离01d1;
[0066]4)所述目标301是否包括由所述Y’型半包围图案变化生成的的“O”型闭合图案。
[0067]根据本发明的一个实施例，其中所述目标是人的手部；
[0068]根据本发明的一个实施例，其中所述“C”型半包围图案为人的大拇指与其余四指中的任意一个手指相互靠拢但未闭合形成的图案；
[0069]根据本发明的一个实施例，其中所述“O”型闭合图案为人的大拇指与其余四指中的任意一个手指接触而形成的图案。
[0070]图4示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的触发或释放的指令操作图，触发或释放的过程是基于用户402完成第一交互指令“选中”后，对对象404的进一步动作。触发或释放的过程为用户402佩戴的采集装置采集到闭合图案401a出现了断开而重新生成半包围图案401b，根据本发明的一个实施例，半包围图案401a和闭合图案401b均可视作是用户402的手势403渐变的实时图案，当目标401在对象404周围一定范围内时，形状在第一时间周期内由闭合图案渐变成半包围图案，则完成了第二交互指令，即触发或释放指令，具体方法步骤如下:
[0071 ] a)持续采集进行交互的目标的图像301;
[0072]b)所采集的目标301中是否出现类似“C"型的半包围图案301a;
[0073]根据本发明的一个实施例，其中所述目标是人的手部，其中所述“C”型半包围图案为人的大拇指与其余四指中的任意一个手指相互靠拢但未闭合形成的图案;其中所述“O”型闭合图案为人的大拇指与其余四指中的任意一个手指接触而形成的图案；
[0074]c)采集所述“C”型半包围图案301a持续第一时间周期，并且所述“C”型半包围图案301a中的开口部分在第一时间周期内持续缩小，并缩小至变成类似“O”型的闭合图案401a，在采集到所述的“O”型闭合图案401a后生成用于在所述三维显示环境中交互的第一交互指令，即选中指令；
[0075]d)继续采集所述目标，判断所述“O”型闭合图案40Ia出现了断开而重新生成“C”型半包围图案401b，在采集到所述断开后生成用于在所述三维显示环境中交互的第二交互指令，即选中或者释放指令。
[0076]图5示意性地示出了根据本发明的用于三维显示环境中的交互识别方法的移动所选中对象的指令操作图，移动所选中对象的过程是基于用户502完成第一交互指令“选中”后，对对象504的进一步动作。移动所选中对象的过程为用户502佩戴的采集装置采集到闭合图案501保持闭合并将对象504a移至504b处，即完成移动所选中对象指令，具体方法步骤如下:
[0077]a)持续采集进行交互的目标的图像301;
[0078]b)所采集的目标301中是否出现类似“C"型的半包围图案301a;
[0079]c)采集所述“C”型半包围图案301a持续第一时间周期，并且所述“C”型半包围图案301a中的开口部分在第一时间周期内持续缩小，并缩小至变成类似“O”型的闭合图案501，在采集到所述的“O”型闭合图案501后生成用于在所述三维显示环境中交互的第一交互指令，即选中指令；
[0080]d)继续采集所述目标，判断所述“O”型闭合图案501保持闭合并发生位移，生成用于在所述三维显示环境中交互的第三交互指令，即移动所选中对象的指令。
[0081]根据本发明的一个实施例，其中提供佩戴在用户头部的摄像头来持续采集所述目标的图像。
[0082]根据本发明的一个实施例，其中将所述目标在所述三维显示环境中定义的所述一组坐标转换为所述目标在所述三维显示环境中的(X，y，Z)坐标。
[0083]根据本发明的一个实施例，半包围图案为类似“C”型，所述闭合图案设置为类似“O” 型。
[0084]结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。
【主权项】
1.一种用于三维显示环境中的交互识别方法，所述方法包括下列步骤: a)持续采集进行交互的目标的图像； b)判断所采集的目标中是否出现半包围图案，若没有出现则返回步骤a继续采集，若出现，则进入步骤c; c)采集所述半包围图案持续第一时间周期，判断所述半包围图案中的开口部分是否在第一时间周期内持续缩小，并缩小至变成闭合图案，若是，则在采集到所述闭合图案后生成用于在所述三维显示环境中交互的第一交互指令。2.如权利要求1所述的交互识别方法，其中在所述步骤a后还包括下列步骤: al)基于所采集的图像，计算所采集的目标相对于采集装置的在水平和垂直两个方向上的偏转角度，以及所述目标与所述采集装置之间的距离。3.如权利要求2所述的交互识别方法，其中为所述目标在所述三维显示环境中定义一组坐标，所述坐标包括下列四个维度的信息: 1)所述目标相对于采集装置在水平方向上的偏转角度； 2)所述目标相对于采集装置在垂直方向上的偏转角度； 3)所述目标与所述采集装置之间的距离； 4)所述目标是否包括由所述半包围图案变化生成的闭合图案。4.如权利要求1所述的交互识别方法，其中所述目标是人的手部。5.如权利要求4所述的交互识别方法，其中所述半包围图案为人的大拇指与其余四指中的任意一个手指相互靠拢但未闭合形成的图案。6.如权利要求4所述的交互识别方法，其中所述闭合图案为人的大拇指与其余四指中的任意一个手指接触而形成的图案。7.如权利要求1所述的交互识别方法，其中在所述步骤c后还包括下列步骤: Cl)继续采集所述目标，判断所述闭合图案是否出现了断开而重新生成半包围图案，若是，则在采集到所述断开后生成用于在所述三维显示环境中交互的第二交互指令。8.如权利要求1或7所述的交互识别方法，其中在所述步骤c后还包括下列步骤: c2)继续采集所述目标，判断所述闭合图案是否保持闭合并发生位移，若是，则生成用于在所述三维显示环境中交互的第三交互指令。9.如权利要求1所述的交互识别方法，其中所述第一交互指令为在所述三维显示空间中的选中指令。10.如权利要求1所述的交互识别方法，其中所述第二交互指令为在所述三维显示空间中的触发或释放指令。
【文档编号】G06F3/01GK105929933SQ201510968944
【公开日】2016年9月7日
【申请日】2015年12月22日
【发明人】覃政
【申请人】北京蚁视科技有限公司