感动作方式查找预设的动作事件映射表,获取对应的事件类型。本实施例预先设定有一动作事件映射表,在该动作事件映射表种存储有设定的用户的体感动作方式及其对应的事件类型,比如,手指的左右上下平移、旋转、拖拽、抓取、伸张在屏幕上可能需要对应显示成屏幕的左右翻页、上下滚动,抓取文件或图标将其从一个地方拖到另一个地方,对文档或图片做放大或缩小显示,对桌面图标的点击等等。即需要将用户的体感动作方式转换为电视终端屏幕上对应的操作,从而精准、真实的实现手势原本想要达到的目的。
[0116]视频会议终端在获取到用户体感动作方式对应的事件类型后,视频会议终端中的软件系统根据对应的事件类型进行相应的GUI界面操作或输入,最终显示在显示设备上的效果比如为在电视屏幕进行左右翻页、上下滚动,抓取文件或图标将其从一个地方拖到另一个地方,对文档或图片做放大或缩小显示,对桌面图标的点击等。
[0117]视频会议终端中的软件系统会将体感控制事件执行结果输出至视频会议中的每一显示设备,显示设备根据视频会议终端的输出进行视频会议和GUI界面的显示。
[0118]以电视为例,作为用户体感动作的体现,电视在从视频会议终端接收到体感控制事件执行结果的输出信息后,根据手势的动作范围和电视机显示屏幕的大小,按比例生成显示信息,提交到上层⑶I显示模块在屏幕上显示出真实手指、手持工具的图像。或者,由视频会议终端体现出用户的动作意图后,例如操作屏幕上关机按键的体感动作完成后,电视终端正常响应手势而安全关机。如图2所示,其为本实施例中带Leap Mot1n的会议电视的不意图。
[0119]本实施例通过上述方案,通过在传统会议电视系统中加入Leap Mot1n等体感控制器硬件,通过体感控制器在视频会议过程中感应用户的手势动作信息帧,并发送至视频会议终端;视频会议终端接收到所述体感控制器发来的手势动作信息帧后,对手势动作信息帧进行解析,获取用户的体感动作方式;根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型,由视频会议终端中的软件系统根据获取的对应的事件类型进行相应的GUI界面操作或输入,使得视频会议的参与者完全脱离现有的遥控器、手写白板等工具,也不必局促于坐在电脑前讲解课件等现象,与会者仅仅只需通过手势隔空操作显示界面,由此,通过隔空的动作达到操作显示屏的目的。相比于目前传统的会议电视系统,除了给用户带来更方便舒适的人机交互方式和更自由的与会感受外,也提高了视频会议的灵活性、方便性与舒适性。
[0120]如图5所示,本发明另一实施例从视频会议终端侧提出一种视频会议体感控制方法,在上述图4所示的第一实施例的基础上,在上述步骤S203:根据处理结果进行相应的⑶I界面操作或输入之前还包括:
[0121]步骤S200,配置用户的体感动作方式与对应的事件类型之间的动作事件映射表。该步骤可以在上述步骤S201之前实施,也可以在步骤S201与步骤S202之间实施,还可以在步骤S202与步骤S203之间实施。
[0122]本实施例与上述第一实施例的区别在于,本实施例还包括配置用户的体感动作方式与对应的事件类型之间的动作事件映射表。
[0123]具体地,本实施例针对用户的每一体感动作方式设定有一对应的事件类型,并将设定的用户的体感动作方式及其对应的事件类型存储至动作事件映射表中,比如,手指的左右上下平移、旋转、拖拽、抓取、伸张在屏幕上可能需要对应显示成屏幕的左右翻页、上下滚动,抓取文件或图标将其从一个地方拖到另一个地方,对文档或图片做放大或缩小显示,对桌面图标的点击等等。即需要将用户的体感动作方式转换为电视终端屏幕上对应的操作,从而精准、真实的实现手势原本想要达到的目的。
[0124]后续,视频会议终端在获取到用户体感动作方式后,即可查找该动作事件映射表,获取对应的事件类型,之后视频会议终端中的软件系统即可根据对应的事件类型,进行相应的GUI界面操作或输入。
[0125]本实施例通过上述方案,通过设定用户的体感动作方式与对应的事件类型之间的动作事件映射表,并在传统会议电视系统中加入Leap Mot1n等体感控制器硬件,通过体感控制器在视频会议过程中感应用户的手势动作信息帧,并发送至视频会议终端;视频会议终端接收到所述体感控制器发来的手势动作信息帧后,对手势动作信息帧进行解析,获取用户的体感动作方式;根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型,视频会议终端中的软件系统根据获取的所述对应的事件类型进行相应的GUI界面操作或输入,使得视频会议的参与者完全脱离现有的遥控器、手写白板等工具,也不必局促于坐在电脑前讲解课件等现象,与会者仅仅只需通过手势隔空操作显示界面,相比于目前传统的会议电视系统,除了给用户带来更方便舒适的人机交互方式和更自由的与会感受夕卜,也提高了视频会议的灵活性、方便性与舒适性。
[0126]如图6所示,本发明又一实施例从视频会议终端侧提出一种视频会议体感控制方法,在上述图4所示的第一实施例的基础上,在上述步骤S203:根据处理结果进行相应的⑶I界面操作或输入之前还包括:
[0127]步骤S204:判断所述用户的体感动作方式对应的手势状态是否符合预设条件,若是,则进入步骤S203 ;否则,结束流程。
[0128]本实施例与上述第一实施例的区别在于,本实施例还包括对用户的体感动作方式对应的手势状态的判断,以防止用户的误操作。
[0129]例如,传统的鼠标操作中,鼠标被悬空后的移动在屏幕上是不表现出来的,同理,在本实施例中,也需要有这样的处理方式来实现操作者想移动双手但又不希望该移动表现在屏幕上的意图。
[0130]因此,可以针对用户的手势状态,约定一种标准条件,当用户的体感动作方式对应的手势状态符合预设条件时,根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型,以便视频会议终端中的软件系统根据获取的所述对应的事件类型进行相应的GUI界面操作或输入;否则,用户的体感动作方式对应的手势状态不符合预设条件时,不执行上述操作,使手势动作不在屏幕上显示或生效。
[0131]比如,可以设定以下条件,当检测到用户的手势类似握拳状态即没有手指指尖信息的时候,手势的移动不在屏幕上显示。从而避免了用户的误操作,提高了视频会议的有效性。
[0132]需要说明的是,上述图5和图6所示的实施例可以组合实施。
[0133]本实施例通过上述方案,通过在传统会议电视系统中加入Leap Mot1n等体感控制器硬件,通过体感控制器在视频会议过程中感应用户的手势动作信息帧,并发送至视频会议终端;视频会议终端接收到所述体感控制器发来的手势动作信息帧后,对手势动作信息帧进行解析,获取用户的体感动作方式;根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型,视频会议终端中的软件系统根据获取的所述对应的事件类型进行相应的GUI界面操作或输入,使得视频会议的参与者完全脱离现有的遥控器、手写白板等工具,也不必局促于坐在电脑前讲解课件等现象,与会者仅仅只需通过手势隔空操作显示界面,相比于目前传统的会议电视系统,除了给用户带来更方便舒适的人机交互方式和更自由的与会感受外,也提高了视频会议的灵活性、方便性与舒适性。此外,还可对用户的体感动作方式对应的手势状态进行判断,以防止用户的误操作,提高视频会议的有效性。
[0134]如图7所示,本发明一实施例提出一种视频会议体感控制系统,包括:体感控制器301、视频会议终端302以及至少一显示设备303,所述视频会议终端302分别与所述体感控制器301及显示设备303通信连接,其中:
[0135]所述体感控制器301,用于在视频会议过程中感应获取用户的手势动作信息帧,并发送至所述视频会议终端302 ;
[0136]所述视频会议终端302,用于接收到所述体感控制器301发来的手势动作信息帧后,对所述手势动作信息帧进行处理,并根据处理结果进行相应的GUI界面操作或输入;
[0137]所述显示设备,用于根据所述视频会议终端的输出进行视频会议和GUI界面的显
/Jn ο
[0138]具体地,本实施例采用Leap Mot1n等体感控制器301的视频会议系统来代替传统视频会议中利用遥控器、白板、课件文档等操作业务的会议电视系统,实现视频会议过程中更方便舒适、自由的人机交互方式,以提高视频会议方便性与舒适性。
[0139]其中,显示设备303可以为具有显示功能的设备,比如电视、PC、笔记本、手机以及平板电脑等,本实施例以电视进行举例;显示设备303可以根据会议需要分布在多个点,实现远程电视会议;
[0140]体感控制器301具体可以采用Leap Mot1n体感控制器301,体感控制器301在视频会议过程中感应获取用户的手势动作信息帧,并发送至视频会议终端302。
[0141]视频会议终端302需要能够支持Leap Mot1n体感动作操控。
[0142]视频会议终端302通过有线或无线接口与Leap Mot1n等体感控制器301通信,接收Leap Mot1n等体感控制器301发送来的关于手的动作信息帧。每一个信息帧检测到的信息包括:手掌、手指、手持工具(细的、笔直的、比手指长的东西等)、所有可指向对象等的列表和信息。
[0143]视频会议终端302接收到体感控制器301发来的手势动作信息帧后,会进行体感动作的解析。具体过程如下:
[0144]首先,视频会议终端302接收Leap Mot1n等体感控制器301发来的手势动作信息帧后,对其进行解析,获取用户手势动作过程中的每一帧数据;
[0145]然后,比较前后帧数据的差异,生成用户手势动作信息,其中,用户手势动作信息根据不同的应用场景可以包括以下信息:平移运动参数、旋转运动参数、膨胀参数、变形参数以及方位参数中的一个或多个,当然还可以包括其他各种能判断手势动作的信息中的一个或多个,或者其他信息与上述各参数的组合等,在此不再列举。
[0146]之后,视频会议终端302根据生成的用户手势动作信息确定用户的体感动作方式,比如:平移、旋转、抓取或者缩放等动作方式。而对于用户手持的工具,则可以识别出其长度、宽度、方向、位置和速度等。获取的这些手掌、手指和手持工具等的信息即可作为后续进一步体感动作控制使用。
[0147]之后,视频会议终端302根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型。本实施例预先设定有一动作事件映射表,在该动作事件映射表种存储有设定的用户的体感动作方式及其对应的事件类型,比如,手指的左右上下平移、旋转、拖拽、抓取、伸张在屏幕上可能需要对应显示成屏幕的左右翻页、上下滚动,抓取文件或图标将其从一个地方拖到另一个地方,对文档或图片做放大或缩小显示,对桌面图标的点击等等。即需要将用户的体感动作方式转换为电视终端屏幕上对应的操作,从而精准、真实的实现手势原本想要达到的目的。
[0148]视频会议终端302在获取到用户体感动作方式对应的事件类型后,视频会议终端302中的软件系统进行相应的GUI界面操作或输入,最终显示在显示设备303上的效果比如为在电视屏幕进行左右翻页、上