一种用户交互方法及设备与流程
本发明涉及人机交互技术领域，特别是一种用户交互方法及设备。
背景技术：
人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解（即心智模型），那是为了系统的可用性或者用户友好性。
现有技术中，交互投影仪使用的触控方案基本上均是红外平扫方案，即在桌面定高位置放置红外发射器，有物体（如手指）遮挡后识别为点击事件。这种方案的缺点在于：必须在交互平面上放置发射器，投影仪形态受限；不能处理水平方向上的遮挡，不能处理有高度的物体；任何物体都有可能误触；精度有待提高；投影仪的界面无法自动校正。
此外，现有技术中，无论是基于红外还是基于视频获取用户动作，都是基于当前帧进行动作的捕捉，识别精度低，且现有技术中都是基于单模态获取用户的动作，无法同时基于两种或以上的信号进行用户动作的捕捉，而单一信号获取用户动作的姿态精度低，因此，如何提高用户动作的识别精度是人机交互的一个重点及难点。
技术实现要素：
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种用户交互方法，所述方法包括：
初始化步骤，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
第一获取步骤，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；
第二获取步骤，使用深度摄像头获取用户在用户界面上的第二操作数据；
融合步骤，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；
更新步骤，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
更进一地，所述第一获取步骤包括：
当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前n帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据。
更进一地，所述第二获取步骤包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前n帧的图像，计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据。
更进一地，所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
更进一地，所述用户操作数据为用户标记数据或用户调用其他功能。
更进一地，所述计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧光斑的信息和前n帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。
更进一地，所述计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据的操作为：计算板通过该当前帧图像和前n帧的图像用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为指尖位置。
更进一地，所述更新步骤包括：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明还提出了一种用户交互设备，所述设备包括：投影单元、信号发射单元、红外摄像头、深度摄像头和计算板；
所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板；
所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；
所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据，并将所述用户操作数据发送至所述投影单元；
所述投影单元接收到所述用户操作数据后基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
更进一地，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板包括：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前n帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据并发送至所述计算板。
更进一地，所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前n帧的图像，计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据并至所述计算板。
更进一地，所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：所述计算板将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
更进一地，所述用户操作数据为用户标记数据或用户调用其他功能。
更进一地，所述计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧光斑的信息和前n帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。
更进一地，所述计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据的操作为：计算板通过该当前帧图像和前n帧的图像用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为指尖位置。
更进一地，所述更新所述投影单元在用户操作界面上的显示内容包括：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的技术效果为：本发明的一种用户交互方法，所述方法包括：初始化步骤，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；第一获取步骤，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；第二获取步骤，使用深度摄像头获取用户在用户界面上的第二操作数据；融合步骤，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；更新步骤，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。本发明的主要优点在于：在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展；通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，此外，还可以实现投影仪的自动校正。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例之一的一种用户交互方法的流程图。
图2是根据本发明的实施例之一的一种用户交互设备的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种用户交互方法，所述方法包括：
初始化步骤s101，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近。
本发明的方法可以应用在智能台灯上，台灯的上部安装有投影单元，即投影仪、红外摄像头、深度摄像头，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等。投影单元可以是投影仪，信号发射单元设置在台灯的底部，这样，投影单元在桌面上投出一个操作界面，信号发射单元（比如是红外激光器）产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。
初始化步骤s101，可以具体包括如下步骤：
第一步：投影仪初始化，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面。
第二步：位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm。
第三步：红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅。
第四步：投影仪从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述步骤，实现了投影仪的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在智能台灯的底部，解决了现有技术中必须在交互平面上放置发射器导致投影仪形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
第一获取步骤s102，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据。
在一个实施例中，当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前n帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据。
具体地，计算板如何通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据，这里以红外信息、摄像头帧率为50帧对具体流程进行描述：
当计算板对当前的反射光位置判断为用户的按压行为时，便需要对一个持续时间进行判断，这里假设持续100ms（即5帧）算是一个真正的按压事件，并进一步去调用相应的处理方法；
当仅检测到某一帧用户为按压行为时，计算板会开始查询操作，首先会获取前一帧用户的行为类型，如果为同一位置的按压行为，则计算板继续获取前一帧的用户行为类型。当遇到非法行为（非同一位置的按压行为或者非按压行为），会进行特殊处理：跳过这一帧再向前读一帧。
此时有两种情况：1.再向前的一帧仍为非法行为则本次查询终止，直到当前帧不能算作真正的按压事件，多帧判断结束，此时计算板开始等待下一帧的用户行为并判断。2.再向前的一帧是同一位置的按压行为，那么之前遇到的非法行为被标记为错误数据，并当作一个同一位置的按压行为来进行处理。在经过查询和特殊处理之后，如果计算板判断此时已经有连续五帧同一位置的按压行为，则会将其视为真正的按压事件，多帧判断结束。
优选地，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑具体为：使用者利用手指（或其他遮挡物）对需要进行交互的位置进行按压，当距离小于1mm便可遮挡住红外光束。红外光束被遮挡，遮挡部分便会作为反射面将发射的红外光进行反射，形成所谓的光斑，并且能够被红外摄像头捕获光斑的位置。红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息具体为：红外摄像头持续不停的拍摄当前平面的红外光分布情况并进行记录；红外摄像头获取分布情况后对拍摄图像利用多种滤波算法进行处理，处理后得到红外线被遮挡部分的位置和形状；红外摄像头对得到的光斑信息进行规范化调整，利用相连的数据导线将传输至计算板并进行存储。
第二获取步骤s103，使用深度摄像头获取用户在用户界面上的第二操作数据。
在一个实施例中，深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前n帧的图像，计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据。多帧判断的方式与前面描述的红外得多帧判断方式相同，不在赘述。
优选地，使用计算板获取图像中用户的手部位置具体为：深度摄像头利用双目摄像头对场景进行拍摄，利用光反射获取一级距离，两个摄像头信息进一步汇总处理的计算方式计算出场景中各部分的详细深度信息，即获取到当前场景的图像以及完整的rgb-d信息，并利用白平衡、直方图均衡的方法对信息进行预处理以及略微的矫正；在得到整体的深度信息后，计算板对采集的场景图片利用部署好的mobilenet-ssd检测网络进行处理，得到用户手部的粗略位置；将手部位置与深度信息结合，进一步利用hourglass结构的卷曲神经网络进行骨关节点位置的预测，进而便可得到用户当前的手部姿势，进而得到手部的动作并储存。
在确定得到手部的动作式首先利用hourglass得到的标注quote
然后根据预测得到的热力图quote
然后关于对姿势进行分类，并对每一类给出每个关节点的位置区域，只要各个关节点在相应取余就判定为当前动作，这些对手部动作的过程及相应的公式也称为先进的深度判断模型。
计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件的操作为：在得到手部动作分析后，如果判断出手部与投影平面距离相差小于1mm，则判定用户动作为按压平面；在判断出为按压事件后，为了分析用户的具体动作，从存储中获取前几帧的用户动作信息，将这些信息同样也作为下一步分析的源数据。
本发明中，在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展，这是本发明的重要发明点之另一。
融合步骤s104，将所述第一操作数据和第二操作数据进行融合得到用户操作数据。所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
卡尔曼滤波法用于融合低层次实时动态多传感器冗余数据，利用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。将第一操作数据和第二操作数据进行融合的操作过程如下：
利用设备上的传感器（即红外摄像头和深度摄像头）获取到红外与深度两种观测目标的数据（即第一操作数据和第二操作数据）；
使用计算板对这两种输出数据（即第一操作数据和第二操作数据）（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表两种数据的特征矢量yi；
对特征矢量yi进行模式识别处理，完成各传感器关于目标的说明；将各传感器关于目标的说明数据按同一目标进行分组，即关联（即第一操作数据和第二操作数据的关联）；利用随机类算法——卡尔曼滤波法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述，从而实现了通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，这是本发明的重要发明点之另一。
更新步骤s105，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。本发明中，所述用户操作数据为用户标记数据或用户调用其他功能。
在一个实施例中，更新实现过程为：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的操作面板（即用户操作界面）在设计时提供了多种方案、多种风格以供用户选择，从而可以满足不同类型用户在交互时的不同需求，设置后，会自动加载，更灵活的区域选取（基于画笔、范围选取工具划定区域后，对其中的内容进行保存、识别、传输等操作），交互轨迹的自动化执行，比如在后期教学或者展示，可以在计算板保存操作流程后，首先利用投影显示出操作时的轨迹，并在恰当的时间执行相应的操作，从而实现自动化的展示与执行，这属于本发明的另一个重要发明点。
图2示出了本发明的一种用户交互设备，所述设备包括：投影单元、信号发射单元、红外摄像头、深度摄像头和计算板；所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板；所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据，并将所述用户操作数据发送至所述投影单元；所述投影单元接收到所述用户操作数据后基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
本发明的设备可以为智能台灯，台灯的上部安装有投影单元，即投影仪、红外摄像头、深度摄像头，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等。投影单元可以是投影仪，信号发射单元设置在台灯的底部，这样，投影单元在桌面上投出一个操作界面，信号发射单元（比如是红外激光器）产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。
所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近具体，可通过以下操作实现：
第一步：投影仪初始化，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面。
第二步：位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm。
第三步：红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅。
第四步：投影仪从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述操作，实现了投影仪的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在智能台灯的底部，解决了现有技术中必须在交互平面上放置发射器导致投影仪形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
在一个实施例中，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板是指：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前n帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据并发送至所述计算板。
优选地，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑具体为：使用者利用手指（或其他遮挡物）对需要进行交互的位置进行按压，当距离小于1mm便可遮挡住红外光束。红外光束被遮挡，遮挡部分便会作为反射面将发射的红外光进行反射，形成所谓的光斑，并且能够被红外摄像头捕获光斑的位置。红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息具体为：红外摄像头持续不停的拍摄当前平面的红外光分布情况并进行记录；红外摄像头获取分布情况后对拍摄图像利用多种滤波算法进行处理，处理后得到红外线被遮挡部分的位置和形状；红外摄像头对得到的光斑信息进行规范化调整，利用相连的数据导线将传输至计算板并进行存储。
在一个实施例中，所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板是指：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前n帧的图像，计算板通过该当前帧图像和前n帧的图像确定所述第二操作数据并至所述计算板。
具体地，计算板如何通过该当前帧光斑的信息和前n帧的光斑信息确定所述第一操作数据，这里以红外信息、摄像头帧率为50帧对具体流程进行描述：
当计算板对当前的反射光位置判断为用户的按压行为时，便需要对一个持续时间进行判断，这里假设持续100ms（即5帧）算是一个真正的按压事件，并进一步去调用相应的处理方法；
当仅检测到某一帧用户为按压行为时，计算板会开始查询操作，首先会获取前一帧用户的行为类型，如果为同一位置的按压行为，则计算板继续获取前一帧的用户行为类型。当遇到非法行为（非同一位置的按压行为或者非按压行为），会进行特殊处理：跳过这一帧再向前读一帧。
此时有两种情况：1.再向前的一帧仍为非法行为则本次查询终止，直到当前帧不能算作真正的按压事件，多帧判断结束，此时计算板开始等待下一帧的用户行为并判断。2.再向前的一帧是同一位置的按压行为，那么之前遇到的非法行为被标记为错误数据，并当作一个同一位置的按压行为来进行处理。在经过查询和特殊处理之后，如果计算板判断此时已经有连续五帧同一位置的按压行为，则会将其视为真正的按压事件，多帧判断结束。深度图像中多帧判断的方式与前面描述的红外图像的多帧判断方式相同，不在赘述。
优选地，使用计算板获取图像中用户的手部位置具体为：深度摄像头利用双目摄像头对场景进行拍摄，利用光反射获取一级距离，两个摄像头信息进一步汇总处理的计算方式计算出场景中各部分的详细深度信息，即获取到当前场景的图像以及完整的rgb-d信息，并利用白平衡、直方图均衡的方法对信息进行预处理以及略微的矫正；在得到整体的深度信息后，计算板对采集的场景图片利用部署好的mobilenet-ssd检测网络进行处理，得到用户手部的粗略位置；将手部位置与深度信息结合，进一步利用hourglass结构的卷曲神经网络进行骨关节点位置的预测，进而便可得到用户当前的手部姿势，进而得到手部的动作并储存。
在确定得到手部的动作式首先利用hourglass得到的标注quote
然后根据预测得到的热力图quote
然后关于对姿势进行分类，并对每一类给出每个关节点的位置区域，只要各个关节点在相应取余就判定为当前动作，这些对手部动作的过程及相应的公式也称为先进的深度判断模型。
计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件的操作为：在得到手部动作分析后，如果判断出手部与投影平面距离相差小于1mm，则判定用户动作为按压平面；在判断出为按压事件后，为了分析用户的具体动作，从存储中获取前几帧的用户动作信息，将这些信息同样也作为下一步分析的源数据。
本发明中，在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展，这是本发明的重要发明点之另一。
所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据是指：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
卡尔曼滤波法用于融合低层次实时动态多传感器冗余数据，利用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。将第一操作数据和第二操作数据进行融合的操作过程如下：
利用设备上的传感器（即红外摄像头和深度摄像头）获取到红外与深度两种观测目标的数据（即第一操作数据和第二操作数据）；
使用计算板对这两种输出数据（即第一操作数据和第二操作数据）（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表两种数据的特征矢量yi；
对特征矢量yi进行模式识别处理，完成各传感器关于目标的说明；将各传感器关于目标的说明数据按同一目标进行分组，即关联（即第一操作数据和第二操作数据的关联）；利用随机类算法——卡尔曼滤波法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述，从而实现了通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，这是本发明的重要发明点之另一。
本发明中，所述用户操作数据为用户标记数据或用户调用其他功能。在一个实施例中，更新实现过程为：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的操作面板（即用户操作界面）在设计时提供了多种方案、多种风格以供用户选择，从而可以满足不同类型用户在交互时的不同需求，设置后，会自动加载，更灵活的区域选取（基于画笔、范围选取工具划定区域后，对其中的内容进行保存、识别、传输等操作），交互轨迹的自动化执行，比如在后期教学或者展示，可以在计算板保存操作流程后，首先利用投影显示出操作时的轨迹，并在恰当的时间执行相应的操作，从而实现自动化的展示与执行，这属于本发明的另一个重要发明点。
本发明的主要技术效果为：在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展；通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，此外，还可以实现投影仪的自动校正。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
- 还没有人留言评论。精彩留言会获得点赞！