投影触控显示装置及其交互方法与流程

本发明涉及智能交互领域，尤其涉及投影触控显示装置及其交互方法。

背景技术：

目前在空间中与电脑有许多交互方式。其中，以计算机视觉为建构现实的基础，虚拟现实(VR)与增强现实(AR)为下一代交互发展的方向，因此，计算机视觉领域被许多研究者所探讨。首先，计算机经过摄像机获取图片，透过对图片分析计算，得到推测出深度数据，还原位置对于空间的坐标，进而获取三维空间的模型，要达到此目的，需同时满足图像具有高清晰度及后期算法优化的高要求。

为了准确探测深度，人们提出以下几种方法：目前光学测距方法有三角测距法、包含双目测距、结构光与基于飞行时间TOF原理等测距方法。其中，以双目测距的装置最为简洁，其性价比为最高，陈成钱在论文"基于投影仪—红外摄像机的多点触控系统"中提出采用投影仪为显示设备,以红外摄像机为光学传感器,多个用户通过该系统,采用手、手指与投影在桌面的信息进行交互。设计一个有效的目标识别跟踪算法，采用神经网络识别手指,分为手指和非手指两类,区分手指端和手臂端，实现多点处控。

然而，基于双目视觉的测距中，仍存在着许多不稳定性，并且摄像机在获取图像时容易受到干扰，在匹配过程成容易误判断，导致定位精度差。

技术实现要素：

为了解决现有存在的技术问题，本发明提供了投影触控显示装置及其交互方法，有效提高了人机交互的稳定性及精度。

本发明提供了投影触控显示装置，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。

优选地，所述信息处理单元包括：与所述多部摄像机连接的摄像机内参标定模块；与所述摄像机内参标定模块连接的图像处理模块；与所述图像处理模块连接的系统定义模块。

优选地，所述摄像机为红外摄像机。

优选地，所述摄像机为双目摄像机。

本发明还提供了投影触控显示装置的交互方法，具体步骤如下：

S1：所述投影仪向显示面上投出所述投影仪操控单元提供的一个标记面；

S2：在所述辅助信息处理单元中进行动态阈值算法生成所述标记面的深度数值；

S3：在所述摄像机内参标定模块中测量出所述多部摄像机的参数；

S4：在所述图像处理单元中对所述多部摄像机的参数进行校正；

S5：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；

S6：在所述图像处理单元中根据比较所述触控物的深度数值与所述辅助信息处理单元生成的所述标记面的深度数值进行判断所述触控物是否接触到显示面上；

S7：根据S6的判断结果，在所述系统定义模块中实现对应系统的响应。

优选地，投影触控显示装置的交互方法包括：

S1＇：所述投影仪向显示面上投出所述投影仪操控单元提供的一个由白色方块间接排列的标记面；

S2＇：在所述辅助信息处理单元中根据所述两部摄像机拍到的图像信息对所述白色方块找出角点，对所述角点进行排序，生成角点坐标序列；

S3＇：所述辅助信息处理单元接收所述两部摄像机对所述角点的图像信息，并且根据所述角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵；

S4＇：在所述摄像机内参标定模块中测量出所述两部摄像机的参数；

S5＇：在所述图像处理单元中对所述两部摄像机的参数进行校正；

S6＇：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；

S7＇：在所述图像处理单元中从所述辅助信息处理单元生成的所述深度矩阵中的所述深度数值减去所述触控物的深度数值，得到所述触控物到显示面的深度阈值；

S7＇：根据所述的触控物到显示面的深度阈值判断触控物是否接触显示面；

S8＇：根据S7＇判断结果，在所述系统定义模块中实现对应应用的响应。

优选地，所述显示面为平面或者不规则曲面。

优选地，所述标记面为棋盘格或者标记块。

优选地，所述摄像机为红外摄像机。

优选地，所述摄像机为双目摄像机。

附图说明

图1为本发明投影触控显示装置的示意图；图2为本发明投影触控显示装置的信息处理模块示意图；

图3为由间接排列的白色方块组成的标记面；

图4为本发明投影触控显示装置的工作示意图；

图5为本发明投影触控显示装置的壳体示意图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

图1为本发明投影触控显示装置的示意图。如图1所示，本发明提供了投影触控显示装置，包括：壳体10；设置于壳体内的投影仪31；与投影仪连接的投影仪操控单元30，用于向投影仪31提供投影图像；设置于壳体10内的两部摄像机11、12；与两部摄像机连接的信息处理单元20，；与投影仪操控单元30和信息处理单元20连接的辅助信息处理单元40。

图2为本发明投影触控显示装置的信息处理模块示意图。如图2所示，该信息处理单元20包括与两部摄像机连接的摄像机内参标定模块21、与摄像机内参标定模块连接的图像处理模块22，与图像处理模块连接的系统定义模块23。

该摄像机11、12为红外摄像机，该摄像机为双目摄像机。

图4为本发明投影触控显示装置的工作示意图。如图4所示，当本发明的投影触控显示装置在工作时，通过投影仪31向显示面1上投出一个图像，该显示面可以是任何平面或者是不规则曲面。

图5为本发明投影触控显示装置的壳体示意图。如图5所示，在壳体10的一侧面的设置有投影仪31；在该投影仪31两侧均设有一部摄像机11、12。

需要说明的是，本发明的投影触控显示装置中，投影仪操控单元30、信息处理单元20、辅助信息处理单元40，可以集成在壳体内部，或者也可以单独设于壳体外的其他设备中，均可以实现本发明。

需要说明的是，本发明中使用两部以上摄像机均可以实现本发明，具体实施方式只举两部摄像机的方案。

本发明还提供了投影触控显示装置的交互方法，具体地，首先由投影仪向显示面1上投出投影仪操控单元30提供的一个标记面；然后在辅助信息处理单元40中进行动态阈值算法生成标记面的深度数值；其次在摄像机内参标定模块21中测量出两部摄像机的参数，摄像机内参标定是基于张正友标定方法的理论基础上进行测量，分别得到单摄相机上所有镜头的参数，包含中心点、焦距、镜头畸变系数、平移矩阵、旋转矩阵等参数；接着在图像处理单元22中对两部摄像机的参数进行校正，修正对镜头所引起的畸变，确保相机读入的图像的正确性，提高图像的识别精度；接着根据的对两部摄像机获取的、已校正的无畸变的触控图像进行图像处理，得出触控物的深度数值；接着在图像处理单元22中根据比较触控物的深度数值与辅助信息处理单元40生成的标记面的深度数值进行判断触控物是否接触到显示面上；最后根据上一步的判断结果，在系统定义模块23中实现对应应用的响应。

本发明提供的交互方法只需分别对红外相机进行单一标定，不需双目立体标定摄相机得到彼此之间关系，采取"动态阈值"的优化算法，可精准的判断对显示面有无触碰的动作。

本发明所描述的标记面可以是棋盘格或者标记块。图3为由间接排列的白色方块组成的棋盘格标记面。下面由间接排列的白色方块组成的棋盘格(如图2所示)作为标记面进一步详细说明本发明的投影触摸显示装置的交互方法。首先由投影仪31向显示面1上投出投影仪操控单元30提供的一个由白色方块间接排列的标记面，此时由于在摄像头上加装了850波段的滤光片，因此大部分可见光都被过滤掉而不可见，但是由于投影仪31投出的光线在850纳米之上还有一部分波段，所以在增大曝光时间的图像上是可以清晰的看到标记面。然后在辅助信息处理单元40中进行，左右视图上分别对白色方块的每一个方块找出角点，对角点进行排序，生成角点坐标序列，各自存在各自的角点序列中，具体的，检测标记方块的轮廓，然后根据轮廓求出拟合的四边形，再由所得到的四边形计算出它的四个凸点。其次在辅助信息处理单元40接收两部摄像机对角点的图像信息，并且根据角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵，在这里只考虑水平方向是由于平行双目根据三角形法则计算的深度值只跟水平方向上的视差有关，由于角点的深度矩阵覆盖范围是整个投影面积，所以在投影范围内的所有坐标都在角点坐标矩阵的范围内。任意坐标的深度都可以根据周围的四个角点坐标双线性差值计算出来。接着在摄像机11、12内参标定模块中21测量出两部摄像机11、12的参数，摄像机内参标定是基于张正友标定方法的理论基础上进行测量，分别得到单摄相机上所有镜头的参数，包含中心点、焦距、镜头畸变系数、平移矩阵、旋转矩阵等参数。接着在图像处理单元22中对两部摄像机11、12的参数进行校正，修正对镜头所引起的畸变，确保相机读入的图像的正确性，提高图像的识别精度。接着根据的已校正的参数进行图像处理，得出触控物的深度数值。接着在图像处理单元22中从辅助信息处理单元40生成的深度矩阵中的深度数值减去触控物的深度数值，得到触控物到显示面的深度阈值。接着根据的触控物到显示面的深度阈值判断触控物是否接触显示面。最后根据上一步的判断结果，在系统定义模块中实现对应应用的响应。

该应用可是为画板、游戏等软件，可以是根据需要自行开发的任何应用软件。

本发明中的显示面1可以为平面或者不规则曲面，凡是投影仪31能投射的显示面均可实现本发明投影触控显示装置的交互方法。

本发明中的摄像机为红外摄像机；摄像机为双目摄像机。

综上所述，本发明的投影触控显示装置，针对图像处理完之后，对深度数据的处理，根据动态阈值算法的设定，可以辅助判断，经由双目视觉图像所获得的深度数据的准确性，进而提升对整体系统的稳定性。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。