沉浸式交互系统的制作方法
【专利摘要】本发明提供一种沉浸式交互系统，包括：实物工作台、第一摄影设备、第一显示设备，所述实物工作台上设置有所述工作区域，所述第一摄影设备用于拍摄本地的所述工作区域的图像，所述第一显示设备用于显示对端工作区域的虚拟图像，其中，对端工作区域的虚拟图像的显示区域与本地的所述工作区域重合。本发明能够提供远程沉浸式自然交互，让远程用户之间不但可以面对面地交流，还可以手把手地协同工作。本发明为用户提供清晰自然逼真的画面，并且工作区域虚实结合且可转动，给人极强的真实感和沉浸感。
【专利说明】沉浸式交互系统
【技术领域】
[0001]本发明涉及计算机图形学、计算机视觉【技术领域】，具体地说，本发明涉及一种沉浸式交互系统。
【背景技术】
[0002]随着社会的发展，处在不同地点的人们迫切需要分布式远程互动平台。远程视频系统(如视频电话系统)就是一种典型的分布式远程互动平台，它虽然能够在一定程度上拉近人与人之间的距离，但是其难以模拟一些基于桌面操作的复杂交互场景。例如，有时交互双方需要共同讨论、修改文件，家长需要辅导孩子功课或者进行下棋等娱乐活动，传统的远程视频系统显然无法真实地还原上述场景，无法给人带来身临其境的感受。
[0003]因此，当前迫切需要一种具有面对面交流效果的远程沉浸式交互解决方案。
【发明内容】
[0004]本发明的目的是提供一种具有面对面交流效果的远程沉浸式交互解决方案。
[0005]为实现上述发明目的，本发明提供了一种沉浸式交互系统，包括:实物工作台、第一摄影设备、第一显示设备，所述实物工作台上设置有所述工作区域，所述第一摄影设备用于拍摄本地的所述工作区域的图像，所述第一显示设备用于显示对端工作区域的虚拟图像，其中，对端工作区域的虚拟图像的显示区域与本地的所述工作区域重合。这样，交互双方能够远程实现面对面交流中的手把手地协同工作的效果。
[0006]其中，所述第一摄影设备用于在第一时隙拍摄本地的所述工作区域的图像，所述第一显示设备用于在第二时隙显示对端工作区域的虚拟图像。
[0007]其中，所述实物工作台上设置有转盘，本地的所述工作区域设置在所述转盘上，所述数据处理设备用于控制本地和对端的转盘同步转动。
[0008]其中，所述沉浸式交互系统还包括用于显示对端交互者图像的第二显示设备，所述第二显示设备的所显示的图像与本地的所述工作区域大致垂直。这样，交互双方能够远程实现完整的面对面交流的效果。
[0009]其中，所述第二显示设备所显示的对端交互者图像为裁剪掉手部的对端交互者图像，第二显示设备所显示的所述裁剪掉手部的对端交互者图像与本地的所述工作区域所显示的对端工作区域的虚拟图像中的手部拼接。
[0010]其中，所述第二显示设备为全息投影仪。
[0011]其中，所述沉浸式交互系统还包括与所述第二显示设备配合的全息屏幕，所述全息屏幕底部边缘紧靠本地的所述工作区域的边缘，并且全息屏幕与本地的所述工作区域大致垂直，所述全息屏幕上显示的预处理后的对端人物图像的手腕部与本地的所述工作区域所显示的对端工作区域的虚拟图像中的手部拼接。
[0012]其中，所述沉浸式交互系统还包括第二摄影设备，用于拍摄本地交互者的全息人物图像。[0013]其中，所述沉浸式交互系统还包括数据处理设备，用于对本地交互者图像进行预处理，所述预处理包括从交互者图像中裁剪掉手部，以及将预处理后的本地交互者图像和本地的所述工作区域的图像传输至交互对端。
[0014]其中，所述第二摄像设备用于拍摄含深度数据的交互者图像，含深度数据的交互者图像包括亮度数据和与其对应的深度数据。
[0015]本发明还提供了一种基于前述的沉浸式交互系统的从人物图像中裁剪掉手部的处理方法,包括:
[0016]I)从亮度数据的图像中，基于肤色模型提取出手部的外接矩形；
[0017]2)根据外接矩形的长度计算出手部的长度a ；
[0018]3)根据深度数据得到人物图像中离屏幕最近的像素点A ；
[0019]4)根据深度数据裁剪人物图像中与像素点A的深度差小于长度a的像素点，得到裁剪手部后的人物图像。
[0020]其中，所述亮度数据为RGB数据。
[0021]与现有技术相比，本发明具有下列技术效果:
[0022]1、本发明能够让远程用户之间可以手把手地协同工作。
[0023]2、本发明能够提供远程三维沉浸式自然交互，让远程用户之间不但可以互相看到对方的视频信息，还可以手把手地协同工作，完整再现了面对面交流的效果。
[0024]3、本发明为用户提供清晰自然逼真的画面，并且工作区域虚实结合且可转动，给人极强的真实感和沉浸感。
【专利附图】
【附图说明】
[0025]图1示出了本发明一个实施例的沉浸式交互系统的结构示意图；
[0026]图2示出了本发明一个实施例的在一个应用场景下的工作区域的画面示意图；
[0027]图3示出了本发明一个实施例中远程视频对象的手从屏幕里伸出来的效果示意图；
[0028]图4示出了本发明一个实施例中转盘与全息屏幕的主视示意图；
[0029]图5示出了本发明一个实施例中转盘与全息屏幕的俯视示意图；
[0030]图6示出了本发明一个实施例中沉浸式交互系统之间的远程交互示意图；
[0031]图7示出了本发明一个实施例中的工作区域图像采集投影的时间序列原理图
[0032]图8示出了本发明一个实施例中从RGB图像中把手部提取出来的示意图；
[0033]图9示出了一个深度数据的正视图和侧视图示例，其中，侧视图中示出了基于深度数据以A点朝远离屏幕的方向截取手部的实际物理长度a的距离的示例；
[0034]图10示出了一个裁剪手部后的RGB图示例。
【具体实施方式】
[0035]下面结合附图和具体实施例对本发明做进一步地描述。
[0036]图1示出了根据本发明的一个实施例提供的一种远程沉浸式交互系统，包括:桌面1、图像采集与投影设备2、投影屏3、深度摄像头4和全息投影仪5。其中，桌面I是指实物工作平台的表面(此处实物是与虚拟相对应的概念)，它既可以是实际桌面，也可以安装在实际桌面上的其它实物工作平台的表面。图像采集与投影设备2包括:照相机和投影仪，必要时还可以包括补光灯(例如LED补光灯)以及一块协同控制它们的FPGA板。桌面I上设有工作区域la，所述照相机可以拍摄该工作区域Ia的视频图像，投影仪可以将视频画面投影至在该工作区域la，且投影画面所占的区域与实际工作区域完全重合。这样照相机可以采集本地工作区域图像，通过本地主机将其传输给远程用户，投影仪可以通过本地主机接收并投影远程工作区域图像，并且所投影的图像与本地桌面的实际工作区域融合，形成虚实结合的工作区域。这样本地用户可以同远程用户就在这个虚实结合的工作区域内手把手地协同工作。
[0037]进一步地，桌面可以是一个智能转盘Ib的表面，并且本地和远程的智能转盘能够受控地同步转动。这种设计特别适用于完成书写类的协同工作。例如:家长给孩子远程辅导功课时，当家长(本地用户)在纸张上出完题目，此时孩子(远程用户)看到的是反着的图像，为了让孩子方便作答，家长旋转纸张180度，纸张会带动转盘跟着旋转，此时远程的转盘也会实时的同步转动，从而带动孩子的纸张转动。孩子作答完之后，再转动纸张给家长批改，智能转盘旋转的过程跟之前阐述的一样。图2示出了这一应用场景下的工作区域的画面示意图。
[0038]在实际实现过程中，可以通过调校设备可以使图像采集与投影设备2的投影区域正好在智能转盘Ib上，大小一致，完全重合，俯视效果如图5所示，图像采集与投影设备2的投影区域即工作区域la。因此，本实施例中还对相机和投影仪的水平和垂直方位进行精细调整以达到实物和投影图像重叠的交互效果。根据一个实施例，用FPGA开发板对投影仪和相机进行时序控制，相机采集到本地工作区域的画片通过USB数据线传到本地主机进行处理，再经过网络传到远程主机，并通过远程投影仪进行分屏投影显示。远程桌面在投影显示本地画片的同时，远程用户对自己工作区域所作出的书写的画面以同样的方式传回本地与实物画面融合。上述过程反复进行便实现了本地和远程空间融合共享的实时投影交互效果。根据一个实施例，FPGA开发板只为相机和投影仪提供时序控制，而不控制图像数据的输入和输出，数据的采集和处理由主机(例如电脑)完成。
[0039]进一步地，在本发明的一个实施例中，照相机采用工业相机，利用FPGA开发板来控制投影仪工作，并且触发工业相机采集图像。通过FPGA开发板产生的时序关系控制工业相机和投影仪交替工作，达到在采集本地的物理实体时屏蔽掉本地所投影的图像的目的。当采集到的图像中仅包含有物理实体的信息时，则投影仪只会将远程的物理实体在本地投影显示，从而解决回波现象，使得工作区域的融合图像清晰自然。为了让系统稳定工作，相机的帧率和投影仪的频率可以按照整数比例设计，使得相机和投影仪成周期地交替工作。例如:投影仪的固有频率为60HZ，相机的帧率为20fps。图7为本实施例的工作区域图像采集投影的时间序列原理图，在一个周期内，投影仪开关3次，相机采集I次数据。在投影仪第三次投影结束后到下一个周期投影开始之前的这段时间内，通过外部信号触发相机采集一次数据，达到分时复用的效果。
[0040]根据一个实施例,智能转盘包括:单片机、步进电机、微动开关和能被电机带动的转盘。本地主机作为单片机的上位机，来负责信号的网络传输。智能转盘由单片机控制，用户转动转盘时，会触发到微动开关，该信号会通过串口传到本地主机再通过网络被传到远程主机，远程主机收到信号后通过串口向单片机发消息进而控制步进电机转动。当用户在本地书写完之后，转动纸张给远程的用户看，此时，远程用户的纸张也会随之转动。这就好像两个人就面对面地坐在一起。
[0041]根据一个实施例，投影屏、深度摄像头和全息投影仪用于提供全尺寸的视频图像显示。这样用户可以看到一个1:1全尺寸显示的高清的远程视频对象的人物图像，将远程用户的所处的真实场景进行了最大程度的还原，这就增强了视觉冲击力和沉浸感。根据一个实施例，深度摄像头和投影仪都连接在本地主机上，由运行在主机上的软件程序进行控制、数据的采集、图像的显示和网络传输。深度摄像头由两个镜头构成，能分别获得深度数据和RGB数据。深度数据是指摄像头所获取的深度图中每个像素点距深度摄像头镜头平面的距离，深度图中的每个像素点与RGB图中的每个像素点有一定的对应关系，因此可以从中计算出RGB图中任意像素点距摄像头平面的距离。RGB和深度数据构成的画面由投影仪投放显示在投影屏上，投影出一个1:1的远程用户的视频图像。投影屏是在用户工作的桌子上正对面立着的屏幕，它是贴有全息投影膜的透明板，能让投影仪实现背投。参考图6，具体来说，本地主机从深度摄像头每采集到一帧RGB数据，就通过互联网络传输到远程电脑。远程主机接收到RGB数据后，控制投影仪在调校好位置的投影屏上投出一个与真人大小1:1的人物影像和场景。相应的，远程端也会向本地传输远程的RGB图像并在本地显示，这就实现了远程视频交流。
[0042]在一个优选实施例中，正面视频区域的图像和工作区域的图像在手腕部进行精准的拼接。如图3所示，在拼接完之后能够让用户感觉到远程视频对象工作时手从屏幕里伸了出来的效果，沉浸感极强，增加了整个系统的一体化程度。为实现拼接，可以使工作区域的边缘紧靠全息投影屏3的下边缘，并在全息屏幕的下边缘处设置一条细槽3a供智能转盘Ib转动，如图4所示。
[0043]在一个例子中，从人物图像中裁剪掉手部的处理包括下列步骤:
[0044]I)利用肤色模型(可以参考文献:王金庭，杨敏，基于YCbCr空间的亮度自适应肤色检测，计算机系统应用，2007，17 (6):99?102.)从RGB图像中把手部提取出来，利用Opencv当中的cvBoundingRect函数就可以得到这个手部的外接矩形,参考图8,其中外接矩形的边a表示这个外接矩形的长。
[0045]2)通过纸张(转盘)和像素之间的尺寸比例关系，得到这个外接矩形边a所对应的实际物理长度，为方便起见，下文以a表示手部的实际物理长度。
[0046]3)基于深度摄像头得到的深度数据，得到深度图中离屏幕最近的一个点A，可设定这个点就是当用户在工作台上进行协同工作时的手指尖点。然后以A点朝远离屏幕的方向截取手部的实际物理长度a的距离，图9示出了深度数据的正视图和侧视图示例，从侧视图中可以看出基于深度数据以A点朝远离屏幕的方向截取手部的实际物理长度a的距离的示例。
[0047]4)再利用深度数据和RGB数据的对应关系，在RGB图中截去相应的那些行像素，得到裁剪处理后的RGB图(参考图10)，本地主机将处理好的RGB图像发送至远程主机用来全息投影。另一方面，本地主机将接收到的裁剪处理过的RGB图像显示在全息投影屏上，同时将接收到的远程图像采集与投影设备所拍的工作区域的图像投影在转盘上，此时就会出现如图3的效果，两部分图像在手腕部实现了精准的拼接。由于采用了全息投影技术，形成了远程视频对象的手从屏幕里伸出来的效果，因此两部分图像在手腕部的拼接效果十分自然。
[0048]综上所述，上述实施例可以实现远程工作区域的协同工作。用户能够自己在面前的桌子的工作区域上，看到连接着的远程用户工作区域的实时图像，并在这片区域与远程用户协同工作，比如共同讨论、修改文件，(家长)辅导孩子功课，远程下棋等。由于双方都使用的是真实的物件，因此具有很好的用户体验和普适性。
[0049]另外，需要说明的是，上述实施例中深度摄像头拍摄的人物图像包括RGB数据和与其对应的深度数据，在其它实施例中，也可以使用其它类型的亮度数据(例如:灰度数据)来代替RGB数据，即深度摄像头拍摄亮度数据和其对应的深度数据。并且，图像采集与投影设备中的投影仪也可以用液晶显示器等其它显示设备代替。
[0050]另外，在一个实施例中，远程视频对象可以用计算机生成的虚拟角色替代，即交互对端不是远程视频对象，而是计算机生成的虚拟角色，例如卡通角色。该卡通角色的正面图像被裁剪掉手部，并由全息投影仪在全息屏幕上投影，同时生成该卡通角色的手部操作的虚拟图像(即对端工作区域的虚拟图像)并投影在本地的工作区域，将被裁剪掉手部的卡通角色的正面图像和该卡通角色的手部操作的虚拟图像拼接。该卡通角色的动作(诸如身体晃动和手部操作等动作)可以直接由计算机生成，也可以由真实人(例如远程的真实人)所驱动。这样就可以获得沉浸感极强的与卡通角色面对面互动的效果。
[0051]最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。
【权利要求】
1.一种沉浸式交互系统，包括:实物工作台、第一摄影设备、第一显示设备，所述实物工作台上设置有所述工作区域，所述第一摄影设备用于拍摄本地的所述工作区域的图像，所述第一显示设备用于显示对端工作区域的虚拟图像，其中，对端工作区域的虚拟图像的显示区域与本地的所述工作区域重合。
2.根据权利要求1所述的沉浸式交互系统，其特征在于，所述第一摄影设备用于在第一时隙拍摄本地的所述工作区域的图像，所述第一显示设备用于在第二时隙显示对端工作区域的虚拟图像。
3.根据权利要求2所述的沉浸式交互系统，其特征在于，所述实物工作台上设置有转盘，本地的所述工作区域设置在所述转盘上，所述数据处理设备用于控制本地和对端的转盘同步转动。
4.根据权利要求1所述的沉浸式交互系统，其特征在于，还包括用于显示对端交互者图像的第二显示设备，所述第二显示设备的所显示的图像与本地的所述工作区域大致垂直。
5.根据权利要求4所述的沉浸式交互系统，其特征在于，所述第二显示设备所显示的对端交互者图像为裁剪掉手部的对端交互者图像，第二显示设备所显示的所述裁剪掉手部的对端交互者图像与本地的所述工作区域所显示的对端工作区域的虚拟图像中的手部拼接。
6.根据权利要求5所述的沉浸式交互系统，其特征在于，所述第二显示设备为全息投影仪。
7.根据权利要求6所述的沉浸式交互系统，其特征在于，所述沉浸式交互系统还包括与所述第二显示设备配合的全息屏幕，所述全息屏幕底部边缘紧靠本地的所述工作区域的边缘，并且全息屏幕与本地的所述工作区域大致垂直，所述全息屏幕上显示的预处理后的对端人物图像的手腕部与本地的所述工作区域所显示的对端工作区域的虚拟图像中的手部拼接。
8.根据权利要求6所述的沉浸式交互系统，其特征在于，还包括第二摄影设备，用于拍摄本地交互者的全息人物图像。
9.根据权利要求8所述的沉浸式交互系统，其特征在于，还包括数据处理设备，用于对本地交互者图像进行预处理，所述预处理包括从交互者图像中裁剪掉手部，以及将预处理后的本地交互者图像和本地的所述工作区域的图像传输至交互对端。
10.根据权利要求6所述的沉浸式交互系统，其特征在于，所述第二摄像设备用于拍摄含深度数据的交互者图像，含深度数据的交互者图像包括亮度数据和与其对应的深度数据。
11.一种基于权利要求10所述的沉浸式交互系统的从人物图像中裁剪掉手部的处理方法，包括: 1)从亮度数据的图像中，基于肤色模型提取出手部的外接矩形； 2)根据外接矩形的长度计算出手部的长度a； 3)根据深度数据得到人物图像中离屏幕最近的像素点A； 4)根据深度数据裁剪人物图像中与像素点A的深度差小于长度a的像素点，得到裁剪手部后的人物图像。
12.根据权利要求11所 述的沉浸式交互系统，其特征在于，所述亮度数据为RGB数据。
【文档编号】G06F3/14GK103777915SQ201410044065
【公开日】2014年5月7日 申请日期:2014年1月30日 优先权日:2014年1月30日
【发明者】于汉超, 陈益强, 刘军发, 黄陈, 黄龙 申请人:中国科学院计算技术研究所