基于单个摄像机的沉浸式户外活动交互平台的实现方法
【专利摘要】基于单个摄像机的沉浸式户外活动交互平台的实现方法，基于混合现实技术，结合计算机图形学技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，当指定的相关部位到达触发区域，则自动触发事先设置的增强现实的信息，并将采集到的现实中用户姿态图像与增强的二维画面或三维虚拟模型叠加，通过户外高清LED大屏幕显示给用户。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。
【专利说明】基于单个摄像机的沉浸式户外活动交互平台的实现方法
【技术领域】
[0001]本发明属于计算机图像处理【技术领域】，涉及混合现实技术，为一种特别面向户外大屏幕的基于混合现实的人机交互方法。
【背景技术】
[0002]当前主流的混合现实应用大都是为低于30英寸以下屏幕开发，由于户外活动的要求，一般都采用至少大于100英寸的LED高清大屏幕作为展示屏幕。另一方面，当前主要的用户动作肢体交互方式为仅依靠图形学方式计算和图形学方式结合红外及深度探测方式进行计算，这种方式较著名的设备为微软的Kinect，该方式要求用户在一定的范围内运动，才能够较为准确的计算测定，由于该设备是为低于60英寸的电视屏幕准备，因此该设备工作的最佳距离设定在距离屏幕的2至3米。对于户外至少100英寸以上的大屏幕，该距离显然不能满足要求，本发明采用仅依靠图像学的人体骨骼重建方法进行计算，配合使用高清摄像机，能够户外大屏幕的要求，将用户的活动空间设定在最佳观看距离。
【发明内容】
[0003]本发明针对现有技术中的问题，结合计算机图形学技术和混合现实技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，并以计算结果实现人机互动功能。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。
[0004]本发明的技术方案为:基于单个摄像机的沉浸式户外活动交互平台的实现方法，基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤:
[0005]首先执行配准训练，包含二个步骤:
[0006]I)准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准:
[0007]11)在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中
占.[0008]12)在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度LI，基准长度LI大于户外大屏幕的高度；
[0009]13)将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕，即摄像机拍摄内容为整个大屏幕；在虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度LI’，LI’等于LI，虚拟摄像机拍摄的内容为整个虚拟大屏幕；将虚拟摄像机同真实摄像机所拍摄的画面相叠加，以真实世界的户外大屏幕作为参照物，对真实世界的户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次的配准；
[0010]14)在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于I米；
[0011]15)移动虚拟摄像机至虚拟世界中对应于步骤14)真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于I米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准；
[0012]16)保存此时虚拟世界场景的位置和角度信息；
[0013]2)补充配准阶段:
[0014]21)在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标，同时将触发图标的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别；
[0015]22)在虚拟世界中，对应于真实世界的相同位置处设定虚拟触发图标，以真实触发图标为参照物进行配准，将本次配准调后得到对场景位置和角度的调整信息同准备阶段I)配准后获得的虚拟世界场景的位置和角度信息合并，得到最优的场景位置和角度信息；
[0016]完成配准训练后，进入实时跟踪阶段；
[0017]3)实时跟踪阶段:
[0018]31)用户站在触发图标上后，由真实摄像机获得触发图标被遮挡信息，由系统自动或人工触发虚拟世界中的相关信息，并叠加至真实世界采集的图像，获得混合现实的效果;
[0019]32 )根据图像采集装置采集到的图像，对用户的三维运动骨骼进行重建，在获得用户的肢体位置信息后，事先设定的增强信息按照设置好的要求同用户的肢体位置信息进行交互。
[0020]步骤13)所述真实户外大屏幕的尺寸及虚拟户外大屏幕的尺寸的配准为:将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示；根据显示的图像通过缩放调整虚拟世界的比例，使得虚拟户外大屏幕同真实户外大屏幕获得重合，保存并固定此时的虚拟世界比例尺。
[0021]步骤15)所述真实基准尺L2及虚拟基准尺L2’的配准为:将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示，通过微调虚拟摄像机的位置及角度，使得虚拟基准尺L2’与真实基准尺L2重合，虚拟户外大屏幕中线及真实户外大屏幕中线重合；将此时的虚拟摄像机的位置和角度进行记录，并设置为最终工作位置和角度。
[0022]所述户外大屏幕为不低于100英寸的LED屏幕，分辨率大于等于720P。
[0023]所述真实摄像机为高清摄像机，分辨率大于等于720P。
[0024]在实时跟踪阶段，在真实摄像机所采集的平面图像中划定触发区域，当用户的三维运动骨骼位置数据处于触发区域内时，触发事先设置好的相对应的增强现实内容信息，向用户展示。
[0025]步骤32)中，采用现有算法“运动图像序列的人体三维运动骨架重建”，在第一帧画面中对用户骨骼进行标定，之后利用三维人体模型知识和运动连续性依次建立每个图像的人体运动骨架。
[0026]本发明结合计算机图形学技术和混合现实技术，提供一种应用在户外大屏幕的人机交互方法。本发明利用二阶段进阶式配准方法，提供了一种新颖的针对户外沉浸式人机交互系统的高效配准方法。本发明仅利用一台高清摄像机即可完成配准直至工作的全部的模块，相比多个摄像机的传统系统，在获得相同的效果同时，大大降低了系统的复杂程度，提高了系统的运行效率。本发明在配准阶段创新性的提出采用基准尺的手段进行定位辅助，在降低配准过程的难度的同时，大大的提高了配准阶段的效率和精度，本发明通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼框架，并以计算结果实现人机互动功能。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。在同用户互动阶段，采用新颖的触发区域的方法对相关互动信息进行触发，这种能够弥补户外情况下人体骨骼采集的精确度不高的劣势，降低的采集的难度，提高了采集的速度，同时仍能够满足互动者的体验效果。
【专利附图】
【附图说明】
[0027]图1为本发明的工作流程图。
[0028]图2为本发明的配准流程图，包括配准的准备阶段和补充配准阶段。
[0029]图3为本发明的装置示意图。
[0030]图4为本发明的配准步骤一实施示意图。
[0031]图5为本发明的配准步骤中步骤15)实施示意图。
[0032]图6为本发明的补充配准实施示意图。
[0033]图7为本发明实际工作时的系统示意图。
[0034]图8为本发明实时跟踪阶段步骤32)中的互动触发方法的示意图。
【具体实施方式】
[0035]本发明将最前沿的人体骨骼重建技术同混合技术相结合，通过高清摄像采集技术，实时计算用户的骨骼框架，并以计算结果实现人机互动功能。最终，用户可以在高清户外LED大屏幕中看到真实与虚拟相结合的互动效果，这里高清指分辨率大于等于720P。
[0036]本发明通过设置真实摄像机101、混合现实应用服务器102和户外大屏幕103，真实摄像机101为高清图像采集装置，采集用户的全身图像，输入混合现实应用服务器102中，混合现实应用服务器102中对采集图像中的用户的骨骼进行三维重建，判定用户的手、脚等关键点的位置信息，当这些关键点移动至预先设定的触发范围时，即自动触发或由人工触发相关的增强信息，并将这些信息呈现在户外大屏幕103上，户外大屏幕103为高清LED屏幕。增强信息同原有采集到的图像相混合，实现混合现实的效果，将混合后的图像呈现在户外LED高清显示大屏上，如图6，所述的图像采集装置为一台摄像机或一个摄像头。如图3，图4，图5，图6和图7，真实摄像机101进行实时图像采集，将采集后的数据传输至混合现实应用服务器102中，将触发的增强信息同采集的用户504的信息相结合，并将混合的图像呈现在户外大屏幕103上，最终实现用户504同虚拟的增强信息进行交互的效果。
[0037]下面具体说明本发明的实施。[0038]本发明基于混合现实技术，将采集的现实中用户图像与事先设定的用于交互目的的三维虚拟模型叠加，并显示给用户，如图7，包括以下步骤:
[0039]I)准备阶段，对户外真实世界与虚拟世界进行配准，如图4:
[0040]11)在地面上划一条垂直于户外大屏幕103的垂直线，垂足位于户外大屏幕底边中占.[0041]12)在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度L1202，原则上基准长度LI应大于户外大屏幕的高度；
[0042]13)将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕；在混合现实服务器中的虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度LI’，LI’等于LI，然后对真实户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次配准；
[0043]14)在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于I米；
[0044]15)移动虚拟摄像机至虚拟世界中对应于步骤14)真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于I米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准；
[0045]步骤13)配准时，将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示；通过缩放虚拟世界的比例，使得虚拟大屏幕同真实大屏幕获得重合，保存并固定此时的虚拟世界比例尺；
[0046]步骤15)所述真实基准尺L2及虚拟基准尺L2’的配准为:将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示，通过微调虚拟摄像机的位置及角度，使得虚拟基准尺L2’与真实基准尺L2重合，虚拟户外大屏幕中线及真实户外大屏幕中线重合；将此时的虚拟摄像机的位置和角度进行记录，并设置为最终工作位置和角度。
[0047]2)补充配准阶段，如图6:
[0048]21)在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标402，同时将触发图标402的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别；
[0049]22)在虚拟世界中，对应于真实世界的相同位置处设定虚拟触发图标，通过微调使得虚拟触发图标同真实的触发图标在混合了真实世界和虚拟世界后的画面中完全重合，将微调后得到对场景位置和角度的调整信息同准备阶段I)配准后获得的虚拟世界场景的位置和角度信息合并，得到最优的场景位置和角度信息。
[0050]3)实时跟踪阶段，如图7:
[0051]31)用户504站在触发图标上后，由真实摄像机101获得触发图标被遮挡信息，由系统自动或人工触发虚拟世界中的相关信息，将增强信息叠加至真实世界采集的图像，并显示在户外大屏幕103上，获得混合现实的互动效果。
[0052]32 )根据图像采集装置采集到的图像，对用户的三维运动骨骼进行重建。在获得用户的肢体位置信息后，增强信息按照事先设置好的要求同用户进行交互。
[0053]步骤32)中，采用现有算法“运动图像序列的人体三维运动骨架重建”，在第一帧画面中对用户骨骼进行标定，之后利用三维人体模型知识和运动连续性依次建立每个图像的人体运动骨架。以实时重建的用户三维运动骨骼为基础，计算出用户相应的位置和角度的六自由度信息，用于确定用户的肢体位置信息。
[0054]在所采集的平面图像中划定触发区域，如图8，当用户的对应骨骼位置数据处于触发区域内时，如601，602，则会触发事先设置好的相对应的增强现实内容信息，如爆炸的虚拟烟火效果等。
[0055]由上述可见，本发明专门针对混合现实的户外交互的特点，提出一种适合户外特点的定位方法，该方法灵活度高，匹配性好，不需要复杂的装置，易于实现。将用户的身体进行三维骨骼模型重建，利用重建后的数据，判定用户的相关部位是否到达了图像平面中的触发区域，一旦到达则自动触发相应的信息，这种方式对三位骨骼模型重建的精度要求也不高。本发明有利于混合现实应用在户外交互应用的推广，设备结构简单，易于实现，通过用户亲身的交互体验，由用户自主获取信息。
【权利要求】
1.基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤: 首先执行配准训练，包含二个步骤: 1)准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准: 11)在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中点； 12)在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度LI，基准长度LI大于户外大屏幕的高度； 13)将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕，即摄像机拍摄内容为整个大屏幕；在虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度LI’，LI’等于LI，虚拟摄像机拍摄的内容为整个虚拟大屏幕；将虚拟摄像机同真实摄像机所拍摄的画面相叠加，以真实世界的户外大屏幕作为参照物，对真实世界的户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次的配准； 14)在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于I米； 15)移动虚拟摄像机至虚拟世界中对应于步骤14)真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于I米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准； 16)保存此时虚拟世界场景的位置和角度信息； 2)补充配准阶段: 21)在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标，同时将触发图标的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别； 22)在虚拟世界中，对应于真实世界的相同位置处设定虚拟触发图标，以真实触发图标为参照物进行配准，将本次配准调后得到对场景位置和角度的调整信息同准备阶段I)配准后获得的虚拟世界场景的位置和角度信息合并，得到最优的场景位置和角度信息； 完成配准训练后，进入实时跟踪阶段； 3)实时跟踪阶段: 31)用户站在触发图标上后，由真实摄像机获得触发图标被遮挡信息，由系统自动或人工触发虚拟世界中的相关信息，并叠加至真实世界采集的图像，获得混合现实的效果； 32)根据图像采集装置采集到的图像，对用户的三维运动骨骼进行重建，在获得用户的肢体位置信息后，事先设定的增强信息按照设置好的要求同用户的肢体位置信息进行交互。
2.根据权利要求1所述的基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是步骤13)所述真实户外大屏幕的尺寸及虚拟户外大屏幕的尺寸的配准为:将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示；根据显示的图像通过缩放调整虚拟世界的比例，使得虚拟户外大屏幕同真实户外大屏幕获得重合，保存并固定此时的虚拟世界比例尺。
3.根据权利要求1所述的基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是步骤15)所述真实基准尺L2及虚拟基准尺L2’的配准为:将真实摄像机拍摄的画面同虚拟摄像机拍摄的图像进行融合，获得混合现实的图像，并在户外大屏幕上显示，通过微调虚拟摄像机的位置及角度，使得虚拟基准尺L2’与真实基准尺L2重合，虚拟户外大屏幕中线及真实户外大屏幕中线重合；将此时的虚拟摄像机的位置和角度进行记录，并设置为最终工作位置和角度。
4.根据权利要求1-3任一项所述的基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是所述户外大屏幕为不低于100英寸的LED屏幕，分辨率大于等于720P。
5.根据权利要求1-3任一项所述的基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是所述真实摄像机为高清摄像机，分辨率大于等于720P。
6.根据权利要求1-3任一项所述的基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是在实时跟踪阶段，在真实摄像机所采集的平面图像中划定触发区域，当用户的三维运动骨骼位置数据处于触发区域内时，触发事先设置好的相对应的增强现实内容信息，向用户展示 。
【文档编号】G06F3/01GK103543827SQ201310479754
【公开日】2014年1月29日 申请日期:2013年10月14日 优先权日:2013年10月14日
【发明者】李静 申请人:南京融图创斯信息科技有限公司