本发明涉及增强现实技术领域，特别是涉及一种与现实场景融合的虚拟目标投射方法和系统。
背景技术
增强现实技术(augmentedreality，简称ar)，是一种实时地计算摄影机影像的位置及角度并叠加相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前业界领先的苹果arkit和googlearcore都已经实现了较准确的运动追踪(motiontracking)，它基于手机的摄像头来估算手机的相对位置，使用时可以将虚拟对象固定在一个位置，并围绕它移动。
但是即使这两者在环境识别(environmentalunderstanding)方面做得也并不够理想。以arcore为例，其只能估计出一个大致的平面，然后在平面上绘制虚拟物体，如图1所示。本发明的申请人在实施上述技术方案的时候发现，如果想要达到虚拟物体与现实世界的完美融合，这样的效果是不够的，必须要检测到平面(比如桌面、地板或天花板)，从而使系统可以将虚拟物体精准的“放置”在相应平面上。
技术实现要素：
有鉴于此，本发明提供了一种与现实场景融合的虚拟目标投射方法及系统，以解决增强现实技术无法将虚拟物体精确放置在相应平面的问题。
为了解决上述问题，本发明公开了一种与现实场景融合的虚拟目标投射方法，应用于增强现实系统，可选的，所述虚拟目标交互方法包括步骤：
计算相机相对于平面上一个marker板的相对位姿；
提取现实场景中的平面和所述平面的平面边界；
根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。
可选的，所述计算相机相对于平面上一个marker板的相对位姿，包括：
获取所述相机摄取的所述marker板的图像；
利用所述图像检测所述marker板的四个角点的坐标；
根据所述四个角点的坐标计算所述相对位姿；
可选的，所述根据所述四个角点的坐标计算所述相对位姿，包括：
根据所述四个角点的坐标求解pnp问题，得到所述相对位姿。
可选的，所述提取现实场景的平面和平面边界，包括：
基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；
或者，提取现实场景中marker板所在的所述平面，并分割出所述平面边界。
相应的，为了保证上述方法的实施，本发明还提供了一种与现实场景融合的虚拟目标投射系统，应用于增强现实系统，所述虚拟目标交互系统包括：
位姿计算模块，用于计算相机相对于平面上一个marker板的相对位姿；
平面提取模块，用于提取现实场景中的平面和所述平面的平面边界；
图像渲染模块，用于根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。
可选的，所述位姿计算模块包括：
图像获取单元，用于获取所述相机摄取的所述marker板的图像；
marker板检测单元，用于利用所述图像检测所述marker板的四个角点的坐标；
位姿计算单元，用于根据所述四个角点的坐标计算所述相对位姿；
可选的，所述位姿计算单元具体用于根据所述四个角点的坐标求解pnp问题，得到所述相对位姿。
可选的，所述平面提取模块包括：
第一提取单元基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；
第二提取单元，用于提取现实场景中marker板所在的所述平面，并分割出所述平面边界。
从上述技术方案可以看出，本发明提供了一种与现实场景融合的虚拟目标投射方法和系统，该方法和系统应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种在平面上绘制虚拟物体的示意图；
图2为本发明实施例提供的一种与现实场景融合的虚拟目标投射方法的步骤流程图；
图3为本发明实施例提供的一种相机与marker板的相对位置的计算示意图；
图4为本发明实施例提供的一种平面提取的示意图；
图5为本发明实施例提供的另一种平面提取的示意图；
图6为本发明实施例提供的一种增强现实游戏的游戏示意图；
图7为本发明实施例提供的一种与现实场景融合的虚拟目标投射系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图2为本发明实施例提供的一种与现实场景融合的虚拟目标投射方法的步骤流程图。
参照图2所示，本实施例提供的虚拟目标交互方法应用于增强现实系统，该投射方法具体包括如下步骤：
s101：计算相机相对于平面上一个marker板的相对位姿。
这里的相机是指为了实现增强现实目的，用于获取当前的现实场景的图像的照相或摄像设备。该marker板置于相应的平面，如桌面或地面，这里通过对相机获取的marker板的图像计算该相机相对于marker板的相对位姿。具体过程为：
首先，获取该相机所获取的marker板的图像；然后，检测marker板四个角点的坐标；最后，根据该四个角点的坐标计算该相机相对于marker板的相对位姿。具体来说，在计算该相对位姿时，可以根据上述四个角点的相对坐标求解pnp问题，从而得到该相机的相对位姿，即该相机相对于世界坐标系下的marker板的平移量和旋转量。另外，也可以利用slam算法和imu结合的方法来进行位姿计算。
在三维空间中，可通过标记角点的精确位置来估计摄像机与标记之间的变换。此操作称为二维到三维的姿态估计。该估计过程会在物体与摄像机之间找到一个欧氏空间的变换(该变换仅由旋转和坐标平移构成)。如图3所示，图中的c表示相机的中心，点p1-p4是世界坐标系中的三维点，而p1-p4是将点p1-p4投影到摄像机的图像平面上的投影点。其中p1为(0.5；-0.5；0.0)，p2为(0.5；0.5；0.0)，p3为(-0.5；0.5；0.0)，p1为(-0.5；-0.5；0.0)。
标记位置估计的目的就是在已知三维世界的标记位置(p1-p4)、有内部参数矩阵的相机c以及已知图像平面的投影点(p1-p4)的情况下，找到标记位置与相机之间相对变换关系，即可算出相机相对于marker的位姿。具体来说就是根据标记位置(p1-p4)、相机的内部参数矩阵和投影点(p1-p4)求解pnp问题，这里实际是指p4p问题，从而得到标记位置与投影点之间的变换关系，进而根据变换关系得到相机相对于世界坐标系的平移量和旋转量，即得到相机的相对位姿，或者说是相机的相对位姿变化。
s102：提取现实场景的平面和平面边界。
同样，在相应的平面中可以设置有marker板，提取出marker板所在的平面，然后分割出该平面的平面边界，参照图4所示。还可以基于深度学习的语义分割提取场景中的桌面、墙面和天花板等平面并分割出平面的边界，参照图5所示。
s103：根据相对位姿、平面和平面边界进行图像渲染。
在根据上述相机相对于相应平面的相对位姿、该平面及其平面边界进行图像渲染，将虚拟目标渲染到现实场景的图像上，即在显示现实场景的图像的显示界面上渲染出该虚拟目标，如虚拟物品、虚拟人物等，并通过用户对触摸屏或手柄的操作控制虚拟目标的活动，以制作增强现实游戏，如图6所示。
从上述技术方案可以看出，本实施例提供了一种与现实场景融合的虚拟目标投射方法，该方法应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图7为本发明实施例提供的一种与现实场景融合的虚拟目标投射系统的结构框图。
参照图7所示，本实施例提供的虚拟目标投射系统应用于增强现实系统，该投射系统具体包括位姿计算模块10、平面提取模块20和图像渲染模块30。
位姿计算模块用于计算相机相对于平面上一个marker板的相对位姿。
这里的相机是指为了实现增强现实目的，用于获取当前的现实场景的图像的照相或摄像设备。该marker板置于相应的平面，如桌面或地面，这里通过对相机获取的marker板的图像计算该相机相对于marker板的相对位姿。该模块包括图像获取单元、marker板检测单元和位姿计算单元。
图像获取单元用于获取该相机所获取的marker板的图像；marker板检测单元用于检测marker板的四个角点的坐标；位姿计算单元则根据该四个角点的坐标计算该相机相对于marker板的相对位姿。具体来说，第二计算单元在计算该相对位姿时，可以根据上述四个角点的相对坐标求解pnp问题，从而得到该相机的相对位姿。另外，也可以利用slam算法和imu结合的方法来进行位姿计算。
在三维空间中，可通过标记角点的精确位置来估计摄像机与标记之间的变换。此操作称为二维到三维的姿态估计。该估计过程会在物体与摄像机之间找到一个欧氏空间的变换(该变换仅由旋转和坐标平移构成)。如图3所示，图中的c表示相机的中心，点p1-p4是世界坐标系中的三维点，而p1-p4是将点p1-p4投影到摄像机的图像平面上的投影点。其中p1为(0.5；-0.5；0.0)，p2为(0.5；0.5；0.0)，p3为(-0.5；0.5；0.0)，p1为(-0.5；-0.5；0.0)。
标记位置估计的目的就是在已知三维世界的标记位置(p1-p4)、有内部参数矩阵的相机c以及已知图像平面的投影点(p1-p4)的情况下，找到标记位置与相机之间相对变换关系，即可算出相机相对于marker的位姿。具体来说就是根据标记位置(p1-p4)、相机的内部参数矩阵和投影点(p1-p4)求解pnp问题，这里实际是指p4p问题，从而得到标记位置与投影点之间的变换关系，进而根据变换关系得到相机相对于世界坐标系的平移量和旋转量，即得到相机的相对位姿，或者说是相机的相对位姿变化。
平面提取模块用于提取现实场景的平面和平面边界。
该模块包括第一提取单元和第二提取单元中的一个单元或两个单元。在相应的平面中可以设置有marker板，第一提取单元用于提取出marker板所在的平面，然后分割出该平面的平面边界，参照图4所示。第二提取单元则利用基于深度学习的语义分割提取场景中的桌面、墙面和天花板等平面并分割出平面的边界，参照图5所示。
图像渲染模块用于根据相对位姿、平面和平面边界进行图像渲染。
在根据上述相机相对于相应平面的相对位姿、该平面及其平面边界进行图像渲染，将虚拟目标渲染到现实场景的图像上，即在显示现实场景的图像的显示界面上渲染出该虚拟目标，如虚拟物品、虚拟人物等，并通过用户对触摸屏或手柄的操作控制虚拟目标的活动，以制作增强现实游戏，如图6所示。
从上述技术方案可以看出，本实施例提供了一种与现实场景融合的虚拟目标投射系统，该系统应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。