来自重构的减弱及中介实境效果的制作方法
【专利说明】来自重构的减弱及中介实境效果
[0001]相关串请案的交叉参考
[0002]本申请案主张2014年3月25日申请的题为“来自重构的减弱及中介实境效果(Diminished and Mediated Reality Effects from Reconstruct1n)，，的第 14/225，157号美国申请案的权益及优先权，所述美国申请案又主张2013年4月30日申请的题为“来自重构的减弱及中介实境效果(Diminished and Mediated Reality Effects fromReconstruct1n) ”的第61/817，792号美国临时申请案的权益及优先权，所述两个申请案以其全文引用的方式并入本文中。
技术领域
[0003]本发明大体上涉及用于混合实境的设备、系统及方法。
【背景技术】
[0004]在计算机视觉及计算机图形中，3维(“3D”)重构是确定实际物体及/或环境的形状及/或外观的过程。一般来说，在本文中使用术语3D模型以指代3D环境的表示被装置模型化。3D重构可基于从包含相机的各种类型的传感器获得的对象的数据及/或图像。例如，手持式相机可用于获取关于小3D场景的信息且产生所述场景的近似虚拟模型。
[0005]扩增实境(AR)及混合实境(MR)应用经常结合3D重构而使用。在AR中，可处理实际图像以将虚拟对象添加到所述图像。在混合实境(MR)效果中，可基于现有场景的3D模型实施例如减弱实境或中介实境，以移除及/或更改图像中的对象。在减弱实境中，从场景无缝地移除实际对象，而在中介实境中，实际对象被虚拟对象无缝地取代。常规的实时或准实时AR/MR方法经常不能最佳地表现，因为所述方法可使用图像修复技术，其中当前图像的部分被复制在将被移除的对象上。图像修复可导致假影，其可由于场景重构及实时相机跟踪中的准确度的缺乏及/或其它误差而加剧。
[0006]因此，需要增强所再现的MR图像的质量以实现更佳的用户体验的图像处理方法。
【发明内容】
[0007]根据一些方面，揭示用于混合实境应用的方法。在一些实施例中，所述方法可包括:获得多个实况图像，所述实况图像包括被跟踪对象；及针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿。可再现不具有所述被跟踪对象的多个合成图像，其中每一合成图像是从基于所述相机位姿的3D模型中的相异关键帧获得。可比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区，且可计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值。对于所述第一掩模中的所述多个像素中的每一者，可部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及可确定所述第一掩模中的所述多个像素中的每一者的替换像素，其中每一替换像素对应于所述第一掩模中的相异像素，且将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的所述像素的对应像素而变。
[0008]在另一方面中，一种移动台(MS)可包括:相机，其经配置以俘获包括被跟踪对象的多个实况图像；存储器，所述存储器用以存储包括多个关键帧的3D模型；及处理器，其耦合到所述相机及所述存储器。在一些实施例中，所述处理器可经配置以:针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿；再现不具有所述被跟踪对象的多个合成图像，每一合成图像是从基于所述相机位姿的3D模型中的相异关键帧获得；比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区；计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值；针对所述第一掩模中的所述多个像素中的每一者，部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及确定所述第一掩模中的所述多个像素中的每一者的替换像素，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的所述像素的对应像素而变。
[0009]在另一方面中，一种设备可包括:成像装置，所述成像装置用以俘获包括被跟踪对象的多个图像；存储装置，所述存储装置用以存储包括多个关键帧的3D模型；及处理装置，所述处理装置耦合到所述成像装置及所述存储装置。在一些实施例中，所述处理装置可进一步包括:用于针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿的装置；用于再现不具有所述被跟踪对象的多个合成图像的装置，每一合成图像是从基于所述相机位姿的3D模型中的相异关键帧获得；用于比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区的装置；用于计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值的装置；用于针对所述第一掩模中的所述多个像素中的每一者部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素的装置；及用于确定所述第一掩模中的所述多个像素中的每一者的替换像素的装置，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的所述像素的对应像素而变。
[0010]在另一方面中，一种计算机可读媒体可包括在由处理器执行时可执行一种方法中的步骤的指令，所述方法可包括:获得多个实况图像，所述实况图像包括被跟踪对象；针对所述多个实况图像中的一实况图像，确定相对于所述被跟踪对象的相机位姿；基于所述相机位姿再现不具有所述被跟踪对象的多个合成图像，每一合成图像是从基于所述相机位姿的3D模型中的相异关键帧获得；比较所述实况及合成图像以确定与所述被跟踪对象相关联的第一掩模区；计算与所述被跟踪对象相关联的第一掩模区中的多个像素相对于所述多个合成图像中的合成图像子集的光流量值；针对所述第一掩模中的所述多个像素中的每一者，部分基于所述光流量值确定所述合成图像子集中的每一者中的对应像素；及确定所述第一掩模中的所述多个像素中的每一者的替换像素，每一替换像素对应于所述第一掩模中的相异像素，其中将每一替换像素确定为随所述合成图像子集中对应于所述第一掩模中的所述像素的对应像素而变。
[0011]所揭示的实施例还涉及由处理器使用计算机可读媒体或计算机可读存储器创建、存储、存取或修改的软件、固件及程序指令。所描述的方法可在处理器及各种移动装置上执行。
[0012]下文关于以下各图进一步解释这些及其它实施例。应理解，对于所属领域的技术人员来说，其它方面将从以下详细描述变得容易显而易见，其中借助于说明展示及描述各个方面。图式和详细描述被视为本质上是说明性的而非限制性的。
【附图说明】
[0013]将参考图式仅通过举例描述本发明的实施例。
[0014]图1展示能够以与所揭示的实施例一致的方式实施减弱及中介实境效果的示范性移动装置的框图。
[0015]图2A展示示范性图像192，其可由混合实境应用处理。
[0016]图2B展示减弱实境图像194，其中对象193已被移除。
[0017]图2C展示中介实境图像196，其中对象193已被虚拟对象197替换。
[0018]图3A展示用于以与所揭示的实施例一致的方式促进来自重构的MR效果(例如减弱及中介实境效果)的示范性方法的流程图。
[0019]图3B展示示范性子例程以与所揭示的实施例一致的方式计算与至少一个被跟踪对象相关联的掩模的替换像素以促进来自重构的MR效果的流程图。
[0020]图4说明示范性减弱实境应用及单一合成图像的示范性工作流。
[0021]图5展示用于以与所揭示的实施例一致的方式促进来自重构的MR效果(例如减弱及中介实境效果)的示范性方法的流程图。
[0022]图6展示说明经启用以与所揭示的实施例一致的方式促进减弱及中介实境效果的服务器600的示意框图。
【具体实施方式】
[0023]下文结合附图陈述的详细描述希望作为对本发明的各个方面的描述，而不希望表示其中可实践本发明的仅有方面。提供本发明中所描述的每一方面仅作为本发明的实例或说明，且其不一定解释为比其它方面优选或有利。详细描述包含用于提供对本发明的透彻理解的目的的特定细节。然而，所属领域的技术人员将明白，可在没有这些具体细节的情况下实践本发明。在一些情况下，以框图的形式示出众所周知的结构和装置以便避免混淆本发明的概念。首字母缩写词及其它描述性术语可仅出于便利及清晰的目的而使用，且不希望限制本发明的范围。
[0024]在计算上昂贵的常规的3D重构中，通常与其它感官信息一起以分批模式离线处理一组数字图像，且可通常在较长的处理延迟之后获得环境的3D模型。因此，使用3D重构的实用的实时应用迄今已经受到限制。
[0025]最近，常规的实时或准实时3D重构归因于增加的处理能力的可用性、高级算法以及新形式的输入数据而已具吸引力。用户现在可准实时地获得对3D重构的反馈，因为所俘获图片被计算装置(包含移动装置)快速处理，进而促进实时或准实时的AR及/或MR应用。
[0026]可实时交互的AR/MR应用通常组合实际及虚拟图像且在3-D中执行所俘获图像与对象之间的对准。因此，确定什么对象存在于实际图像中以及那些对象的位置可促进许多AR及/或MR系统的有效操作，且可以用于辅助虚拟对象布局、移除、遮挡及其它效果。
[0027]在计算机视觉中，检测是指在所俘获图像帧中定位目标对象及计算相对于参考框架的相机位姿的过程。跟踪是指图像帧的时间序列上的相机位姿估计。
[0028]常规的准实时技术通常使用图像修复技术。图像修复是指使用图像内插技术使用背景或虚拟像素替换像素。常规的图像修复技术遭受场景重构期间缺乏准确度的问题，其被来自实况相机跟踪的误差复合。因此，图像修复技术当结合AR/MR应用使用时经常产生不好的用户体验。准确度的缺乏可导致再现质量的降级及各种图像假影，例如重像及模糊，其贬低了 AR/MR体验。因此，本文中揭示的一些实施例应用计算机视觉及图像处理技术来改进重构及跟踪准确度，进而提高用户AR/MR体验。
[0029]下文关于以下各图进一步解释这些及其它实施例。应理解，对于所属领域的技术人员来说，其它方面将从以下详细描述变得容易显而易见，其中借助于说明展示及描述各个方面。图式和详细描述被视为本质上是说明性的而非限制性的。
[0030]图1展示能够以与所揭示的实施例一致的方式实施计算机视觉应用(包含减弱及中介实境效果)的示范性移动装置或移动台(MS) 100的框图。在一些实施例中，MS 100可能够基于3D环境的现有模型实施例如中介实境等MR方法。在一些实施例中，可以与所揭示的实施例一致的方式实时或准实时地实施所述MR方法。
[0031]如本文中所使用，移动装置或移动台(MS) 100可呈以下形式:蜂窝式电话、移动电话或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PU)或个人数字助理(PDA)、膝上型计算机、平板计算机、笔记本及/或手持式计算机。术语移动装置或移动台在本文中可互换地使用。在