用于扩增现实的辐射转移取样的设备和方法
【专利说明】用于扩増现实的福射转移取样的设备和方法
【背景技术】
[0001] 本发明的方面设及扩增现实。更确切地说，本发明的方面设及扩增现实的福射转 移取样。
[0002] 组合虚拟和现实场景的光现实擅染为例如游戏或广告等许多扩增现实（AR)应用 的基本目标。当前解决方案利用现有软件开发套组来获得场景模型，其具有实时更新和用 于俘获图像的相机的3-D跟踪。W基于全局光照的光现实AR图像为目标的解决方案通常 将计算视图中每一表面点的福射转移（RT)。RT用于对直接来自场景模型的环境照明信息 取样。RT信息连同环境照明和场景模型用于产生现实场景中的虚拟对象的现实擅染图。所 产生的图像具有环境、虚拟对象与现实对象之间的光交互的感知上似乎合理的近似。
[0003] 然而，计算动态地改变的场景的RT(表示为体元体积）需要体积光线跟踪。对于每 一帖中的场景模型的所有可见表面点应用此程序在计算上较昂贵。即使利用较快处理器， 也很可能必需求助于有规律的子取样来获得可接受交互速度。简单子取样的使用引入不合 需要的混叠假影且并非最佳解决方案。
【发明内容】
[0004] 某些实施例描述一种用于扩增现实的改进的福射转移取样的设备和方法。
[0005] 本文中所掲示的系统和方法允许通过应用自适应取样、滤波和重建方法通过采用 可见性信号的4-D空间W及时间相干性而实现扩增现实的改进的福射转移取样。运些用于 RT计算的方法增加效率且提供较高质量结果。其还允许对计算费用与图像质量之间的折衷 的更多控制，运在移动装置中很重要。
[0006] 在一些实施例中，一种方法包含接收环境的至少一个视频帖。所述方法进一步包 含产生环境的表面重建。所述方法另外包含在环境的表面重建内投射多个光线。在环境的 表面重建内投射多个光线后，所述方法包含从所述至少一个视频帖产生环境的照明数据。 所述方法还包含基于环境内需要优化的区域确定来自环境中的所述多个光线的光线的子 集。所述方法进一步包含基于不包含所述光线子集的所述多个光线擅染所述至少一个视频 帖上的虚拟对象。
[0007] 在一些实施例中，所述环境内需要优化的所述区域包含阴影区域、表面边缘和阴 影边缘。
[0008] 在一些实施例中，所述方法进一步包含基于表面重建和照明数据产生所述至少一 个视频帖中所述环境的所估计现实世界光照数据。
[0009] 在一些实施例中，所述确定来自所述多个光线的光线的子集包括将光照和差分擅 染技术应用于所述环境W及作为其结果而分析阴影信息。
[0010] 在一些实施例中，所述确定来自所述多个光线的光线的子集包括基于包括所述多 个光线的光线空间的4-D细分和近似方差分析中的至少一者应用自适应取样技术。
[0011] 在一些实施例中，所述方法进一步包含将与光线子集相关联的时间相干性信息存 储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存 储对象空间中的信息。
[0012] 在一些实施例中，产生照明数据包含将所述至少一个视频帖转换为强度分量和色 彩分量，W及对强度分量去噪W提取照明数据。
[0013] 在一些实施例中，使用所述至少一个视频帖、来自立体相机的图像或来自深度相 机的深度图像中的至少一者执行产生环境的表面重建。
[0014] 在一些实施例中，一种设备包含相机、存储器和处理器。处理器禪合到存储器W接 收由相机俘获的环境的至少一个视频帖。所述处理器经配置W产生环境的表面重建。所述 处理器进一步经配置W在所述环境的表面重建内投射多个光线。所述处理器还经配置W从 所述至少一个视频帖产生环境的照明数据。所述处理器另外经配置W基于所述环境内需要 优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述处理器进一步经配置 W基于不包含所述光线子集的所述多个光线擅染所述至少一个视频帖上的虚拟对象。
[0015] 在一些实施例中，一种方法包含用于接收环境的至少一个视频帖的装置。所述方 法进一步包含用于产生环境的表面重建的装置。所述方法另外包含用于在环境的表面重建 内投射多个光线的装置。在环境的表面重建内投射多个光线后，所述方法包含用于从所述 至少一个视频帖产生环境的照明数据的装置。所述方法还包含用于基于环境内需要优化的 区域确定来自环境中的所述多个光线的光线的子集的装置。所述方法进一步包含用于基于 不包含所述光线子集的所述多个光线擅染所述至少一个视频帖上的虚拟对象的装置。
[0016] 在一些实施例中，一种处理器可读非暂时性媒体包含处理器可读指令，所述处理 器可读指令经配置W致使处理器接收环境的至少一个视频帖的序列。所述指令进一步经配 置W致使所述处理器产生环境的表面重建。所述指令进一步经配置W致使所述处理器在所 述环境的表面重建内投射多个光线。所述指令进一步经配置W致使所述处理器从所述至少 一个视频帖产生所述环境的照明数据。所述指令进一步经配置W致使所述处理器基于所述 环境内需要优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述指令进一 步经配置W致使所述处理器基于不包含所述光线子集的所述多个光线擅染所述至少一个 视频帖上的虚拟对象。
【附图说明】
[0017] 借助于实例说明本发明的方面。在附图中，相同的参考数字指示类似元件，且：
[0018] 图1说明可并入有一或多个实施例的系统的简化图；
[0019] 图2为根据本发明的实施例能够擅染环境中的虚拟对象的移动装置的框图；
[0020] 图3说明根据本发明的实施例包含现实世界对象和虚拟世界对象的场景几何形 状；
[0021] 图4为说明根据本发明的实施例的无探针光度对齐管线的步骤的总体流程图；W 及
[0022] 图5为描绘用于扩增现实的福射转移取样的示范性操作的说明性流程图。
【具体实施方式】
[0023] 现将相对于形成其一部分的附图来描述若干说明性实施例。虽然下文描述可实施 本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围 或所附权利要求书的精神的情况下进行各种修改。
[0024]图IA和IB说明如上文所描述能够进行光现实扩增现实的有效福射转移取样的移 动装置100的（分别）前侧和后侧。
[00巧]移动装置100说明为包含外壳101、可W是触摸屏显示器的显示器102W及扬声器 104和麦克风106。移动装置100进一步包含前置相机110W俘获环境的图像。可了解，相 机110可为RGB相机、深度相机、立体相机等。术语"相机"还可指代可为不同类型的多个 相机（例如，RGB相机和深度相机）。在相机110为深度相机的情况下，其可提供所成像环 境的深度数据。或者，在相机110为立体相机的情况下，其可使用来自相机110的至少一个 图像（视频帖）产生所成像环境的深度数据。
[00%] 如本文所使用，移动装置指代任何便携式电子装置，例如蜂窝式或其它无线通信 装置、智能电话、个人通信系统（PC巧装置、个人导航装置（PND)、个人信息管理器（PIM)、个 人数字助理（PDA)、智能手表、智能眼镜、汽车中使用的智能装置、家庭中使用的智能装置， 或其它合适的移动装置。移动装置可能够接收无线通信和/或导航信号，例如导航定位信 号。术语"移动装置"还希望包含例如通过短程无线、红外线、缆线连接或其它连接与个人 导航装置（PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据 接收和/或位置相关处理。并且，"移动装置"希望包含能够俘获其环境的图像（或视频） 的所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机等。可了解，"移动 装置"未必需要有线或无线连接。
[0027] 移动装置100使用相机110俘获具有任意（即，凭经验未知的）几何形状和光照 条件的环境的至少一个视频帖，本文有时简称为图像。移动装置100经配置WW每帖为基 础从所俘获视频帖估计现实世界光照条件，且将光照条件应用于显示器102中擅染的AR对 象。在一些实施例中，从所俘获视频帖估计现实世界光条件是每隔n个帖进行。移动装置 100还可在环境上擅染AR对象时将来自AR对象的光照效果应用于现实世界对象上。移动 装置100能够从环境中的任意几何形状估计环境光照条件。因此，移动装置100并不需要 将特殊光探针（例如反射球）放置于现实世界环境中W便估计现实世界光照条件。移动装 置100可使用任意几何形状与福射转移计算和球面谐波组合来改进环境光照的估计。
[0028] 图2为根据本发明的实施例能够擅染环境中的虚拟对象的移动装置100