针对增强现实环境中的虚拟对象创建真实色彩的制作方法

针对增强现实环境中的虚拟对象创建真实色彩的制作方法
【专利摘要】本发明揭示一种用于针对由增强现实应用产生的增强现实环境中的虚拟对象创建真实色彩的方法及设备。在一个实施例中，所实施的功能包含：选择参考图像目标帧；选择所述参考图像目标帧中的多个样本点；获取后续新图像目标帧；确定所述新图像目标帧中的多个对应样本点，其中所述多个对应样本点对应于所述参考图像目标帧中的所述多个样本点；将所述参考图像目标帧中的所述多个样本点中的每一者的色彩与所述新图像目标帧中的所述对应样本点中的每一者的色彩进行比较，且至少部分地基于所述比较而计算色彩传递函数；及将所述色彩传递函数应用到所述虚拟对象的所述色彩。
【专利说明】
针对増强现实环境中的虚拟对象创建真实色彩
技术领域
[0001] 本文中所揭示的标的物涉及电子装置，且更特定来说，涉及供与电子装置实施的 增强现实环境一起使用的方法及设备。
【背景技术】
[0002] 增强现实是一种涉及将计算机图形叠加在现实世界上的技术。举例来说，在美国 足球比赛的电视广播中常常见到的第一次进攻线是增强现实有限应用的一个实例。当所叠 加的对象表示物理对象时，需要所叠加的物理对象掺混到现实世界中且显得真实。
[0003] 增强现实应用目前用以显示增强现实环境中的虚拟对象。具体地说，实况照相机 图像可呈现在显示器上以表示物理世界的视图。虚拟对象可接着叠加在图像目标上。虚拟 对象实时追踪图像目标的位置及定向，以使得观察者对虚拟对象的视角与其对图像目标的 视角对应，且显现出虚拟对象紧密结合到现实世界。
[0004] 尽管虚拟对象追踪图像目标的位置及定向，但在目前实施方案中，虚拟对象并不 追踪图像目标的视觉外观，例如色彩。举例来说，当图像目标中的光照条件发生改变时，虚 拟对象的色调并不如图像目标中的实际对象的色调将改变那样因此改变。因此，虚拟对象 的真实性减弱。

【发明内容】

[0005] 本文中所揭示的实施例可包含一种针对增强现实环境中的虚拟对象创建真实色 彩的方法，所述方法包括:选择参考图像目标帧；选择所述参考图像目标帧中的多个样本 点;获取后续新图像目标帧;确定所述新图像目标帧中的多个对应样本点，其中所述多个对 应样本点对应于所述参考图像目标帧中的所述多个样本点;将所述参考图像目标帧中的所 述多个样本点中的每一者的色彩与所述新图像目标帧中的所述对应样本点中的每一者的 色彩进行比较，且至少部分地基于所述比较而计算色彩传递函数;及将所述色彩传递函数 应用于所述虚拟对象的所述色彩。
[0006] 本文中所揭示的另一实施例可包含一种用于针对增强现实环境中的虚拟对象创 建真实色彩的设备，所述设备包括:存储器;及处理器。所述处理器耦合到所述存储器且经 配置以执行指令以进行以下操作:选择参考图像目标帧;选择所述参考图像目标帧中的多 个样本点;获取后续新图像目标帧;确定所述新图像目标帧中的多个对应样本点，其中所述 多个对应样本点对应于所述参考图像目标帧中的所述多个样本点;将所述参考图像目标帧 中的所述多个样本点中的每一者的色彩与所述新图像目标帧中的所述对应样本点中的每 一者的色彩进行比较，且至少部分地基于所述比较而计算色彩传递函数;及将所述色彩传 递函数应用于所述虚拟对象的所述色彩。
[0007] 本文中所揭示的进一步实施例可包含一种非暂时性计算机可读媒体，所述非暂时 性计算机可读媒体包含代码，所述代码在由处理器执行时会致使所述处理器进行以下操 作:选择参考图像目标帧;选择所述参考图像目标帧中的多个样本点;获取后续新图像目标 帧；确定所述新图像目标帧中的多个对应样本点，其中所述多个对应样本点对应于所述参 考图像目标帧中的所述多个样本点;将所述参考图像目标帧中的所述多个样本点中的每一 者的色彩与所述新图像目标帧中的所述对应样本点中的每一者的色彩进行比较，且至少部 分地基于所述比较而计算色彩传递函数;及将所述色彩传递函数应用于所述虚拟对象的所 述色彩。
[0008] 本文中所揭示的另外的实施例可包含一种用于针对增强现实环境中的虚拟对象 创建真实色彩的设备，所述设备包括:用于选择参考图像目标帧的装置;用于选择所述参考 图像目标帧中的多个样本点的装置；用于获取后续新图像目标帧的装置；用于确定所述新 图像目标帧中的多个对应样本点的装置，其中所述多个对应样本点对应于所述参考图像目 标帧中的所述多个样本点；用于将所述参考图像目标帧中的所述多个样本点中的每一者的 色彩与所述新图像目标帧中的所述对应样本点中的每一者的色彩进行比较，且用于至少部 分地基于所述比较而计算色彩传递函数的装置;及用于将所述色彩传递函数应用于所述虚 拟对象的所述色彩的装置。
【附图说明】
[0009] 图1说明适用于增强现实应用的装置的实施例。
[0010] 图2说明图像目标帧。
[0011] 图3说明运用虚拟茶壶增强的图像目标帧。
[0012] 图4说明根据一个实施例的用于针对增强现实环境中的虚拟对象创建真实色彩的 方法。
[0013]图5说明在其中选定了样本点的参考图像目标帧。
[0014] 图6说明用于计算色彩传递子函数的方法的实施例。
[0015] 图7说明用于计算色彩传递子函数的方法的另一实施例。
[0016] 图8说明无色彩传递时在改变的光照条件下以虚拟茶壶增强的图像目标帧。
[0017] 图9说明具有色彩传递时在改变的光照条件下以虚拟茶壶增强的图像目标帧。
【具体实施方式】
[0018] 图1中说明适用于增强现实应用的实例装置100。如本文中所使用的装置(例如，装 置100)可为以下各者:移动装置、无线装置、蜂窝电话、个人数字助理、移动计算机、可穿戴 式装置(例如，手表、头戴式显示器、虚拟现实眼镜等等）、平板计算机、个人计算机、膝上型 计算机，或具有处理能力的任何类型的装置。如本文中所使用，移动装置可为可配置以获取 从一或多个无线通信装置或网络传输的无线信号以及将无线信号传输到一或多个无线通 信装置或网络的任何便携式或可移动装置或机器。因此，举例来说而非限制，装置100可包 含无线电装置、蜂窝式电话装置、计算装置、个人通信系统装置、或其它相似的配备可移动 无线通信的装置、器具或机器。
[0019] 装置100展示为包括可经由总线105电耦合(或可在适当时以其它方式通信）的硬 件元件。硬件元件可包含一或多个处理器110,包含但不限于以下各者：一或多个通用处理 器及/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器及/或其类似者）； 一或多个输入装置115,其包含至少一个照相机116且可进一步包含但不限于鼠标、键盘、小 键盘、触摸屏、麦克风及/或其类似者;及一或多个输出装置120,其包含至少一个显示装置 121且可进一步包含但不限于扬声器、打印机及/或其类似者。
[0020] 装置100可进一步包含一或多个非暂时性存储装置125(及/或与一或多个非暂时 性存储装置125通信），所述非暂时性存储装置可包括但不限于本地及/或网络可存取的存 储装置，及/或可包含但不限于磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器 ("RAM"）及/或只读存储器（"ROM"）的固态存储装置，其可为可编程的、可快闪更新的及/或 其类似者。此类存储装置可经配置以实施任何适当的数据存储，包含但不限于各种文件系 统、数据库结构及/或其类似者。
[0021] 所述装置还可包含通信子系统130,其可包含但不限于调制解调器、网卡(无线或 有线）、红外通信装置、无线通信装置及/或芯片组(例如蓝牙装置、802.11装置、Wi-Fi装置、 WiMax装置、蜂窝式通信设施等等)及/或其类似者。通信子系统130可准许与网络、其它装置 及/或本文中所描述的任何其它装置交换数据。在一个实施例中，装置100可进一步包括存 储器135,如上文所描述，所述存储器135可包含RAM或ROM装置。应了解，装置100可为移动装 置或非移动装置，且可具有无线及/或有线连接。
[0022] 装置100还可包括经展示为当前位于工作存储器135内的软件元件，所述软件元件 包含操作系统140、装置驱动器、可执行库及/或例如一或多个应用程序145的其它代码，所 述代码可包含或可经设计以实施由实施例提供的方法及/或配置由实施例提供的系统，如 将在本文中予以描述。仅举例来说，相对于下文论述的方法描述的一或多个程序可能实施 为可由装置1〇〇(及/或装置100内的处理器110)执行的代码及/或指令;在一方面中，然后， 此类代码及/或指令可用以配置及/或调适通用计算机(或其它装置）以执行根据所描述方 法的一或多个操作。
[0023] 这些指令及/或代码的集合可存储在非暂时性计算机可读存储媒体(例如上文所 描述的存储装置125)上。在一些情况下，存储媒体可并入于例如装置100的装置内。在其它 实施例中，存储媒体可与装置分离(例如，可装卸式媒体，例如压缩光盘），及/或提供于安装 包中，使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些 指令可能呈可由计算机化装置1〇〇执行的可执行代码的形式，及/或可能呈源及/或可安装 代码的形式，所述源及/或可安装代码在装置100上编译及/或安装于装置100上(例如，使用 多种常用编译程序、安装程序、压缩/解压缩公用程序等等中的任一者)后，接着呈可执行代 码的形式。
[0024] 应用程序145可包含一或多个增强现实应用。实例增强现实应用能够实时辨识及 追踪图像目标。在一个示范性实施例中，实例增强现实应用使用图像目标上的多个关键点 来追踪图像目标。应了解，下文中所描述的增强现实应用的功能性可替代地以硬件或不同 等级的软件(例如操作系统(0S)、固件、计算机视觉模块等等)实施。
[0025] 在一个实施例中，表示现实世界场景的图像目标是从装置100的照相机116接收的 实况视频馈送内容的帧。视频馈送内容可缓冲。在另一实施例中，视频馈送内容可为预先记 录的视频馈送内容且可从存储媒体检索到。增强现实应用145可将一或多个虚拟对象叠加 在图像目标上。上面叠加有一或多个虚拟对象的图像目标然后逐帧呈现在显示装置121上。 因为实例增强现实应用追踪图像目标的位置及定向且因此调整所叠加的一或多个虚拟对 象的位置及定向，所以用户对一或多个虚拟对象的视角与他或她对图像目标的视角对应， 且因此，在用户看来一或多个虚拟对象是现实世界场景的一部分。而且，在一个实施例中， 表示现实世界场景的图像目标可为所保存视频馈送内容的帧。
[0026] 图2说明包含台面的图像目标帧210的一个实例。图3说明虚拟对象茶壶310叠加在 台面上的实例图像目标帧210。
[0027] 对于所属领域的技术人员而言应显而易见的是，当增强现实应用仅追踪图像目标 的位置及定向而非其视觉外观时，一或多个所叠加的虚拟对象的真实性可在某些条件下减 弱。举例来说，当图像目标中的光照条件发生改变时，如果增强现实应用并未追踪图像目标 的视觉外观，那么一或多个虚拟对象的色调将不会如图像目标中的实际对象的色调将改变 那样响应于改变的光照条件而改变。因此，可导致真实性的可察觉损失。为了解决这个问 题，本发明揭示一种用以针对由增强现实应用145产生的增强现实环境创建真实色彩的方 法及设备。本文中揭示色彩传递技术，其追踪图像目标中的色彩测量值的改变且接着因此 调整一或多个虚拟对象的色彩。
[0028] 图4说明用以实施色彩传递技术的方法的实施例。在操作410处，选择参考图像目 标帧。在不同实施例中，可利用用于选择参考图像目标帧的不同方法。举例来说，在一个实 施例中，用户可将具有中性光照条件的图像目标帧指定为增强现实应用145中的参考图像 目标帧。在另一实施例中，增强现实应用可选择第一图像目标帧作为参考图像目标帧。
[0029] 接下来，在操作420处，选择参考图像目标帧中的样本点。在不同实施例中，可利用 用于选择样本点的不同方法。举例来说，在一个实施例中，选定的样本点可与增强现实应用 145的关键点相同。在另一实施例中，可选择样本点以最大化由样本点覆盖的色彩的范围。 举例来说，可选择充足样本点以按低、中等及高饱和等级中的每一者及低、中等及高亮度等 级中的每一者覆盖红色调、绿色调及蓝色调。
[0030] 在又另一实施例中，可选择样本点以使其跨越参考图像目标帧的大部分，以使得 可捕捉后续图像目标帧中的光照条件的不均匀改变。参考图像目标帧的基本上大部分可覆 盖(例如)70%的参考图像目标帧。应了解，样本点越多，色彩传递结果越准确。
[0031] 在一些实施例中，可在参考图像上将被置放一或多个虚拟对象的区域内选择样本 点。在一些另外的实施例中，可在参考图像上将被置放一或多个虚拟对象的区域外选择样 本点。
[0032 ]简要参看图5,图5说明在其中选定了样本点520的样本参考图像目标帧210的实例 500。如本文中所描述，可利用用于选择样本点520的不同方法。应了解，图5仅仅是概念性说 明，且在利用本发明的实施例时可以不同方式显示样本点520或可根本不显示样本点520。 还应了解，图5中所展示的样本点520的数目及位置并不表示在本发明的实施例中实际使用 的样本点的数目及位置，而是仅仅出于说明性目的。
[0033]返回到图4,如果在操作425处确定存在一个后续新图像目标帧，那么在操作430处 通过增强现实应用145获取所述后续新图像目标帧。如果不存在，那么过程结束。在操作440 处，至少部分地基于通过增强现实应用145追踪的姿态改变而确定对应于参考图像目标帧 中的样本点的新图像目标帧中的样本点。当第一图像目标帧中的第一样本点及第二图像目 标帧中的第二样本点对应于现实世界中的同一物理位置时，第一图像目标帧中的第一样本 点对应于第二图像目标帧中的第二样本点。所属领域中已知用于运用增强现实应用来确定 对应样本点的方法。在随后操作450处，在参考图像目标帧中的样本点中的每一者与新图像 目标帧中的对应样本点之间进行色彩比较。
[0034] 在接下来的操作460处，根据在操作450处进行的色彩比较的结果计算色彩传递函 数。接下来，在操作470处，应用色彩传递函数。在一个实施例中，色彩传递函数可基于参考 图像目标帧中的样本点的色彩测量值、新图像目标帧中的对应样本点的色彩测量值及在色 彩传递之前的一或多个虚拟对象的色彩。
[0035] 在一个实施例中，色彩传递函数可大体上表示为形式为F(R，S，c)->t的函数，其中 R是参考图像目标帧中的色彩测量值，其中S是后续新图像目标帧中的色彩测量值，其中c是 在色彩传递之前的一或多个虚拟对象的色彩，且其中t是在色彩传递之后的c的所得色彩。
[0036] 在另一实施例中，色彩传递函数是取参考图像目标帧中的样本点与新图像目标帧 中的对应样本点之间的色彩测量值差，且将其添加到一或多个虚拟对象的色彩。
[0037] 本文中特别揭示计算色彩传递函数的方法的两个实施例，但本发明的实施例不受 如此限制。色彩传递函数可包括一或多个色彩传递子函数，子函数的数目是一或多个虚拟 对象中存在的色彩的数目。或者，针对每一虚拟对象，可计算相应色彩传递函数。可针对叠 加了多个虚拟对象的参考图像目标帧计算多个色彩传递函数。
[0038] 图6说明计算色彩传递子函数的方法的实施例。在这个实施例中，对于在色彩传递 之前的一或多个虚拟对象的第i个色彩ci，在操作610处，发现参考图像目标帧中其色彩最 接近地类似于ci的样本点。Ri指示在操作610处发现的样本点的色彩测量值。在接下来的操 作620处，在Ri与对应于操作610处发现的样本点的新图像目标帧中的对应样本点的色彩测 量值之间进行色彩比较。Si指示新图像目标帧中的对应样本点的色彩测量值，且Si-Ri指示 Si与Ri之间的差。在操作630处，推导出ci的色彩传递子函数为:丨1 = (3卜把）+(^41指示在 色彩传递之后的ci的所得色彩。针对一或多个虚拟对象的每一色彩重复操作610到630。
[0039] 图7说明计算色彩传递子函数的方法的另一实施例。在这个实施例中，在操作710 处，取参考图像目标帧中的样本点与新图像目标帧中的对应样本点之间的色彩测量值差且 对所述色彩测量值差求平均。操作710的结果可表示为- β/)?η是样本点的数目；& 指示第j个样本点的色彩测量值;且&指示对应于第j个样本点的新图像目标帧中的对应样本 点的色彩测量值。在操作720处，推导出ci的色彩传递子函数为= +ci。 应了解，仅仅需要针对每一新图像目标帧进行一次操作710,因为操作710的结果与ci无关。
[0040] 返回参看图4,当已在操作460处计算了色彩传递函数之后，在接下来的操作470 处，将色彩传递函数应用于一或多个虚拟对象的色彩。
[0041] 图8说明无色彩传递时在改变的光照条件下叠加在图像目标帧210上的虚拟茶壶 310的实例图像800。可看出虚拟茶壶310显得不真实，因为它的色调并未反映图像目标帧 210中的改变的光照条件。图9说明在应用了先前所描述的色彩传递函数中的一者时在改变 的光照条件下叠加在图像目标帧210上的虚拟茶壶310的实例图像900。可看出所应用的色 彩传递函数使得虚拟茶壶310显得更加真实。
[0042] 而且，在一个另外的实施例中，可在例如CIELab或CIELuv的中间色彩空间中进行 色彩传递。在这个实施例中，可首先将R、S及c转换为中间色彩空间。然后，可在中间色彩空 间中进行色彩传递。且最后，将所得t转换回为目标色彩空间。在一个实施例中，原始和目标 色彩空间是RGB色彩空间。中间色彩空间可更加适合于色彩传递操作。此类中间色彩空间的 实例可包含HSV色彩空间（其使用亮度、饱和度及色调代替原色)及CIELab色彩空间（其对于 人类而言感知为线性的）。必要时，多种色彩空间（例如YUV、YCbCr、RGB、HSV、HSL等等）可用 作中间色彩空间。
[0043] 如可在图8中看到，虚拟对象(虚拟茶壶310)在实例图像800中是不真实的，因为它 的色调并未反映图像目标帧210中的改变的光照条件。与在图3中的实例图像300中所说明 的中性色彩相比较，实例图像8 0 0中的图像目标帧210的色彩明亮得多，但同时，实例图像 800中的虚拟茶壶310的色彩保持中性。由于实例图像800中在图像目标帧210与虚拟茶壶 310之间的色彩视差，故实例图像800中的虚拟茶壶310显得不真实。通过执行先前所描述的 功能(其中具有处理器110的装置100可执行指令以操作增强现实应用145以针对虚拟对象 (虚拟茶壶310)创建真实色彩），图8的实例图像800可转换为图9中的虚拟茶壶310的更加真 实的彩色实例图像900,其中与图像目标帧210的色彩相一致的虚拟茶壶310的色彩与实例 图像300中的虚拟茶壶310的中性色彩相比较还是明亮得多。
[0044] 具体地说，如先前所描述，可由装置100执行以下操作：选择参考图像目标帧210 (图8);选择参考图像目标帧中的多个样本点；获取后续新图像目标帧210(图9);确定新图 像目标帧中的多个对应样本点，其中所述多个对应样本点对应于参考图像目标帧中的多个 样本点;将参考图像目标帧（图8)中的多个样本点中的每一者的色彩与新图像目标帧（图9) 中的对应样本点中的每一者的色彩进行比较;及至少部分地基于所述比较而计算色彩传递 函数。先前已详细地描述色彩传递函数的各种实施方案。基于所利用的色彩传递函数，将色 彩传递函数应用于图8的虚拟茶壶310的色彩以使得虚拟茶壶的色彩真实得多，如可在图9 中看到。
[0045] 应了解，如先前所描述，可将用以执行色彩传递函数的增强现实应用145实施为软 件、固件、硬件、其组合等等。在一个实施例中，可由装置1〇〇的一或多个处理器(例如，处理 器110)实施先前所描述的函数以实现先前所要的函数(例如，图4、6及7的方法操作）。
[0046] 本文中的教示可并入到多种设备(例如，装置）中（例如，在多种设备内实施或通过 多种设备进行）。举例来说，本文中所教示的一或多个方面可并入到以下一般装置中：桌上 型计算机、移动计算机、移动装置、电话(例如，蜂窝式电话）、个人数据助理、平板计算机、膝 上型计算机、平板计算机、娱乐装置(例如，音乐或视频装置）、耳机(例如，头戴式耳机、手机 听筒等等）、医疗装置(例如，生物计量传感器、心率监测仪、步数计、EKG装置等等）、用户I/O 装置、计算机、服务器、销售点装置、娱乐装置、机顶盒、可穿戴式装置(例如，手表、头戴式显 示器、虚拟现实眼镜等等）、机动车内的电子装置或任何其它合适的装置。
[0047] 在一些方面中，无线装置可包括用于通信系统的接入装置(例如，Wi-Fi接入点）。 举例来说，此类接入装置可经由有线或无线通信链路而提供通过收发器(例如，例如因特网 或蜂窝式网络的广域网）到另一网络的连接性。因此，接入装置可使得另一装置(例如，WiFi 站) 能够接入另一网络或某一其它功能性。另外 ，应了解，所述装置中的一者或两者可为 便携式，或在一些情况下，相对非便携式。
[0048] 应了解，当装置为移动或无线装置时，其可经由通过无线网络实现的一或多个无 线通信链路通信，所述无线通信链路基于或以其它方式支持任何合适的无线通信技术。举 例来说，在一些方面中，无线装置及其它装置可与包含无线网络的网络相关联。在一些方面 中，网络可包括人体局域网或个人局域网（例如，超宽带网络）。在一些方面中，网络可包括 局域网或广域网。无线装置可支持或以其它方式使用例如3G、LTE、先进的LTE、4G、CDMA、 丁01^、0?01、0?01^^1^乂及町？丨的多种无线通信技术、协议或标准中的一或多者。类似地， 无线装置可支持或以其它方式使用多种对应调制或多路复用方案中的一或多者。无线装置 因此可包含适当组件(例如，空中接口）以使用以上或其它无线通信技术建立一或多个无线 通信链路及经由一或多个无线通信链路来通信。举例来说，装置可包括具有相关联的发射 器及接收器组件(例如，发射器及接收器）的无线收发器，其可包含促进无线媒体上的通信 的各种组件(例如，信号发生器及信号处理器）。众所周知，移动无线装置因此可与其它移动 装置、蜂窝电话、其它有线及无线计算机、因特网网站等等无线地通信。
[0049] 所属领域的技术人员将理解，可使用多种不同技术及技艺中的任一者来表示信息 及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来 表示可贯穿以上描述参考的数据、指令、命令、信息、信号、位、符号及芯片。
[0050] 所属领域的技术人员将进一步了解，结合本文中所揭示的实施例而描述的各种说 明性逻辑块、模块、引擎、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为 了清楚地说明硬件与软件的此互换性，上文已大体上关于其功能性而描述了各种说明性组 件、块、模块、引擎、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于 总系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的 功能性，但此类实施方案决策不应被解释为会引起脱离本发明的范围。
[0051] 可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门 阵列(FPGA)或经设计以执行本文中所描述的功能的其它可编程逻辑装置、离散门或晶体管 逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种 说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何 常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与 微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。
[0052] 结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现在硬件、由处 理器执行的软件模块或所述两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM 存储器、EPROM存储器、EEPR0M存储器、寄存器、硬盘、可移动的磁盘、CD-ROM，或所属领域中 已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储 媒体读取信息以及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。 处理器及存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器及存 储媒体可作为离散组件驻留在用户终端中。
[0053] 在一或多个示范性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中 实施。如果在软件中实施为计算机程序产品，那么功能或模块可作为一或多个指令或代码 存储在非暂时性计算机可读媒体上或通过非暂时性计算机可读媒体传输。计算机可读媒体 可包含计算机存储媒体及通信媒体两者，通信媒体包含促进将计算机程序从一处传递到另 一处的任何媒体。存储媒体可为可由计算机接入的任何可用媒体。举例来说而非限制，此类 非暂时性计算机可读媒体可包括RAM、R0M、EEPR0M、CD-R0M或其它光盘存储装置、磁盘存储 装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构的形式的所要程序代码 且可由计算机接入的任何其它媒体。而且，任何连接可恰当地被称为计算机可读媒体。举例 来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微 波的无线技术从网站、服务器或其它远程源传输软件，那么同轴缆线、光纤缆线、双绞线、 DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用，磁盘 和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光 盘，其中磁盘通常以磁性方式再生数据，而光盘利用激光以光学方式再生数据。以上各者的 组合也应包含在非暂时性计算机可读媒体的范围内。
[0054]提供所揭示的实施例的先前描述以使得所属领域的技术人员能够制作或使用本 发明。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本发明的 精神或范围的情况下将本文中定义的一般原理应用到其它实施例。因此，本发明并不希望 限于本文中所展示的实施例，而应被赋予与本文中所揭示的原理及新颖特征相一致的最广 泛范围。
【主权项】
1. 一种针对增强现实环境中的虚拟对象创建真实色彩的方法，其包括： 选择参考图像目标帧； 选择所述参考图像目标帧中的多个样本点； 获取后续新图像目标帧； 确定所述新图像目标帧中的多个对应样本点，其中所述多个对应样本点对应于所述参 考图像目标帧中的所述多个样本点； 将所述参考图像目标帧中的所述多个样本点中的每一者的色彩与所述新图像目标帧 中的所述对应样本点中的每一者的色彩进行比较，且至少部分地基于所述比较而计算色彩 传递函数;及 将所述色彩传递函数应用到所述虚拟对象的所述色彩。2. 根据权利要求1所述的方法，其中所述选定的多个样本点与所述参考图像目标帧的 关键点中的至少一些相同。3. 根据权利要求1所述的方法，其中所述多个样本点经选择以最大化由所述多个样本 点覆盖的色彩的范围。4. 根据权利要求1所述的方法，其中所述多个样本点经选择以跨越所述参考图像目标 帧的基本上大部分。5. 根据权利要求1所述的方法，其中所述色彩传递函数是基于所述参考图像目标帧中 的样本点的色彩测量值、所述新图像目标帧中的样本点的色彩测量值及在色彩传递之前的 所述虚拟对象的色彩。6. 根据权利要求5所述的方法，其中所述色彩传递函数具有F(R，S，c)->t的形式，其中R 是所述参考图像目标帧中的色彩测量值，其中S是所述新图像目标帧中的色彩测量值，其中 c是在色彩传递之前的所述虚拟对象的色彩，且其中t是在色彩传递之后的c的所得色彩。7. 根据权利要求6所述的方法，其中所述色彩传递函数进一步具有ti = (Si-Ri)+ci的 形式，其中ci是所述虚拟对象的第i个色彩，其中Ri是其色彩最接近地类似于ci的样本点的 色彩测量值，其中Si是对应于Ri的对应样本点的色彩测量值，且其中ti是在色彩传递之后 的ci的所得色彩。8. 根据权利要求6所述的方法，其中所述色彩传递函数进一步具有t= _巧)+ Ti -r J ' C的形式，其中η为所述参考图像目标帧中的样本点的数目。9. 根据权利要求1所述的方法，其中应用所述色彩传递函数进一步包括将所述色彩传 递函数应用于中间色彩空间中，及将所得色彩转换为目标色彩空间。10. -种用于针对增强现实环境中的虚拟对象创建真实色彩的设备，其包括： 存储器;及 处理器，其耦合到所述存储器，经配置以执行指令以进行以下操作： 选择参考图像目标帧； 选择所述参考图像目标帧中的多个样本点； 获取后续新图像目标帧； 确定所述新图像目标帧中的多个对应样本点，其中所述多个对应样本点对应于所述参 考图像目标帧中的所述多个样本点； 将所述参考图像目标帧中的所述多个样本点中的每一者的色彩与所述新图像目标帧 中的所述对应样本点中的每一者的色彩进行比较，且至少部分地基于所述比较而计算色彩 传递函数;及 将所述色彩传递函数应用到所述虚拟对象的所述色彩。11. 根据权利要求10所述的设备，其中所述选定的多个样本点与所述参考图像目标帧 的关键点中的至少一些相同。12. 根据权利要求10所述的设备，其中所述多个样本点经选择以最大化由所述多个样 本点覆盖的色彩的范围。13. 根据权利要求10所述的设备，其中所述多个样本点经选择以跨越所述参考图像目 标帧的基本上大部分。14. 根据权利要求10所述的设备，其中所述色彩传递函数是基于所述参考图像目标帧 中的样本点的色彩测量值、所述新图像目标帧中的样本点的色彩测量值及在色彩传递之前 的所述虚拟对象的色彩。15. 根据权利要求14所述的设备，其中所述色彩传递函数具有F(R，S，c)->t的形式，其 中R是所述参考图像目标帧中的色彩测量值，其中S是所述新图像目标帧中的色彩测量值， 其中c是在色彩传递之前的所述虚拟对象的色彩，且其中t是在色彩传递之后的c的所得色 彩。16. 根据权利要求15所述的设备，其中所述色彩传递函数进一步具有ti = (Si-Ri)+ci 的形式，其中ci是所述虚拟对象的第i个色彩，其中Ri是其色彩最接近地类似于ci的样本点 的色彩测量值，其中Si是对应于Ri的对应样本点的色彩测量值，且其中ti是在色彩传递之 后的ci的所得色彩。17. 根据权利要求15所述的设备，其中所述色彩传递函数进一步J +c的形式，其中η为所述参考图像目标帧中的样本点的数目。18. 根据权利要求10所述的设备，其中经配置以执行指令以应用所述色彩传递函数的 所述处理器经进一步配置以将所述色彩传递函数应用于中间色彩空间中，及将所得色彩转 换为目标色彩空间。19. 一种包含代码的非暂时性计算机可读媒体，所述代码在由处理器执行时致使所述 处理器： 选择参考图像目标帧； 选择所述参考图像目标帧中的多个样本点； 获取后续新图像目标帧； 确定所述新图像目标帧中的多个对应样本点，其中所述多个对应样本点对应于所述参 考图像目标帧中的所述多个样本点； 将所述参考图像目标帧中的所述多个样本点中的每一者的色彩与所述新图像目标帧 中的所述对应样本点中的每一者的色彩进行比较，且至少部分地基于所述比较而计算色彩 传递函数;及 将所述色彩传递函数应用到所述虚拟对象的所述色彩。20. 根据权利要求19所述的计算机可读媒体，其中所述选定的多个样本点与所述参考 图像目标帧的关键点相同。21. 根据权利要求19所述的计算机可读媒体，其中所述多个样本点经选择以最大化由 所述多个样本点覆盖的色彩的范围。22. 根据权利要求19所述的计算机可读媒体，其中所述多个样本点经选择以跨越所述 参考图像目标帧的基本上大部分。23. 根据权利要求19所述的计算机可读媒体，其中所述色彩传递函数是基于所述参考 图像目标帧中的样本点的色彩测量值、所述新图像目标帧中的样本点的色彩测量值及在色 彩传递之前的所述虚拟对象的色彩。24. 根据权利要求23所述的计算机可读媒体，其中所述色彩传递函数具有F(R，S，c )->t 的形式，其中R是所述参考图像目标帧中的色彩测量值，其中S是所述新图像目标帧中的色 彩测量值，其中c是在色彩传递之前的所述虚拟对象的色彩，且其中t是在色彩传递之后的c 的所得色彩。25. 根据权利要求24所述的计算机可读媒体，其中所述色彩传递函数进一步具有ti = (Si-Ri)+ci的形式，其中ci是所述虚拟对象的第i个色彩，其中Ri是其色彩最接近地类似于 ci的样本点的色彩测量值，其中Si是对应于Ri的对应样本点的色彩测量值，且其中ti是在 色彩传递之后的c i的所得色彩。26. 根据权利要求24所述的计算机可读媒体，其中所述色彩传递函数进一步具有t =J形式，其中η为所述参考图像目标帧中的样本点的数目。27. 根据仪利妥求19所述的计算机可读媒体，其中用以应用所述色彩传递函数的所述 代码进一步包括用以将所述色彩传递函数应用于中间色彩空间中并将所得色彩转换为目 标色彩空间的代码。28. -种用于针对增强现实环境中的虚拟对象创建真实色彩的设备，其包括： 用于选择参考图像目标帧的装置； 用于选择所述参考图像目标帧中的多个样本点的装置； 用于获取后续新图像目标帧的装置； 用于确定所述新图像目标帧中的多个对应样本点的装置，其中所述多个对应样本点对 应于所述参考图像目标帧中的所述多个样本点； 用于将所述参考图像目标帧中的所述多个样本点中的每一者的色彩与所述新图像目 标帧中的所述对应样本点中的每一者的色彩进行比较，且用于至少部分地基于所述比较而 计算色彩传递函数的装置;及 用于将所述色彩传递函数应用到所述虚拟对象的所述色彩的装置。29. 根据权利要求28所述的设备，其中所述选定的多个样本点与所述参考图像目标帧 的关键点相同。30. 根据权利要求28所述的设备，其中所述多个样本点经选择以最大化由所述多个样 本点覆盖的色彩的范围。
【文档编号】G09G5/02GK106030665SQ201580010365
【公开日】2016年10月12日
【申请日】2015年2月27日
【发明人】E·门德斯·门德斯
【申请人】高通股份有限公司