用户的三维表示的生成的制作方法
【专利说明】用户的H维表示的生成 WW] 背景
[0002] 相对新近地，人们已经利用数字化身来在计算机环境中表示他们自己。数字化身 的创建通常通过利用在线特征库来完成，其中用户能够从多个不同特征中进行选择W生成 一般表示该用户的化身。例如，与生成用户的虚拟表示相关地，用户可W选择特定头形、特 定肤色、预定义形状的眉毛等。该过程是相对耗时的，并且经常导致创建不表示个体的实际 外貌的化身。
[0003] 已经开发出用于自动生成用户的虚拟化S维表示的系统。然而，运些系统是不准 确、复杂和/或昂贵的。例如，已经开发出使用红-蓝-绿（RGB)视频流来生成用户脸部的 虚拟=维模型的系统。用户被要求在相机前旋转他或她的头部，并且基于视频来生成该用 户脸部的虚拟=维模型。然而，运一系统遭受相对糟糕的质量，因为它无法捕捉到在人脸中 找到的有细微差别的深度。
[0004] 另一示例性系统利用若干激光测量单元来获取用于生成用户脸部的虚拟=维表 示的相对密集的点云。然而，激光测量单元是相对昂贵的。因此，运一系统不适用于普通消 费者。此外，运一系统不容易被运输到另一位置，并且缺乏允许将所得点云变换成可动画化 的化身的底层技术。 阳005] 概述
[0006] W下是在本文详细描述的主题的简要的概述。本概述不旨在是关于权利要求的范 围的限制。
[0007] 本文描述了设及利用日用RGB相机和深度传感器来W半自治方式生成用户头部/ 脸部的相对准确的虚拟=维模型的各种技术。在一示例性实施例中，运一=维模型可被用 作一个人的虚拟化表示，该虚拟化表示可W在在线/游戏环境中标识运个人。该=维模型 能够相对准确地表示用户头部的形状、用户头部的大小、用户的肤色W及用户的脸部特征， 包括眼睛、鼻子、耳朵、脸颊线、嘴己等。
[0008] 为了生成用户头部/脸部的相对准确的模型，在一时间范围内从彩色相机接收多 个RGB帖，并且在该时间范围内从深度传感器接收多个深度帖。相机和深度传感器两者都 被配置成捕捉用户头部/脸部的图像。对RGB帖执行脸部跟踪算法W标识在运些RGB帖中 捕捉到的脸部中的特征。运些特征可包括但不限于：用户眼睛的中屯、、用户鼻子的中屯、和用 户的鼻翼。可基于深度帖和RGB帖中标识的特征来生成点云，其中RGB帖中的特征被映射 到深度帖W定位运些特征在=维空间中的位置，并且运些特征后续被用来对齐深度帖。点 云中的点表示用户头部/脸部在运些点处的离深度传感器的相应距离。
[0009] 随后，可使人类头部形状的预先存在的模型变形W适合=维点云（用脸部特征标 记）W表示用户头部/脸部的形状。可W对运一=维模型应用纹理W使该虚拟=维模型准 确地表示用户。可W对RGB帖应用降噪和皮肤估计技术，W便为用户的头部/脸部的虚拟 =维模型提供审美上令人愉快的纹理。例如，可W利用针对RGB帖的诸如自动曝光调整和 自动降噪等技术来纹理化（tex化rize)用户的头部/脸部的=维模型。从RGB帖中生成的 纹理图然后可被映射到=维模型，W使得脸部和颜色特征在=维模型上适当地对齐。
[0010] 可利用日用传感器单元来采用上述技术。例如，运一传感器单元可W是可W禪合 到诸如游戏控制台等计算设备的外围设备。在另一示例中，传感器单元可被包括在诸如台 式计算设备、平板计算设备或便携式电话等计算设备中。因此，例如相机和/或深度传感器 的分辨率可能相对较低。然而，利用本文描述的技术，能够生成用户头部/脸部的相对准确 的虚拟=维表示。
[0011] 在阅读并理解了附图和描述后，可W明白其他方面。
[0012] 附图简述
[0013] 图1是方便生成用户头部/脸部的相对准确的虚拟S维模型的示例性系统的功能 框图。
[0014] 图2是用于生成用户头部/脸部的相对准确的虚拟=维模型的模型生成器组件的 功能框图。
[0015] 图3是示出用于构造用户头部/脸部的虚拟S维网格的示例性方法的流程图。
[0016] 图4是示出用于生成表示用户脸部纹理的纹理图的示例性方法的流程图。
[0017] 图5是示出用于构造用户头部/脸部的相对准确的虚拟S维模型的示例性方法的 流程图。
[001引图6是示例性计算系统。
[0019] 详细描述
[0020] 现在将参考附图来描述设及构造用户的虚拟=维头部/脸部的各种技术，在全部 附图中相同的附图标记表示相同的元素。另外，本文出于解释的目的示出并描述了各示例 性系统的若干功能框图；然而可W理解，被描述为由特定系统组件执行的功能可W由多个 组件来执行。类似地，例如，一组件可被配置成执行被描述为由多个组件执行的功能。另外， 如此处所用的，术语"示例性"旨在表示用作某些事物的图示或示例，而不意图指示优选。
[0021] 如本文所使用的，术语"组件"和"系统"旨在涵盖被配置有计算机可执行指令的计 算机可读数据存储，运些指令在被处理器执行时使得特定功能得W执行。计算机可执行指 令可包括例程、功能等。还应理解，组件或系统可W位于单个设备上或分布在若干设备上。
[0022] 现在参考图1，示出了方便构造用户头部/脸部的相对准确的虚拟=维模型的示 例性系统100。系统100包括传感器单元102,该传感器单元包括捕捉彩色（RGB)图像的相 机104和捕捉深度图像的深度传感器106。在一示例性实施例中，相机104捕捉到的图像 的分辨率可能相对较低；诸如举例而言小于或等于1280个像素乘960个像素。例如，相机 104捕捉到的图像的分辨率可W是640个像素乘480个像素。类似地，深度传感器106所 生成的深度图像的分辨率可能相对较低；诸如举例而言小于或等于1280个像素乘960个像 素。在另一示例中，深度传感器106所生成的深度图像的分辨率可W是640个像素乘480个 像素。在图1所示的示例中，相机104和深度传感器106被容纳在传感器单元102中。然 而，应当理解，相机104和深度传感器106可被包括在单独的外壳中。此外，传感器单元102 可被包括在可W禪合到计算设备的外围设备中，诸如禪合到游戏控制台的传感器。在另一 示例性实施例中，传感器单元102可被包括在诸如个人计算设备、膝上型计算设备、移动电 话、平板计算设备等计算设备中。因此，例如，相机104可W是web摄像头。另外，深度传感 器106可利用任何合适的技术来生成深度图像。例如，深度传感器106可利用基于红外线 的深度传感系统、飞行时间深度传感系统或任何合适的深度传感技术。
[0023] 如图I所示，相机104和深度传感器106被对齐W便分别捕捉用户108头部/脸 部的RGB图像和深度图像。例如，对应于相机104捕捉到的图像中的用户108头部/脸部 的分辨率可低至50个像素乘50个像素。类似地，深度传感器106捕捉到的图像中的用户 108头部/脸部的分辨率可低至100X100个像素。因此，可W理解，传感器单元102可W是 日用传感器单元，W使得相机104和深度传感器106可W是相对不昂贵的、便携的并且可适 于用户108的不同环境。
[0024] 系统100包括接收器组件112,该组件在一时间范围内接收相机104捕捉到的多 个RGB图像/帖。多个RGB图像/帖中的每一个RGB图像/帖都包括用户108头部/脸部 的图像。接收器组件110还接收在该时间范围内深度传感器106捕捉到的多个深度图像/ 帖。类似于RGB图像/帖，多个深度图像/帖中的每一个深度图像/帖都包括对应于用户 108头部/脸部的深度图。在一示例性实施例中，相机104和深度传感器106可W与共同的 时钟进行通信，W使得深度相机104和深度传感器106在时间上彼此同步。因此，相机104 生成的每一个RGB图像/帖在时间上与深度传感器106生成的相应深度图像/帖对齐。在 另一示例性实施例中，接收器组件110可W被配置成在时间上使相机104输出的RGB帖与 深度传感器106输出的深度帖同步。
[0025] 模型生成器组件112与接收器组件110通信并接收同步的相机104捕捉到的RGB 图像和深度传感器106捕捉到的深度图像。如将在下文中更详细地描述的，模型生成器组 件112被配置成至少部分地基于相机104输出的RGB帖与深度传感器106输出的深度帖来 生成用户108头部/脸部的相对准确的虚拟=维模型。系统100包括数据存储114,该数据 存储114可保存模型生成器组件112生成的用户108头部/脸部的虚拟=维模型116。= 维模型116可W在其中期望虚拟化用户108头部/脸部的各种环境中使用。例如，=维模 型116可被用来表示诸如在线游戏环境等在线环境中的用户108。旨P，S维模型116可被 用作用户108的化身。另外，S维模型116可被动画化。例如，S维模型116可被用来映射 到用户表情，运使用RGB帖中所标识的特征作为指导。在另一个示例中，S维模型116可使 用预定义表情来动画化。在运一示例性实施例中，=维模型116中的特征位置的知识可W 在动画化该=维模型时使用。简而言之，当用户108的头部/脸部处在相对于传感器单元 102的各种不同的可能位置时，模型生成器组件112可基于相机104输出的RGB帖和深度传 感器106输出的深度帖来生成=维模型116。在第一示例性实施例中，用户108最初可将 她的头部定向在相对于传感器单元102向左偏移大约20° (从用户的角度）。当用户108 的头部被运样定位时，相机104和深度传感器106可W分别捕捉用户108头部/脸部的多 个RGB图像和多个深度图像（大约40个）。随后，用户108可W直接看着传感器单元102。 当用户108的头部/脸部W运一方式定向时，可由相机104和深度传感器106分别捕捉到 大约40个RGB图像和40个深度图像。之后，用户可将她的头部定向在相对于传感器单元 102向右偏移大约20° (从用户的角度），并且可由相机104和