基于隐函数融合的动态人体三维重建方法和装置

1.本发明涉及计算机视觉与计算机图形学技术领域，尤其涉及一种基于隐函数融合的动态人体三维重建方法和装置。


背景技术：

2.动态人体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。
3.但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的第一个目的在于提出一种基于隐函数融合的动态人体三维重建方法，以实现重建出动态、具有丰富几何细节的人体三维模型序列。不仅如此，由于该方法为快速重建方法，可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。
6.本发明的第二个目的在于提出一种基于隐函数融合的动态人体三维重建装置。
7.本发明的第三个目的在于提出一种计算机设备。
8.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
9.本发明的第五个目的在于提出一种计算机程序产品。
10.为达上述目的，本发明第一方面实施例提出了一种基于隐函数融合的动态人体三维重建方法，包括：通过单个rgbd相机拍摄rgbd图像帧序列；
11.根据预设的参数人体模型对每一帧rgbd图像帧运动跟踪，获取所述每一帧rgbd图像帧的姿态参数；
12.根据所述姿态参数确定所述rgbd图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；
13.将所述关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。
14.为达上述目的，本发明第二方面实施例提出了一种基于隐函数融合的动态人体三维重建装置，包括：相机拍摄模块，用于通过单个rgbd相机拍摄rgbd图像帧序列；
15.深度跟踪模块，用于根据预设的参数人体模型对每一帧rgbd图像帧运动跟踪，获取所述每一帧rgbd图像帧的姿态参数；
16.隐函数推导模块，用于根据所述姿态参数确定所述rgbd图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；
17.隐函数融合模块，用于将所述关键图像帧与对应的隐含函数融合，并对融合的隐
函数提取等值面生成三维模型。
18.为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
19.为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
20.为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的基于隐函数融合的动态人体三维重建方法。
21.本发明的实施例，至少具有如下的技术效果：
22.相较于其他单帧重建或体素融合的方法，具有时域平滑、运动形变合理、重建模型几何细节丰富等优点。该方法基于单个rgbd相机捕获rgbd图像序列，并根据此序列生成时域连续、几何细节丰富的动态人体模型序列。该方法主要包括以下步骤：首先，基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数；然后基于深度神经网络对每一帧rgbd图像预测空间隐函数；以当前帧作为参考帧，根据可见性以及姿势相近性选取关键帧，将当前帧依次变形到关键帧以融合隐函数，最终从融合后的隐函数中提取等值面生成三维模型。
23.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
24.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
25.图1为本发明实施例所提供的一种基于隐函数融合的动态人体三维重建方法的流程示意图；以及
26.图2为本发明实施例所提供的一种基于隐函数融合的动态人体三维重建装置的结构示意图。
具体实施方式
27.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
28.下面参考附图描述本发明实施例的基于隐函数融合的动态人体三维重建方法和装置。
29.为了解决上述提到的人体三维模型重建效率低以及成本高的技术问题，本发明技术仅需要一个rgbd相机，并且可以快速重建动态人体三维模型。
30.图1为本发明实施例所提供的一种基于隐函数融合的动态人体三维重建方法的流
程示意图。
31.如图1所示，该方法包括以下步骤：
32.步骤101，通过单个rgbd相机拍摄rgbd图像帧序列。
33.步骤102，根据预设的参数人体模型对每一帧rgbd图像帧运动跟踪，获取每一帧rgbd图像帧的姿态参数。
34.在本实施例中，基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数：
35.将每张深度图投影到三维空间得到三维点云，寻找点云与参数化模型之间的对应点；根据对应点建立如下能量函数，通过最优化求解出参数化模型的姿势参数。
36.e＝e
data
+λ
prior
e
prior
37.其中，
[0038][0039]
是数据项，保证了经过骨架运动后参数化模型能够与从深度图获得的三维点云尽可能对齐，其中，c是参数化模型与深度点云之间的对应点集合，v和n
v
分别表示经过骨架运动后的参数化模型的顶点坐标及其法向，u为与之对应的对应点坐标。
[0040]
e
prior
为先验项，基于高斯混合模型避免求解出不合理的姿势参数。λ
prior
为先验项的权重系数。
[0041]
步骤103，根据姿态参数确定rgbd图像帧序列中的关键图像帧，并获取关键图像帧的隐含函数。
[0042]
在本实施例中，通过深度神经网络，对每帧rgbd图像预测空间隐函数分布f
t
(x)，其中t代表第t帧，是空间中一点。且f
t
(x)满足
[0043][0044]
即f
t
(x)＝0构成的曲面即为人体三维表面。
[0045]
随后，定义帧集合s＝{1，2，...，t
‑
1}，求解迭代离散优化问题选择关键帧集合k：
[0046]
初始化k＝φ，while|k|＜key_frame_num：
[0047][0048]
k：＝k+k
[0049]
随后，对当前帧t的空间进行采样得到采样点p
t
，并根据参数化模型的姿势参数将采样点p
t
依次变形到各个关键帧，得到{p1，p2，...，p
|k|
}，再对隐函数融合得到
[0050][0051]
其中，为混合系数，代表p
k
的z方向坐标，depth代表p
k
投影到深度图像上获得的深度值。
[0052]
步骤104，将关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。
[0053]
在本实施例中，对融合后的隐函数f提取等值面，获得重建出的人体三维模型。通过单个rgbd相机对单个人体拍摄rgbd图像序列；
[0054]
基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数：
[0055]
将每张深度图投影到三维空间得到三维点云，寻找点云与参数化模型之间的对应点；根据对应点建立如下能量函数，通过最优化求解出参数化模型的姿势参数。
[0056]
e＝e
data
+λ
prior
e
prio
r
[0057]
其中，
[0058][0059]
是数据项，保证了经过骨架运动后参数化模型能够与从深度图获得的三维点云尽可能对齐，其中，c是参数化模型与深度点云之间的对应点集合，v和n
v
分别表示经过骨架运动后的参数化模型的顶点坐标及其法向，u为与之对应的对应点坐标。
[0060]
e
prior
为先验项，基于高斯混合模型避免求解出不合理的姿势参数。λ
prior
为先验项的权重系数。
[0061]
随后，通过深度神经网络，对每帧rgbd图像预测空间隐函数分布f
t
(x)，其中t代表第t帧，是空间中一点。且f
t
(x)满足
[0062][0063]
即f
t
(x)＝0构成的曲面即为人体三维表面。
[0064]
随后，定义帧集合s＝{1，2，...，t
‑
1}，求解迭代离散优化问题选择关键帧集合k：
[0065]
初始化k＝φ，
[0066]
while|k|＜key_frame_num：
[0067][0068]
k：＝k+k
[0069]
随后，对当前帧t的空间进行采样得到采样点p
t
，并根据参数化模型的姿势参数将采样点p
t
依次变形到各个关键帧，得到{p1，p2，...，p
|k|
}，再对隐函数融合得到
[0070][0071]
其中，为混合系数，代表p
k
的z方向坐标，depth代表p
k
投影到深度图像上获得的深度值。
[0072]
最终，对融合后的隐函数f提取等值面，获得重建出的人体三维模型。
[0073]
综上，本发明实施例的基于隐函数融合的动态人体三维重建方法，相较于其他单帧重建或体素融合的方法，具有时域平滑、运动形变合理、重建模型几何细节丰富等优点。该方法基于单个rgbd相机捕获rgbd图像序列，并根据此序列生成时域连续、几何细节丰富的动态人体模型序列。该方法主要包括以下步骤：首先，基于参数化人体模型对每一帧进行运动跟踪，得到每一帧对应的姿势参数；然后基于深度神经网络对每一帧rgbd图像预测空间隐函数；以当前帧作为参考帧，根据可见性以及姿势相近性选取关键帧，将当前帧依次变
形到关键帧以融合隐函数，最终从融合后的隐函数中提取等值面生成三维模型。为了实现上述实施例，本发明还提出一种基于隐函数融合的动态人体三维重建装置。
[0074]
图2为本发明实施例提供的一种基于隐函数融合的动态人体三维重建装置的结构示意图。
[0075]
如图2所示，该基于隐函数融合的动态人体三维重建装置包括：相机拍摄模块210、深度跟踪模块220、隐函数推导模块230、隐函数融合模块240。
[0076]
其中，相机拍摄模块210，用于通过单个rgbd相机拍摄rgbd图像帧序列；
[0077]
深度跟踪模块220，用于根据预设的参数人体模型对每一帧rgbd图像帧运动跟踪，获取所述每一帧rgbd图像帧的姿态参数；
[0078]
隐函数推导模块230，用于根据所述姿态参数确定所述rgbd图像帧序列中的关键图像帧，并获取所述关键图像帧的隐含函数；
[0079]
隐函数融合模块240，用于将所述关键图像帧与对应的隐含函数融合，并对融合的隐函数提取等值面生成三维模型。
[0080]
需要说明的是，前述对基于隐函数融合的动态人体三维重建方法实施例的解释说明也适用于该实施例的基于隐函数融合的动态人体三维重建装置，此处不再赘述。
[0081]
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的基于隐函数融合的动态人体三维重建方法。
[0082]
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的基于隐函数融合的动态人体三维重建方法。
[0083]
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例所描述的基于隐函数融合的动态人体三维重建方法。
[0084]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0085]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0086]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明
的实施例所属技术领域的技术人员所理解。
[0087]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0088]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0089]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0090]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0091]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。