一种基于图像的人体三维重建方法

本发明涉及三维重建，特别是涉及姿态融合三维人体重建网络与图神经辐射场三维人体重建网络的人体三维重建方法。

背景技术：

1、基于图像的人体三维重建是指从单张或多张人体二维图像中重建出人体三维模型的过程，是计算机视觉中研究价值较高的一个方向。

2、深度学习背景下的人体三维重建方法利用大量数据建立先验知识，将三维重建的过程转变为编码与解码，直接从二维图像中对人体进行三维重建。早期的人体三维重建方法通过重建人体参数化模型进行人体三维重建，但人体参数化模型只能表示人体的三维姿态，无法表示衣服等细节信息。为了获得更加良好的人体三维重建的重建表现和泛化能力，基于隐式函数的人体三维重建方法使用堆叠沙漏网络对图像进行编码，通过多层感知机解码隐式函数，预测三维点在人体模型的内部和外部的分布，构建点标签形式的隐式函数，使用提取算法从隐式表示中提取网格信息，重建人体模型。

3、基于神经辐射场的三维重建方法在多个视角上聚合图像特征，通过解码器获取颜色和体密度值，以体渲染的方式进行图像渲染。基于神经辐射场的方法在多个场景或特定的目标类上进行训练，从一个或多个视角的图像中进行三维重建。一些研究将人体参数化模型与神经辐射场相结合，从人体视频中建立神经辐射场并渲染出人体的其他视角的图像。然而，全局特征编码器对全局姿态敏感，只使用全局特征编码器的方法对复杂的人体姿态的重建效果较差，使用多层感知机进行特征解码的方式忽略了三维点之间的相互关系，对人体细节部位的重建效果较差。而准确提取图像特征和人体姿态特征并进行高效的特征解码，提升不同姿态的泛化能力是提高人体三维重建表现的关键。

技术实现思路

1、本发明的目的是针对现有技术中存在的重建表现较差和泛化能力不足的问题，提供一种基于图像的人体三维重建方法，旨在高效提取人体图像中的特征，获得具有良好质量的人体三维模型。

2、为实现本发明的目的所采用的技术方案是：

3、基于图像的人体三维重建方法，由姿态融合三维人体重建网络与图神经辐射场三维人体重建网络各自对输入图像进行处理三维重建后再进行融合实现最终的三维重建；其中，姿态融合三维人体重建网络包括表面法向图生成模块、表面法向图特征编码模块、人体姿态特征编码模块、特征解码重建模块、背面图像生成模块以及纹理映射模块；图神经辐射场三维人体重建网络包括姿态优化模块、人体图像编码模块、特征解码模块以及集成模块；

4、处理步骤如下：

5、由人体图像xi通过姿态估计方法预测人体参数化模型msmp，送入到可微渲染器得到人体参数化模型正面法向图nsf和人体参数化模型背面法向图nsb，与人体图像xi共同送入表面法向图生成模块，获取人体正面法向图ncf和人体背面法向图ncb，送入表面法向图特征编码模块提取人体表面法向图特征fi；将人体参数化模型msmp送入人体姿态特征编码模块，提取局部特征编码flo和体积特征编码fv，与人体表面法向图特征fi共同送入特征解码重建模块，获取符号距离函数值sd并重建无色彩纹理的人体三维模型ys输出；人体图像xi和人体背面法向图ncb共同送入背面图像生成模块生成人体背面图像xb，人体图像xi、人体背面图像xb和无色彩纹理的人体三维模型ys共同送入纹理映射模块重建具有正面色彩纹理和背面色彩纹理的人体三维模型yc输出；

6、由人体图像编码模块提取人体图像xi的图像特征fr，图像特征fr与人体图像xi分别进行网格采样插值并进行特征拼接，获取图像特征编码fca；将人体图像xi的像素转换为神经辐射场中的三维点坐标p，附加位置编码，获取具有位置编码的三维点特征fl并将姿态特征fs送入姿态优化模块获取优化后的姿态编码frs；由相机参数计算出三维点的方向编码fv，与图像特征编码fca、姿态特征frs和三维点特征fl共同送入特征解码模块，获取颜色值c和形状特征fσ；将符号距离函数值sd和形状特征fσ共同送入集成模块获取体密度值σ，渲染输出相机参数所对应的人体预设视角图像yn。

7、本发明采用表面法向图特征编码模块来进行特征提取，使用堆叠网络单元对人体表面法向图进行编码，增加网络的深度并融合不同阶段的特征，在残差编码中加入通道注意力层并使用transformer网络编码捕获长距离依赖关系，获取人体表面法向图的不同部位之间的关系，提高特征提取信息的效率。

8、本发明采用人体姿态特征编码模块提取人体参数化模型的局部特征编码和体积特征编码，计算人体参数化模型的符号距离函数获取人体参数化模型的局部特征编码，将人体参数化模型进行体素化，通过三维残差编码获取人体参数化模型的体积特征编码，结合人体参数化模型的局部特征编码和体积特征编码，重建具有较高的精细度和完整度的人体三维模型。

9、本发明采用特征解码重建模块进行特征解码，将人体表面法向图特征、局部特征编码和体积特征编码共同送入特征解码器，获取人体三维模型的符号距离函数值，通过行进立方体算法重建无色彩纹理的人体三维模型。特征解码器由图卷积编码和一维卷积编码构成，利用knn算法构建三维点的图结构，获取相邻三维点之间关系，更加高效地进行特征解码。

10、本发明采用纹理映射模块，使用网格采样插值提取人体模型颜色编码，将网格模型光栅化，选择不重复值获取人体模型可见性，利用人体模型颜色编码和人体模型可见性获取三维模型的正面色彩纹理和背面色彩纹理，同时利用人体图像和人体背面图像进行纹理映射，提高重建纹理的完整度，获取具有正面色彩纹理和背面色彩纹理的人体三维模型。

11、本发明采用姿态优化模块，使用knn算法构建高维姿态特征所对应的姿态特征图结构，将姿态特征图结构送入图卷积编码，获取高维的姿态优化特征，提高了姿态优化的效果。

12、本发明采用人体图像编码模块，使用堆叠网络单元对人体图像进行编码，增加网络的深度并融合不同阶段的特征，将图像特征分为多个部分并使用knn算法构建图像特征的图结构，获取人体图像的不同部位之间的关系，提高特征提取信息的效率，为生成人体新视角的图像提供更加准确的人体图像特征，提高生成人体新视角的图像的效果。

13、其中，由人体图像xi通过姿态估计方法预测人体参数化模型msmp，送入到可微渲染器得到人体参数化模型正面法向图nsf和人体参数化模型背面法向图nsb，表述如下：

14、

15、其中，gs(·)表示姿态估计的操作，rf(·),rb(·)表示渲染人体参数化模型正面法向图、背面法向图的操作。

16、所述将人体图像xi、人体参数化模型正面法向图nsf和人体参数化模型人体背面法向图nsb共同送入表面法向图生成模块，得到人体正面法向图ncf和人体背面法向图ncb的步骤如下：

17、将人体图像xi与人体参数化模型正面法向图nsf进行特征拼接后，送入图像编码器处理，得到表示人体参数化模型正面法向图编码特征fsf，将人体图像xi与人体参数化模型正面法向图nsf进行特征拼接后，送入图像编码器处理，得到人体参数化模型背面法向图编码特征fsb，对人体参数化模型正面法向图编码特征和人体参数化模型背面法向图编码特征fsf,fsb分别送入残差编码器进行处理后上采样操作，得到人体正面法向图ncf和人体背面法向图ncb；表示如下：

18、

19、其中，fsf,fsb分别表示人体参数化模型正面法向图编码特征和人体参数化模型背面法向图编码特征，es(·)表示图像编码器操作，图像编码器由卷积层、实例归一化与relu激活函数组成，fcat(·)表示特征拼接操作，eres(·)表示残差编码器操作，残差编码器由卷积层、通道注意力层、批量归一化与relu激活函数组成，fup(·)表示上采样操作，上采样由转置卷积层、批量归一化与relu激活函数组成。

20、其中，所述表面法向图特征编码模块提取人体表面法向图特征fi的步骤如下：

21、分别对人体正面法向图和人体背面法向图进行编码，获取人体正面法向图特征编码和人体背面法向图特征编码，将特征编码拼接后进行网格采样插值获取人体表面法向图特征fi：

22、

23、其中，ec(·)表示表面法向图编码模块的人体表面法向图编码操作，表面法向图编码模块由堆叠网络单元、残差单元和卷积层组成，其中堆叠网络单元包含最大池化层、transformer网络编码层和上采样层，transformer网络编码层包含多头注意力层、层归一化及多层感知层，残差单元包含卷积层与relu激活函数，fcf表示人体正面法向图特征编码，fcb表示人体背面法向图特征编码，fcat(·)表示特征拼接的操作，fgrid(·)表示网格采样插值。

24、其中，所述人体姿态特征编码模块提取局部特征编码flo和体积特征编码fv具体步骤如下：

25、计算人体参数化模型的符号距离函数，获取人体参数化模型的符号距离函数编码，将人体参数化模型进行体素化，通过三维残差单元获取体素化后人体参数化模型的三维特征编码，通过网格采样插值，基于符号距离函数编码获取局部特征编码和基于三维特征编码提取体积特征编码：

26、

27、其中，fsdf(·)表示计算人体参数化模型msmp的符号距离函数的操作，fvol(·)表示网格模型体素化的操作，e3d(·)表示通过三维残差单元获取体素化后人体参数化模型msmp的三维特征编码的操作，fgrid(·)表示网格采样插值，flo表示局部特征编码，fv表示体积特征编码。

28、其中，所述特征解码重建无色彩纹理的人体三维模型ys输出的处理步骤如下：

29、将人体表面法向图特征fi、局部特征编码flo和体积特征编码fv共同送入特征解码器，获取三维模型的符号距离函数值sd，基于符号距离函数值通过行进立方体算法重建无色彩纹理的人体三维模型ys：

30、

31、其中，fcat(·)表示特征拼接操作，eg(·)表示图卷积解码器的操作，图卷积解码器由图卷积层、一维卷积层、批量归一化与relu激活函数组成，sd表示符号距离函数值，fmc(·)表示行进立方体算法的操作，ys表示无色彩纹理的三维模型。

32、其中，所述背面图像生成模块生成人体背面图像xb的处理步骤如下：

33、将人体图像xi和人体背面法向图ncb进行拼接编码获取人体背面编码特征，送入图像编码进行编码，形成人体背面编码特征，然后送入通道注意力残差单元进行编码，并经过上采样后获取人体背面图像xb：

34、

35、其中，fbf表示人体背面编码特征，es(·)表示图像编码器的操作，图像编码器由卷积层、实例归一化与relu激活函数组成，fcat(·)表示特征拼接，eres(·)表示通道注意力残差单元的操作，通道注意力残差单元由卷积层、通道注意力层、批量归一化与relu激活函数组成，fup(·)表示上采样的操作，上采样由转置卷积层、批量归一化与relu激活函数组成。

36、其中，所述纹理映射的处理步骤如下：

37、使用网格采样插值值对人体图像xi提取人体模型颜色编码，将人体模型颜色编码通过网格模型光栅化，选择不重复值获取人体模型可见性；基于无色彩纹理的人体三维模型ys，利用人体模型颜色编码和人体模型可见性得到具有正面色彩纹理的三维模型；使用网格采样插值对人体背面图像xb提取人体背面模型颜色编码，将人体背面模型颜色编码通过网格模型光栅化，并选择不重复值获取人体背面模型可见性，得到人体背面模型可见性；基于具有正面色彩的三维模型、人体背面模型颜色编码以及人体背面模型可见性，利用人体图像xi和人体背面图像xb进行纹理映射，得到具有正面色彩纹理和背面色彩纹理的人体三维模型yc：

38、

39、其中，fgrid(·)表示网格采样插值，ffc表示人体正面模型颜色编码，fras(·)表示网格模型光栅化，fu(·)表示选择不重复值的操作，ffv表示人体正面模型可见性，ycf表示具有正面色彩纹理的三维模型，fbc表示人体背面模型颜色编码，fbv表示人体背面模型可见性，yc表示具有正面色彩纹理和背面色彩纹理的三维模型。

40、其中，所述姿态优化模块的处理步骤如下：

41、将姿态特征送入线性层，获取高维度的姿态特征，使用knn算法构建高维度的姿态特征所对应的姿态特征图结构，将姿态特征图结构送入图卷积单元和线性层，获取姿态优化特征，利用罗德里格旋转公式计算优化后的姿态特征：

42、

43、其中，fs表示姿态特征，el(·)表示线性层的操作，fknn(·)表示knn算法的操作，gf表示姿态特征图结构，eg(·)表示图卷积单元的操作，fgs表示姿态优化特征，frs表示优化后的姿态特征，frod(·)表示罗德里格旋转操作，具体公式如下：

44、frod(r)＝cosθi+(1-cosθ)nnt+sinθn^

45、其中，i是单位矩阵，n是向量r的单位向量，θ是向量r的模长，nt表示n的转置矩阵，n^表示n的反对称矩阵。

46、其中，所述人体图像编码模块的处理步骤如下：

47、人体图像编码模块对人体图像xi提取图像特征fr，图像特征fr与人体图像xi分别进行网格采样插值并进行特征拼接，获取图像特征编码fc：

48、

49、其中，ec(·)表示人体图像编码模块的操作，人体图像编码模块由堆叠网络单元、残差单元和卷积层组成，其中堆叠网络单元包含池化层、图卷积块和上采样层，图卷积块包含图卷积层、线性层与relu激活函数。

50、本发明的方法提出了姿态融合三维人体重建网络与图神经辐射场三维人体重建网络，通过姿态融合三维人体重建网络重建360度视角的网格形式人体三维模型，通过图神经辐射场三维人体重建网络从人体图像中重建符合精度人体神经辐射场，渲染得到人体任意角度的图像。

51、本发明同时考虑局部特征和全局特征，将融合的特征送入特征解码重建模块重建人体形状三维模型，由人体图像和表面法向图获取人体背面生成图像，利用人体图像和人体背面生成图像进行纹理映射，取得了良好的形状重建效果和颜色纹理重建效果，进一步提高了人体三维模型的重建质量。