一种基于单张照片的目标立体化智能生成方法

1.本发明涉及计算机图像处理技术领域，具体指一种基于单张照片的目标立体化智能生成方法。


背景技术：

2.在人物形象数字化方面，除了构建完整的三维模型外，塑造带一定立体感的目标立体化形象在丰富人们虚拟体验和提高互联网内容多样性方面具有很高的艺术和应用价值。特别是随着元宇宙的逐步发展，人们对虚拟形象的多样化需求将变得更加迫切。然而，不同于以往的平面图像类数据的生成方式，目标立体化形象的设计制作依赖于专业建模软件，因此不利于普及。
3.目标立体化形象不同于完整的三维模型，它被限制在一定高度范围内，但又需要呈现重要特征以及高度层次感的间于二维图像和三维模型之间的艺术形态。如何将目标照片快速转化为数字化目标立体化形象成为虚拟形象相关应用的重要基础。现有数字化目标立体化构建方法主要依赖于专业建模软件、三维扫描重建或者多视图三维重建再加目标立体化压制算法转化，不仅对技术和设备的要求高，而且十分费时费力。


技术实现要素：

4.本发明提出一种基于单张照片的目标立体化智能生成方法，降低该过程对设备和专业技能的依赖和要求，降低每个互联网用户进行虚拟内容生产制作的门槛，使其变得像拍照那样的便捷。
5.为了解决上述技术问题，本发明的技术方案为：
6.一种基于单张照片的目标立体化智能生成方法，包括如下步骤：
7.s1、构建数据集，包括单个人物模型及由多个人物构成的场景，获取多个视角下带纹理的渲染图以及相应视角下的原始高度图；
8.s2、构建特征提取网络模型，所述特征提取网络模型包括结构特征提取模块和细节特征提取模块，输入原始高度图通过结构特征提取模块得到结构高度图，通过细节特征提取模块得到细节高度图，
9.所述结构特征提取模块的损失函数如下：
[0010][0011]
其中，hi(u,v)表示三维场景的原始高度图，φ1(u,v)表示结构梯度调节函数，ω表示整个图像域，而hs(u,v)表示模型输出的结构高度图，
[0012]
所述细节特征提取模块的损失函数如下：
[0013][0014]
其中，hi(u,v)表示三维场景的原始高度图，φ2(u,v)表示细节梯度调节函数，hd(u,v)表示模型输出的细节高度图，δ表示拉普拉斯算子，而div表示散度算子；
[0015]
s3、将得到的结构高度图和细节高度图通过加权融合得到完整的目标立体化形象模型；
[0016]
s4、目标立体化形象模型作可选的图像后处理，所述图像后处理包括图像重新光照化，彩色照片灰度化以及对照片作非真实渲染处理。
[0017]
作为优选，所述步骤s1中，原始高度图的采集方法，设定光照条件模拟现实中的照片的采集环境，通过目标三维模型的形变、组合获得大量三维场景，结合多视图构建适合各种规模深度网络模型的数据集。
[0018]
作为优选，所述光照条件包括无光照环境、高动态范围贴图环境光以及正面方向的光源光照。
[0019]
作为优选，所述步骤s2中，结构高度图获取方法，通过结构特征提取模块通过引入梯度调节函数处理原始高度图的梯度向量，从而去除三维场景原始高度图中与背景之间较大的高度间隙，同时保持必要的高度层次感，然后结合对数据集中的高度图梯度分布确定具体的梯度调节函数中的参数用于去除不必要的模值较大的梯度向量，并引入定义在梯度域上的损失函数。
[0020]
作为优选，所述梯度调节函数采用如下梯度调节函数，表达式如下：
[0021][0022]
其中，参数α的取值可根据高度图的分辨率而定，如当分辨率为1024
×
1024时，取值为256，该函数的特点是将大于一定值的梯度模值统一变换到1，进而隐式地消除了原来较大的梯度模值。
[0023]
作为优选，所述步骤s2中，细节高度图获取方法，所述细节特征提取模型通过细节梯度调节函数来处理高度图的梯度向量，再结合散度算子div计算高度图的局部细节，所述细节梯度调节函数φ2(u,v)为使用两个不同参数α值的所述梯度调节函数s(x,α)之差，其具体形式为，，
[0024]
φ2(x,α1,α2)＝(s(||x||,α2)-s(||x||,α1))x
[0025]
作为优选，所述步骤s3的加权融合表达式如下：
[0026]
h(u,v)＝γ(hs(u,v)，hd(u,v))
[0027]
其中，γ(
·
，
·
)表示具体的融合方式。
[0028]
本发明具有以下的特点和有益效果：
[0029]
采用上述技术方案，无需三维模型来生成目标立体化形象，只需根据单张人像照片就能生成反映整体立体感和局部几何细节的目标立体化形象，从而解决了现有的目标立体化生成方法由于需要手工设计制作或三维扫描、重建等费时费力的环节而不利于应用发展的问题。而且，生成的目标立体化高度图为原始照片提供了几何信息，如法线和曲率等，用于针对原始照片的效果处理，如重新光照、动漫风格化、线绘制非真实感渲染等，所以本发明不仅提出了一种新的应用技术方案，同时还提供了一个结合图像处理和计算机图形学的交叉领域。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明实施例一种基于单张照片的目标立体化智能生成方法的流程图。
[0032]
图2为本发明中数据集的构成，包括albedo图、掩膜图、高度图以及若干光照渲染图。
[0033]
图3为本发明实施例中结构特征提取模块流程示意图。
[0034]
图4为本发明实施例中细节特征提取模块流程示意图。
[0035]
图5为本发明实施例中两模块输出的融合示例图。
[0036]
图6为本发明实施例多视角效果图。
[0037]
图7、8为本发明实施例中更多例子效果展示。
具体实施方式
[0038]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0039]
本发明提供了一种基于单张照片的目标立体化智能生成方法，如图1所示，包括如下步骤：
[0040]
s1、构建数据集，包括单个人物模型及由多个人物构成的场景，获取多个视角下带纹理的渲染图以及相应视角下的原始高度图。
[0041]
需要说明的是，所述原始高度图的采集是同一个场景在不同光照条件下会得到不同照片，为了模拟这一点，设定若干组光照条件，包括无光照只有纹理贴图、高动态范围贴图环境光以及正面方向的光源光照。以这些方式近似模拟现实中的照片的采集环境，从而提高模型对实际照片的处理性能。通过目标三维模型的形变、组合等操作可以获得成千上万个三维场景，结合多视图可以构建适合各种规模深度网络模型的数据集。
[0042]
s2、构建特征提取网络模型，所述特征提取网络模型包括结构特征提取模块和细节特征提取模块，输入原始高度图通过结构特征提取模块得到结构高度图，通过细节特征提取模块得到细节高度图，
[0043]
所述结构特征提取模块的损失函数如下：
[0044][0045]
其中，hi(u,v)表示三维场景的原始高度图，φ1(u,v)表示结构梯度调节函数，ω表示整个图像域，而hs(u,v)表示模型输出的结构高度图，
[0046]
具体的，结构高度图获取方法，通过结构特征提取模块通过引入梯度调节函数处理原始高度图的梯度向量，从而去除三维场景原始高度图中与背景之间较大的高度间隙，同时保持必要的高度层次感，然后结合对数据集中的高度图梯度分布确定具体的梯度调节函数中的参数用于去除不必要的模值较大的梯度向量，并引入定义在梯度域上的损失函数。
[0047]
需要说明的是，梯度调节函数并不局限于某一个具体函数，它的主要作用是减小或者消除高度图中较大的梯度模值(如前景、背景交界处)，增大较小的梯度模值，从而去除三维场景原始高度图中与背景之间较大的高度间隙，同时保持必要的高度层次感。
[0048]
因此本实施例中梯度调节函数采用如下梯度调节函数，表达式如下：
[0049][0050]
其中，参数α的取值可根据高度图的分辨率而定，如当分辨率为1024
×
1024时，取值为256，该函数的特点是将大于一定值的梯度模值统一变换到1，进而隐式地消除了原来较大的梯度模值。
[0051]
上述技术方案中，数据集中的每张输入原始高度图并没有图像中人物的目标立体化形象，因此本实施例中并不能直接使用监督学习方法。
[0052]
需要说明的是，为了联合多个分辨率上的特征，由渲染图到结构高度图的神经网络采用基于densenet和unet结合的架构，在性能和规模上取得较好的折中。
[0053]
可以理解的，上述技术方案中只有输入是已知的，而网络的输出(目标立体化高度图)并没有预先给定。为了解决这个问题，本实施例提出一个巧妙的解决方案，即让网络学习高度图的梯度，而不是直接学习表示目标立体化的高度图，而预学习的梯度值由采样自三维场景的原始高度图的梯度值经调节函数处理而得，不同调节函数可以提取不同频率的信息。为了更合理地兼容不同分辨率的输入照片，本实施例采用双分支形式的网络架构，其中一个分支是用于提取整体结构和层次感的结构模块；另一个是用于提取局部细节的细节模块。
[0054]
可以想到的，目标是从照片中提取一个能够反映整体高度层次感的高度图。由于数据集中并没有已知的目标立体化高度图，因此从照片对应的三维场景原始高度图中进行挖掘可利用信息。为了去除与前景与背景之间以及前景内部各部分之间存在的较大的高度间隙，同时保持中等规模的间隙以呈现必要的高度层次感(例如图3右图中人物的右手臂的高度值比其他区域的高度值要大)。
[0055]
进一步的，所述细节特征提取模块的损失函数如下：
[0056][0057]
其中，hi(u,v)表示三维场景的原始高度图，φ2(u,v)表示结构梯度调节函数，hd(u,v)表示模型输出的细节高度图，δ表示拉普拉斯算子，而div表示散度算子；
[0058]
具体的，所述步骤s2中，细节高度图获取方法，所述细节特征提取模型通过细节梯度调节函数来处理高度图的梯度向量，再结合散度算子div计算高度图的局部细节，所述细节梯度调节函数φ2(u,v)为使用两个不同参数α值的所述梯度调节函数s(x,α)之差，其具体形式为，
[0059]
φ2(x,α1,α2)＝(s(||x||,α2)-s(||x||,α1))x。
[0060]
可以理解的，上述技术方案中，是针对细节高度图而言，不同于结构高度图的获取，此处不需要保持层次感，因此专注于局部细节。
[0061]
需要说明的是，为了联合多个分辨率上的特征，由渲染图到结构高度图的神经网络采用基于densenet和unet结合的架构，在性能和规模上取得较好的折中。
[0062]
可以理解的，如图4所示，展示的是细节模块，目标是从照片中提取局部细节。由于结构高度图主要保持较大模值的梯度向量，因此会忽略较小模值梯度对应的细节。因此，细节高度图忽略高度的层次感，专注于梯度模值较小的局部细节。
[0063]
本实施例关键技术在于将目标立体化模型在结构和细节两个层次上进行解构，并在梯度域上分别设计相应的损失函数。
[0064]
可以理解的，梯度调节函数用于对高度图的梯度向量作非线性变换，关键步骤是引入阈值用于检测并去除不必要的模值较大的梯度，对剩余梯度向量作非线性缩放。结构模块和细节模块采用不同的阈值。
[0065]
s3、将得到的结构高度图和细节高度图通过加权融合得到完整的目标立体化形象模型
[0066]
具体的加权融合表达式如下：
[0067]
h(u,v)＝γ(hs(u,v)，hd(u,v))
[0068]
其中，γ(
·
，
·
)表示具体的融合方式，如线性或非线性加权。
[0069]
可以理解的，本实施例将人物模型渲染图以及表示人物前景的二值掩膜图像输入特征提取网络模型，得到结构特征提取模块和细节特征提取模块的输出，使用两个损失函数训练模型的两个模块。两个模块的输出本身也可以分别当作目标立体化形象，但结构特征提取模块输出的高度图主要呈现高度层次感，往往缺乏细节；而细节特征提取模块输出的高度图只呈现局部细节，缺乏整体立体感。因此，使用融合函数将两者以线性或非线性方式加权融合为目标立体化高度图。在融合步骤中，每个像素单独计算，这样适合高效的并行计算，方便用户通过选择加权参数来实时选择效果。
[0070]
s4、目标立体化形象模型作可选的图像后处理，所述图像后处理包括图像重新光照化，彩色照片灰度化以及对照片作非真实渲染处理。
[0071]
具体的，针对照片中可能存在的人脸区域作可选的后处理。训练一个针对人脸区域的由二维图像到三维人脸模型的转化模块，再将结果与目标立体化高度图作加权融合。该模块可以集成于整个网络，即修改数据集使得网络模型直接学习这种效果，而分离出来作为单独可选模块的好处是可以提供不同效果供用户选择。
[0072]
进一步的，图6给出了一个实际例子，结合多个视角可以看到整个目标立体化形象保持了照片中人物各部分的高度层次感，保持了重要特征如五官、脸部边缘、衣服褶皱等，并且整个目标立体化形象的边缘被全部压制到背景平面上了。包括多个人物照片的更多例子，如图7、8所示。值得注意的是，目标立体化形象并不同于完整的三维模型，而是高度被限制于一定范围内但又需要呈现重要特征的形式。本发明避免了三维重建这一中间步骤，直接实现了由人物照片到人物立体化形象的智能转化过程。
[0073]
综上本发明的技术特征在于：其一，除了手工制作外，现有的目标立体化生成方法主要是根据已有的三维目标模型来生成目标立体化形象模型，因此首先需要费时费力地构建目标模型的三维几何信息。本发明的特点是，直接输入单张照片，训练好的深度学习模型能够快速生成目标立体化形象，省时省力。其二，一般而言，现有的立体化形象缺少纹理，而照片缺少几何信息，本发明将两者融合，方便了将图像处理和计算机图形学两个领域的算法相结合来生成更多内容和效果。
[0074]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施
方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。