一种基于背景风格迁移的3D目标迷彩生成方法

一种基于背景风格迁移的3d目标迷彩生成方法
技术领域
1.本发明涉及计算机视觉及深度学习技术领域，具体而言涉及一种基于背景风格迁移的3d目标迷彩生成方法。


背景技术：

2.随着科技的快速发展，目标检测技术越来越发达，如何保证重要目标不被算法检测出来变得越来越重要。迷彩伪装技术通过将迷彩图案喷涂在目标表面，使目标的表面与周围环境相一致，降低与周围背景之间的视觉差异，从而减少目标被侦察探测到的几率，实现了对目标的保护。
3.早期的迷彩图案设计主要参考了条纹和块状斑点的样式，由于这种图案较为规则且边缘较为平滑，没有考虑到目标的实际背景，导致在视觉上缺乏层次感，并且早期的迷彩图案是在二维图像中设计的(滕旭.基于生成对抗网络的数码迷彩生成研究[d].西南科技大学,2021.doi:10.27415/d.cnki.gxngc.2021.000342.)。为了验证迷彩图案的有效性，通常需要将迷彩图案喷涂于目标表面后测试其相对于环境的伪装程度和伪装效果，目标表面连接处会出现迷彩图案不连续的现象，从而影响目标的伪装效果；另外，这种验证方式比较费时费力，验证效果并不理想。
[0004]
因此，如何针对不同背景环境快速生成具有高质量、抗侦察能力强的迷彩已成为现代化迷彩生成的关键。


技术实现要素：

[0005]
本发明的目的是提供一种基于背景风格迁移的3d目标迷彩生成方法，依据场景图像中的背景图像特征对3d目标进行伪装，所生成的迷彩图案与背景图像特征相关性大，有利于将3d目标藏匿场景图像中，提高了3d目标的伪装效果。
[0006]
本发明为解决技术问题所采用的技术方案如下：
[0007]
本发明的一种基于背景风格迁移的3d目标迷彩生成方法，包括以下步骤：
[0008]
(1)选择待渲染迷彩图案的3d目标模型和3d目标模型渲染迷彩图案后藏匿的场景图像；
[0009]
(2)选定3d目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；
[0010]
(3)利用多边形网格方式表示3d目标模型；
[0011]
(4)构建风格特征提取网络和神经网络渲染器；
[0012]
(5)利用风格特征提取网络从场景图像中提取的背景风格，迁移至3d目标模型中，即从场景图像中生成迷彩图案作为3d目标模型的纹理图案；
[0013]
(6)利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3d目标模型表面，以完成3d目标模型的伪装；
[0014]
(7)将得到的渲染迷彩图案后的3d目标模型融合到场景图像中；
[0015]
(8)利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。
[0016]
进一步的，步骤(4)中，所述风格特征提取网络具体采用：预训练vgg-16卷积神经网络并使用其conv1_2层、conv2_3层、conv3_3层和conv4_3层作为风格特征提取器。
[0017]
进一步的，步骤(4)中，所述神经网络渲染器具体采用：基于neural 3d mesh renderer的渲染器。
[0018]
进一步的，步骤(5)具体包括以下步骤：
[0019]
1)构建目标损失函数l＝λclc+λsls，其中，lc、ls分别为内容损失函数和风格损失函数，λc、λs分别为内容损失权重和风格损失权重；
[0020]
2)根据目标损失函数训练风格迁移神经网络，使其能将场景图像中提取的背景风格迁移至3d目标模型中，从场景图像中生成迷彩图案作为3d目标模型的纹理图案。
[0021]
进一步的，所述内容损失函数lc的表达式如下：
[0022][0023]
其中，mc为目标3d网格，m为风格迁移后的目标3d网格，vi、分别为背景风格迁移后渲染的3d目标模型中的顶点和原始的3d目标模型对应的顶点。
[0024]
进一步的，所述风格损失函数ls的表达式如下：
[0025][0026]
其中，x、xs分别为背景风格迁移后渲染的3d目标模型的纹理图案和从场景图像中提取的背景风格特征图，m(x)将向量转换为gram矩阵，fs(x)为风格特征提取网络。
[0027]
进一步的，步骤2)中，利用投影变换操作将三维的点投影到二维平面，基于二维顶点的坐标，通过采样方式从3d目标模型的各个面提取颜色，生成最终的二维图像，完成光栅化操作。
[0028]
进一步的，所述投影变换操作是一个可微分的离散函数，通过对3d目标模型面的边缘部分进行模糊处理，使得像素的颜色产生连续变化，进而产生梯度值，利用其传递误差函数的梯度以训练风格迁移神经网络。
[0029]
进一步的，步骤(6)和步骤(7)具体包括以下步骤：
[0030]
构建adam优化器训练神经网络，设置该网络参数：β1＝0.9和β2＝0.999，初始学习率设置成0.1，一共进行1000次的迭代训练，迭代完成后得到渲染迷彩图案后的3d目标模型；
[0031]
利用以下公式将得到的渲染迷彩图案后的3d目标模型融合到场景图像中：
[0032]
i'＝si
bac
+(1-s)x
[0033]
其中，i
bac
为场景图像，x为渲染迷彩图案后的3d目标模型，s为图像融合因子，i'为渲染迷彩图案后的3d目标模型融合到场景图像中得到的图像。
[0034]
本发明的有益效果是：
[0035]
早期的迷彩图案设计主要参考了条纹和块状斑点的样式，没有考虑到目标的实际背景，导致在视觉上缺乏层次感，并且传统的迷彩图案是在二维图像中设计的，将迷彩图案喷涂于目标表面时，表面连接处会出现迷彩图案不连续的现象。为了解决此问题，本发明提
供一种基于背景风格迁移的3d目标迷彩生成方法，该方法主要是通过选择待渲染迷彩图案的3d目标模型和3d目标模型渲染迷彩图案后藏匿的场景图像；然后选定3d目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；利用多边形网格方式表示3d目标模型；构建风格迁移神经网络、风格特征提取网络和神经网络渲染器；利用风格迁移神经网络将场景图像中提取的背景风格迁移至3d目标模型中，即从场景图像中生成迷彩图案作为3d目标模型的纹理图案；利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3d目标模型表面，以完成3d目标模型的伪装；将得到的渲染迷彩图案后的3d目标模型融合到场景图像中；最后利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。
[0036]
本发明的一种基于背景风格迁移的3d目标迷彩生成方法，与现有参考条纹和块状斑点样式的迷彩图案相比，具有更好的目标伪装效果。本发明通过选定3d目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像，充分考虑了目标的实际背景对于视觉上的影响，使最终的伪装效果更具有视觉上的层次感，提高了目标的伪装效果。
[0037]
另外，为了确保迷彩图案在目标上的连续性，本发明利用图像风格迁移神经网络生成迷彩图案，并将其渲染于3d目标模型上，以供直观的评估迷彩图案的效果，然后将渲染迷彩图案后的3d目标模型融合于场景图像中，利用训练好的目标检测网络验证迷彩图案的在场景图像中的有效性。本发明不仅可以在3d目标模型上直观的观察到迷彩图案的真实显示效果，保证了迷彩图案在目标上的连续性，而且还可以利用目标检测算法验证生成的迷彩图案在场景中的有效性，操作简便，省时省力。
[0038]
利用本发明的一种基于背景风格迁移的3d目标迷彩生成方法生成的迷彩图案充分利用了背景特征，保证了迷彩图案在目标表面连接处的连续性，该迷彩图案具有质量高、抗侦察能力强的特点。
附图说明
[0039]
图1为本发明的一种基于背景风格迁移的3d目标迷彩生成方法的流程图。
[0040]
图2为3d目标模型渲染迷彩图案后所要藏匿的场景图像。
[0041]
图3为待渲染迷彩图案的3d目标模型示意图。图中，a为3d目标模型右侧视图，b为3d目标模型左侧视图，c为3d目标模型前视图。
[0042]
图4为渲染迷彩图案后的3d目标模型示意图。图中，a为渲染迷彩图案后的3d目标模型右侧视图，b为渲染迷彩图案后的3d目标模型左侧视图，c为渲染迷彩图案后的3d目标模型前视图。
[0043]
图5为渲染迷彩图案后的3d目标模型融合到场景图像中的效果图。
[0044]
图6为目标检测结果。
[0045]
图7为本发明的一种基于背景风格迁移的3d目标迷彩生成方法的具体流程图。
具体实施方式
[0046]
如图1和图7所示，本发明的一种基于背景风格迁移的3d目标迷彩生成方法，主要包括以下步骤：
[0047]
(1)选择待渲染迷彩图案的3d目标模型和3d目标模型渲染迷彩图案后藏匿的场景图像；
[0048]
(2)选定3d目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；
[0049]
(3)利用多边形网格方式表示3d目标模型；
[0050]
(4)构建风格特征提取网络和神经网络渲染器以完成2d图像到3d目标的风格迁移；
[0051]
(5)利用风格特征提取网络从场景图像中提取的背景风格，迁移至3d目标模型中，即从场景图像中生成迷彩图案作为3d目标模型的纹理图案；
[0052]
(6)利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3d目标模型表面，以完成3d目标模型的伪装；
[0053]
(7)将得到的渲染迷彩图案后的3d目标模型融合到场景图像中；
[0054]
(8)利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。
[0055]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0056]
如图1和图7所示，本发明的一种基于背景风格迁移的3d目标迷彩生成方法，具体包括以下步骤：
[0057]
s1、首先选择待渲染迷彩图案的3d目标模型，该3d目标模型如图3所。
[0058]
s2、同时选择3d目标模型渲染迷彩图案后所要藏匿的场景图像，该场景图像如图2所示。
[0059]
s3、选定3d目标模型渲染迷彩图案后在场景图像中的位置区域，该位置区域如图2中的矩形框区域所示。
[0060]
s4、提取3d目标模型渲染迷彩图案后在场景图像中的位置区域的背景图像。
[0061]
s5、利用多边形网格方式表示3d目标模型，多边形网格是构成3d对象的顶点，边缘和面的集合，其希望通过一种易于渲染的方式来表示三维物体模型。
[0062]
s6、构建风格特征提取网络和神经网络渲染器以完成2d图像到3d目标的风格迁移。
[0063]
其中，所说的风格特征提取网络具体采用：预训练vgg-16卷积神经网络并使用其conv1_2层、conv2_3层、conv3_3层和conv4_3层作为风格特征提取器。
[0064]
其中，所说的神经网络渲染器具体采用：基于neural 3d mesh renderer的渲染器。
[0065]
s7、利用风格迁移神经网络将场景图像中提取的背景风格迁移至3d目标模型中，即从场景图像中生成迷彩图案作为3d目标模型的纹理图案。
[0066]
具体包括以下步骤：
[0067]
s7.1构建目标损失函数l＝λclc+λsls，其中，lc、ls分别为内容损失函数和风格损失函数，lc、λs分别为内容损失权重和风格损失权重。
[0068]
构建内容损失函数lc，其表达式如下：
[0069][0070]
其中，mc为目标3d网格，m为风格迁移后的目标3d网格，vi、分别为背景风格迁移后渲染的3d目标模型中的顶点和原始的3d目标模型对应的顶点。所构建的内容损失函数，其作用主要是确保背景风格迁移前后3d目标模型形状的一致性。
[0071]
构建风格损失函数ls，其表达式如下：
[0072][0073]
其中，x、xs分别为背景风格迁移后渲染的3d目标模型的纹理图案和从场景图像中提取的背景风格特征图，m(x)将向量转换为gram矩阵，fs(x)为风格特征提取器即步骤s6中构建的风格特征提取网络。
[0074]
s7.2根据构建的目标损失函数进行训练风格迁移神经网络，使其能将场景图像中提取的背景风格迁移至3d目标模型中，从而完成从场景图像中生成迷彩图案作为3d目标模型的纹理图案。
[0075]
将从场景图像中提取的背景风格渲染于3d目标模型中，首先需要将三维的点投影到二维平面，这个过程需要进行一系列的投影变换操作。随后，基于二维顶点的坐标，可以通过采样的方式从3d目标模型的各个面提取颜色，从而生成最终的二维图像，这个过程称之为光栅化。
[0076]
其中，所说的投影变换操作通常是一个可微分的离散函数，光栅化操作的梯度在大部分情况下为零，因而不能用于风格迁移神经网络训练过程中传递误差函数的梯度。对3d目标模型面的边缘部分进行模糊处理，从而使得像素的颜色产生连续变化，进而产生了梯度值，利用其传递误差函数的梯度以训练风格迁移神经网络。
[0077]
s8、利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3d目标模型表面，以完成3d目标模型的伪装。
[0078]
具体包括以下步骤：
[0079]
首先构建adam优化器训练神经网络，然后设置该网络参数：β1＝0.9和β2＝0.999，初始学习率设置成0.1，一共进行1000次的迭代训练，迭代完成后得到渲染迷彩图案后的3d目标模型，如图4所示。
[0080]
s9、利用以下公式将步骤s8中得到的渲染迷彩图案后的3d目标模型融合到场景图像中，实现3d目标模型的藏匿。具体处理为：
[0081]
i'＝si
bac
+(1-s)x
[0082]
其中，i'为渲染迷彩图案后的3d目标模型融合到场景图像中得到的图像，i
bac
为场景图像，x为渲染迷彩图案后的3d目标模型，s为图像融合因子。经过图像融合后的结果如图5所示，渲染迷彩图案后的3d目标模型位于图5中的矩形框区域。
[0083]
s10、利用训练好的目标检测网络验证本发明的一种基于背景风格迁移的3d目标迷彩生成方法的性能。
[0084]
具体包括以下步骤：
[0085]
利用yolov5目标检测器作为目标检测网络，利用不包含渲染迷彩图案的目标数据
训练yolov5目标检测器，使其能识别出场景图像中的目标数据；然后将步骤s9中得到的渲染迷彩图案后的3d目标模型融合于场景图像中的图像作为输入，得到目标检测结果。
[0086]
结果如图6所示，矩形框区域即为检测出的目标。通过上述实验可知，本发明的一种基于背景风格迁移的3d目标迷彩生成方法，所生成的迷彩图案具有较好的伪装效果。
[0087]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。