一种适用于自动驾驶场景下的车辆数字孪生方法

本发明属于计算机视觉和计算机图形学领域，特别设计的一种适用于自动驾驶场景下的车辆数字孪生方法。

背景技术：

1、nerf(神经辐射场，neural radiance fields)是一种基于深度学习的3d重建方法，可以生成高质量的3d重建结果，能够捕捉真实世界中的微小细节和真实光照，同时对复杂场景有良好的适应性，比传统的基于表面的方法更为精细和真实，可以进行视角的自由变换。nerf的出现推动了3d渲染和新视图合成领域的极大发展，同时也推动了数字孪生技术的应用。但由于nerf模型的训练需要利用同一物体的多个视图，在训练期间采用显式先验，或需要像素的完美的标签，而在交通场景下，物体可能被遮挡，在尺度上有很大的变异性，这使得nerf在交通车辆场景下做到真正的应用变得很困难。

技术实现思路

1、针对上述问题，本发明提供一种适用于自动驾驶场景下的车辆数字孪生技术，通过神经网络来学习一种标准化的、以物体为中心的表示，描述并解耦物体的形状、外观和姿势。通过外观和形状解码器以及体渲染技术将这些信息解码为新的目标视图，从而在交通车辆场景下实现数字孪生的应用。

2、为此，本发明采用的技术方案如下：

3、一种适用于自动驾驶场景下的车辆数字孪生方法，其包括以下步骤：

4、s1：获取存在多个感兴趣物体的道路rgb图像分别利用3d物体检测器和全景分割器对rgb图像进行3d物体检测和实例分割，为每个物体实例提取自身三维信息以及整张图像的实例分割掩码，每个物体实例的自身三维信息包括中心位置坐标p、3d边界框β和自身旋矩阵r，利用物体边界框信息将每个物体实例分别从rgb图像和分割掩码中截取出来，得到实例图像i'和实例掩码y'；再将每个物体实例的实例掩码y'进行类标注，为每个像素标注一个区分前景像素、背景像素和未知像素的类标签yu，从而生成2d占用掩码y；利用该2d占用掩码y的类标签yu将实例图像i'中除了前景像素外，其余的像素值都置为0，得到2d掩码图像i；在相机空间中，针对每个物体实例的2d掩码图像i，为每个像素生成一条相机射线ρ，利用物体实例的自身三维信息将其在相机空间中的每条射线ρ映射到归一化对象坐标空间(nocs)，形成以物体为中心的射线r；

5、s2：针对每个物体实例，将其2d掩码图像i输入神经网络编码器φe中，分别生成形状码φs和外观码φa；

6、s3、针对每个物体实例，将其形状码φs输入一个形状解码器ψs后隐式输出一个占用网络σ，将其形状码φs和外观码φa输入一个外观解码器ψa后隐式输出一个外观网络c；同时，在归一化对象坐标空间(nocs)中对每条射线r进行离散点采样，得到各个采样点的3d坐标x和射线的方向d；将每条射线r上的各采样点3d坐标x输入占用网络σ中，得到射线r上各采样点在归一化对象坐标空间中的体积密度；再将射线r上各采样点3d坐标x以及射线r的方向d输入外观网络c，得到射线r上每个各采样点在归一化对象坐标空间中的rgb颜色；由占用网络σ和外观网络c生成每个物体实例对应的神经辐射场；

7、s4、针对每个物体实例，基于其对应的神经辐射场进行体积渲染，得到物体空间下的物体图像；

8、s5、将道路rgb图像中所有的物体图像，利用物体实例的自身三维信息将其从物体空间转换至世界坐标系中，得到最终渲染图像；

9、s6、根据指定的相机观察视角对原始相机空间进行变换得到新的相机空间，然后再重新进行渲染，即可得到指定观察视角下的车端场景视图或路端场景视图。

10、作为优选，所述2d占用掩码y中，类标签yu∈{-1,0,1}，其中标签1代表属于物体实例掩码的前景像素，标签-1代表没有遮挡感兴趣物体的背景像素，标签0代表除前景像素和背景像素之外的其他未知像素。

11、作为优选，将相机空间中的射线ρ映射到以物体为中心的坐标空间下的射线r时，所用的变换矩阵为：

12、

13、其中：r为由所述3d物体检测器检测得到的物体的自身旋矩阵，p为由所述3d物体检测器检测得到的物体的3d坐标。

14、作为优选，所述神经网络编码器φe以cnn特征提取器作为主干网络来提取2d掩码图像i的中间特征，且提取到的中间特征被送入两个平行的基于多层感知机的输出头，分别得到2d掩码图像i对应的形状码φs和外观码φa。

15、作为优选，所述形状解码器ψs和外观解码器ψa均为由6个隐藏维度为128的resnet块组成的多层感知机，能够将物体的形状和外观颜色进行解耦。

16、作为优选，所述体积渲染过程中，需要对每条相机射线r分别进行体积渲染，每一次体积渲染产生一个像素点在所述物体图像中的颜色值。

17、作为优选，所述神经网络编码器φe、形状解码器ψs和外观解码器ψa预先进行联合训练，训练的损失函数为光度损失项和占用损失项的加权和；

18、所述光度损失项的计算式为：

19、

20、其中表示2d掩码图像i的前景像素集合，iu表示2d掩码图像i中像素u的像素值，v(ru|σ,c)表示体积渲染得到的所述物体图像中像素u的像素值；

21、所述占用损失项的计算式为：

22、

23、其中表示2d掩码图像i的前景和背景像素集合，yu表示2d占用掩码y中像素u的值，α(ru,σ)表示像素u对应相机射线上的累积透射率分量。

24、作为优选，所述s5中，对于每一个物体图像，利用转换矩阵将物体从自身坐标系投射到原始相机位置对应的世界坐标系下，得到最终渲染的图像。

25、作为优选，所述s6中，利用变换矩阵先将相机空间中的每条射线ru映射到新的相机空间下，再映射到归一化对象坐标空间(nocs)中，然后将物体从自身坐标系投射到新的相机位置对应的世界坐标系下，最后再重新进行渲染，即渲染出在新的相机位置p′(x′y′z′)和新的观察方向r′下的图像。

26、相对于现有技术而言，本发明的有益效果如下：

27、本发明的一种适用于自动驾驶场景下的车辆数字孪生技术，改进nerf在交通车辆场景下应用的局限性，与大多数现有方法相比，该方法在训练期间仅利用物体的单个视图，而不利用其他3d物体形状先验(例如cad模型)。我们的方法利用3d对象检测器和全景分割器，来学习标准化的以对象为中心的表示，该表示与物体的姿势无关并被分解为形状和外观代码。这两个编码被解码为对象的隐式辐射场表示，然后可以将其渲染为新的目标视图。实验表明，本发明的方法可以很好地泛化到看不见的物体，并且无论是在车端场景还是路端场景下的应用效果都非常好，能够很好地在自动驾驶场景下实现数字孪生的应用，具有良好的应用价值。

技术特征：

1.一种适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，包括以下步骤：

2.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述2d占用掩码y中，类标签yu∈{-1,0,1}，其中标签1代表属于物体实例掩码的前景像素，标签-1代表没有遮挡感兴趣物体的背景像素，标签0代表除前景像素和背景像素之外的其他未知像素。

3.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，将相机空间中的射线ρ映射到以物体为中心的坐标空间下的射线r时，所用的变换矩阵为：

4.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述神经网络编码器φe以cnn特征提取器作为主干网络来提取2d掩码图像i的中间特征，且提取到的中间特征被送入两个平行的基于多层感知机的输出头，分别得到2d掩码图像i对应的形状码φs和外观码φa。

5.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述形状解码器ψs和外观解码器ψa均为由6个隐藏维度为128的resnet块组成的多层感知机，能够将物体的形状和外观颜色进行解耦。

6.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述体积渲染过程中，需要对每条相机射线r分别进行体积渲染，每一次体积渲染产生一个像素点在所述物体图像中的颜色值。

7.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述神经网络编码器φe、形状解码器ψs和外观解码器ψa预先进行联合训练，训练的损失函数为光度损失项和占用损失项的加权和；

8.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述s5中，对于每一个物体图像，利用转换矩阵将物体从自身坐标系投射到原始相机位置对应的世界坐标系下，得到最终渲染的图像。

9.如权利要求所述的适用于自动驾驶场景下的车辆数字孪生方法，其特征在于，所述s6中，利用变换矩阵先将相机空间中的每条射线ru映射到新的相机空间下，再映射到归一化对象坐标空间(nocs)中，然后将物体从自身坐标系投射到新的相机位置对应的世界坐标系下，最后再进行重新渲染，即渲染出在新的相机位置p′(x′y′z′)和新的观察方向r′下的图像。

技术总结
本发明公开了一种适用于自动驾驶场景下的车辆数字孪生方法，是一种新视图合成的应用，用于在交通场景下渲染出具有高保真度的车辆3D视图。主要包含如下步骤：1、数据预处理，得到用于模型渲染的输入数据；2、转换相机空间，使之以物体为中心；3、利用神经网络编码器对图像进行编码；4、利用解码器对物体的形状和外观进行解码；5、利用体积渲染，进行逐像素的渲染；6、坐标系转换，进行车端以及路端场景的实际应用。本发明解决了NeRF在交通车辆场景下应用的困境，实现数字孪生技术在自动驾驶场景下的应用。

技术研发人员：李玺,倪秉楠,王环宇
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/15