合成视景融合方法、装置、计算机设备和介质与流程

本公开的实施例涉及图像处理，具体地，涉及适用于一种合成视景融合方法、装置、计算机设备和介质。

背景技术：

1、为提高直升机在复杂地形和恶劣环境下的作战能力，快速标识障碍物及典型威胁目标并提醒飞行员注意是一个重要且关键的功能。飞行员在驾驶直升机的过程中，主要是通过飞机的飞行信息以及飞行员肉眼观看外部环境/场景，以规划直升机的飞行路线/飞行轨迹。

2、然而，难以为飞行员提供飞行参考，降低飞行安全性。

技术实现思路

1、本文中描述的实施例提供了一种合成视景融合方法、装置、计算机设备和介质，克服了上述问题。

2、第一方面，根据本公开的内容，提供了一种合成视景融合方法，包括：

3、确定虚拟场景中的相机投影矩阵，所述相机投影矩阵用于描述虚拟相机在所述虚拟场景中处于不同焦距下拍摄得到的虚拟照片之间的调整矩阵，所述虚拟场景是由真实场景预先构建得到的，所述虚拟相机对应所述真实场景中的物理相机，所述虚拟相机在所述虚拟场景中的位置坐标与所述物理相机在所述真实场景中的位置坐标相同；

4、确定所述虚拟相机的变换矩阵，所述变换矩阵用于描述所述虚拟相机在所述虚拟场景中处于不同距离时拍摄得到的虚拟照片之间的调整矩阵；

5、基于所述相机投影矩阵和所述变换矩阵，确定所述虚拟相机在所述虚拟场景中生成的虚拟场景图像；

6、融合所述物理相机在所述真实场景中拍摄得到的真实场景图像以及所述虚拟场景图像，得到所述真实场景图像与所述虚拟场景图像的合成视景；

7、其中，所述虚拟场景图像对应的拍摄参数与所述真实场景图像对应的拍摄参数相同，所述拍摄参数包括：焦距和拍摄距离。

8、第二方面，根据本公开的内容，提供了一种合成视景融合装置，包括：

9、第一确定模块，用于确定虚拟场景中的相机投影矩阵，所述相机投影矩阵用于描述虚拟相机在所述虚拟场景中处于不同焦距下拍摄得到的虚拟照片之间的调整矩阵，所述虚拟场景是由真实场景预先构建得到的，所述虚拟相机对应所述真实场景中的物理相机，所述虚拟相机在所述虚拟场景中的位置坐标与所述物理相机在所述真实场景中的位置坐标相同；

10、第二确定模块，用于确定所述虚拟相机的变换矩阵，所述变换矩阵用于描述所述虚拟相机在所述虚拟场景中处于不同距离时拍摄得到的虚拟照片之间的调整矩阵；

11、第三确定模块，用于基于所述相机投影矩阵和所述变换矩阵，确定所述虚拟相机在所述虚拟场景中生成的虚拟场景图像；

12、融合模块，用于融合所述物理相机在所述真实场景中拍摄得到的真实场景图像以及所述虚拟场景图像，得到所述真实场景图像与所述虚拟场景图像的合成视景；

13、其中，所述虚拟场景图像对应的拍摄参数与所述真实场景图像对应的拍摄参数相同，所述拍摄参数包括：焦距和拍摄距离。

14、第三方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如以上任意一个实施例中合成视景融合方法的步骤。

15、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任意一个实施例中合成视景融合方法的步骤。

16、本申请实施例提供的合成视景融合方法，通过确定虚拟场景中的相机投影矩阵，相机投影矩阵用于描述虚拟相机在虚拟场景中处于不同焦距下拍摄得到的虚拟照片之间的调整矩阵，虚拟场景是由真实场景预先构建得到的，虚拟相机对应真实场景中的物理相机，虚拟相机在虚拟场景中的位置坐标与物理相机在真实场景中的位置坐标相同；确定虚拟相机的变换矩阵，变换矩阵用于描述虚拟相机在虚拟场景中处于不同距离时拍摄得到的虚拟照片之间的调整矩阵；基于相机投影矩阵和变换矩阵，确定虚拟相机在虚拟场景中生成的虚拟场景图像；融合物理相机在真实场景中拍摄得到的真实场景图像以及虚拟场景图像，得到真实场景图像与虚拟场景图像的合成视景；其中，虚拟场景图像对应的拍摄参数与真实场景图像对应的拍摄参数相同，拍摄参数包括：焦距和拍摄距离。如此，通过虚拟场景中的相机投影矩阵以及虚拟相机的变换矩阵，在虚拟场景中构建出虚拟相机，以对虚拟相机拍摄的虚拟场景图像和物理相机拍摄得到的真实场景图像进行融合，有效得到虚拟场景和真实场景融合后的合成视景，便于飞行员作为飞行参考，提升驾驶安全性。

17、上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种合成视景融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定虚拟场景中的相机投影矩阵，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述虚拟相机的变换矩阵，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述相机投影矩阵和所述变换矩阵，确定所述虚拟相机在所述虚拟场景中生成的虚拟场景图像，包括：

5.根据权利要求3所述的方法，其特征在于，所述融合所述物理相机在所述真实场景中拍摄得到的真实场景图像以及所述虚拟场景图像，得到所述真实场景图像与所述虚拟场景图像的合成视景，包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.一种合成视景融合装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如权利要求1～7中任一所述的合成视景融合方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1～7中任一所述的合成视景融合方法。

技术总结
本公开提供一种合成视景融合方法、装置、计算机设备和介质，包括：确定虚拟场景中的相机投影矩阵；确定虚拟相机的变换矩阵，变换矩阵用于描述虚拟相机在虚拟场景中处于不同距离时拍摄得到的虚拟照片之间的调整矩阵；基于相机投影矩阵和变换矩阵，确定虚拟相机在虚拟场景中生成的虚拟场景图像；融合物理相机在真实场景中拍摄得到的真实场景图像以及虚拟场景图像，得到真实场景图像与虚拟场景图像的合成视景；其中，虚拟场景图像对应的拍摄参数与真实场景图像对应的拍摄参数相同，拍摄参数包括：焦距和拍摄距离。从而，有效得出虚拟场景和真实场景融合后的合成视景，便于飞行员作为飞行参考，提升驾驶安全性。

技术研发人员：王峰
受保护的技术使用者：北京中航双兴科技有限公司
技术研发日：
技术公布日：2024/1/15