视频透视方法、装置、终端设备及存储介质与流程

本发明属于图像处理，尤其涉及一种视频透视方法、装置、终端设备以及计算机可读存储介质。

背景技术：

1、随着科技的快速发展，虚拟现实行业迎来了爆发式成长，若干消费级别的量产产品，现在已经做到近千万级别的年销量。

2、目前，常见的透视实现方式主要有光学透视和视频透视，其中，视频透视的实现方式是通过相机捕捉真实世界的实时视图，然后与计算机图像技术结合在一起，呈现在不透明的显示器上，此外，视频透视方法的主要目的就是将两个摄像头采集的画面正确显示在显示屏上，画面像素对齐，产生立体效果，并且与真实世界对齐，从而模拟出真实世界，但是视频透视方法存在两个相机在安装时无法实现完全对齐，导致的双目画面显示时出现画面对齐误差，以及未考虑画面与视线的平行对齐效果的问题。

3、综上，如何通过校正双目相机获取的图像，使得左右双目画面对齐，且画面与视线平行，从而产生立体效果，提高用户体验，已经成为图像处理技术领域亟待解决的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种视频透视方法、装置、终端设备以及计算机可读存储介质。旨在通过校正双目相机获取的图像，使得左右双目画面对齐，且画面与视线平行，从而产生立体效果，提高用户体验。

2、为了实现上述目的，本发明提供一种视频透视方法，所述视频透视方法包括：

3、获取第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据；

4、对所述第一图像数据进行立体校正，得到第三图像数据和所述第一摄像头对应的第一投影矩阵；

5、对所述第二图像数据进行立体校正，得到第四图像数据和所述第二摄像头对应的第二投影矩阵；

6、基于所述第一摄像头和所述第二摄像头对应的目标旋转矩阵、所述第一投影矩阵和所述第二投影矩阵，对所述第三图像数据和所述第四图像数据进行平行校正，得到第一透视图像数据和第二透视图像数据。

7、可选地，在所述获取第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据的步骤之前，所述方法还包括：

8、对第一摄像头和第二摄像头进行标定，得到所述第一摄像头的第一内参、所述第二摄像头的第二内参以及所述第一摄像头和所述第二摄像头之间的第一外参；

9、基于所述第一内参、所述第二内参和所述第一外参，分别确定所述第一摄像头对应的第一旋转矩阵和所述第二摄像头对应的第二旋转矩阵。

10、可选地，所述对所述第一图像数据进行立体校正，得到第三图像数据和所述第一摄像头对应的第一投影矩阵的步骤，包括：

11、基于所述第一旋转矩阵对所述第一图像数据进行立体校正，得到第三图像数据和所述第一摄像头对应的第一投影矩阵；

12、所述对所述第二图像数据进行立体校正，得到第四图像数据和所述第二摄像头对应的第二投影矩阵的步骤，包括：

13、基于所述第二旋转矩阵对所述第二图像数据进行立体校正，得到第四图像数据和所述第二摄像头对应的第二投影矩阵。

14、可选地，所述方法还包括：

15、对所述第一摄像头和惯性测量单元进行标定，得到所述第一摄像头和所述惯性测量单元之间的第二外参；

16、基于所述第二外参和所述第一旋转矩阵，确定所述第一摄像头和所述第二摄像头对应的目标旋转矩阵。

17、可选地，所述基于所述第二外参和所述第一旋转矩阵，确定所述第一摄像头和所述第二摄像头对应的目标旋转矩阵的步骤，包括：

18、根据所述第二外参确定所述惯性测量单元的第一坐标系朝向；

19、根据所述第一旋转矩阵确定所述第一摄像头的第二坐标系朝向；

20、根据所述第一坐标系朝向和所述第二坐标系朝向确定所述第一摄像头和所述第二摄像头对应的目标旋转矩阵。

21、可选地，所述基于所述第一摄像头和所述第二摄像头对应的目标旋转矩阵、所述第一投影矩阵和所述第二投影矩阵，对所述第三图像数据和所述第四图像数据进行平行校正的步骤，包括：

22、基于所述目标旋转矩阵和所述第一投影矩阵确定所述第一摄像头对应的第一映射矩阵；

23、基于所述目标旋转矩阵和所述第二投影矩阵确定所述第二摄像头对应的第二映射矩阵；

24、基于所述第一映射矩阵对所述第三图像数据进行平行校正；

25、基于所述第二映射矩阵对所述第四图像数据进行平行校正。

26、可选地，在所述得到第一透视图像数据和第二透视图像数据的步骤之后，所述方法还包括：

27、将第一透视图像数据和第二透视图像数据显示在vr显示屏上，其中，所述第一透视图像数据为经过平行校正后的第三图像数据，所述第二透视图像数据为经过平行校正后的第四图像数据。

28、此外，为实现上述目的，本发明还提供一种视频透视装置，所述视频透视装置包括：

29、图像获取模块，获取第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据；

30、第一立体校正模块，对所述第一图像数据进行立体校正，得到第三图像数据和所述第一摄像头对应的第一投影矩阵；

31、第二立体校正模块，对所述第二图像数据进行立体校正，得到第四图像数据和所述第二摄像头对应的第二投影矩阵；

32、平行校正模块，基于所述第一摄像头和所述第二摄像头对应的目标旋转矩阵、所述第一投影矩阵和所述第二投影矩阵，对所述第三图像数据和所述第四图像数据进行平行校正，得到第一透视图像数据和第二透视图像数据。

33、此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频透视程序，所述终端设备的视频透视程序被所述处理器执行时实现如上所述的视频透视方法的步骤。

34、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频透视程序，所述视频透视程序被处理器执行时实现如上所述的视频透视方法的步骤。

35、本发明实施例提出的一种视频透视方法、装置、终端设备以及计算机可读存储介质，所述方法通过获取第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据；对所述第一图像数据进行立体校正，得到第三图像数据和所述第一摄像头对应的第一投影矩阵；对所述第二图像数据进行立体校正，得到第四图像数据和所述第二摄像头对应的第二投影矩阵；基于所述第一摄像头和所述第二摄像头对应的目标旋转矩阵、所述第一投影矩阵和所述第二投影矩阵，对所述第三图像数据和所述第四图像数据进行平行校正，得到第一透视图像数据和第二透视图像数据。

36、本发明实施例通过获取第一摄像头拍摄的第一图像数据和第二摄像头拍摄的第二图像数据，然后对第一图像数据和第二图像数据进行立体校正，得到与第一摄像头对应的第一投影矩阵和与第二摄像头对应的第二投影矩阵，并生成第三图像数据和第四图像数据，其中，第三图像数据为经过立体校正后的第一图像数据，第四图像数据为经过立体校正后的第二图像数据，然后，基于第一摄像头和第二摄像头对应的目标旋转矩阵、第一投影矩阵和第二投影矩阵，对第三图像数据和第四图像数据进行平行校正，得到第一透视图像数据和第二透视图像数据。从而，本发明通过校正双目相机获取的图像，使得左右双目画面对齐，且画面与视线平行，进而产生立体效果，提高用户体验。