用于摄像机到地面的对准的方法和系统与流程

本总体上涉及车辆的环绕视图图像，更具体地，涉及由摄像机图像生成虚拟视图，该虚拟视图基于改进的摄像机到地面的对准。

背景技术：

1、现代车辆通常配备有一个或多个光学摄像机，所述光学摄像机配置为向车辆的乘员提供图像数据。所述图像数据可以显示车辆周围环境的虚拟场景。该虚拟场景可以基于从不同视角捕获的多个图像来生成。例如，所述图像取自位于车辆周围不同位置处的不同图像源，或者取自相对于车辆旋转的单个源。基于摄像机到地面的对准信息，图像被合并成单个视角，例如鸟瞰视角。用于确定摄像机到地面对准信息的方法可能是计算密集型的，尤其是如果实时执行的话。

2、因此，期望提供改进的用于确定摄像机到地面对准的系统和方法。此外，结合附图和前述技术领域和背景技术，由随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。

技术实现思路

1、提出一种方法和系统用于生成与车辆相关联的场景的虚拟视图。在一种实施方式中，方法包括：接收定义与车辆的环境相关联的多个图像的图像数据；由处理器确定多个图像中的至少一个图像内的特征点；由该处理器选择特征点的子集作为地面点；由该处理器基于特征点的子集确定地平面；由该处理器从地平面确定地面法线向量；由该处理器基于由滑动窗口方法计算的转移距离来优化地面法向量；由该处理器基于地面法线向量确定摄像机到地面的对准值；和由该处理器基于地面法线向量生成显示数据。

2、在各种实施方式中，所述优化还包括使计算的转移距离在所述滑动窗口内最小化。

3、在各种实施方式中，对所述特征点的确定基于车辆的与该图像相关联的速度和在该图像内的核线（epiploar line）。

4、在各种实施方式中，对所述特征点的确定基于车辆的与该图像相关联的速度和在该图像内的消失点。

5、在各种实施方式中，对特征点的子集的选择基于动态二维图像道路掩模。

6、在各种实施方式中，对特征点的子集的选择基于单应性约束。

7、在各种实施方式中，所述方法包括：接收指示与车辆的环境相关联的照明条件的照明数据；和基于照明数据在至少一个图像内选择至少一个感兴趣区域。对特征点的确定基于至少一个感兴趣区域。

8、在各种实施方式中，所述照明数据包括环境照明数据、气候数据和一天中的时间数据中的至少一个。

9、在各种实施方式中，所述方法包括：评估车辆状况以确定车辆何时平稳地且直线地行驶。响应于确定所述车辆平稳地且直线地行驶，执行对所述特征点的确定。

10、在各种实施方式中，所述车辆状况包括车辆加速度、车辆速度和方向盘角度。

11、在各种实施方式中，所述车辆状况包括多个图像中的两个图像之间行驶的确定的距离。

12、在各种实施方式中，所述方法包括：基于参考摄像机旋转和平移来确定摄像机姿态不可靠；并且，对具有确定为不可靠的摄像机姿态的图像，过滤特征点。对特征点的子集的确定基于经过滤的特征点。

13、在各种实施方式中，对地平面的确定基于与参考地面法线向量和车辆运动方向相关联的约束。

14、在另一种实施方式中，提出一种用于生成与车辆相关联的场景的虚拟视图的计算机实现的系统。所述系统包括：数据存储元件，该数据存储元件包括计算机可读指令；和处理器，该处理器配置为执行计算机可读指令，所述计算机可读指令控制处理器执行操作。所述操作包括：接收定义与车辆的环境相关联的多个图像的图像数据；确定多个图像中的至少一个图像内的特征点；选择特征点的子集作为地面点；基于特征点的子集确定地平面；从地平面确定地面法线向量；基于由滑动窗口方法计算的转移距离来优化地面法向量；基于地面法线向量确定摄像机到地面的对准值；和基于地面法线向量生成显示数据。

15、在各种实施方式中，所述优化还包括使计算的转移距离在滑动窗口方法的一个滑动窗口内最小化。

16、在各种实施方式中，对所述特征点的确定基于车辆的与该图像相关联的速度和在该图像内的核线。

17、在各种实施方式中，对所述特征点的确定基于车辆的与该图像相关联的速度和在该图像内的消失点。

18、在各种实施方式中，对特征点的子集的选择基于动态二维图像道路掩模。

19、在各种实施方式中，对特征点的子集的选择基于单应性约束。

20、在另一种实施方式中，车辆包括：摄像机，该摄像机配置为捕获车辆的环境的图像；和具有处理器的控制器，该处理器配置为，接收所述图像，确定至少一个图像内的特征点，选择特征点的子集作为地面点，基于特征点的子集确定地平面，从地平面确定地面法线向量，基于计算的转移距离和滑动窗口方法来优化地面法向量，基于地面法线向量确定摄像机到地面的对准值。

21、方案1. 用于生成与车辆相关联的场景的虚拟视图的方法，所述方法包括：

22、接收定义与所述车辆的环境相关联的多个图像的图像数据；

23、由处理器确定所述多个图像中的至少一个图像内的特征点；

24、由所述处理器选择所述特征点的子集作为地面点；

25、由所述处理器基于特征点的子集确定地平面；

26、由所述处理器从所述地平面确定地面法线向量；

27、由所述处理器基于由滑动窗口方法计算的转移距离来优化地面法向量；

28、由所述处理器基于所述地面法线向量确定摄像机到地面的对准值；和

29、由所述处理器基于所述地面法线向量生成显示数据。

30、方案2. 根据方案1所述的方法，其中，所述优化还包括使计算的转移距离在所述滑动窗口内最小化。

31、方案3. 根据方案1所述的方法，其中，对所述特征点的确定基于所述车辆的与所述图像相关联的速度和在所述图像内的核线。

32、方案4. 根据方案1所述的方法，其中，对所述特征点的确定基于所述车辆的与所述图像相关联的速度和在所述图像内的消失点。

33、方案5. 根据方案1所述的方法，其中，对特征点的子集的选择基于动态二维图像道路掩模。

34、方案6. 根据方案1所述的方法，其中，对特征点的子集的选择基于单应性约束。

35、方案7. 根据方案1所述的方法，所述方法还包括：

36、接收指示与所述车辆的环境相关联的照明条件的照明数据；

37、基于所述照明数据在所述至少一个图像内选择至少一个感兴趣区域；和

38、其中，对所述特征点的确定基于所述至少一个感兴趣区域。

39、方案8. 根据方案6所述的方法，其中，所述照明数据包括环境照明数据、气候数据和一天中的时间数据中的至少一个。

40、方案9. 根据方案1所述的方法，所述方法还包括：

41、评估车辆状况以确定所述车辆何时平稳地且直线地行驶；和

42、其中，响应于确定所述车辆平稳地且直线地行驶，执行对所述特征点的确定。

43、方案10. 根据方案9所述的方法，其中，所述车辆状况包括车辆加速度、车辆速度和方向盘角度。

44、方案11. 根据方案9所述的方法，其中，所述车辆状况包括所述多个图像中的两个图像之间行驶的确定的距离。

45、方案12. 根据方案1所述的方法，所述方法还包括：

46、基于参考摄像机旋转和平移来确定摄像机姿态不可靠；

47、对具有确定为不可靠的摄像机姿态的图像，过滤特征点；和

48、其中，对特征点的子集的确定基于经过滤的特征点。

49、方案13. 根据方案1所述的方法，其中，对所述地平面的确定基于与参考地面法线向量和车辆运动方向相关联的约束。

50、方案14. 用于生成与车辆相关联的场景的虚拟视图的计算机实现的系统，所述系统包括：

51、数据存储元件，所述数据存储元件包括计算机可读指令；和

52、处理器，所述处理器配置为执行所述计算机可读指令，所述计算机可读指令控制所述处理器执行操作，所述操作包括：

53、接收定义与车辆的环境相关联的多个图像的图像数据；

54、确定所述多个图像中的至少一个图像内的特征点；

55、选择所述特征点的子集作为地面点=；

56、基于特征点的子集确定地平面；

57、从所述地平面确定地面法线向量；

58、基于由滑动窗口方法计算的转移距离来优化地面法向量；

59、基于所述地面法线向量确定摄像机到地面的对准值；和

60、基于所述地面法线向量生成显示数据。

61、方案15. 根据方案14所述的系统，其中，所述优化还包括使计算的转移距离在所述滑动窗口方法的一个滑动窗口内最小化。

62、方案16. 根据方案14所述的系统，其中，对所述特征点的确定基于所述车辆的与所述图像相关联的速度和在所述图像内的核线。

63、方案17. 根据方案14所述的系统，其中，对所述特征点的确定基于所述车辆的与所述图像相关联的速度和在所述图像内的消失点。

64、方案18. 根据方案14所述的系统，其中，对特征点的子集的选择基于动态二维图像道路掩模。

65、方案19. 根据方案14所述的系统，其中，对特征点的子集的选择基于单应性约束。

66、方案20. 车辆，其包括：

67、摄像机，所述摄像机配置为捕获所述车辆的环境的图像；和

68、具有处理器的控制器，所述处理器配置为，接收所述图像，确定至少一个图像内的特征点，选择所述特征点的子集作为地面点，基于特征点的子集确定地平面，从所述地平面确定地面法线向量，基于计算的转移距离和滑动窗口方法来优化地面法向量，基于所述地面法线向量确定摄像机到地面的对准值。