用于确定摄像机的取向的方法与流程

本发明涉及一种用于确定摄像机、尤其是车辆内部空间摄像机的取向的方法以及一种用于执行该方法的计算单元和一种用于执行该方法的计算机程序。

背景技术：

1、对车辆内部空间的监控越来越重要。一方面，例如新的安全标准(如ncap)要求识别驾驶员的状态并且在该驾驶员疲劳或分心时发出警告。另一方面，在未来自动驾驶出租车中，例如应该识别遗忘的物品或乘客的不当行为。摄像机由于其分辨率高且结构尺寸小而特别适合于该任务。

技术实现思路

1、按照本发明，提出了具有专利独立权利要求的特征的一种用于确定摄像机、尤其是车辆内部空间摄像机的取向的方法以及一种用于执行该方法的计算单元和一种用于执行该方法的计算机程序。有利的设计方案是从属权利要求以及随后的描述的主题。

2、本发明涉及摄像机，尤其是车辆内部空间摄像机，即布置在车辆的内部或内部空间中并且例如用于监控车辆内部空间的摄像机。由于这种车辆内部空间摄像机通常被内置或者甚至以后被安装(所谓的改造(retrofit))在可移动构件、如后视镜上，所以这些车辆内部空间摄像机的位置和取向应该相对于车辆来被确定。该步骤也称为校准，而且使得能够不仅确保下游算法的功能(例如识别物品或人)而且识别误用和蓄意操纵。如已经表明的那样，在实践中，估计摄像机的取向远比估计位置重要。

3、在该背景下，提出了一种可能性，即可以如何相对于参考取向来特别简单且快速地确定或估计摄像机、尤其是车辆内部空间摄像机的取向。在此，使用对场景、即车辆内部空间或者从车辆内部空间摄像机的视角出发的该车辆内部空间的图像的语义分割。语义分割将图像中的所有图像点分别与多个(语义)类别中的一个类别关联。在此，语义类别的关联的图像点可以被组合成该类别的图像区域。对于车辆内部空间来说，例如可以考虑前排座椅、后排座椅、车窗、车顶内衬和车柱(车顶与车门或者车身的其余部分之间的连接)，作为类别或对象类别。在说明性表示中，这种语义分割图像例如针对这些类别中的每个类别都具有不同的颜色；该图像包含至少一个经分类的图像区域。

4、为此，使用车辆内部空间的两个不同的语义分割图像。在此，例如如上所述，在语义分割图像中包含至少一个对象类别；但是，通常保持多个对象类别，即相对应地包括车辆或车辆内部空间的不同区域，诸如车窗和车顶内衬。

5、借助于车辆内部空间摄像机来拍摄这两个语义分割图像中的第一图像，以下也称为摄像机图像。该摄像机图像是车辆内部空间的实际上使用内置并且可能被旋转或错误取向的摄像机、尤其是车辆内部空间摄像机来被拍摄的图像。另一语义分割图像以参考取向来被拍摄，以下也称为参考图像。即，该参考图像应该对应于当车辆内部空间摄像机如所希望的那样取向时的车辆内部空间的图像。但是，如稍后还更详细阐述的那样，参考图像实际上是使用要从中确定取向的同一车辆内部空间摄像机来拍摄的事实在此并不重要。更确切地说，还可以使用相似的车辆内部空间摄像机。同样，甚至连车辆内部空间也不必相同。由于语义分割和车辆内部空间的通常相同的基本类型(前排座椅、车顶内衬、车窗等等的位置)，这对本发明几乎没有影响。

6、通过改变图像和/或图像拍摄参数，旨在使这两个图像、即语义分割的摄像机图像和语义分割的参考图像尽可能重合，即确定图像和/或图像拍摄参数组，在这些图像和/或图像拍摄参数的情况下，语义分割的摄像机图像的至少一个经分类的图像区域和语义分割的参考图像的相对应的经分类的图像区域至少在指定限度内匹配。为此，可以改变参考图像或者摄像机图像的这些图像和/或图像拍摄参数，还可设想的是：改变这两个图像的这些图像和/或图像拍摄参数。这样，例如可以使用多个不同的、例如还随机和/或在指定限度内选择的图像和/或图像拍摄参数组，这些图像和/或图像拍摄参数被应用于相关图像；接着，依据在图像之间具有最佳匹配的组，可以确定摄像机、尤其是车辆内部空间摄像机的取向。

7、在此，目标并不是确定被物理改变的定向的角度，而是确定允许摄像机图像与参考图像尽可能好地对照或尽可能好地重合(英文“alignment(对齐)”)的角度。如果摄像机实际上只是旋转了，则这相当于改变了物理定向。然而，一旦摄像机的位置发生变化，情况就不再如此。

8、在此，存在所提出的过程的两个优选的变体，这两个优选的变体的区别在于所要改变的图像和/或图像拍摄参数的类型或者这种改变的方式。一个优选的变体包括：改变图像和/或图像拍摄参数包括语义分割的摄像机图像和/或语义分割的参考图像的二维平移和旋转。这是一种纯基于图像信息的对齐。即，结果是图像变换(图像中的2维(2d)变换，旋转)，该图像变换使场景的相同区域/区段重合，然而并不是物理上有意义的变换(因为该图像变换不可能会通过摄像机的旋转来产生)。对于多个下游功能来说，该步骤通常已经足够。即，该图像在该图像本身的平面内移动(2d变换)并且绕着垂直于该图像的平面的轴线旋转。在这种情况下，2d变换例如近似对应于摄像机的倾斜和/或横摆，而旋转对应于翻滚。

9、优选地，在这种情况下，经分类的图像区域仅通过其重心来表示，即基于语义分割的摄像机图像和/或语义分割的参考图像的经分类区域的重心来进行对图像和/或图像拍摄参数的改变。由于对于每个对象类别来说都可能存在多个图像区域，所以例如可以借助于所谓的ransac方法(“随机抽样一致(random sample consensus)”)来确定参考图像和摄像机图像的重心的正确分配，其中假设可以通过图像的移动和旋转来使重心匹配。表示大多数重心的匹配的变换被接受作为解。即，该变换是所提到的图像和/或图像拍摄参数组。

10、按照另一个优选的变体，改变图像和/或图像拍摄参数包括：改变与摄像机、尤其是车辆内部空间摄像机的取向相对应的图像拍摄参数。特别优选的这种与摄像机、尤其是车辆内部空间摄像机的取向相对应的图像拍摄参数是三个欧拉角。换言之，所改变的图像拍摄参数被确定为使得使用这样改变的图像拍摄参数所拍摄的图像对应于使用绕着这三个立体角旋转的摄像机所拍摄的图像。为此，有利的是：至少粗略了解摄像机特性(固有)。该摄像机特性也可以甚至被一并确定。

11、不同于第一个变体，在这种情况下试图确定摄像机旋转的三个参数。在此，寻找实现相同分类的图像区域的最大重合的旋转；在此，尤其可以考虑所有经分类的图像区域。在一个简单的过程中，可以迭代地随机产生旋转参数并且分别选择最佳参数组。

12、易于理解的是：在改变图像和/或图像拍摄参数时，在这两个变体中，并非每个参数都必须随着每次改变而变化。

13、一般而言，这两个变体也可以组合，其中特别是首先提到的变体适合于初始化并且其次提到的变体适合于再估计(英文“refinement(细化)”)。

14、此外，另一优选的可能性是要确认是否能够确定旋转或变换、即其中这两个图像至少在指定限度内匹配的图像和/或图像拍摄参数组。如果无法做到这一点，则这表明摄像机被操纵或被遮挡。

15、这两个变体的优点在于：这两个变体在很多情况下起作用并且大多数情况下甚至与车辆类型无关地起作用。由于这两个变体的目标在于使相同分类的图像区域重合，所以这两个变体相对独立于摄像机的位置变化。无需事先准确了解车辆几何形状(尤其是内部空间)或者摄像机特性。这两个变体可以快速且节省资源地被实施。

16、按照本发明的计算单元、例如机动车的控制设备被设立为、尤其是以程序技术方式被设立为执行按照本发明的方法。

17、尤其是当执行的控制设备还被用于其它任务并且因而总归存在时，按照本发明的方法的以具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式的实现方案也是有利的，因为这引起了特别低的成本。最后，提供了一种机器可读存储介质，在其上存储有如上所述的计算机程序。尤其是，适合于提供该计算机程序的存储介质或数据载体是磁存储器、光存储器和电存储器，诸如硬盘、闪速存储器、eeprom、dvd以及其它等等。通过计算机网络(因特网、内联网等等)来下载程序也是可行的。在此，这种下载可以以有线方式或以线缆方式或者以无线方式(例如经由wlan网络，3g、4g、5g或6g连接，等等)实现。

18、本发明的其它优点和设计方案从说明书以及随附的附图中得出。

19、本发明依据实施例在附图中示意性示出并且在下文参考附图予以描述。