三维空间坐标数据到二维图像的映射方法及装置与流程

本发明涉及图像处理，尤其是涉及一种三维空间坐标数据到二维图像的映射方法及装置。

背景技术：

1、二维图像成像的物理过程是三维客观世界在相机图像传感器平面上通过焦点的透视成像，这个过程遵守针孔成像原理，存在近大远小的问题，从单幅二维图像上无法判断和测量物体的大小和远近，造成成像后的图像对客观三维世界认知上的信息缺失。目前被大规模应用于城市管理和智能交通行业的视频智能监控，一般采用摄像头对被视区域进行连续的图像采集，采集到的图像一般用于人工远程监控，或采用人工智能算法，对采集到的图像进行智能识别，检测异常情况，进行人员、车辆追踪或异常情况报警。在视频智能监控领域，基于二维摄像头采集图像的各类智能图像识别算法层出不穷，但由于不同摄像头面对的环境及识别的对象千差万别，在工程应用中，普遍存在着识别准确率不高，识别所需要采集的图像数据量大，人工标注工作量大，成本高等问题，以及在二维图像上存在无法获取被视场景移动物体和人物的三维空间位置和无法进行尺寸估算等问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种三维空间坐标数据到二维图像的映射方法及装置，以缓解了二维图像识别场景变化大、准确率低、学习效率差、成本高的问题。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明实施例提供了一种三维空间坐标数据到二维图像的映射方法，包括：分别通过三维成像系统和二维成像系统采集预先设定的三维空间中放置的标定装置的三维空间坐标和二维图像；其中，三维空间包括：三维成像系统形成的第一世界坐标系和二维成像系统形成的第二世界坐标系；将二维图像进行图像坐标系到世界系的坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标；基于标定点在第一世界坐标系的三维空间坐标和标定点在第二世界坐标系的三维空间坐标进行三维空间坐标转换，得到三维空间坐标在第二世界坐标系的三维空间坐标数据；将三维空间坐标在所述第二世界坐标系的三维空间坐标数据映射到二维图像上，得到二维成像系统的三维空间坐标，并将二维图像和二维成像系统的三维空间坐标进行匹配。

4、在一种实施方式中，将二维图像进行图像坐标系到世界坐标系的坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标，包括：获取二维成像系统中相机的单应性矩阵；将标定装置的标定点在第一世界坐标系的三维空间坐标进行坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标。

5、在一种实施方式中，将标定装置的标定点在第一世界坐标系的三维空间坐标进行坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标，包括：确定三维空间坐标和二维图像中对应的特征点匹配对；基于特征点匹配对中标定点在第一世界坐标系下的三维空间坐标和三维坐标转换矩阵，确定标定点在所述第二世界坐标系的三维空间坐标。

6、在一种实施方式中，基于所述特征点匹配对中标定点在所述第一世界坐标系下的三维空间坐标和三维坐标转换矩阵，确定所述标定点在所述第二世界坐标系的三维空间坐标，包括：按照以下公式确定标定点在第二世界坐标系的三维空间坐标：

7、

8、

9、其中，h为单应性矩阵，(xw、yw、zw)为所述标定点在第二世界坐标系的三维空间坐标。

10、在一种实施方式中，基于标定点在第一世界坐标系的三维空间坐标和标定点在第二世界坐标系的三维空间坐标进行三维空间坐标转换，得到三维空间坐标在第二世界坐标系的三维空间坐标数据，包括：基于标定点在第一世界坐标系的三维空间坐标和标定点在第二世界坐标系的三维空间坐标，以及坐标转换公式计算第一世界坐标系到第二世界坐标系的转换矩阵；其中，第一世界坐标系到第二世界坐标系的转换矩阵包括：旋转矩阵、缩放矩阵和平移矩阵；基于第一世界坐标系到第二世界坐标系的转换矩阵，将第一世界坐标系下的三维图像的三维空间坐标转换至第二世界坐标系，得到三维图像在第二世界坐标系的三维空间点云数据。

11、在一种实施方式中，坐标转换公式为：

12、jmn2(i,j)＝r*s*t*jmn1(i,j)

13、其中，jmn1(i,j)表示标定点在第一世界坐标系的三维空间坐标，jmn2(i,j)表示标定点在第二世界坐标系的三维空间坐标，r表示第一世界坐标系到第二世界坐标系的旋转矩阵，s表示第一世界坐标系到第二世界坐标系的缩放矩阵，t表示第一世界坐标系到第二世界坐标系的平移矩阵。

14、第二方面，本发明实施例提供了一种三维空间坐标数据到二维图像的映射装置，包括：图像采集模块，用于分别通过三维成像系统(包含其他获取三维空间坐标数据的手段)和二维成像系统采集预先设定的三维空间中放置的标定装置的三维空间坐标和二维图像；其中，三维空间包括：三维成像系统形成的第一世界坐标系和二维成像系统形成的第二世界坐标系；图像坐标转换模块，用于将二维图像进行图像坐标系到世界坐标系的坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标；三维空间转换模块，用于基于标定点在第一世界坐标系的三维空间坐标和标定点在第二世界坐标系的三维空间坐标进行三维空间坐标转换，得到三维空间坐标在第二世界坐标系的三维空间坐标数据；映射模块，用于将三维空间坐标在第二世界坐标系的三维空间坐标数据映射到二维图像上，得到二维成像系统的三维空间坐标，并将二维图像和二维成像系统的三维空间坐标进行匹配。

15、在一种实施方式中，图像坐标转换模块，还用于：获取二维成像系统中相机的单应性矩阵；将标定装置的标定点在第一世界坐标系的三维空间坐标进行坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标。

16、第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。

17、第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

18、本发明实施例带来了以下有益效果：

19、本发明实施例提供的上述三维空间坐标数据到二维图像的映射方法及装置，首先分别通过三维成像系统(包含其他获取三维空间坐标数据的手段)和二维成像系统采集预先设定的三维空间中放置的标定装置的三维空间坐标和二维图像；其中，三维空间包括：三维成像系统(包含其他获取三维空间坐标数据的手段)形成的第一世界坐标系和二维成像系统形成的第二世界坐标系；然后将二维图像进行图像坐标系到世界坐标系的坐标转换，得到标定装置的标定点在第二世界坐标系的三维空间坐标；接着基于标定点在第一世界坐标系的三维空间坐标和标定点在第二世界坐标系的三维空间坐标进行三维空间坐标转换，得到三维空间坐标在第二世界坐标系的三维空间坐标数据；最后将三维空间坐标在所述第二世界坐标系的三维空间坐标数据映射到二维图像上，得到二维成像系统的三维空间坐标，并将二维图像和二维成像系统的三维空间坐标进行匹配。

20、上述方法在二维成像系统的基础上，结合三维成像技术，将二维成像系统视场范围内的三维物理空间先采用三维成像系统进行三维成像，获得视场范围内所有物体的三维空间坐标数据和图像数据，之后，经过三维成像系统和二维成像系统之间的坐标转换，将三维空间坐标数据映射到二维成像系统上，使二维成像系统的像素点与三维空间的实际物体的三维空间坐标相对应，使二维成像系统获得额外的被摄环境和场景的三维空间坐标数据，从而缓解了二维图像识别场景变化大、准确率低、学习效率差、成本高的问题，以及在二维图像上存在无法获取被视场景移动物体和人物的三维空间位置和无法进行尺寸估算等问题。

21、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

22、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。