基于多位置图片映射辅助的点云连续帧标注方法及系统与流程

本发明涉及点云标注及分割标注领域，具体地，涉及一种基于多位置图片映射辅助的点云连续帧标注方法及系统。

背景技术：

1、点云标注广泛用于人工智能、自动驾驶等领域，标注结果用于训练机器对某些特定物体的识别。点云标注主要包括3d检测框标注、语义分割标注、实例分割标注等。为提升标注效率和精度，常常在同一场景下的不同位置，连续采集多帧点云数据，并同步采集每一帧点云关联的多角度图片用户辅助判断，并以连续帧的方式进行标注。

2、当前在点云标注过程中，对于一帧点云数据，常常使用与点云采集同一位置的多角度图片进行参考，以便更直观地观察当前点云单帧中某一对象，从而更精确地进行点云标注。但是，在某一位置使用激光雷达采集点云数据的同时，使用多摄像头采集当前位置各方向上的多张图片，并对图片进行编号，用来确定图片相对于采集设备的方位，在标注点云的过程中，标注人员若无法通过点云轮廓直接判断物体类型时，可使用3d立方体框选择空间区域，或使用空间多边形选出点云中的特定点集，再将3d立方体的轮廓或被选中的点集映射到与点云同时采集的2d图像中，用户通过观察该方向上的图片，确定标注对象类型。对于点云中真实存在，但在图片中由于距离过远、被遮挡、分辨率不足等问题导致无法清晰观察到的目标物体，标注人员将无法准确将其归类。例如，路灯因为距离点云扫描的位置较远，加上路灯比较密集，从同时期拍摄的图片中无法准确分辨出点云映射到图片上的路灯具体为哪一个。同理当其他较小的物体或被遮挡的物体出现在远处时，将无法对其进行准确标注。

3、综上所述，市场上需要一种在3d点云连续帧标注过程中，能够对远处或轮廓不清晰的物体进行准确识别和标注的基于多位置图片映射辅助的点云连续帧标注方法及系统。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于多位置图片映射辅助的点云连续帧标注方法及系统。

2、根据本发明提供的一种基于多位置图片映射辅助的点云连续帧标注方法，包括：

3、步骤s1：获取并标定相机的内外参；

4、步骤s2：连续采集多帧点云数据，采集每帧点云数据的同时，在同一位置采集对应匹配的图像数据；

5、步骤s3：根据所述图像数据得到任意第n帧点云和第n+i帧点云间的粗略变换矩阵；

6、步骤s4：通过点云算法优化进行细化配准，得到精准变换矩阵；

7、步骤s5：通过所述精准变换矩阵，将第n帧点云中的点a在第n+i帧点云的对应的同相机坐标系中表示为坐标a′；

8、步骤s6：将所述坐标a′映射到第n+i帧点云的像素坐标系中，得到a′在多个相机的像素坐标，并判断所述像素坐标是否在当前相机成像图片的尺寸范围内，若是，则触发步骤s7；若否，则表示a′不存在于所述图片中，无需渲染；

9、步骤s7：表示a′存在于所述图片中，并对指定像素点进行渲染，进而在第n+i帧点云的对应的多张图像中标注出第n帧点云中特定物体的轮廓或表面。

10、优选地，所述获取相机的内外参包括采集设备搭载的多个相机分别进行世界坐标与像素坐标的映射标定，得到各个相机的内参，同时标定同一采集设备上搭载的多个相机互相之间的外参。

11、优选地，所述步骤s2还包括：采集点云数据的同时，利用里程计或gps与imu记录采集设备的位姿参数。

12、优选地，所述步骤s3包括：

13、步骤s3.1：在第n+i帧点云中抽取多个点，所述多个点之间的距离大于预设最小距离阈值d；

14、步骤s3.2：在第n帧点云中查找与所述多个点中有相同特征的点，并从所述点中选取一个点作为第n+i帧在第n帧中的对应点；

15、步骤s3.3：计算所述对应点的粗变换矩阵。

16、优选地，所述步骤s4中点云优化算法包括采用icp算法或svd算法。

17、根据本发明提供的一种基于多位置图片映射辅助的点云连续帧标注系统，包括：

18、模块m1：获取并标定相机的内外参；

19、模块m2：连续采集多帧点云数据，采集每帧点云数据的同时，在同一位置采集对应匹配的图像数据；

20、模块m3：根据所述图像数据得到任意第n帧点云和第n+i帧点云间的粗略变换矩阵；

21、模块m4：通过点云算法优化进行细化配准，得到精准变换矩阵；

22、模块m5：通过所述精准变换矩阵，将第n帧点云中的点a在第n+i帧点云的对应的同相机坐标系中表示为坐标a′；

23、模块m6：将所述坐标a′映射到第n+i帧点云的像素坐标系中，得到a′在多个相机的像素坐标，并判断所述像素坐标是否在当前相机成像图片的尺寸范围内，若是，则触发模块m7；若否，则表示a′不存在于所述图片中，无需渲染；

24、模块m7：表示a′存在于所述图片中，并对指定像素点进行渲染，进而在第n+i帧点云的对应的多张图像中标注出第n帧点云中特定物体的轮廓或表面。

25、优选地，所述获取相机的内外参包括采集设备搭载的多个相机分别进行世界坐标与像素坐标的映射标定，得到各个相机的内参，同时标定同一采集设备上搭载的多个相机互相之间的外参。

26、优选地，所述模块m2还包括：采集点云数据的同时，利用里程计或gps与imu记录采集设备的位姿参数。

27、优选地，所述模块m3包括：

28、模块m3.1：在第n+i帧点云中抽取多个点，所述多个点之间的距离大于预设最小距离阈值d；

29、模块m3.2：在第n帧点云中查找与所述多个点中有相同特征的点，并从所述点中选取一个点作为第n+i帧在第n帧中的对应点；

30、模块m3.3：计算所述对应点的粗变换矩阵。

31、优选地，所述模块m4中点云优化算法包括采用icp算法或svd算法。

32、与现有技术相比，本发明具有如下的有益效果：

33、1、本发明对于某帧中激光雷达扫描到、但是辅助相机并未拍摄到的物体，标注人员在进行标注时，可以利用辅助相机在其他帧拍摄到的画面，结合当前帧3d空间点到其他帧2d图像的映射，更加精确地对数据进行标注。

34、2、本发明更加丰富和精确的标注结果可以让机器在学习和训练的过程中，提升识别稀疏、远距、被遮挡等场景下物体的能力，进而在应用中表现的更加稳定准确高效。

技术特征：

1.一种基于多位置图片映射辅助的点云连续帧标注方法，其特征在于，包括：

2.根据权利要求1所述的基于多位置图片映射辅助的点云连续帧标注方法，其特征在于，所述获取相机的内外参包括采集设备搭载的多个相机分别进行世界坐标与像素坐标的映射标定，得到各个相机的内参，同时标定同一采集设备上搭载的多个相机互相之间的外参。

3.根据权利要求1所述的基于多位置图片映射辅助的点云连续帧标注方法，其特征在于，所述步骤s2还包括：采集点云数据的同时，利用里程计或gps与imu记录采集设备的位姿参数。

4.根据权利要求1所述的基于多位置图片映射辅助的点云连续帧标注方法，其特征在于，所述步骤s3包括：

5.根据权利要求1所述的基于多位置图片映射辅助的点云连续帧标注方法，其特征在于，所述步骤s4中点云优化算法包括采用icp算法或svd算法。

6.一种基于多位置图片映射辅助的点云连续帧标注系统，其特征在于，包括：

7.根据权利要求6所述的基于多位置图片映射辅助的点云连续帧标注系统，其特征在于，所述获取相机的内外参包括采集设备搭载的多个相机分别进行世界坐标与像素坐标的映射标定，得到各个相机的内参，同时标定同一采集设备上搭载的多个相机互相之间的外参。

8.根据权利要求6所述的基于多位置图片映射辅助的点云连续帧标注系统，其特征在于，所述模块m2还包括：采集点云数据的同时，利用里程计或gps与imu记录采集设备的位姿参数。

9.根据权利要求6所述的基于多位置图片映射辅助的点云连续帧标注系统，其特征在于，所述模块m3包括：

10.根据权利要求6所述的基于多位置图片映射辅助的点云连续帧标注系统，其特征在于，所述模块m4中点云优化算法包括采用icp算法或svd算法。

技术总结
本发明提供了一种基于多位置图片映射辅助的点云连续帧标注方法及系统，包括：获取并标定相机的内外参；连续采集多帧点云数据同时，在同一位置采集对应匹配的图像数据，进而得到任意两帧点云间的粗略变换矩阵；通过点云算法优化进行细化配准，然后将第n帧点云中的点A在第n+i帧点云的对应的同相机坐标系中表示为坐标A′；将坐标A′映射到第n+i帧点云的像素坐标系中，得到A′在多个相机的像素坐标，若当前相机成像图片的尺寸范围内，则对指定像素点进行渲染，进而在第n+i帧点云的对应的多张图像中标注出第n帧点云中特定物体的轮廓或表面；否则无需渲染。本发明能够对远处或轮廓不清晰的物体进行准确识别和标注。

技术研发人员：廖文龙,吴俊镐,何弢,刘耀勇
受保护的技术使用者：酷哇科技有限公司
技术研发日：
技术公布日：2024/1/14