多维信息标注方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，尤其涉及一种多维信息标注方法、装置、电子设备及存储介质。

背景技术：

1、自动驾驶技术能够为用户提升出行便利度，将会在用户出行、物流等领域中发挥越来越重要的作用。在诸如图像识别技术领域中可以单独依赖图像的二维信息得到图像识别结果。但是，在自动驾驶等领域中，期望利用感知模型将图像的二维信息转化为三维信息，以便将图像从空间上与真实世界关联起来，进行环境感知与定位。

2、为了训练感知模型，需要海量的训练数据，如百万幅、千万幅或者更多幅具有准确标注信息的训练图像。相关技术中，至少部分训练图像需要进行人工标注，得到有标注信息的图像。这导致获得训练数据的人工成本和时间成本高昂。此外，训练数据的标注信息精准度直接影响感知模型预测结果精准度，而人工标注信息的精准度有待提升。

技术实现思路

1、为解决或部分解决相关技术中存在的问题，本技术提供一种多维信息标注方法、装置、电子设备及存储介质，能够有效降低获得训练数据的人工成本和时间成本，并且能有效提升训练数据的标注信息的精准度。

2、本技术一方面提供一种多维信息标注方法，包括：在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括特定对象的视频帧；基于点云帧获得特定对象的多维信息，并且获得特定对象的图像在视频帧中的位置范围信息；基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，以利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像。

3、在一种实施方式中，多维信息标注方法适用于感知系统，感知系统包括设置在移动平台上的至少一个激光雷达和至少一个毫米波雷达；在第一坐标系下获得包括特定对象的点云帧，包括：述激光雷达获得包括特定对象的第一点云帧，并且，毫米波雷达获得包括特定对象的第二点云帧；根据激光雷达的采集频率同步融合第一点云帧和第二点云帧，得到包括特定对象的点云帧。

4、在一种实施方式中，根据激光雷达的频率融合第一点云帧和第二点云帧，得到包括特定对象的点云帧，包括：将接收到的第二点云帧依次存储在特定消息队列中，直至接收到当前第一点云帧；根据特定匹配算法对消息队列中的第二点云帧和当前第一点云帧进行匹配；根据匹配结果删除当前第一点云帧中的误检对象，并且补充第一点云帧中的遗漏对象，误检对象包括当前第一点云帧中未出现在第二点云帧中的对象，遗漏对象包括第二点云帧中未出现在当前第一点云帧中的对象。

5、在一种实施方式中，基于点云帧获得特定对象的多维信息，包括：获得第二点云帧中的特定对象的三维信息；基于至少两帧第二点云帧之间的时间间隔和特定对象的三维信息的变化量，确定特定对象的运动信息；将特定对象的三维信息和特定对象的运动信息作为特定对象的多维信息。

6、在一种实施方式中，特定对象的三维信息包括特定对象的位置信息和尺寸信息；上述方法还包括：拟合具有第一平滑度的特定对象的轨迹信息，得到具有第二平滑度的特定对象的轨迹信息，轨迹信息是基于多帧第二点云帧中特定对象的位置信息来确定的；和/或；统计多帧第一点云帧和/或第二点云帧中特定对象的尺寸信息，得到尺寸统计结果，以基于尺寸统计结果确定特定对象的尺寸信息。

7、在一种实施方式中，基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，包括：基于第一坐标系转换参数将第一坐标系下的多维信息转换至移动平台坐标系下，得到移动平台坐标系下的多维信息；基于第二坐标系转换参数将移动平台坐标系下的多维信息转换至第二坐标系下，得到第二坐标系下的多维信息。

8、在一种实施方式中，特定对象的多维信息包括特定对象的三维信息p和运动信息v；基于第二坐标系转换参数将移动平台坐标系下的多维信息转换至第二坐标系下，得到第二坐标系下的多维信息，包括：获得移动平台坐标系和第二坐标系之间的坐标系变换参数r|t，r为旋转矩阵，t为平移向量；对于三维信息p，基于坐标系变换参数r|t和移动平台坐标系下的三维信息p，确定第二坐标系下的标注三维信息(r|t)×p；对于运动信息，基于坐标系变换参数r|t中旋转矩阵r和移动平台坐标系下的特定对象的速度v，确定第二坐标系下的特定对象的标注速度r×v。

9、在一种实施方式中，上述方法还包括以下任意一种操作：对第一坐标系下的多维信息进行运动补偿，得到第一多维信息，以将第一多维信息代替第一坐标系下的多维信息；对第二坐标系下的多维信息进行运动补偿，得到第二多维信息，以将第二多维信息代替第二坐标系下的多维信息；对移动平台坐标系下的多维信息进行运动补偿，得到第三多维信息，以将第三多维信息代替移动平台坐标系下的多维信息。

10、在一种实施方式中，视频帧是由拍摄装置按照特定帧率拍摄的；利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像，包括：按照特定帧率将第二坐标系下的多维信息同步融合至与视频帧的位置范围信息对应的图像。

11、在一种实施方式中，上述方法还包括：在基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下之后，如果第二坐标系下的多维信息位于拍摄装置的视角范围内，则利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像；和/或；如果第二坐标系下的多维信息位于拍摄装置的视角范围外，则舍弃第二坐标系下的多维信息。

12、在一种实施方式中，基于点云帧获得特定对象的多维信息，包括：利用多维信息识别模型处理点云帧，得到特定对象的多维信息，其中，多维信息识别模型包括基于稀疏卷积网络的主干网络和基于中心网络的检测头网络。

13、本技术另一方面提供一种多维信息标注装置，包括：帧获得模块、信息获得模块和信息转换模块。其中，帧获得模块用于在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括特定对象的视频帧；信息获得模块用于基于点云帧获得特定对象的多维信息，并且获得特定对象的图像在视频帧中的位置范围信息；信息转换模块用于基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，以利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像。

14、本技术另一方面提供一种电子设备，包括：处理器和存储器。其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述的方法。

15、本技术另一方面提供一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上的方法。

16、本技术另一方面提供一种计算机程序产品，包括可执行代码，当可执行代码被执行时，实现如上的方法。

17、本技术提供的技术方案可以包括以下有益效果：

18、本技术实施例的技术方案，考虑到经标定的至少两个激光雷达各自之间的相对位置关系是固定的，即各激光雷达之间的外参处于一个稳定范围内。如果某两个激光雷达中至少一个激光雷达的固定位姿发生了改变，则会导致这两个激光雷达之间的外参发生改变，如会导致这两个激光雷达之间外参超过外参阈值。因此，可以通过检测两个激光雷达之间的外参是否超过外参阈值，来确定是否需要对这两个激光雷达中的至少一个进行重新标定。通过以上方式能够及时发现激光雷达的外参不准确，以便及时进行标定，提升激光雷达采集的点云数据的准确度。

19、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。