一种联合目标标注方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种基于图像和激光点云的联合目标标注方法、装置、设备及存储介质。

背景技术：

1、目标标注是指对视频帧中的目标进行标注，利用标注后的目标可对目标跟踪算法进行训练，得到训练后的目标跟踪模型，因此，目标标注的准确率直接影响了目标跟踪模型的训练效果，现有技术中，针对多数据的融合算法不成熟，数据匹配和配准算法不稳定、导致目标标注容易出错，效率低下。鉴于此，如何提高目标标注的效率成为亟待解决的问题。

2、需要说明的是，这里的陈述仅提供与本申请有关的背景信息，而不必然地构成现有技术。

技术实现思路

1、鉴于上述问题，本申请提出了一种克服上述问题或者至少部分地解决上述问题的一种基于图像和激光点云的联合目标标注方法、装置、设备及存储介质。

2、本申请实施例采用下述技术方案：

3、第一方面，本申请实施例提供一种基于图像和激光点云的联合目标标注方法，所述方法包括：根据视觉传感器采集的图像数据以及激光雷达采集的激光点云数据，得到对于同一匹配目标的待标注数据；将所述待标注数据输入预先建立的目标检测模型，得到目标检测结果；对所述目标检测结果进行目标分割处理，得到至少一个目标分割结果；将所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界。

4、优选地，将所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界，包括：对所述图像数据和所述激光点云数据进行目标检测和分割，得到图像目标检测结果和激光点云检测结果，生成所述目标分割结果中的标注边界；在所述标注边界的不准确性的情况下，对所述标注边界进行优化；根据优化后的标注边界结果，进行合并处理并对合并结果进行评估。

5、优选地，所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界之后还包括：将带有所述标注边界的所述目标分割结果，输入预先建立的弱监督学习模型；根据所述弱监督学习模型，得到所述目标分割结果的标注结果；通过分析所述标注结果，并生成标注建议；

6、响应于所述标注建议，进行交互式标注；利用预先定义好的标准验证交互式标注的结果。

7、优选地，所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界之后还包括：通过可视化界面，显示所述目标分割结果；根据所述目标分割结果导出不同预设标注格式。

8、优选地，所述根据视觉传感器采集的图像数据以及激光雷达采集的激光点云数据，得到对于同一匹配目标的待标注数据，包括：对所述图像数据以及激光点云数据构成的多模态数据集进行处理后，采用深度学习模型和计算机视觉模型分别提取不同模态数据的所述同一匹配目标的特征点；通过计算相邻特征点之间的相似度，和/或使用深度神经网络模型，将所述不同模态数据中的特征点进行匹配；使用预设特征点配准算法对所述多模态数据进行配准以及修正，获取对于同一匹配目标的待标注数据。所述方法还包括：根据多模态数据集的匹配和配准评估结果，对所述特征点配准算法进行校正和评估。

9、优选地，所述将所述待标注数据输入预先建立的目标检测模型，得到目标检测结果，包括：使用所述目标检测模型中的交互标注算法，响应于标注人员的实时反馈，对所述目标检测结果进行优化。

10、第二方面，本申请实施例还提供一种基于图像和激光点云的联合目标标注装置，所述装置包括：待标注数据获取单元，用于根据视觉传感器采集的图像数据以及激光雷达采集的激光点云数据，得到对于同一匹配目标的待标注数据；检测结果获取单元，用于将所述待标注数据输入预先建立的目标检测模型，得到目标检测结果；分割结果获取单元，用于对所述目标检测结果进行目标分割处理，得到至少一个目标分割结果；标注边界果获取单元，用于将所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界。

11、第三方面，本申请实施例还提供一种电子设备，包括：基于图像和激光点云的联合目标标注装置，处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述第一方面之任一所述方法。

12、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如第一方面所述的任一方法。

13、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

14、本申请采用多模态数据标注的方法，将多源数据进行融合处理，提高标注的准确性和效率。同时，根据标注过程中的反馈信息，可以不断升级算法，保持算法的实用性和可靠性；其次、本申请提出了半自动标注和智能建议算法，可根据人工标注数据和先前标注记录来帮助标注人员快速准确地完成标注需求，大大提高了标注效率和质量；除此之外、本申请法还提出了集成自动生成并优化标注边界的方法，可以实现标注边界的自动生成和优化，提高标注效率和准确性。

15、本申请技术方案的上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种基于图像和激光点云的联合目标标注方法，其特征在于，所述方法包括：

2.如权利要求1所述方法，其特征在于，将所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界，包括：

3.如权利要求2所述方法，其特征在于，所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界之后还包括：

4.如权利要求2所述方法，其特征在于，所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界之后还包括：

5.如权利要求1所述方法，其特征在于，所述根据视觉传感器采集的图像数据以及激光雷达采集的激光点云数据，得到对于同一匹配目标的待标注数据，包括：

6.如权利要求5所述方法，其特征在于，所述方法还包括：

7.如权利要求1所述方法，其特征在于，所述将所述待标注数据输入预先建立的目标检测模型，得到目标检测结果，包括：

8.一种基于图像和激光点云的联合目标标注装置，其特征在于，所述装置包括：

9.一种电子设备，包括：基于图像和激光点云的联合目标标注装置，处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1～7所述的任一方法。

技术总结
本申请公开了一种基于图像和激光点云的联合目标标注方法、装置、设备及存储介质。所述方法包括，根据视觉传感器采集的图像数据以及激光雷达采集的激光点云数据，得到对于同一匹配目标的待标注数据；将所述待标注数据输入预先建立的目标检测模型，得到目标检测结果；对所述目标检测结果进行目标分割处理，得到至少一个目标分割结果；将所述至少一个目标分割结果输入预先建立的目标优化模型，生成并优化所述目标分割结果中的标注边界。本本申请能够提高目标标注效率和准确性，降低标注成本和风险，为数据分析和机器学习等应用任务提供优质的标注数据服务。

技术研发人员：张晓亮,黄俊维,胡晨曦
受保护的技术使用者：北京京深深向科技有限公司
技术研发日：
技术公布日：2024/1/16