辅助标注图的生成方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种辅助标注图的生成方法、装置、设备及存储介质。

背景技术：

1、辅助标注图是视觉路面环境感知的重要组成部分，在自动驾驶场景中，一般通过辅助标注图进行目标对象的感应，从而使自动驾驶车辆能够正常行驶。

2、目前，辅助标注图的生成方法中一般是通过激光雷达获取点云数据，通过对点云数据进行分析，从而确定所要识别的目标对象，进而生成辅助标注图。

3、但是，上述方法中仅基于点云数据进行数据分析，导致生成的辅助标注图的准确性较低。

技术实现思路

1、本发明提供了一种辅助标注图的生成方法、装置、设备及存储介质，通过相机图像的关键点对点云数据对应的图像进行关键点补充，提高生成的目标辅助标注图的准确性。

2、本发明第一方面提供了一种辅助标注图的生成方法，包括：获取点云车道线关键点集合、相机车道线关键点集合、相机红绿灯位置关键点集合和标记后的二维图像；通过所述点云车道线关键点集合，对所述相机车道线关键点集合进行筛选，得到筛选后的相机车道线关键点集合；通过所述筛选后的相机车道线关键点集合和红绿灯位置关键点集合对所述标记后的二维图像进行关键点标记，得到目标辅助标注图。

3、在一种可行的实施方式中，所述获取点云车道线关键点集合、相机车道线关键点集合、相机红绿灯位置关键点集合和标记后的二维图像，包括：

4、获取点云数据，对所述点云数据进行转换，得到二维图像；通过所述点云数据和所述二维图像分别进行关键点提取，得到点云路缘关键点集合和点云车道线关键点集合；通过所述点云车道线关键点集合和所述点云路缘关键点集合对所述二维图像进行关键点标记，得到标记后的二维图像；获取所述点云数据对应的区域的相机图像，对所述相机图像进行关键点提取，得到相机车道线关键点集合和相机红绿灯位置关键点集合。

5、在一种可行的实施方式中，所述通过所述点云数据和所述二维图像进行关键点提取，得到点云车道线关键点集合和点云路缘关键点集合，包括：通过预置的密度聚类算法对所述点云数据进行路缘识别，得到点云路缘数据；通过对所述点云路缘数据进行关键点提取，得到点云路缘关键点集合；通过预置的车道检测算法对所述二维图像进行关键点提取，得到点云车道线关键点集合。

6、在一种可行的实施方式中，所述通过预置的密度聚类算法对所述点云数据进行路缘识别，得到点云路缘数据，包括：通过预置的密度聚类算法将所述点云数据分类为具有不同密度的聚类簇，得到至少一个聚类簇；获取各聚类簇对应的框模型尺寸和点云熵，并通过预置的检验库对各聚类簇对应的框模型尺寸和点云熵进行匹配，得到各聚类簇对应的识别数据；通过各聚类簇对应的识别数据从所述至少一个聚类簇中提取目标聚类簇，得到点云路缘数据。

7、在一种可行的实施方式中，所述通过预置的车道检测算法对所述二维图像进行关键点提取，得到点云车道线关键点集合，包括：通过预置的灰度转换函数将所述二维图像转换为灰度图像；通过预置的车道检测算法中的模板匹配算法、位置检测算法和边缘检测算法对所述灰度图像进行识别，得到候选车道线特征区域集合，所述车道检测算法包括模板匹配算法、位置检测算法、边缘检测算法和非极大抑制算法；通过所述非极大抑制算法对所述候选车道线特征区域集合进行筛选，得到目标车道线特征区域集合；对所述目标车道线特征区域集合进行关键点提取，得到点云车道线关键点集合。

8、在一种可行的实施方式中，所述获取所述点云数据对应的区域的相机图像，对所述相机图像进行关键点提取，得到相机车道线关键点集合和相机红绿灯位置关键点集合，包括：获取所述点云数据对应的区域的相机图像；通过预置的车道线检测模型对所述相机图像进行车道线识别，得到相机车道线集合；对所述相机车道线集合进行关键点提取，得到相机车道线关键点集合；通过预置的深度学习算法对所述相机图像进行关键点提取，得到相机红绿灯位置关键点集合。

9、在一种可行的实施方式中，所述通过预置的车道线检测模型对所述相机图像进行识别，得到相机车道线集合，包括：通过预置的车道线检测模型对所述相机图像进行车道线检测，得到车道线语义分割结果和像素点的特征信息；根据所述车道线语义分割结果和所述像素点的特征信息，对所述相机图像中的车道线像素点进行聚类，得到聚类结果；通过所述聚类结果得到相机车道线集合。

10、在一种可行的实施方式中，所述通过预置的深度学习算法对所述相机图像进行关键点提取，得到相机红绿灯位置关键点集合，包括：通过预置的深度学习算法对所述相机图像进行识别，得到至少一个红绿灯检测框；对所述至少一个红绿灯检测框进行筛选，得到目标检测框集合；获取所述目标检测框集合中每个目标检测框的中心点，将每个目标检测框的中心点确定为红绿灯位置关键点，得到红绿灯位置关键点集合。

11、在一种可行的实施方式中，所述通过所述点云车道线关键点集合，对所述相机车道线关键点集合进行筛选，得到筛选后的相机车道线关键点，包括：将所述相机车道线关键点集合和所述点云车道线关键点集合进行比较，判断是否存在重合关键点，所述重合关键点用于指示所述相机车道线关键点集合中与所述点云车道线关键点集合中的点云车道线关键点重合的相机车道线关键点；若存在所述重合关键点，则将所述相机车道线关键点集合中的所述重合关键点进行删除，得到筛选后的相机车道线关键点集合。

12、本发明第二方面提供了一种辅助标注图的生成装置，包括：获取模块，用于获取点云车道线关键点集合、相机车道线关键点集合、相机红绿灯位置关键点集合和标记后的二维图像；筛选模块，用于通过所述点云车道线关键点集合，对所述相机车道线关键点集合进行筛选，得到筛选后的相机车道线关键点集合；标记模块，用于通过所述筛选后的相机车道线关键点集合和红绿灯位置关键点集合对所述标记后的二维图像进行关键点标记，得到目标辅助标注图。

13、在一种可行的实施方式中，所述获取模块包括：获取单元，用于获取点云数据，对所述点云数据进行转换，得到二维图像；提取单元，用于通过所述点云数据和所述二维图像分别进行关键点提取，得到点云路缘关键点集合和点云车道线关键点集合；标记单元，用于通过所述点云车道线关键点集合和所述点云路缘关键点集合对所述二维图像进行关键点标记，得到标记后的二维图像；处理单元，用于获取所述点云数据对应的区域的相机图像，对所述相机图像进行关键点提取，得到相机车道线关键点集合和相机红绿灯位置关键点集合。

14、在一种可行的实施方式中，所述提取单元包括：第一识别子单元，用于通过预置的密度聚类算法对所述点云数据进行路缘识别，得到点云路缘数据；第一提取子单元，用于通过对所述点云路缘数据进行关键点提取，得到点云路缘关键点集合；第二提取子单元，用于通过预置的车道检测算法对所述二维图像进行关键点提取，得到点云车道线关键点集合。

15、在一种可行的实施方式中，所述第一识别子单元具体用于：通过预置的密度聚类算法将所述点云数据分类为具有不同密度的聚类簇，得到至少一个聚类簇；获取各聚类簇对应的框模型尺寸和点云熵，并通过预置的检验库对各聚类簇对应的框模型尺寸和点云熵进行匹配，得到各聚类簇对应的识别数据；通过各聚类簇对应的识别数据从所述至少一个聚类簇中提取目标聚类簇，得到点云路缘数据。

16、在一种可行的实施方式中，所述第二提取子单元具体用于：通过预置的灰度转换函数将所述二维图像转换为灰度图像；通过预置的车道检测算法中的模板匹配算法、位置检测算法和边缘检测算法对所述灰度图像进行识别，得到候选车道线特征区域集合，所述车道检测算法包括模板匹配算法、位置检测算法、边缘检测算法和非极大抑制算法；通过所述非极大抑制算法对所述候选车道线特征区域集合进行筛选，得到目标车道线特征区域集合；对所述目标车道线特征区域集合进行关键点提取，得到点云车道线关键点集合。

17、在一种可行的实施方式中，处理单元包括：获取子单元，用于获取所述点云数据对应的区域的相机图像；第二识别子单元，用于通过预置的车道线检测模型对所述相机图像进行车道线识别，得到相机车道线集合；第三提取子单元，用于对所述相机车道线集合进行关键点提取，得到相机车道线关键点集合；第四提取子单元，用于通过预置的深度学习算法对所述相机图像进行关键点提取，得到相机红绿灯位置关键点集合。

18、在一种可行的实施方式中，所述第二识别子单元具体用于：通过预置的车道线检测模型对所述相机图像进行车道线检测，得到车道线语义分割结果和像素点的特征信息；根据所述车道线语义分割结果和所述像素点的特征信息，对所述相机图像中的车道线像素点进行聚类，得到聚类结果；通过所述聚类结果得到相机车道线集合。

19、在一种可行的实施方式中，所述第四提取子单元具体用于：通过预置的深度学习算法对所述相机图像进行识别，得到至少一个红绿灯检测框；对所述至少一个红绿灯检测框进行筛选，得到目标检测框集合；获取所述目标检测框集合中每个目标检测框的中心点，将每个目标检测框的中心点确定为红绿灯位置关键点，得到红绿灯位置关键点集合。

20、在一种可行的实施方式中，所述筛选模块具体用于：将所述相机车道线关键点集合和所述点云车道线关键点集合进行比较，判断是否存在重合关键点，所述重合关键点用于指示所述相机车道线关键点集合中与所述点云车道线关键点集合中的点云车道线关键点重合的相机车道线关键点；若存在所述重合关键点，则将所述相机车道线关键点集合中的所述重合关键点进行删除，得到筛选后的相机车道线关键点集合。

21、本发明第三方面提供了一种辅助标注图的生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述辅助标注图的生成设备执行上述的辅助标注图的生成方法。

22、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的辅助标注图的生成方法。

23、本发明提供的技术方案中，获取点云车道线关键点集合、相机车道线关键点集合、相机红绿灯位置关键点集合和标记后的二维图像；通过所述点云车道线关键点集合，对所述相机车道线关键点集合进行筛选，得到筛选后的相机车道线关键点集合；通过所述筛选后的相机车道线关键点集合和红绿灯位置关键点集合对所述标记后的二维图像进行关键点标记，得到目标辅助标注图。本发明实施例中，基于所述点云车道线关键点集合对所述相机车道线关键点集合进行筛选，并通过筛选后的相机车道线关键点和红绿灯位置关键点对标记后的二维图像进行关键点标记，得到目标辅助标注图，提高了目标辅助标注图的准确性。