三维车道线标注方法、装置、设备及存储介质与流程

本发明涉及图像处理领域，尤其涉及一种三维车道线标注方法、装置、设备及存储介质。

背景技术：

1、在自动驾驶领域，车道线感知是自动驾驶决策的基础之一，自动驾驶算法的学习需要大量车道线标注数据。

2、当前主要通过对图像进行人工或自动化识别，将识别出的车道线进行位置标注，得到的车道线信息有限，且自动化标注存在不准确的情况，为保证学习效果，需要人工修复，标注成本、高效率低。

技术实现思路

1、本发明的主要目的在于提供一种三维车道线标注方法、装置、设备及存储介质，用于解决车道线信息有限、标注成本高且效率低的问题，提供更全面的车道线信息，降低标注成本，提高标注效率。

2、本发明第一方面提供了一种三维车道线标注方法，包括：获取道路图像序列以及与所述道路图像序列匹配的道路点云帧序列，所述道路图像序列中每个图像均包括二维车道信息；对所述道路点云帧序列进行去噪和拼接处理，得到地面拼接点云；根据所述地面拼接点云确定所述道路图像序列中每个图像的三维车道信息；将所述每个图像的三维车道信息进行拼接，得到综合三维车道信息；根据所述综合三维车道信息生成三维车道线并进行标注。

3、在一种可行的实施方式中，所述根据所述地面拼接点云确定所述道路图像序列中每个图像的三维车道信息，包括：将所述道路图像序列中的任意一个图像确定为目标图像；将所述地面拼接点云投影到所述目标图像中，得到地面投影点云；根据所述目标图像中的二维车道信息和所述地面投影点云生成所述目标图像的三维车道信息；获取所述道路图像序列中其他图像的三维车道信息，得到所述道路图像序列中每个图像的三维车道信息。

4、在一种可行的实施方式中，所述根据所述目标图像中的二维车道信息和所述地面投影点云生成所述目标图像的三维车道信息，包括：根据所述目标图像的二维车道信息识别所述目标图像中的二维车道点；获取每个二维车道点在对应预设选取区域内的地面投影点云，所述预设选取区域为包括二维车道点且垂直于道路地面的区域；根据所述每个二维车道点在对应预设选取区域内的地面投影点云计算每个二维车道点的深度；根据所述目标图像的二维车道信息和所述每个二维车道点的深度确定所述目标图像的三维信息，所述三维车道信息包括至少一个三维车道点。

5、在一种可行的实施方式中，所述获取每个二维车道点在对应预设选取区域内的地面投影点云，包括：根据所述二维车道点由近及远的顺序设置预设选取区域的大小，所述二维车道点距离越近，所述二维车道点的对应预设选取区域越大。

6、在一种可行的实施方式中，所述根据所述综合三维车道信息生成三维车道线并进行标注，包括：对所述综合三维车道信息进行解析，得到三维车道点集合，所述三维车道点集合包括至少一个三维车道点，每个三维车道点的信息包括三维车道点坐标和三维车道点方向向量；将所述三维车道点集合中的任意一点确定为目标三维车道点；基于所述目标三维车道点生成多个衍生点；将所述目标三维车道点和所述多个衍生点进行曲线拟合，得到目标三维车道线；对所述目标三维车道线进行标注，并将用于生成所述目标三维车道线的三维车道点进行标记；从所述三维车道点集合中选取一个未被标记的三维车道点，根据所述未被标记的三维车道点继续生成三维车道线，直至所述三维车道点集合的三维车道点全部被标记。

7、在一种可行的实施方式中，所述基于所述目标三维车道点生成多个衍生点，包括：基于所述目标三维车道点设置第一区域并获取所述第一区域的三维车道点，根据所述第一区域的三维车道点确认第一方向，所述第一方向与所述第一区域内三维车道点的平均方向向量指示的方向相同；基于所述第一方向和所述目标三维车道点设置第二区域并获取所述第二区域的三维车道点，根据所述第二区域的三维车道点确认第二方向上的坐标值，所述第二方向上的坐标值为所述第二区域内三维车道点在第二方向上坐标值的均值，所述第二方向与所述第一方向垂直，所述第一方向和所述第二方向所在的平面为道路的鸟瞰图平面；根据所述第一方向和所述第二方向上的坐标值确定第一衍生点；基于所述第一衍生点生成下一个衍生点，直至所述三维车道点集合不足以提供生成衍生点的数据，得到多个衍生点。

8、在一种可行的实施方式中，所述对所述道路点云帧序列进行去噪和拼接处理，得到地面拼接点云，包括：删除所述道路点云帧序列的每一帧中运动物体的点云，得到第一点云帧序列；筛选出所述第一点云帧序列中每一帧的地面点云，得到第二点云帧序列；将所述第二点云帧序列中每一帧的地面点云进行拼接，得到地面拼接点云。

9、本发明第二方面提供了一种三维车道线标注装置，包括：获取模块，用于获取道路图像序列以及与所述道路图像序列匹配的道路点云帧序列，所述道路图像序列中每个图像均包括二维车道信息；处理模块，用于对所述道路点云帧序列进行去噪和拼接处理，得到地面拼接点云；确定模块，用于根据所述地面拼接点云确定所述道路图像序列中每个图像的三维车道信息；拼接模块，用于将所述每个图像的三维车道信息进行拼接，得到综合三维车道信息；标注模块，用于根据所述综合三维车道信息生成三维车道线并进行标注。

10、在一种可行的实施方式中，所述确定模块包括：确定子模块，用于将所述道路图像序列中的任意一个图像确定为目标图像；投影子模块，用于将所述地面拼接点云投影到所述目标图像中，得到地面投影点云；生成子模块，用于根据所述目标图像中的二维车道信息和所述地面投影点云生成所述目标图像的三维车道信息；获取子模块，用于获取所述道路图像序列中其他图像的三维车道信息，得到所述道路图像序列中每个图像的三维车道信息。

11、在一种可行的实施方式中，所述投影子模块包括：识别单元，用于根据所述目标图像的二维车道信息识别所述目标图像中的二维车道点；获取单元，用于获取每个二维车道点在对应预设选取区域内的地面投影点云，所述预设选取区域为包括二维车道点且垂直于道路地面的区域；计算单元，用于根据所述每个二维车道点在对应预设选取区域内的地面投影点云计算每个二维车道点的深度；第一确定单元，用于根据所述目标图像的二维车道信息和所述每个二维车道点的深度确定所述目标图像的三维信息，所述三维车道信息包括至少一个三维车道点。

12、在一种可行的实施方式中，所述获取单元具体用于：根据所述二维车道点由近及远的顺序设置预设选取区域的大小，所述二维车道点距离越近，所述二维车道点的对应预设选取区域越大。

13、在一种可行的实施方式中，所述标注模块包括：解析单元，用于对所述综合三维车道信息进行解析，得到三维车道点集合，所述三维车道点集合包括至少一个三维车道点，每个三维车道点的信息包括三维车道点坐标和三维车道点方向向量；第二确定单元，用于将所述三维车道点集合中的任意一点确定为目标三维车道点；第一生成单元，用于基于所述目标三维车道点生成多个衍生点；拟合单元，用于将所述目标三维车道点和所述多个衍生点进行曲线拟合，得到目标三维车道线；标注单元，用于对所述目标三维车道线进行标注，并将用于生成所述目标三维车道线的三维车道点进行标记；第二生成单元，用于从所述三维车道点集合中选取一个未被标记的三维车道点，根据所述未被标记的三维车道点继续生成三维车道线，直至所述三维车道点集合的三维车道点全部被标记。

14、在一种可行的实施方式中，所述第一生成单元具体用于：基于所述目标三维车道点设置第一区域并获取所述第一区域的三维车道点，根据所述第一区域的三维车道点确认第一方向，所述第一方向与所述第一区域内三维车道点的平均方向向量指示的方向相同；基于所述第一方向和所述目标三维车道点设置第二区域并获取所述第二区域的三维车道点，根据所述第二区域的三维车道点确认第二方向上的坐标值，所述第二方向上的坐标值为所述第二区域内三维车道点在第二方向上坐标值的均值，所述第二方向与所述第一方向垂直，所述第一方向和所述第二方向所在的平面为道路的鸟瞰图平面；根据所述第一方向和所述第二方向上的坐标值确定第一衍生点；基于所述第一衍生点生成下一个衍生点，直至所述三维车道点集合不足以提供生成衍生点的数据，得到多个衍生点。

15、在一种可行的实施方式中，所述处理模块具体用于：删除所述道路点云帧序列的每一帧中运动物体的点云，得到第一点云帧序列；筛选出所述第一点云帧序列中每一帧的地面点云，得到第二点云帧序列；将所述第二点云帧序列中每一帧的地面点云进行拼接，得到地面拼接点云。

16、本发明第三方面提供了一种三维车道线标注设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述三维车道线标注设备执行上述的三维车道线标注方法。

17、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的三维车道线标注方法。

18、本发明提供的技术方案中，获取道路图像序列以及与所述道路图像序列匹配的道路点云帧序列，所述道路图像序列中每个图像均包括二维车道信息，对所述道路点云帧序列进行去噪和拼接处理，得到地面拼接点云，根据所述地面拼接点云确定所述道路图像序列中每个图像的三维车道信息，将所述每个图像的三维车道信息进行拼接，得到综合三维车道信息，根据所述综合三维车道信息生成三维车道线并进行标注。本发明实施例中，通过点云提供道路的深度信息，将点云投影到包含二维车道信息的道路图像序列的每一帧图像中，得到每一帧图像的三维车道信息，将每一帧图像的三维车道信息拼接起来，生成三维车道线并标注，得到的车道线信息全面，标注成本低，标注效率高。