单目路侧相机视角下基于Hourglass网络的地平线检测方法

本技术涉及地平线检测，具体地，涉及一种单目路侧相机视角下基于hourglass网络的地平线检测方法。

背景技术：

1、在智能交通系统(its)中，地平线是自动驾驶、辅助驾驶的重要几何依据。地平线是指在透视投影中，视野内水平方向的线与地面的交点所形成的水平线。地平线可以提供关于场景的重要信息，例如场景的水平方向、相机的高度、场景的远近等。在计算机视觉中，可以通过检测图像中的地平线来获得这些信息，并将其用于图像矫正、物体检测、场景重建等应用中。此外，地平线还可以用于图像分类和图像检索等任务中，以帮助计算机更好地理解和处理图像。

2、传统地平线检测算法主要是基于边缘检测及几何特征的方法，这些方法对图像的噪声和光照变化比较敏感，同时需要先进行图像预处理，计算量通常较大。随着深度学习的发展，深度学习目标检测也逐渐被应用到地平线检测任务中，也使得地平线检测任务的精度得到了提高。但其检测方法目前仍无法达到实时的快速水平，对车辆辅助驾驶的信息提供并不及时。近年来，关键点检测网络在人体关键点检测中表现出了较强的性能，作为目标检测的一个重要分支，它通过对输入图像进行卷积和池化等操作，逐步提取图像特征，然后根据这些特征提取关键点的位置或置信度等。关键点检测网络作为目标检测的一个分支，可以解决传统目标检测中过于依赖边界框的问题。同时，通过检测目标的关键点，可以对目标进行分割和识别，可以有效解决遮挡等问题。上述方法都存在检测精度不高，检测速度较慢等问题。目前，地平线检测主要存在以下问题：地平线检测速度不高，无法实时为车辆的自动驾驶提供依据；地平线检测对噪声等比较敏感，准确率不高。

技术实现思路

1、为了克服现有技术中的至少一个不足，本技术提供一种单目路侧相机视角下基于hourglass网络的地平线检测方法。

2、第一方面，提供一种基于hourglass网络的地平线检测模型构建方法，包括：

3、获取原始车辆图片数据集；原始车辆图片数据集包括多张原始车辆图片；

4、将原始车辆图片数据集中的多张原始车辆图片由原始物理空间转换为钻石空间，得到空间转换后的车辆图片数据集；原始车辆图片中包括原始物理空间下的2个标签信息，空间转换后的车辆图片数据集中的图片中包括钻石空间下的2个标签信息；

5、基于空间转换后的车辆图片数据集构建训练数据集；训练数据集包括训练集和测试集；

6、基于训练数据集对基于hourglass网络的地平线检测模型进行训练，得到训练后的基于hourglass网络的地平线检测模型；基于hourglass网络的地平线检测模型包括hourglass网络和多尺度变换模块，hourglass网络用于基于训练数据集中的样本输出2个热力图，多尺度变换模块用于对hourglass网络输出的2个热力图分别进行多尺度变换，分别得到4个不同尺度的第一热力图和4个不同尺度的第二热力图。

7、在一个实施例中，基于训练数据集对基于hourglass网络的地平线检测模型进行训练，包括：

8、将测试集输入到基于hourglass网络的地平线检测模型中，得到4个不同尺度的第一热力图和4个不同尺度的第二热力图；4个不同尺度的第一热力图和4个不同尺度的第二热力图中的每张图中均包含一个钻石空间下的消失点位置信息；

9、在4个第一热力图对应的钻石空间下的消失点位置信息中选择与测试集中的样本对应的钻石空间下的第一标签信息最接近的一个消失点位置信息，作为第一选择的消失点位置信息；第一标签信息为第一消失点位置信息；

10、在4个第二热力图对应的钻石空间下的消失点位置信息中选择与测试集中的样本对应的钻石空间下的第二标签信息最接近的一个消失点位置信息，作为第二选择的消失点位置信息；第二标签信息为第二消失点位置信息；

11、对第一选择的消失点位置信息和第二选择的消失点位置信息进行解码，得到原始物理空间下的2个消失点位置信息；

12、根据原始物理空间下的2个消失点位置信息和测试集中的样本对应的原始物理空间下的第一标签信息和第二标签信息，确定模型输出准确率；

13、根据模型输出准确率对基于hourglass网络的地平线检测模型的参数进行调整。

14、在一个实施例中，训练过程中采用的损失函数为focal loss损失函数。

15、第二方面，提供一种单目路侧相机视角下基于hourglass网络的地平线检测方法，包括：

16、获取待检测图片；待检测图片中包含n个车辆；

17、将待检测图片输入到基于hourglass网络的地平线检测模型中，得到n个钻石空间热力图组，每个钻石空间热力图组包括4个不同尺度的第一热力图和4个不同尺度的第二热力图；基于hourglass网络的地平线检测模型为根据上述的基于hourglass网络的地平线检测模型构建方法得到的；

18、对n个钻石空间热力图组中的每个钻石空间热力图组进行解码，得到n条地平线；

19、确定n条地平线中的所有地平线斜率的中值以及所有地平线截距的中值；

20、根据所有地平线斜率的中值和所有地平线截距的中值，确定最终的地平线。

21、在一个实施例中，对n个钻石空间热力图组中的每个钻石空间热力图组进行解码，得到n条地平线，包括：

22、对每个钻石空间热力图组，对相同尺度的第一热力图和第二热力图中的消失点位置信息进行解码，得到4组原始物理空间下的消失点位置信息，每组原始物理空间下的消失点位置信息包括2个原始物理空间下的消失点位置信息；根据2个原始物理空间下的消失点位置信息得到一条地平线；最终每个钻石空间热力图组得到4条地平线；

23、求4条地平线中所有地平线斜率的中值以及所有地平线截距的中值；

24、根据所有地平线斜率的中值以及所有地平线截距的中值确定钻石空间热力图组对应的地平线。

25、第三方面，提供一种基于hourglass网络的地平线检测模型构建装置，包括：

26、数据集获取模块，用于获取原始车辆图片数据集；原始车辆图片数据集包括多张原始车辆图片；

27、空间转换模块，用于将原始车辆图片数据集中的多张原始车辆图片由原始物理空间转换为钻石空间，得到空间转换后的车辆图片数据集；原始车辆图片中包括原始物理空间下的2个标签信息，空间转换后的车辆图片数据集中的图片中包括钻石空间下的2个标签信息；

28、训练数据构建模块，用于基于空间转换后的车辆图片数据集构建训练数据集；训练数据集包括训练集和测试集；

29、训练模块，用于基于训练数据集对基于hourglass网络的地平线检测模型进行训练，得到训练后的基于hourglass网络的地平线检测模型；基于hourglass网络的地平线检测模型包括hourglass网络和多尺度变换模块，hourglass网络用于基于训练数据集中的样本输出2个热力图，多尺度变换模块用于对hourglass网络输出的2个热力图分别进行多尺度变换，分别得到4个不同尺度的第一热力图和4个不同尺度的第二热力图。

30、在一个实施例中，训练模块还用于：

31、将测试集输入到基于hourglass网络的地平线检测模型中，得到4个不同尺度的第一热力图和4个不同尺度的第二热力图；4个不同尺度的第一热力图和4个不同尺度的第二热力图中的每张图中均包含一个钻石空间下的消失点位置信息；

32、在4个第一热力图对应的钻石空间下的消失点位置信息中选择与测试集中的样本对应的钻石空间下的第一标签信息最接近的一个消失点位置信息，作为第一选择的消失点位置信息；第一标签信息为第一消失点位置信息；

33、在4个第二热力图对应的钻石空间下的消失点位置信息中选择与测试集中的样本对应的钻石空间下的第二标签信息最接近的一个消失点位置信息，作为第二选择的消失点位置信息；第二标签信息为第二消失点位置信息；

34、对第一选择的消失点位置信息和第二选择的消失点位置信息进行解码，得到原始物理空间下的2个消失点位置信息；

35、根据原始物理空间下的2个消失点位置信息和测试集中的样本对应的原始物理空间下的第一标签信息和第二标签信息，确定模型输出准确率；

36、根据模型输出准确率对基于hourglass网络的地平线检测模型的参数进行调整。

37、在一个实施例中，训练过程中采用的损失函数为focal loss损失函数。

38、第四方面，提供一种单目路侧相机视角下基于hourglass网络的地平线检测装置，包括：

39、图片获取模块，用于获取待检测图片；待检测图片中包含n个车辆；

40、钻石空间热力图组获取模块，用于将待检测图片输入到基于hourglass网络的地平线检测模型中，得到n个钻石空间热力图组，每个钻石空间热力图组包括4个不同尺度的第一热力图和4个不同尺度的第二热力图；基于hourglass网络的地平线检测模型为根据上述的基于hourglass网络的地平线检测模型构建方法得到的；

41、解码模块，用于对n个钻石空间热力图组中的每个钻石空间热力图组进行解码，得到n条地平线；

42、斜率和截距确定模块，用于确定n条地平线中的所有地平线斜率的中值以及所有地平线截距的中值；

43、地平线确定模块，用于根据所有地平线斜率的中值和所有地平线截距的中值，确定最终的地平线。

44、在一个实施例中，解码模块，还用于：

45、对每个钻石空间热力图组，对相同尺度的第一热力图和第二热力图中的消失点位置信息进行解码，得到4组原始物理空间下的消失点位置信息，每组原始物理空间下的消失点位置信息包括2个原始物理空间下的消失点位置信息；根据2个原始物理空间下的消失点位置信息得到一条地平线；最终每个钻石空间热力图组得到4条地平线；

46、求4条地平线中所有地平线斜率的中值以及所有地平线截距的中值；

47、根据所有地平线斜率的中值以及所有地平线截距的中值确定钻石空间热力图组对应的地平线。

48、相对于现有技术而言，本技术具有以下有益效果：本技术能够更快速的获取实时地平线信息，同时可以有效的规避因噪声对地平线检测算法的干扰；此外，使用hourglass能够有效快速的对输入图像进行多尺度特征提取和融合，进而实现对交通等复杂场景中地平线信息的提取。