技术特征:
1.基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于包括以下步骤:步骤1:针对yolov5s模型结构进行改进,提出改进型yolov5s模型结构,以提高模型对目标的检测能力;步骤2:建立可行驶区域和车道线检测模型结构,该模型主要由主干网络、颈部结构、可行驶区域检测头、车道线检测头组成;步骤3:将原始输入图像裁剪后归一化处理,对rgb每个通道进行标准化;步骤4:设计可行驶区域和车道线检测yolov5模型的模型推理和后处理;步骤5:设计可行驶区域和车道线检测模型的损失函数,根据损失值的大小分析模型训练的好坏,判断模型是否收敛;步骤6:构建自动驾驶汽车的可行驶区域和车道线检测数据集,设计可行驶区域和车道线分割标签;步骤7:训练可行驶区域和车道线检测模型,设计可行驶区域和车道线检测模型的评价指标。2.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤1中,所述针对yolov5s模型结构进行改进,提出改进型yolov5s模型结构的具体步骤为:第一步:在原始yolov5s模型的fpn结构中增加一个模块,使neck端充分利用p2级浅层高分辨特征;第二步:采用p2级高分辨率特征w/4
×
h/4替换yolov5s中的p5级特征w/32
×
h/32来提高检测小目标的能力。3.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤2中,所述建立可行驶区域和车道线检测模型结构,具体包括以下步骤;第一步:设计由focus和cbs_csp模块组成的主干网络,提取输入图像的特征;第二步:采用特征金字塔网络和路径聚合网络结构设计颈部结构,实现不同尺度的特征融合;第三步:去掉改进型yolov5s模型的detection head和neck端的panet结构;第四步:将改进型yolov5s模型的neck端中的fpn结构后面增加的可行驶区域和车道线分割分支,实现简单高效的分割网络;第五步:设计可行驶区域检测头和车道线检测头,将特征图的宽高变换回输入图像的分辨率大小。4.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤3中,所述将原始输入图像裁剪后归一化处理,对rgb每个通道进行标准化,具体步骤是将原始输入图像裁剪到分辨率为w
×
h,对输入图像进行归一化处理,将rgb三个通道的像素值[0,255]缩放到[0,1]的范围内,对每个通道进行标准化。5.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤4中,所述设计可行驶区域和车道线检测yolov5模型的模型推理和后处理,具体步骤包括:第一步:输入图像经过可行驶区域或车道线检测模型后生成与输入图像一样尺寸的输
出特征图,根据式sigmoid计算公式生成语义概率输出,将输出映射到[0,1]之间;第二步:将语义分类概率转换得到像素类别,通过双线性插值法调整分割图到原图大小,在原图上将分类结果编码为不同的颜色。6.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤5中,所述设计可行驶区域和车道线检测模型的损失函数,根据损失值的大小分析模型训练的好坏,判断模型是否收敛的具体步骤包括:第一步:采用二元交叉熵bce损失函数来计算,而同样采用sigmoid函数将bce损失函数的输入数据转换到[0,1]之间,其中整张图的损失是对每个像素的损失求平均值;第二步:语义分割损失由可行驶区域检测损失l
drivable
和车道线检测损失l
lane
两部分组成,而且采用相同的损失函数来计算分割损失。7.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤6中,所述构建自动驾驶汽车的可行驶区域和车道线检测数据集,设计可行驶区域和车道线分割标签的具体步骤为;第一步:将可行驶区域的坐标直接连接起来,采用3次贝塞尔曲线拟合曲线部分,拟而后对闭合区域进行填充,得到可行驶区域分割标签;第二步:将车道线的坐标直接连接起来,采用多项式曲线拟合车道线曲线部分,根据enet-sad方法计算出两条线的中心线作为新车道线,从而得到最终的车道线标签。8.如权利要求1所述基于语义分割的可行驶区域和车道线检测模型构建方法,其特征在于在步骤7中,所述训练可行驶区域和车道线检测模型,设计可行驶区域和车道线检测模型的评价指标的具体步骤包括:第一步:初始学习率设为0.001,迭代次数为125,批尺寸为16,可行驶区域权重为1,车道线权重为1,采用sgd优化器进行优化训练;第二步:可行驶区域检测采用miou作为精度的评价指标,其为所有类别中预测结果和真实值的交集与并集之比的平均值;第三步:根据enet-sad选用车道accuracy和iou作为车道线检测的评价指标;车道accuracy定义为车道线被正确预测与所有真实车道线的比值。
技术总结
基于语义分割的可行驶区域和车道线检测模型构建方法,涉及汽车智能化与自动驾驶。改进YOLOv5s模型结构,提高模型对目标检测能力;建立可行驶区域和车道线检测模型结构,由主干网络、颈部结构、可行驶区域检测头、车道线检测头组成;将原始图像裁剪后归一化,对RGB每个通道标准化;设计可行驶区域和车道线检测YOLOv5模型的模型推理和后处理;设计可行驶区域和车道线检测模型的损失函数,根据损失值大小分析模型训练好坏,判断模型是否收敛;构建自动驾驶汽车可行驶区域和车道线检测数据集,设计可行驶区域和车道线分割标签;训练可行驶区域和车道线检测模型,设计可行驶区域和车道线检测模型评价指标。实现实时、准确、高效。高效。高效。
技术研发人员:郭景华 肖宝平 王靖瑶
受保护的技术使用者:厦门大学
技术研发日:2022.08.05
技术公布日:2022/11/3