车道自由空间统一检测估计的多任务神经网络系统

本发明涉及自动驾驶，具体是一种适应性多任务神经网络系统，适用于自动驾驶车辆在结构化与非结构化道路环境下进行车道检测与可行驶区域估计。

背景技术：

1、自动驾驶技术作为一项革新性的交通出行方式，正在逐步改变人们的出行习惯和交通生态。其中，自动驾驶车辆必须具备对周围道路环境的精准感知与理解能力，以确保行车安全并作出合理的驾驶决策。车道检测与可行驶区域估计作为自动驾驶环境感知的两项核心任务，对车辆的安全行驶起着决定性作用。车道检测是指自动驾驶系统准确识别车辆当前所处车道的边界位置以及前方车道的延续方向和可能的变道路径，为路径规划、速度控制、避障决策等高级驾驶辅助功能提供关键输入。另一方面，可行驶区域估计要求系统识别出当前及未来行驶过程中可供车辆安全通行的空间范围，包括但不限于车道、临时施工区域、应急车道、临时借用的对向车道等，这对于动态避障、应对复杂交通场景以及在恶劣道路条件下做出合理行驶决策至关重要。针对上述挑战，本发明提出了一种适应性多任务神经网络系统。该系统深度融合了先进的神经网络架构与自适应学习策略，引入更为灵活的特征提取模块和多层次的空间注意力机制，增强模型对复杂道路布局的理解和适应能力，确保在无明显车道线或道路条件复杂时仍能准确识别可行驶区域。提升非结构化道路环境的适应性，实现对各类道路环境的高效处理和精准分析。为自动驾驶车辆提供更为精准、鲁棒且适应性强的道路环境理解能力，为实现全地形的自动驾驶奠定坚实基础。

技术实现思路

1、发明目的：本发明的主要目的是提供一种适应性多任务神经网络系统，通过集成特定设计的多个任务分支与模块间通信与协同学习机制，实现对输入道路环境图像的高效特征提取、精准车道线检测与可行驶区域估计，并能适应不同道路环境的变化，有效提升自动驾驶车辆在复杂场景下的行驶安全性与决策准确性。

2、为实现上述发明目的，本发明采用以下技术方案：

3、1、主干网络

4、1.1、主干网络作为整个系统的基础，负责从输入的道路环境图像中提取丰富的特征信息。本发明选用resnet架构，其通过引入残差连接有效解决了深层神经网络训练过程中的梯度消失问题，使得网络可以构建更深的层次，从而捕捉到更复杂的图像特征。

5、1.2、深度可分离卷积：为了降低计算复杂性和模型参数量，主干网络可选择性地采用深度可分离卷积替代部分或全部标准卷积层。深度可分离卷积将标准卷积分解为深度卷积(处理单个通道内的信息)和逐点卷积(跨通道融合信息)，在保证特征提取能力的同时显著减少计算量和参数数量，有利于模型的高效运行和实时应用。

6、1.3、wideresnet结构：为了进一步提高模型的表达能力和泛化性能，主干网络的宽度可相对于标准resnet进行扩展，形成wide resnet结构。具体做法是在保持网络深度不变的情况下，增加每个残差块内部的通道数，从而增大模型的容量，使其能够更好地捕捉和区分复杂道路环境中的细微特征差异。

7、2、车道线检测任务分支

8、车道线检测任务分支连接于主干网络，专注于识别和定位道路图像中的车道线。

9、2.1、cbam模块：该分支内集成channel attention module(cbam)模块，通过分别计算和融合特征图在通道和空间维度上的注意力，强调对车道线特征敏感的通道和空间位置，有效抑制无关背景噪声，提高对车道线特征的识别精度。

10、2.2、se注意力机制：车道线检测任务分支还嵌入squeeze-and-excitation(se)注意力机制，通过学习并动态调整每个通道的权重，突出对车道线检测任务贡献较大的特征，进一步优化特征表示。

11、2.3、bottleneck残差块：为在保持特征提取能力的同时降低计算成本，分支内的标准残差块可替换为bottleneck残差块，其结构包含1x1卷积(降维)、3x3卷积(核心特征提取)和1x1卷积(升维)，通过这种设计减少了计算量，有利于模型在资源有限的车载环境中高效运行。

12、2.4、损失函数优化：针对车道线检测任务，本发明采用focal loss优化模型对每个像素点是否属于车道线的分类准确性，通过赋予难分类样本更大的损失权重，缓解类别不平衡问题，提高模型对稀疏且重要车道线像素的识别能力。同时，使用iou loss优化模型预测的车道线区域与真实车道线区域的整体匹配度，确保车道线轮廓的准确描绘。

13、3、自由空间估计任务分支

14、自由空间估计任务分支同样连接于主干网络，主要负责预测自动驾驶车辆周围可行驶区域的空间分布。

15、3.1、fasttransformer模块：该分支内包含fasttransformer模块，利用自注意力机制捕获道路环境的空间布局和潜在可行驶区域的长程依赖关系，无需局限于局部视野，有助于更准确地识别出复杂、非规则道路环境中的可行驶区域。

16、3.2、se注意力机制：与车道线检测任务分支相似，自由空间估计任务分支也集成se注意力机制，动态调整通道间的特征重要性，强化对可行驶区域相关特征的学习。

17、3.3、损失函数优化：针对自由空间估计任务，本发明使用smooth l1 loss优化模型对可行驶区域边界框、距离场和像素级概率图的回归性能。smooth l1 loss结合了l1loss和huber loss的优点，对远离目标值的较大误差施加较小的惩罚，对接近目标值的小误差施加较大的惩罚，有助于模型稳定收敛，提高对可行驶区域位置、形状和距离信息的精确估计。

18、4、模块间通信与协同学习模块

19、模块间通信与协同学习模块位于车道线检测任务分支与自由空间估计任务分支之间，实现两分支间的高效信息交互与互补学习。

20、4.1、双向信息交换：该模块促进车道线检测任务分支和自由空间估计任务分支之间的特征共享与融合，允许高层语义特征和低层细节特征相互传递，使得两个任务能够相互受益，共同提升各自的检测和估计性能。

21、4.2、协同优化：通过模块间通信与协同学习模块，系统能够对车道线检测与可行驶区域估计任务进行联合优化，确保二者在决策过程中的高度一致性和准确性，增强自动驾驶系统的整体稳健性。

22、有益效果：

23、本发明提供的适应性多任务神经网络系统及其方法，凭借主干网络的强大特征提取能力与任务分支的专门化处理机制，使得系统能够准确识别和理解不同道路环境中的关键特征。模块间通信与协同学习模块的引入，打破了任务间的孤立状态，实现了车道线检测与自由空间估计任务间的深度交互与知识迁移，提高了模型对复杂道路场景的理解深度与广度。提升了自动驾驶车辆在各类道路环境下的车道检测与可行驶区域估计性能，有力保障了行车安全，提高了决策准确性，增强了车辆高效处理各类道路环境的普适性和自适应能力。

技术特征：

1.一种适应性多任务神经网络系统，用于自动驾驶车辆在结构化及非结构化道路环境下的车道检测和可行驶区域估计，其特征在于包括：

2.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述主干网络采用深度可分离卷积代替部分标准卷积层，以降低计算复杂性和模型参数量。

3.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述主干网络的宽度相对于标准resnet进行扩展，形成wide resnet结构，以提高模型容量。

4.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述车道线检测任务分支内集成有se(squeeze-and-excitation)注意力机制，用于动态调整通道间的特征重要性。

5.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述自由空间估计任务分支内集成有se(squeeze-and-excitation)注意力机制，用于动态调整通道间的特征重要性。

6.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述车道线检测任务分支和/或自由空间估计任务分支内的标准残差块替换为bottleneck残差块，以减小计算成本并保持特征提取能力。

7.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述车道线检测任务分支使用focal loss优化模型对每个像素点是否属于车道线的分类准确性，以及使用iouloss优化模型预测的车道线区域与真实车道线区域的整体匹配度。

8.如权利要求1所述的适应性多任务神经网络系统，其特征在于，所述自由空间估计任务分支使用smooth l1 loss优化模型对可行驶区域边界框、距离场和像素级概率图的回归性能，以精确估计可行驶区域的位置、形状和距离信息。

9.如权利要求1所述的适应性多任务神经网络系统，其特征在于，总损失函数为车道线检测任务损失与可行驶区域检测任务损失的加权和，具体为：

10.一种基于权利要求1至9中任一项所述适应性多任务神经网络系统的自动驾驶方法，包括：

技术总结
本发明涉及自动驾驶技术领域，尤其是一种解决非结构化道路车道检测准确率低下问题的适应性多任务神经网络系统。该系统能够统一处理结构化与非结构化道路数据，根据道路场景自适应地进行车道检测或自由空间估计。具体而言，系统通过多任务学习框架共享底层特征提取层，同时训练两个任务分支：一是针对结构化道路的车道线检测任务，二是针对非结构化道路的自由空间估计任务。系统根据输入数据类型和道路场景自适应地调整特征提取权重，有效捕获不同道路场景的关键特征。此外，模型还采用了条件分支机制，根据道路类型标签选择性激活相应任务分支，确保在不同道路环境下输出准确的结果。本发明实现了对各类道路环境的高效处理，显著提升了自动驾驶车辆在复杂道路条件下的行驶安全性。

技术研发人员：沈庆宏,高恒,李宏宇,袁杰
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/8/16