车道线和可通行区域的检测系统、方法及终端设备与流程

本发明涉及智能驾驶，尤其涉及一种车道线和可通行区域的检测系统、方法及终端设备。

背景技术：

1、随着智能驾驶技术的不断发展，越来越多的车辆配置有智能驾驶功能，为了实现智能驾驶功能，需要由车辆中配置的深度学习系统通过配置在车辆上的多路相机对车辆周围的环境进行拍摄得到环境图像，从而在拍摄到的环境图像中获取车辆周围环境内各固定障碍物的边界和位置、可通行的道路边界及车道的位置等场景信息，进而通过获取的各场景信息实现智能驾驶功能；

2、其中，深度学习系统内所采用的任务网络往往通过同时处理多个任务来加速对环境图像进行分析，且任务网络还可以在多个任务之间共享信息，从而提高任务网络在分别处理每个任务所需要的性能，因此，当前的深度学习系统内采用的任务网络存在较多设计冗余，从而导致任务网络在计算和推理时出现比较耗时的情况，进而令深度学习系统无法在低算力的嵌入式设备上实时运行，同时，较大的任务网络还存在对环境图像进行分析时容易出现重复提取特征的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种车道线和可通行区域的检测系统、方法及终端设备，旨在构建一种不会重复提取图像内包含的图像特征的检测系统，从而令检测系统在运算过程中避免出现浪费计算资源和推理时间的情况。

2、为实现上述目的，本发明提供一种车道线和可通行区域的检测系统，所述车道线和可通行区域的检测系统包括：语义特征提取分支、细节特征提取分支、特征汇总节点、车道线特征输出头及语义特征输出头，其中，所述语义特征提取分支和所述细节特征提取分支分别与所述特征汇总节点相连，所述特征汇总节点分别与所述车道线特征输出头和所述语义特征输出头相连；

3、所述语义特征提取分支用于提取目标图像中包含的处于第一分辨率等级的第一图像特征，并将所述第一图像特征发送至所述特征汇总节点；

4、所述细节特征提取分支用于提取所述目标图像中包含的处于第二分辨率等级的第二图像特征，并将所述第二图像特征发送至所述特征汇总节点，其中，所述第二分辨率等级高于所述第一分辨率等级；

5、所述特征汇总节点用于在获取所述第一图像特征和所述第二图像特征时，将所述第一图像特征和所述第二图像特征整合为目标图像特征，进而将所述目标图像特征分别发送至所述车道线特征输出头和所述语义特征输出头；

6、所述车道线特征输出头用于提取所述目标图像特征内包含的车道线特征；

7、所述语义特征输出头用于提取所述目标图像特征内包含的图像语义特征。

8、进一步地，所述语义特征提取分支包含了stem模块、多个ge模块、非局部全局注意力模块及ce模块，其中，多个所述ge模块按照预设的排列顺序依次相连，所述stem模块与多个所述ge模块相连，多个所述ge模块与所述非局部全局注意力模块相连，所述非局部全局注意力模块与所述ce模块相连；

9、其中，所述stem模块用于对获取的所述目标图像处理得到初步图像特征，进而将所述初步图像特征输入至多个所述ge模块，由多个所述ge模块对输入的所述初步图像特征做处理得到进一步图像特征；

10、多个所述ge模块对所述进一步图像特征进行激活输出，从而将所述进一步图像特征输入至所述非局部全局注意力模块，所述非局部全局注意力模块将所述进一步图像特征内包含的每一个点与其他点相连从而生成所述第一图像特征，并将所述第一图像特征输入至所述ce模块，以供所述ce模块将所述第一图像特征输入至所述特征汇总节点。

11、进一步地，所述stem模块内包含左路分支和右路分支，其中，所述左路分支内包含两个卷积组合，所述右路分支中包含平均池化层，所述左路分支与所述右路分支通过空间注意力处理后与多个所述ge模块相连。

12、此外，为实现上述目的，本发明还提供一种车道线和可通行区域的检测方法，所述车道线和可通行区域的检测方法应用于车道线和可通行区域的检测系统，所述车道线和可通行区域的检测方法包括以下步骤：

13、对目标车辆周围的环境进行拍摄得到初始图像，并对所述初始图像进行预处理得到待识别图像；

14、将所述待识别图像输入至所述车道线和可通行区域的检测系统，由所述车道线和可通行区域的检测系统提取所述待识别图像内包含的所述车道线特征和所述图像语义特征；

15、通过所述车道线特征确定车道线掩码，并将所述车道线掩码与所述初始图像进行整合得到第一目标图像；

16、通过所述图像语义特征确定语义掩码，并将所述语义掩码与所述初始图像进行整合得到第二目标图像；

17、根据所述第一目标图像和所述第二目标图像确定车道线区域和可通行区域。

18、进一步地，所述对所述初始图像进行预处理得到待识别图像的步骤，包括：

19、按照预设的目标分辨率对所述初始图像进行裁剪得到待调整图像；

20、确定所述待调整图像对应的图像长宽比例，并将所述图像长宽比例与预设的标准长宽比例进行比对得到比对结果，在所述比对结果为所述图像长宽比例与所述标准长宽比例不一致时，按照所述标准长宽比例对所述待调整图像进行调整得到待识别图像。

21、进一步地，所述由所述车道线和可通行区域的检测系统提取所述待识别图像内包含的所述车道线特征和所述图像语义特征的步骤，包括：

22、由所述车道线和可通行区域的检测系统将所述待识别图像分别输入至所述语义特征提取分支和所述细节特征提取分支并得到所述第一图像特征和所述第二图像特征；

23、将所述第一图像特征和所述第二图像特征输入至所述特征汇总节点，由所述特征汇总节点将所述第一图像特征和所述第二图像特征整合为所述目标图像特征，并将所述目标图像特征输入至所述车道线特征输出头和所述语义特征输出头；

24、通过所述车道线特征输出头和所述语义特征输出头在所述目标图像特征中提取所述车道线特征和所述图像语义特征。

25、进一步地，所述通过所述车道线特征确定车道线掩码，并将所述车道线掩码与所述初始图像进行整合得到第一目标图像的步骤，包括：

26、通过预设的掩码转换公式将所述车道线特征转换为车道线掩码；

27、对所述车道线掩码执行尺寸还原操作得到目标车道线掩码，并将所述目标车道线掩码与所述初始图像进行整合得到第一目标图像。

28、进一步地，所述通过所述图像语义特征确定语义掩码，并将所述语义掩码与所述初始图像进行整合得到第二目标图像的步骤，包括：

29、通过所述掩码转换公式将所述图像语义特征转换为语义掩码；

30、对所述语义掩码执行所述尺寸还原操作得到目标图像语义掩码，并将所述目标图像语义掩码与所述初始图像进行整合得到第二目标图像。

31、此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车道线和可通行区域的检测程序，所述车道线和可通行区域的检测程序被所述处理器执行时实现如上述的车道线和可通行区域的检测方法的步骤。

32、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有车道线和可通行区域的检测程序，所述车道线和可通行区域的检测程序被处理器执行时实现如上述的车道线和可通行区域的检测方法的步骤。

33、本发明实施例提供的一种车道线和可通行区域的检测系统、方法及终端设备，包括：语义特征提取分支、细节特征提取分支、特征汇总节点、车道线特征输出头及语义特征输出头，其中，所述语义特征提取分支和所述细节特征提取分支分别与所述特征汇总节点相连，所述特征汇总节点分别与所述车道线特征输出头和所述语义特征输出头相连；所述语义特征提取分支用于提取目标图像中包含的处于第一分辨率等级的第一图像特征，并将所述第一图像特征发送至所述特征汇总节点；所述细节特征提取分支用于提取所述目标图像中包含的处于第二分辨率等级的第二图像特征，并将所述第二图像特征发送至所述特征汇总节点，其中，所述第二分辨率等级高于所述第一分辨率等级；所述特征汇总节点用于在获取所述第一图像特征和所述第二图像特征时，将所述第一图像特征和所述第二图像特征整合为目标图像特征，进而将所述目标图像特征分别发送至所述车道线特征输出头和所述语义特征输出头；所述车道线特征输出头用于提取所述目标图像特征内包含的车道线特征；所述语义特征输出头用于提取所述目标图像特征内包含的图像语义特征。

34、在本实施例中，车道线和可通行区域的检测系统主要包含语义特征提取分支、细节特征提取分支、特征汇总节点、车道线特征输出头及语义特征输出头，其中，语义特征提取分支主要用于提取目标图像内包含的处于较高分辨率等级的第一图像特征，细节特征提取分支主要用于提取目标图像内包含的处于较低分辨率等级的第二图像特征，之后，语义特征提取分支将提取的第一图像特征输入至相连的特征汇总节点，同时，细节特征提取分支将提取的第二图像特征输入至相连的特征汇总节点，由特征汇总节点将第一图像特征和第二图像特征进行整合以得到目标图像内包含的处于各分辨率等级的目标图像特征，特征汇总节点进而将目标图像特征分别输入至与特征汇总节点相连的车道线特征输出头和语义特征输出头，再之后，车道线特征输出头对获取的目标图像特征进行提取，以在目标图像特征中提取包含的各车道线特征，并将各车道线特征输出，同样的，语义特征输出头对获取的目标图像特征进行提取，以在目标图像特征中提取包含的图像语义特征，并将图像语义特征输出。

35、如此，本发明令语义特征提取分支和细节特征提取分支可以在无需重复计算的情况下提取处于各分辨率等级的图像特征，且令车道线特征输出头和语义特征输出头可以在无需重复计算的情况下在各图像特征中提取车道线对应的图像特征和图像语义对应的图像特征，并且，由于提取的图像特征中包含各分辨等级的图像特征，且包含车道线对应的车道线特征，因此，令系统可以在泊车等复杂场景下使用，同时，不会由于重复提取特征而造成浪费计算资源和推理时间，从而实现了构建一种不会重复提取图像内包含的图像特征的检测系统，令检测系统在运算过程中避免出现浪费计算资源和推理时间的情况。