一种基于深度学习的驾驶行为分析方法及系统与流程

1.本发明属于车辆辅助驾驶技术领域，具体涉及一种基于深度学习的驾驶行为分析方法及系统。


背景技术：

2.随着自动驾驶技术的不断发展，车辆行驶的安全性和可靠性要求越来越高，车辆行驶过程中需对周边的复杂环境，车辆、行人等行为做出正确预判从而做出正确反应，如目标车辆的变道、切入、切出、超车、加速、减速、稳定跟车、静止、拥堵等，通过引入深度学习的方法对目标车辆的运动行为的判断，及时提醒驾驶员或者自动驾驶系统，从而规避危险，对车辆的安全驾驶和自动驾驶具有极大积极作用。


技术实现要素：

3.为准确预判驾驶员的各种驾驶行为，提高车辆驾驶的安全性的问题，在本发明的第一方面提供了一种基于深度学习的驾驶行为分析方法，包括：实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中提取自身车辆所在道路的车道线和目标物的坐标，以及记录每个坐标对应的时间；计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系；根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为。
4.在本发明的一些实施例中，所述计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系包括：以视频帧图像的左下角为坐标原点，按照时间先后顺序，取出同一时间的车道线位置坐标和目标车辆的位置坐标；计算相同纵坐标下的目标车辆分别与自身车辆所在车道的左侧车道线和右侧车道线的横向坐标差，以及自身车辆与目标车辆的纵向坐标差。
5.在本发明的一些实施例中，所述根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为包括：根据自身车辆与目标车辆的相对坐标关系的变化趋势，判断自身车辆的驾驶员的速度控制行为；根据自身车辆分别与车道线、目标车辆的相对坐标关系的变化趋势，判断自身车辆或目标车辆的驾驶员的变道行为；根据自身车辆与车道线的相对坐标关系的变化趋势，判断自身车辆的驾驶员的方向控制行为。
6.进一步的，所述根据自身车辆分别与车道线、目标车辆的相对坐标关系的变化趋势，判断自身车辆或目标车辆的驾驶员的变道行为包括：判断目标车辆位于自身车辆所在车道的内外侧关系，并根据其判断目标车辆的驾驶员的变道行为；根据自身车辆与其所在车道的左侧车道线或右侧车道线的相对坐标关系的变化趋势，判断自身车辆的驾驶员的变道行为。
7.进一步的，还包括：根据自身车辆与一个或多个目标车辆的相对坐标关系，判断每个目标车辆的驾驶行为，并将其反馈给自身车辆的驾驶员。
8.在上述的实施例中，所述实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中提取自身车辆所在道路的车道线和目标物的坐标，以及记录每个坐标对应的时间包括：根据车道线检测模型提取自身车辆所在道路的车道线的坐标，并记录其对应的时间；根据目标识别模型提取目标物的车道线的坐标，并记录其对应的时间。
9.本发明的第二方面，提供了一种基于深度学习的驾驶行为分析系统，包括：获取模块，用于实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中提取自身车辆所在道路的车道线和目标物的坐标，以及记录每个坐标对应的时间；计算模块，用于计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系；判断模块，用于根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为。
10.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于深度学习的驾驶行为分析方法。
11.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于深度学习的驾驶行为分析方法。
12.本发明的有益效果是：
13.1.本发明是一种基于深度学习的驾驶行为分析方法，通过采用深度学习车道线检测技术和车辆、行人的检测技术，对摄像头的视频逐帧检测，得出车道线位置坐标，以及车辆、行人的坐标；
14.2.通过分析车道线位置坐标和目标车辆或行人位置坐标随时间的渐变关系以及自车与目标车辆或行人位置坐标随时间的渐变关系，得出自车与目标车或行人的相对关系；
15.3.根据目标物坐标随时间变化得出速度距离ttc(time－to－collision，碰撞时间)等信息，并最终反馈给驾驶员，对目标物(机动车、非机动车、行人等)的运动状态做出正确的反应。
附图说明
16.图1为本发明的一些实施例中的基于深度学习的驾驶行为分析方法的基本流程示意图；
17.图2为本发明的一些实施例中的基于深度学习的驾驶行为分析方法的具体流程示意图；
18.图3为本发明的一些实施例中的自身车辆与目标车辆、车道线之间的几何关系示意图；
19.图4为本发明的一些实施例中的基于深度学习的驾驶行为分析系统的结构示意图；
20.图5为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
21.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
22.参考图1或图2，在本发明的第一方面，提供了一种基于深度学习的驾驶行为分析方法，包括：实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中s100.提取自身车辆所在道路的车道线和目标物的坐标，以及记录每个坐标对应的时间；s200.计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系；s300.根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为。
23.可以理解，本发明中的视频帧图像，通常是指利用视觉传感器(例如摄像头、行车记录仪、雷达或激光雷达)获取到的一组或多组具有时间连续性的图像序列，每组图像序列包含多帧图像；每帧图像中包括自身车辆(自车)、目标车辆(目标车)以及其他目标物(机动车、非机动车、行人等)。视觉传感器可以安装在车辆的前向、后向或侧向上，以实时提供车辆周围目标的图像。
24.示意性地，图3示出了自身车辆与目标车辆、车道线之间的几何关系。例如，图中的自身车辆、目标车辆、左车道线、右车道线的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)；为了便于对目标车辆或自身车辆的驾驶行为的分析，这里假设了目标车辆位于自身车辆所在车道线的前向(正前方)上，但实际的目标车辆或自身车辆的驾驶行为根据以上各个坐标的相对位置关系进行判断。
25.参考图3，在本发明的一些实施例的步骤s200中，所述计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系包括：s201.以视频帧图像的左下角为坐标原点，按照时间先后顺序，取出同一时间的车道线位置坐标和目标车辆的位置坐标；s201.计算相同纵坐标下的目标车辆分别与自身车辆所在车道的左侧车道线和右侧车道线的横向坐标差，以及自身车辆与目标车辆的纵向坐标差。
26.具体地，以检测图像左下角为坐标原点，按照时间先后顺序，取出同一时间的车道线位置坐标和目标车的位置坐标，计算相同纵坐标下的目标车与目标车本车道左侧车道线、右侧车道线横向坐标差即x轴坐标差，以及自车与目标车的纵向坐标差即y轴坐标差。
27.应理解，影响车辆的安全驾驶的目标物主要是行人、以及位于自身车辆的前向的车辆、两侧的车辆，这些目标物通常是动态变化的，为了描述的方便，本文中主要以道路中的车辆为分析目标，但并不影响将本文采用的分析方法运用在其他目标物上(例如行人)。
28.有鉴于此，为准确判断自身车辆与目标车辆的驾驶行为，在本发明的一些实施例的步骤s300中，所述根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为包括：s301.根据自身车辆与目标车辆的相对坐标关系的变化趋势，判断自身车辆的驾驶员的速度控制行为；具体地，自身车辆或目标车辆的变速判断通过如下步骤实现：若连续若干秒，自车与目标车辆纵向坐标差(y
1-y1)保持稳定且差值很小，则判断为自车与目标车是一种稳定跟车的状态，将分析结果以语音播放的方式提醒驾驶员匀速行驶。
29.s302.根据自身车辆分别与车道线、目标车辆的相对坐标关系的变化趋势，判断自身车辆或目标车辆的驾驶员的变道行为；
30.s303.根据自身车辆与车道线的相对坐标关系的变化趋势，判断自身车辆的驾驶
员的方向控制行为；具体地，若自车发生连续几次的启动和停车，且目标车坐标不变化，说明处于拥堵路段。若车道线近端与远端横坐标平均值小于车道线中间点横坐标值，说明车道向左弯曲，反之向右弯曲。若车道线若车道线近端与远端横坐标平均值等于车道线中间点横坐标值，说明是直线行驶。若目标物出现较大幅度横向坐标变化，而纵向坐标变化很小，则判断出现横穿马路的行为；若目标物于自车同向运动说明是同向车道，若目标物于自车逆向运动说明是反向车道。
31.进一步的，为了准确地分析或识别自身车辆或目标车辆中的变道、变向、变速以及其他复杂交通路况，给予驾驶员以足够的预警或消息提醒，在步骤s302中，所述根据自身车辆分别与车道线、目标车辆的相对坐标关系的变化趋势，判断自身车辆或目标车辆的驾驶员的变道行为包括：判断目标车辆位于自身车辆所在车道的内外侧关系，并根据其判断目标车辆的驾驶员的变道行为；根据自身车辆与其所在车道的左侧车道线或右侧车道线的相对坐标关系的变化趋势，判断自身车辆的驾驶员的变道行为。
32.具体地，自身车辆或目标车辆的变道判断通过如下步骤实现：若目标车位于自车车道内侧(即目标车横坐标大于左车道横坐标小于右车道横坐标x3《x2《x4)，经过若干秒，目标车横向坐标与车道线横向坐标差(x
3-x2)随时间越来越小并且由正变为负，说明目标车向左切出，如果是由负变为正，说明目标车向右切出，将分析结果以语音播放的方式提醒驾驶员加速行驶；
33.若目标车位于自车车道外侧(即目标车横坐标小于左车道横坐标或大于右车道横坐标)，经过若干秒，目标车横向坐标与车道线横向坐标差(x
3-x2)随时间越来越小并且由负变为正，说明目标车向右切入本车道，如果是由正变为负，说明目标车向左切入本车道，将分析结果以语音播放的方式提醒驾驶员减速行驶；
34.若自车横向坐标与自车车道左侧车道线坐标差越来越小，并由正变为负，则判断：自车向左变道；反之，向右变道；若通过检测算法检测后置相机图片未发现后方车道有车辆或者距离较远，则驾驶员可以放心变道，否则触发警告提醒驾驶员。
35.进一步的，在上述步骤s300中，还包括：s304.根据自身车辆与一个或多个目标车辆的相对坐标关系，判断每个目标车辆的驾驶行为，并将其反馈给自身车辆的驾驶员。具体地，根据上述步骤将单个目标车辆视为自身车辆，判断每个目标车辆各自的驾驶行为，得出各自的速度、距离、ttc等信息，并将其反馈给驾驶员或自动驾驶系统，对自车做出正确反应，确保安全驾驶。假设摄像头拍摄的实际距离例如200米以及图像分辨率大小为1000＊1000，来预估前后方目标物的速度，例如目标物经过时间t从p1点(x1，y1)移到p2点(x2，y2)，那么目标物平均纵向速度为speedy＝(y2－y1)＊s/t，横向速度为speedx＝(x2－x1)＊s/t，s为比例系数，s＝200/1000，如果时间t足够短，那么计算出来的就是瞬时速度，同理还可计算出目标物的加速度，如t1时刻纵向速度speedy1，t2时刻纵向速度speedy2，那么纵向加速度为accelarate＿y＝(speedy2－speedy1)/(t2－t1)，可以计算自车与目标车的距离，纵向距离为distancey＝(y2－y1)＊s，横向距离为distancex＝(x2－x1)＊s。还可以计算出自车与目标车的防撞车时间ttc，目标车速度speed1，两车之间的距离distance，自车速度speed2，ttc＝distance/(speed2－speed1)。
36.参考图3，在上述的实施例的步骤s100中，所述实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中提取自身车辆所在道路的车道线和目标物的坐
标，以及记录每个坐标对应的时间包括：s101.根据车道线检测模型提取自身车辆所在道路的车道线的坐标，并记录其对应的时间；s102.根据目标识别模型提取目标物的车道线的坐标，并记录其对应的时间。
37.具体地，对行车记录仪或摄像头中的视频实时逐帧检测，其中车道线检测算法采用开源的lanenet算法模型，提取视频中的车道线坐标并保存并记录当时时间；目标车辆、行人等目标物采用开源的yolov5算法模型，提取视频中的目标车或行人坐标并保存并记录当时时间，左车道线坐标(x3，y3)，右车道线坐标(x4，y4)，自车坐标(x1，y1)，目标车坐标(x2，y2)；保存自车速度等信息，该信息从仪表盘获取。可选的，上述车道线检测算法还可选用其他深度学习模型或图像识别方法中的一种或多种进行替代；目标物检测可采用其他深度学习模型(例如yolo系列、u－net)中的一种或多种进行替代。
38.实施例2
39.参考图4，本发明的第二方面，提供了一种基于深度学习的驾驶行为分析系统1，包括：获取模块11，用于实时获取自身车辆的视觉传感器的视频帧图像，并利用深度学习模型从其中提取自身车辆所在道路的车道线和目标物的坐标，以及记录每个坐标对应的时间；计算模块12，用于计算自身车辆在同一时刻分别与所述车道线、目标物的相对坐标关系；判断模块13，用于根据所述自身车辆与所述车道线、目标物的相对坐标关系的变化趋势，判断自身车辆的驾驶行为。
40.进一步的，所述判断模块13包括：第一判断单元，用于根据自身车辆与目标车辆的相对坐标关系的变化趋势，判断自身车辆的驾驶员的速度控制行为；第二判断单元，用于根据自身车辆分别与车道线、目标车辆的相对坐标关系的变化趋势，判断自身车辆或目标车辆的驾驶员的变道行为；第三判断模块，用于根据自身车辆与车道线的相对坐标关系的变化趋势，判断自身车辆的驾驶员的方向控制行为。
41.实施例3
42.参考图5，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
43.电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
44.通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
45.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机
软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd－rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
46.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
47.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
48.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
49.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。