一种视觉追踪人眼注视点的方法、车辆预警方法及装置与流程

1.本发明涉及汽车技术领域，尤其涉及一种视觉追踪人眼注视点的方法、车辆预警方法及装置。


背景技术：

2.随着车辆智能驾驶技术的发展和普及，融合各种感知数据进行预警计算的需求与日俱增。尽管车联网技术c-v2x(cellular vehicle to everything，车用无线通信)得到迅速发展，使得汽车基于c-v2x技术感知外界的能力越来越强，但是现有的v2x应用并不涉及视觉追踪技术包含的视线信息。
3.目前，传统的车辆视觉追踪技术虽然涉及有视线信息，但该视线信息中所识别的注视点为投射在某一屏幕表面的点，导致识别结果有很大的局限性，同时传统的车辆视觉追踪技术因无法使用v2x技术所提供的远车信息，从而无法为车辆碰撞预警提供可靠依据。
4.因此，有必要对传统的车辆视觉追踪技术进行改进，解决传统的车辆视觉追踪技术的局限与不足，同时还有必要将v2x技术的信号优势与视觉追踪技术的注视点识别优势相结合，增强车辆自身碰撞预警的准确性与可扩展性，从而提升车辆的安全性和实用性。


技术实现要素：

5.本发明实施例所要解决的技术问题在于，提供一种视觉追踪人眼注视点的方法、车辆预警方法及装置，不仅能解决传统的车辆视觉追踪技术的局限与不足，还结合v2x技术的信号优势来增强车辆自身碰撞预警的准确性与可扩展性，提升车辆的安全性和实用性。
6.为了解决上述技术问题，本发明实施例提供了一种视觉追踪人眼注视点的方法，用于主车上，所述方法包括以下步骤：
7.所述主车周期性接收视觉追踪设备提供的主车驾驶员的人眼所在位置坐标及人眼视线在当前投射屏幕内侧上的注视点坐标；其中，所述当前投射屏幕为挡风玻璃或车前窗；
8.所述主车筛查出当前投射屏幕的折射率及曲率，并结合所述人眼所在位置坐标和所述人眼视线在当前投射屏幕内侧上的注视点坐标，得到人眼视线在当前投射屏幕外侧上的注视点坐标及其向外折射形成的相应折射光路，且进一步结合预设的人眼常规视距，得到位于相应折射光路上人眼视线的最终注视点及其坐标。
9.其中，所述方法进一步包括：
10.所述主车若判定人眼视线先经车前窗折射后再由后视镜反射时，筛查出后视镜的反射率及曲率，并结合人眼视线经所述车前窗向外折射形成的折射光路，得到人眼视线经折射后在所述后视镜上的注视点坐标及其形成的第一反射光路，且进一步结合所述人眼常规视距，得到位于所述第一反射光路上人眼视线的最终注视点及其坐标。
11.其中，所述方法进一步包括：
12.所述主车若判定人眼视线未经车前窗折射而直接由所述后视镜反射时，接收所述
视觉追踪设备提供的人眼视线在后视镜上的注视点坐标，并结合所述人眼所在位置坐标、所述后视镜的反射率及曲率和所述人眼视线在后视镜上的注视点坐标，得到人眼视线直接在所述后视镜上形成的第二反射光路，且进一步结合所述人眼常规视距，得到位于所述第二反射光路上人眼视线的最终注视点及其坐标。
13.其中，所述方法进一步包括：
14.所述主车周期性接收视觉追踪设备提供的主车驾驶员的疲劳状态，并根据所述主车驾驶员的疲劳状态，得到主车驾驶员的疲劳度，且进一步在所述主车驾驶员的疲劳度达到预设的告警阈值时，生成告警信号发给主车驾驶员。
15.其中，所述方法进一步包括：
16.所述主车若在某一周期内接收到远车发送的车辆信息，则向所述远车广播携带有车辆失控标识的信号。
17.其中，所述主车基于v2x广播信号或can总线信号与所述视觉追踪设备通信。
18.其中，所述方法进一步包括：
19.所述主车若基于c-v2x技术与所述视觉追踪设备通信时，将自身id通过 tbox发给主车驾驶员的便携设备并由主车驾驶员经所述便携设备转发给所述视觉追踪设备绑定，实现所述主车与所述视觉追踪设备匹配。
20.其中，所述方法进一步包括：
21.所述主车在检测到与所述视觉追踪设备匹配时，计算自身车辆质心与所述视觉追踪设备之间的距离，并在判定所计算出的距离小于等于预设距离后，接收所述视觉追踪设备提供的主车驾驶员的疲劳状态、人眼所在位置坐标、人眼视线在挡风玻璃或车前窗内侧上的注视点坐标、或/及人眼视线在后视镜上的注视点坐标。
22.本发明实施例还提供了一种车辆预警方法，用于主车通过前述的方法得到的最终注视点或/及主车驾驶员的疲劳状态进行车辆碰撞预警，所述方法包括以下步骤：
23.所述主车在预定周期内获取远车的车辆信息，以及获取主车自身的车辆信息、人眼视线的最终注视点坐标或/及主车驾驶员的疲劳状态；
24.所述主车根据所述远车的车辆信息以及所述主车自身的车辆信息、所述人眼视线的最终注视点坐标或/及所述主车驾驶员的疲劳状态，对所述远车的运动轨迹是否与所述人眼视线存在交集、所述远车与所述人眼视线的最终注视点是否位于所述主车的同一相对方位区域或/及所述主车驾驶员的疲劳度进行检测，并根据检测结果，确定所述主车与所述远车之间发生碰撞的预警等级；
25.所述主车根据所述预警等级，生成预警信息发给主车驾驶员。
26.其中，所述确定所述主车与所述远车之间发生碰撞的预警等级的步骤，具体包括：
27.所述主车将自身的车辆信息和所述远车的车辆信息分别代入预定的离散化的运动学自行车模型中，得到所述主车的运动方程和所述远车的运动方程；
28.根据所述主车的车辆信息和所述远车的车辆信息，构建所述主车的车辆矩形模型和所述远车的车辆矩形模型；
29.在所述主车的运动方程和所述远车的运动方程中，确定各时刻对应的车辆运行参数；
30.根据所述车辆运行参数及所述人眼视线的最终注视点坐标，对所述人眼视线的最
终注视点和所述远车是否位于所述主车的同一相对方位区域进行检测以及对所述远车的车辆矩形模型的运动轨迹是否与所述人眼视线存在交集进行检测；和/或根据所述主车驾驶员的疲劳状态，对所述主车驾驶员的疲劳度进行检测；
31.若所述远车的车辆矩形模型的运动轨迹与所述人眼视线不存在交集，且所述人眼视线的最终注视点和所述远车不位于所述主车的同一相对方位区域时，和/或若所述主车驾驶员的疲劳度大于第一阈值时，对预警时间进行调整；反之，则维持原有的预警时间；
32.对所述主车的车辆矩形模型与所述远车的车辆矩形模型是否相交进行迭代计算，并在所述主车的车辆矩形模型与所述远车的车辆矩形模型相交时，得到所述主车的车辆矩形模型与所述远车的车辆矩形模型发生碰撞的碰撞时间；
33.将所得到的碰撞时间与调整后的预警时间或原有的预警时间进行对比，且根据对比结果，计算所述主车与所述远车间发生碰撞的预警等级。
34.其中，所述方法进一步包括：
35.若对所述远车的运动轨迹是否与所述人眼视线存在交集进行检测，且对所述远车与所述人眼视线的最终注视点是否位于所述主车的同一相对方位区域进行检测，则根据公式对预警时间进行调整；
36.其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；r
w
为预警距离；|b
n
j|为 t
n
时刻所述远车相对于所述主车的位置坐标b
n
与所述人眼视线的最终注视点坐标j之间的连线向量距离，其中，若所述远车的车辆矩形模型的运动轨迹与所述人眼视线存在交集，则|b
n
j|＝0；k为1或2，其中，若所述人眼视线的最终注视点和所述远车位于所述主车的同一相对方位区域，则k＝1，反之，则k＝2。
37.其中，所述方法进一步包括：
38.若仅对所述主车驾驶员的疲劳度进行检测，则根据公式对预警时间进行调整；
39.其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；m为所述主车驾驶员的疲劳度，且m为正整数，取值范围为[1，5]；所述第一阈值为1。
[0040]
其中，所述方法进一步包括：
[0041]
若同时对所述远车的运动轨迹是否与所述人眼视线存在交集、所述远车与所述人眼视线的最终注视点是否位于所述主车的同一相对方位区域及所述主车驾驶员的疲劳度进行检测，则根据公式对预警时间进行调整；
[0042]
其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；m为主车驾驶员的疲劳度，且m为正整数，取值范围为[1，5]；所述第一阈值为1；r
w
为预警距离； |b
n
j|为t
n
时刻所述远车相对于所述主车的位置坐标b
n
与所述人眼视线的最终注视点坐标j之间的连线向量距离，其中，若所述远车的车辆矩形模型的运动轨迹与所述人眼视线存在交集，则|b
n
j|＝0；k为1或2，其中，若所述人眼视线的最终注视点和所述远车位于所述主车的同一相对方位区域，则k
＝1，反之，则k＝2。
[0043]
其中，所述方法进一步包括：
[0044]
所述主车在确定所述主车驾驶员的疲劳度达到第二阈值时，生成告警信号并发给主车驾驶员，并向所述远车广播携带有车辆失控标识的信号。
[0045]
本发明实施例又提供了一种车辆预警装置，用于主车上，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现前述的车辆预警方法的步骤。
[0046]
实施本发明实施例，具有如下有益效果：
[0047]
1、本发明基于视觉追踪设备提供的人眼所在位置坐标和人眼视线在当前投射屏幕内侧上的注视点坐标，以及根据当前投射屏幕的折射率及曲率所形成的人眼视线的折射光路来得到人眼视线的最终注视点及其坐标，从而克服传统的车辆视觉追踪技术的视线信息中所识别的注视点为投射在某一屏幕表面的点，导致识别结果有很大的局限性与不足的问题；
[0048]
2、本发明基于人眼视线的最终注视点或/及主车驾驶员的状态，对与远车之间发生碰撞的预警等级进行调整，使车辆能根据监测到的人眼视线的最终注视点或/及驾驶员疲劳状态自动调整自身碰撞预警，从而将v2x技术的信号优势与视觉追踪技术的注视点识别优势相结合，增强了车辆自身碰撞预警的准确性与可扩展性，提升了车辆的安全性和实用性；
[0049]
3、本发明基于c-v2x技术对车辆的识别受天气等因素影响较小，只依赖于车辆状态数据而不依赖于道路曲率信息，从而进一步提高了行车安全性与舒适性。
附图说明
[0050]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0051]
图1为本发明实施例一提供的视觉追踪人眼注视点的方法的流程图；
[0052]
图2为本发明实施例一提供的视觉追踪人眼注视点的方法应用于挡风玻璃的场景示意图；
[0053]
图3为本发明实施例二提供的车辆预警方法的流程图；
[0054]
图4为本发明实施例二提供的车辆预警方法中步骤s20所涉及行车运动方程的参量关系示意图；
[0055]
图5为本发明实施例二提供的车辆预警方法中步骤s20所涉及主车的车辆矩形模型和远车的车辆矩形模型的参矢量关系示意图；
[0056]
图6为本发明实施例提供的车辆预警方法中步骤s20所涉及第一时刻主车和远车的相对运动关系示意图；
[0057]
图7为本发明实施例二提供的车辆预警方法中步骤s20所涉及n时刻主车和远车的相对运动关系示意图；
[0058]
图8为本发明实施例二提供的车辆预警方法中步骤s20所涉及远车的车辆矩形模
型和人眼视线的相对运动关系示意图；
[0059]
图9a～9b为本发明实施二例提供的车辆预警方法中步骤s20所涉及主车和远车的相对方位示意图；
[0060]
图10为本发明实施二例提供的车辆预警方法中步骤s20所涉及主车筛选碰撞远车时的相对运动关系示意图。
具体实施方式
[0061]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
[0062]
如图1所示，为本发明实施例一中，提供的一种视觉追踪人眼注视点的方法，用于主车上，所述方法包括以下步骤：
[0063]
步骤s1、所述主车周期性接收视觉追踪设备提供的主车驾驶员的人眼所在位置坐标及人眼视线在当前投射屏幕内侧上的注视点坐标；其中，所述当前投射屏幕为挡风玻璃或车前窗；
[0064]
具体过程为，首先，主车基于c-v2x技术(如基于v2x广播信号)或其它通信技术(如基于can总线信号等)与视觉追踪设备(如集成了v2x功能的视觉追踪头盔、眼镜等，或者带视觉追踪功能的车载摄像头等)进行周期性(如 120s)通信，并将自身id通过tbox发给主车驾驶员的便携设备(如手机、智能手环等)，并由主车驾驶员经便携设备转发给视觉追踪设备绑定，实现主车与视觉追踪设备匹配。例如，主车驾驶员的手机与主车通过车内tbox绑定，主车根据主车驾驶员需求生成与主车自身id相关秘钥，并通过tbox发送给主车驾驶员的手机，主车驾驶员通过手机将该秘钥发送给v2x视觉追踪便携设备完成授权，授权后的v2x视觉追踪便携设备发送的v2x消息会经过之前收到的秘钥加密，该消息只能被对应的车辆解析。
[0065]
其次，主车在检测到与视觉追踪设备匹配时，计算自身车辆质心与视觉追踪设备之间的距离，并在判定所计算出的距离小于等于预设距离(如主车车辆宽度的一半)后，周期性(如120s)接收视觉追踪设备提供的人眼所在位置坐标、人眼视线在挡风玻璃或车前窗内侧上的注视点坐标。应当说明的是，若基于c-v2x技术，则主车根据接收到的视觉追踪设备的v2x信号强度rssi来计算自身车辆质心与便携设备之间的距离，或者根据视觉追踪设备预先集成的高精定位功能来计算自身车辆质心与视觉追踪设备之间的距离。
[0066]
可以理解的是，视觉追踪设备所计算得到的注视点，定义为人眼视线投射在空间中的三维位置，该注视点需要投射在对应的屏幕上。因此，从瞳孔中心到角膜的矢量与投射屏幕上的空间点存在对应关系，从而获取定义屏幕位置以及在对应关系的矩阵，就可以计算投射屏幕上的注视点位置。
[0067]
步骤s2、所述主车筛查出当前投射屏幕的折射率及曲率，并结合所述人眼所在位置坐标和所述人眼视线在当前投射屏幕内侧上的注视点坐标，得到人眼视线在当前投射屏幕外侧上的注视点坐标及其向外折射形成的相应折射光路，且进一步结合预设的人眼常规视距，得到位于相应折射光路上人眼视线的最终注视点及其坐标。
[0068]
具体过程为，首先，主车在预设的折射率及曲率表中，根据当前投射屏幕，查找到当前投射屏幕的折射率及曲率；
[0069]
其次，根据人眼所在位置坐标及人眼视线在当前投射屏幕内侧上的注视点坐标，得到人眼视线方向，并根据当前投射屏幕的折射率及人眼视线方向，通过光路计算得到人眼视线在当前投射屏幕外侧上的注视点坐标及其向外折射形成相应的折射光路，且进一步综合预设的人眼常规视距(默认为100m，可由自行设置，也可根据路测单元rsu发出的天气信号自动调整)，计算得到位于相应折射光路上人眼视线的最终注视点及其坐标。
[0070]
在一个实施例中，如图2所示，人眼视线投射的当前投射屏幕为挡风玻璃，根据公式f0f1+f1f2+f2f3＝l
s
，对人眼视线的最终注视点f3及其坐标进行计算；其中，
[0071]
f0点为人眼所在位置；f1为视觉追踪设备计算得到的人眼在挡风玻璃内侧上的注视点；即f0与f1均为已知坐标可直接通过视觉追踪设备获得；
[0072]
f2为人眼视线在挡风玻璃外侧上的注视点；f3为人眼视线的最终注视点； ls为预设的人眼常规视距，其值为常量。由于挡风玻璃的曲率及折射率均为查表得到的定值，故f2与f3坐标可通过光路折射计算得到。
[0073]
同理，可以计算人眼视线投射的当前投射屏幕为车前窗上人眼视线的最终注视点及其坐标。
[0074]
在本发明实施例一中，如果检测到人眼视线经车前窗折射后的最终注视点 (即上述注视点f3)位于后视镜上，则需要进一步进行反射计算后，才能得到反射后的最终注视点。因此，所述方法进一步包括：
[0075]
主车若判定人眼视线先经车前窗折射后再由后视镜反射时，筛查出后视镜的反射率及曲率，并结合人眼视线经车前窗向外折射形成的折射光路，得到人眼视线经折射后在后视镜上的注视点坐标及其形成的第一反射光路，且进一步结合人眼常规视距，得到位于第一反射光路上人眼视线的最终注视点及其坐标。可以理解的是，根据光学原理，可知人眼视线投射的车前窗与后视镜是相对应的。
[0076]
在一个实施例中，根据公式f0f1+f1f2+f2f3+f3f4＝l
s
，对人眼视线的最终注视点f4及其坐标进行计算；其中，
[0077]
f0点为人眼所在位置；f1为视觉追踪设备计算得到的人眼在车前窗内侧上的注视点；即f0与f1均为已知坐标可直接通过视觉追踪设备获得；
[0078]
f2为人眼视线在车前窗外侧上的注视点；f3为人眼视线在后视镜上的注视点；f4为人眼视线的最终注视点；ls为预设的人眼常规视距，其值为常量。由于车前窗和后视镜的曲率及折射率均为查表得到的定值，故f2与f3坐标可通过光路折射计算得到，而f4坐标可通过光路反射计算得到。
[0079]
在本发明实施例一中，如果检测到车前窗被摇下(即人眼视线无需通过车前窗折射)，使人眼视线直接投射到后视镜上，则只需进行反射计算，就能得到反射后的最终注视点。因此，所述方法进一步包括：
[0080]
主车若判定人眼视线未经车前窗折射而直接由后视镜反射时，接收视觉追踪设备提供的人眼视线在后视镜上的注视点坐标，并结合人眼所在位置坐标、后视镜的反射率及曲率和人眼视线在后视镜上的注视点坐标，得到人眼视线直接在后视镜上形成的第二反射光路，且进一步结合人眼常规视距，得到位于第二反射光路上人眼视线的最终注视点及其坐标。
[0081]
在一个实施例中，根据公式f0f1+f1f2＝l
s
，对人眼视线的最终注视点f2及其坐标进
行计算；其中，
[0082]
f0点为人眼所在位置；f1为视觉追踪设备计算得到的人眼在后视镜上的注视点；即f0与f1均为已知坐标可直接通过视觉追踪设备获得；
[0083]
f2为人眼视线的最终注视点；ls为预设的人眼常规视距，其值为常量。由于后视镜的曲率及折射率均为查表得到的定值，故f2坐标可通过光路反射计算得到。
[0084]
在本发明实施例一中，视觉追踪设备不仅仅提供视觉追踪技术来确定人眼视线的最终注视点，还内置有生命体征检测功能，可以监测携带者的呼吸、脉搏、体温等生命体征参数，并根据上述生命体征参数来评估携带者的疲劳状态，从而进行安全预警。例如，疲劳状态包括健康、轻微疲劳、中度疲劳、重度疲劳和深度疲劳等五个状态。因此，所述方法进一步包括：
[0085]
主车周期性接收视觉追踪设备提供的主车驾驶员的疲劳状态，并根据主车驾驶员的疲劳状态，得到主车驾驶员的疲劳度，且进一步在主车驾驶员的疲劳度达到预设的告警阈值时，生成告警信号发给主车驾驶员。
[0086]
由此可见，此时主车不仅可以周期性接收视觉追踪设备提供的主车驾驶员的疲劳状态，还可以周期性接收视觉追踪设备提供的主车驾驶员的人眼所在位置坐标、人眼视线在挡风玻璃或车前窗内侧上的注视点坐标、或/及人眼视线在后视镜上的注视点坐标(此时车前窗处于被摇下的状态)。
[0087]
在一个实施例中，根据视觉追踪设备发送的主车驾驶员的疲劳状态，在预设的疲劳状态与疲劳度的映射表中，得到主车驾驶员的疲劳度m；其中，预设的疲劳状态与疲劳度的映射表中每一个疲劳度都会对应一个疲劳状态并被赋予一个数值。例如，健康状态的疲劳度m为1、轻微疲劳的疲劳度m为2、中度疲劳的疲劳度m为3、重度疲劳的疲劳度m为4和深度疲劳的m疲劳度为5。
[0088]
一旦主车驾驶员的疲劳度m达到预设的告警阈值(如5)，即主车驾驶员处于深度疲劳状态，则主车会通过can总线或v2x技术向中控界面发送包含告警画面和/或告警声音等告警信号给主车驾驶员，用以车辆预警来提醒主车驾驶员注意行车安全。
[0089]
可以理解的是，主车若在某一周期内接收到远车发送的车辆信息，则向远车广播携带有车辆失控标识的信号(如车辆失控这个国标v2x信号)，用以提醒远车驾驶员。其中，车辆信息用于表征车辆的行驶状态(例如行驶速度、行驶加速度、偏航角和车速方向角等)，还可以表征车辆的物理属性信息(例如质心坐标、前轮轴线、后轮轴线和前轮转角等)。
[0090]
相对于本发明实施例一中提供的视觉追踪人眼注视点的方法，如图3所示，本发明实施例二中，还提供一种车辆预警方法，用于主车通过本发明实施例一中提供的视觉追踪人眼注视点的方法所得到的最终注视点或/及主车驾驶员的疲劳状态进行车辆碰撞预警，所述方法包括以下步骤：
[0091]
步骤s10、所述主车在预定周期内获取远车的车辆信息，以及获取主车自身的车辆信息、人眼视线的最终注视点坐标或/及主车驾驶员的疲劳状态；
[0092]
具体过程为，主车在预定周期(如120s)内基于c-v2x技术(如基于v2x 广播信号)或其它通信技术(如雷达、摄像头等)接收远车的车辆信息，以及自动获取主车自身的车辆信息、人眼视线的最终注视点坐标或/及主车驾驶员的疲劳状态。
[0093]
步骤s20、所述主车根据所述远车的车辆信息以及所述主车自身的车辆信息、所述
人眼视线的最终注视点坐标或/及所述主车驾驶员的疲劳状态，对所述远车的运动轨迹是否与所述人眼视线存在交集、所述远车与所述人眼视线的最终注视点是否位于所述主车的同一相对方位区域或/及所述主车驾驶员的疲劳度进行检测，并根据检测结果，确定所述主车与所述远车之间发生碰撞的预警等级；
[0094]
具体过程为，第一步、由于车辆运行参数包括主车和远车的质心连线向量、主车和远车的质心距离、远车的相对运动轨迹向量、主车的行驶速度和远车的行驶速度中的至少一个，因此将上述获取到的主车的车辆信息代入运动学自行车模型，得到主车的运动方程，并将远车的车辆信息代入运动学自行车模型，得到远车的运动方程。
[0095]
在一个实施例中，运动学自行车模型可以通过如下公式或公式变形进行表达：
[0096][0097][0098][0099][0100][0101]
如图4所示，x和y分别表示车辆在gps提供的惯性坐标下的质心坐标，v 代表车辆的行驶速度，a表示车辆的行驶加速度，在运动学自行车模型中车辆的行驶加速度与车辆的行驶速度保持相同的方向。ψ是车辆的偏航角，β为车速方向角，l
r
和l
f
分别表示车辆质心坐标与其后轮轴线和前轮轴线的垂直距离。δ
f
表示车辆的前轮转角，该角度可由方向盘转角乘以传动比计算得到，由于大部分车辆的后轮都无法转向，故假设δ
r
为0。
[0102]
将主车的车辆信息和远车的车辆信息分别代入上述离散化的运动学自行车模型，得到主车的运动方程和远车的运动方程，这里以a代表主车，b代表远车。
[0103]
可选地，主车a在t时刻的运动方程可以用下述公式或公式变形进行表达：
[0104][0105][0106][0107][0108][0109]
当n＝0时：
[0110]
[0111][0112][0113]
同样的，远车b在t时刻的运动方程可以用下述公式或公式变形进行表达：
[0114][0115][0116][0117][0118][0119]
当n＝0时：
[0120][0121][0122][0123]
本技术实施例中的下标a和b分别代表主车a和远车b相应的参数，坐标 a(x
a
,y
a
)和坐标b(x
b
,y
b
)分别代表主车a和远车b的质心坐标；δt为单位时间步长。
[0124]
注意以上参数在v2x国标中均有定义，为v2x信号中自带信号，如果部分信号缺失可使用替代值，比如令l为车身总长，是v2x必选信号。
[0125]
第二步、根据主车的车辆信息和远车的车辆信息，构建主车的车辆矩形模型和远车的车辆矩形模型；
[0126]
在一个实施例中，对于车辆来说，知道质心坐标、车身长宽及l
r
和l
f
和车头方向角即可算出车辆的矩形模型并确定其位置。如图5所示，根据车辆本车坐标信息和车身参数信息(车身长宽已知，车身质心坐标已知为主车a、远车b 两点坐标)，即可做出远车b的车辆矩形模型qrst和主车a的车辆矩形模型 efgh，由于碰撞发生时两车基本都处于统一海拔，所以本技术只考虑2d场景。
[0127]
第三步、在主车的运动方程和远车的运动方程中，将主车的车辆信息和远车的车辆信息经过数学和物理计算，确定各时刻对应的车辆运行参数；其中，车辆运行参数可以描述主车的运动轨迹状态，也可以描述远车的运动轨迹状态，还可以描述两车相对的运动轨迹状态。例如，能够根据主车的速度和远车的速度，得到远车相对于主车的速度。
[0128]
因此，车辆运行参数同样可以描述两车车辆矩形模型各自单独的运动轨迹状态，也可以描述两车车辆矩形模型相对的运动轨迹状态。
[0129]
在一个实施例中，如图6和图7所示，以a点作为相对运动的参考点保持静止，通过
矢量法计算b点相对a的运动轨迹，此时车辆运行参数中相对运动的速度和加速度表达式如下：
[0130][0131][0132]
以及t时刻远车b相对于主车a的坐标b
t
，进而得到在第一时刻的时候的相对运动轨迹向量的表达式为：
[0133][0134]
其中δt为时间间隔，即为单位时间步长。
[0135]
根据运动学自行车模型，车辆加速度的方向会有变化，且相对加速度的方向和车辆相对速度的方向不一定同向，所以在图6和图7中使用画出向量
[0136]
定义为点b1的坐标，可以通过如下矢量计算获得：
[0137][0138][0139][0140][0141][0142]
其中，
[0143][0144][0145]
同理，定义为点b
n
的坐标，其计算公式如下：
[0146][0147][0148]
其中，
[0149][0150][0151][0152][0153][0154][0155][0156][0157][0158][0159]
第四步、根据车辆运行参数及人眼视线的最终注视点坐标，对人眼视线的最终注视点和远车是否位于主车的同一相对方位区域进行检测，对远车的车辆矩形模型的运动轨迹是否与人眼视线存在交集进行检测；和/或根据主车驾驶员的疲劳状态，对主车驾驶员的疲劳度进行检测；
[0160]
在一个实施例中，根据人眼视线的最终注视点gps惯性坐标和远车gps惯性坐标，确定二者是否位于主车的同一相对方位区域。而远车的车辆矩形模型的运动轨迹是否与人眼视线存在交集，可通过计算图8中线段aj是否与远车b 车辆矩形模型形成的矩形q
n
r
n
s
n
t
n
相交来判定，此时需判断线段aj是否与矩形 q
n
r
n
s
n
t
n
相交的每条边都相交；其中，a为主车a的质心，j为人眼视线的最终注视点。应当说明的是，如果线段aj与矩形q
n
r
n
s
n
t
n
相交，则可认为主车驾驶员当前正注视着远车b，否则认为主车驾驶员未能注意到远车b。视觉追踪设备不能直接判断出场景注视点是否在远车b上，且矩形q
n
r
n
s
n
t
n
的位置为迭代后的预判值，而人眼视线的最终注视点j的坐标在迭代计算时保持不变，即为定值。
[0161]
以线段ab和线段cd是否相交为例，对线段aj是否与矩形q
n
r
n
s
n
t
n
相交的每条边都相交进行依次判断，方法具体如下：
[0162]
已知线段a(x1，y1)b(x2，y2)和线段c(x3，y3)d(x4，y4)，使用参数方程表示线段ab和
cd所在的直线方程：
[0163][0164]
如果两个线段之间有交点，即联立方程求参数λ和μ：
[0165][0166]
令向量：
[0167]
u＝(x
2-x1,y
2-y1)＝ab向量，
[0168]
v＝(x
4-x3,y
4-y3)＝cd向量，
[0169]
w＝(x
3-x1,y
3-y1)＝ac向量；
[0170]
求解λ和μ，可得：
[0171][0172]
其中，
[0173]
当det≠0时，λ和μ的值在[0,1]之间说明线段有交点，λ和μ的值都在[0,1] 之外说明线段没交点；
[0174]
而当det＝0，说明两线段平行或共线，需要使用特殊的处理方法计算：
[0175]
首先，计算若则说明两线段共线，有可能相交，需要进一步计算，否则说明两线段平行不共线，不可能相交，不进行下一步计算。对于共线情况，可将abcd四个点的坐标由x坐标从小到大排序(当线段平行y轴时用y坐标大小排序)，然后判断四个坐标的位置顺序，从而得到是否有重合部分，如有说明两线段相交。
[0176]
根据主车驾驶员的疲劳状态，在预设的疲劳状态与疲劳度的映射表中，检测出主车驾驶员的疲劳度m。
[0177]
第五步、若远车的车辆矩形模型的运动轨迹与人眼视线不存在交集，且人眼视线的最终注视点和远车不位于主车的同一相对方位区域时，和/或主车驾驶员的疲劳度大于第一阈值时，对预警时间进行调整；反之，则维持原有的预警时间；
[0178]
在一个实施例中，若对远车的运动轨迹是否与人眼视线存在交集进行检测，以及对远车与人眼视线的最终注视点是否位于主车的同一相对方位区域进行检测，则根据公式对预警时间进行调整；
[0179]
其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；r
w
为预警距离；|b
n
j|为 t
n
时刻远车相对于主车的位置坐标b
n
与人眼视线的最终注视点坐标j之间的连线向量距离，其中，若远车的车辆矩形模型的运动轨迹与人眼视线存在交集，则|b
n
j|＝0；k为1或2，其中，若人
眼视线的最终注视点和远车位于主车的同一相对方位区域，则k＝1，反之，则k＝2。由此可见，主车驾驶员的人眼视线的最终注视点坐标j距离远车预判坐标b
n
越远，则|b
n
j|就越大，留给主车驾驶员的反应时间也越少。
[0180]
在另一个实施例中，若仅对主车驾驶员的疲劳度进行检测，则根据公式对预警时间进行调整；其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；m为主车驾驶员的疲劳度，且m为正整数，取值范围为[1，5]；第一阈值为1。由此可见，主车驾驶员的疲劳度m越高，留给主车驾驶员的反应时间也越短。
[0181]
在又一个实施例中，若同时对远车的运动轨迹是否与人眼视线存在交集进行检测、对远车与人眼视线的最终注视点是否位于所述主车的同一相对方位区域进行检测及对主车驾驶员的疲劳度进行检测，则根据公式对预警时间进行调整；
[0182]
其中，t
w
为调整后的预警时间；t
w0
为初始预警时间；m为主车驾驶员的疲劳度，且m为正整数，取值范围为[1，5]；第一阈值为1；r
w
为预警距离；|b
n
j| 为t
n
时刻远车相对于主车的位置坐标b
n
与人眼视线的最终注视点坐标j之间的连线向量距离，其中，若远车的车辆矩形模型的运动轨迹与人眼视线存在交集，则|b
n
j|＝0；k为1或2，其中，若人眼视线的最终注视点和远车位于主车的同一相对方位区域，则k＝1，反之，则k＝2。由此可见，主车驾驶员的人眼视线的最终注视点坐标j距离远车预判坐标b
n
越远，则|b
n
j|就越大，留给主车驾驶员的反应时间也越少，同理，主车驾驶员的疲劳度m越高，留给主车驾驶员的反应时间也越短。
[0183]
应当说明的是，预警距离r
w
的计算方法如下：首先，根据主车的质心坐标、主车的前轮轴线和主车的后轮轴线，将主车周围区域进行多区域划分；其次，根据主车的车头方向和远车的车头方向，确定远车相对于主车的车头方向夹角；最后，根据远车的质心坐标在各区域中的分布和车头方向夹角，确定初始预警距离r
w
。
[0184]
在一个实施例中，子区域、预警距离确定公式和车头方向夹角的对应关系如下表1所示：
[0185]
表1
[0186]
[0187][0188]
其中，所有r
w
的计算公式如下：
[0189][0190][0191]
[0192][0193][0194]
r
w
＝r
w6
＝l
f,a
+l
r,b
[0195]
r
w
＝r
w7
＝l
f,a
+l
f,b
[0196][0197][0198][0199]
r
w
＝r
w11
＝l
r,a
+l
f,b
[0200]
r
w
＝r
w12
＝l
r,a
+l
r,b
[0201][0202]
其中，θ
ref
为车头方向夹角。l
f,a
为主车的质心坐标与主车的前轮轴线的垂直距离，l
r,a
为主车的质心坐标与主车的后轮轴线的垂直距离，l
f,b
为远车的质心坐标与远车的前轮轴线的垂直距离，l
r,b
为远车的质心坐标与远车的后轮轴线的垂直距离，w
a
为主车的宽度，w
b
为远车的宽度；δl为预留距离。
[0203]
如图9a～9b所示，在主车质心a点上建立新的坐标系，x轴正方向保持与主车车头方向同向，可以得到相对主车的新坐标系，并借此划分出相对主车的方位并计算出远车相对主车的夹角。新坐标系的角度设置以逆时针为正，y轴正方向为0
°
，图9b中所示远车与主车的车头方向角夹角θ
rel
为120
°
。为了计算两车刚好相撞的距离，将两车都视为矩形，宽度分别为w
a
和w
b
，l
f
与l
r
的定义与运动学自行车模型中的定义一致。
[0204]
以远车位于主车右前方为例，两车在车辆a的右上角c点接触，|ab|为两车质心连线距离，很明显有|ab|<|ac|+|bc|。因此，出于安全考虑，采用|ac|+|bc| 作为预警距离r
w0
。因为|ac|是常数且|bc|的最大值为得到根据两车车头方向夹角的不同，得到根据两车车头方向夹角的不同，得到
[0205]
然而，如果预警距离过大，系统会产生一些不必要的预警和误报，例如车辆 a和车辆b在相邻车道同向行驶(或逆向行驶，两车车头方向夹角小于等于30
°
依然视为同向行驶，逆向行驶同理)，车辆b相对于车辆a在其右侧，此时预警距离应使用两车横向距离，即
同样地，根据两车车头方向
[0206][0207]
角的变化，得到
[0208][0209]
其中δl是一个防刮蹭的预留距离，其可以由用户自己定义，可选地，其可以设为1米。需要说明的是，两车逆向行驶同理。
[0210]
第六步、对主车的车辆矩形模型与远车的车辆矩形模型是否相交进行迭代计算，并在判定主车的车辆矩形模型与远车的车辆矩形模型相交时，得到主车的车辆矩形模型与远车的车辆矩形模型发生碰撞的碰撞时间；
[0211]
在一个实施例中，车辆矩形模型结合上文所述车辆相对行驶轨迹即可近似做出车辆在第n个δt时间内扫过的面积。如图5及图8所示，矩形q
n
r
n
s
n
t
n
即为远车b在δt时间内相对于主车a扫过的面积，如果矩形q
n
r
n
s
n
t
n
与矩形 efgh有重叠说明两车在nδt时刻有碰撞风险(对比图7和图8)。判断车辆矩形模型是否重叠原理，即为判断矩形q
n
r
n
s
n
t
n
与矩形efgh是否相交，通过对两个矩形所有边长组合进行相交判断。
[0212]
因此，按上述主车及远车的车辆矩形模型进行迭代计算，当计算得到图8 中远车的车辆矩形模型的矩形q
n
r
n
s
n
t
n
与主车的车辆矩形模型的矩形efgh相交时，停止迭代计算并返回当前迭代次数n及碰撞时间ttc(time to collision)，如果以上条件一直不满足，则迭代计算会持续运行直到达到最大迭代步数 n＝nmax，其中nmax＝nmax0*m，*为乘法运算，nmax0为默认初始最大迭代步数，如果此时依然计算出两车没有碰撞风险，则返回无碰撞风险(ttc＝-1)。
[0213]
设置碰撞时间如下式计算：
[0214][0215]
若0≤ttc≤t
w
，则表示远车b和主车a以当前运动参数行驶时间ttc之后，两车的相对距离会小于或等于预警距离。
[0216]
应当说明的是，由于车辆运行参数能够描述主车和远车的运动轨迹状态，车辆信息用于表征车辆的行驶状态和物理属性信息，筛选规则包括根据车辆运行参数之间的相互关系，因此能够根据通过主车的车辆信息和远车的车辆信息确定的车辆运行参数，并采用预设的筛选规则对车辆运行参数之间的相互关系进行判定，从而从多个远车中筛选出具有预警等级的待预警车辆，以进行预警。
[0217]
其中，筛选规则中可以包括第一筛选规则、第二筛选规则、第三筛选规则中的任意一个，也可以包括任意两个的组合，还可以包括上述三个，对此本实施例不做限定。
[0218]
第一筛选规则包括，两车的质心距离大于预设的初筛半径，该初筛半径可以为预先设定的，例如其可以是根据道路情况设定。该第一筛选规则可以用公式或该公式变形的进行表达，其中为两车的质心连线向量，a和b分别代表两车的质心坐标；r为预设的初筛半径，该初筛半径r可以是根据经验设定的(如200m、300m、500m等)，也可以是根据车辆所处的实际道路情况或者筛选需求进行调整得的。
[0219]
第二筛选规则包括：两车速度在两车质心连线向量上的投影的速度和大于0，即认为两车存在碰撞的可能，而当车速度在两车质心连线向量上的投影的速度和小于等于0，即认为两车存在碰撞的可能性小。
[0220]
u
ba
＝v
a
cos(ab)+v
b
cos(ba)
[0221]
如图9所示，根据公式计算出两车速度在两车质心连线向量上的投影的速度和u
ba
。
[0222]
等效于判断两车质心连线向量(向量)和两车相对运动轨迹向量(向量)的夹角状态，即当时，车辆b相对于车辆a正在离去。
[0223]
第三筛选规则包括：主车的行驶速度大于预设的安全时速阈值，远车相对于主车的相对行驶速度大于所述安全时速阈值，其中，安全时速阈值可以是人为设定的，或者依据道路情况设定的，例如其可以设置为10km/h。当主车的行驶速度小于或等于安全时速阈值的时候，且远车相对于主车的相对行驶速度小于或等于安全时速阈值的时候，则认为该速度下两车发生碰撞的可能性比较小；当主车的行驶速度大于安全时速阈值的时候，车辆行驶较快，或者远车相对于主车的相对行驶速度大于安全时速阈值的时候，则认为两车发生碰撞的可能性比较大。在第三筛选条件中，关于两车的质心距离大于预警半径的描述，可以参考第二筛选条件中的描述。
[0224]
第七步、将所得到的碰撞时间与调整后的预警时间或原有的预警时间进行对比，且根据对比结果，计算主车与远车间发生碰撞的预警等级。
[0225]
在一个实施例中，若0≤ttc≤t
w
，根据公式或者该公式的变形确定预警等级w，其中，[]为取整运算(四舍五入)，w
max
为最大预警等级，r
w
为预警距离，s为安全系数。可选地，最大预警等级可以为认为用户定义，其可以为正整数，例如10，即表征共有10级预警。安全系数可以随不同的碰撞场景(前向碰撞和交叉路口碰撞)的危险程度取不同的值，越危险的地方取值越大，场景的危险程度可以由用户进行定义。对于质心距离小于调整后的预警距离的情况，系统可以跳过后续的迭代过程，直接设置ttc＝0，使得计算出来的预警等级直接为最大预警等级。
[0226]
步骤s30、所述主车根据所述预警等级，生成预警信息发给主车驾驶员。
[0227]
具体过程为，将预警等级携带在预警信息内发给主车驾驶员，该预警信息还包括主车相对方位等信息。
[0228]
可以理解的是，主车在确定主车驾驶员的疲劳度m达到第二阈值(如5) 时，不仅向主车驾驶员发出告警信号(如通过can总线向中控界面发送包含告警画面和/或告警声音等告警信号)，还会向远车广播携带有车辆失控标识的信号 (如车辆失控这个国标v2x信号)。
[0229]
相对于本发明实施例二中提供的一种车辆预警方法，本发明实施例三又提供了一种车辆预警装置，用于主车上，包括存储器和处理器，存储器存储有计算机程序，其中，处理器执行计算机程序时实现本发明实施例二中的车辆预警方法的步骤。应当说明的是，本发明实施例三中处理器执行计算机程序的过程，与本发明实施例二中提供的一种车辆预警方法中各个步骤的执行过程一致，具体可参见前述相关内容描述。
[0230]
实施本发明实施例，具有如下有益效果：
[0231]
1、本发明基于视觉追踪设备提供的人眼所在位置坐标和人眼视线在当前投射屏幕内侧上的注视点坐标，以及根据当前投射屏幕的折射率及曲率所形成的人眼视线的折射光路来得到人眼视线的最终注视点及其坐标，从而克服传统的车辆视觉追踪技术的视线信息中所识别的注视点为投射在某一屏幕表面的点，导致识别结果有很大的局限性与不足的问题；
[0232]
2、本发明基于人眼视线的最终注视点或/及主车驾驶员的状态，对与远车之间发生碰撞的预警等级进行调整，使车辆能根据监测到的人眼视线的最终注视点或/及驾驶员疲劳状态自动调整自身碰撞预警，从而将v2x技术的信号优势与视觉追踪技术的注视点识别优势相结合，增强了车辆自身碰撞预警的准确性与可扩展性，提升了车辆的安全性和实用性；
[0233]
3、本发明基于c-v2x技术对车辆的识别受天气等因素影响较小，只依赖于车辆状态数据而不依赖于道路曲率信息，从而进一步提高了行车安全性与舒适性。
[0234]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。
[0235]
本发明所提到的方向和位置用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「顶部」、「底部」、「侧面」等，仅是参考附图的方向或位置。因此，使用的方向和位置用语是用以说明及理解本发明，而非对发明保护范围的限制。
[0236]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。