车辆的危险感知方法及装置与流程

本技术涉及自动驾驶，特别涉及一种车辆的危险感知方法及装置。

背景技术：

1、驾驶员对交通环境中诸多要素的感知、理解及预测能力，即为道路交通领域中的情境意识，驾驶员情境意识是影响驾驶安全的重要因素，具有自动驾驶模式的车辆可以将驾驶员从一些驾驶相关的行为中解放出来，当车辆以自动驾驶模式运行时会遇到自动驾驶无法识别的场景，此时需要驾驶人员对车辆进行接管，但是由于驾驶人员处于长时间的自动驾驶模式中，容易造成驾驶人员的情境意识丧失，对周围环境的警觉性下降，难以第一时间完成车辆接管任务，而驾驶人员情境意识的丧失程度，则直接决定了接管时间的长短，从而影响安全驾驶。

2、相关技术中，可以检测车内环境的危险并提供危险数据，监视驾驶员意识，比较危险数据和凝视踪迹，识别被察觉危险和未被察觉危险，对未被察觉危险进行报警。

3、然而，相关技术中的接管预警系统设计模式单一，无法有效感知当前车辆与周围车辆的碰撞危险，未充分考虑驾驶员在自动驾驶人车路闭环系统中的复杂性和不确定性，难以在驾驶员情境意识丧失时安全接管车辆，延长了完全接管时间，导致车辆行驶的安全性低，降低了驾驶员的驾驶体验，亟待解决。

技术实现思路

1、本技术提供一种车辆的危险感知方法及装置，以解决相关技术中的接管预警系统设计模式单一，无法有效感知当前车辆与周围车辆的碰撞危险，未充分考虑驾驶员在自动驾驶人车路闭环系统中的复杂性和不确定性，难以在驾驶员情境意识丧失时安全接管车辆，延长了完全接管时间，导致车辆行驶的安全性低，降低了驾驶员的驾驶体验等问题。

2、本技术第一方面实施例提供一种车辆的危险感知方法，包括以下步骤：基于驾驶员的脸部图像，识别所述驾驶员的当前情境意识丧失程度；若所述当前情境意识丧失程度为预设程度，则计算在当前车辆的当前运动轨迹状态下每个周围车辆与所述当前车辆发生接触的纵向接触时间和/或横向接触时间；以及根据所述纵向接触时间和/或所述横向接触时间中的一项或两项与驾驶员完成接管反应的总时间确定每个周围车辆的危险区域程度，基于所述危险区域程度感知所述当前车辆与周围车辆的碰撞危险。

3、根据上述技术手段，本技术实施例可以在驾驶员的当前情境意识丧失程度达到一定程度时，计算周围车辆与当前车辆发生接触的纵向时间和横向时间，确定周围其他车辆危险程度，以感知当前车辆与周围车辆的碰撞危险，从而基于情境意识丧失程度提醒驾驶员进行相关驾驶安全接管，提升行驶的安全性，更加安全实用，提升驾驶体验。

4、可选地，在本技术的一个实施例中，所述根据所述当前情境意识丧失程度计算在当前车辆的当前运动轨迹状态下每个周围车辆与所述当前车辆发生接触的纵向接触时间和/或横向接触时间，包括：获取所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态；根据所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态计算在所述当前车辆的当前运动轨迹状态下每个周围车辆与所述当前车辆发生接触的纵向接触时间和/或横向接触时间。

5、根据上述技术手段，本技术实施例可以根据当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态，计算在当前车辆的当前运动轨迹状态下每个周围车辆与当前车辆发生接触的纵向接触时间和/或横向接触时间，从而为确定每个周围车辆的危险区域程度提供依据，进一步提升行驶的安全性，更加安全实用。

6、可选地，在本技术的一个实施例中，所述识别所述驾驶员的当前情境意识丧失程度，包括：提取脸部图像中所述驾驶员的眼部位置特征和面部动作特征；根据所述眼部位置特征和所述面部动作特征判断所述驾驶员是否满足预设周围环境观察条件；在未满足所述预设周围环境观察条件时，判定所述当前情境意识丧失程度为意识丧失程度；在满足所述预设周围环境观测条件时，判定所述当前情境意识程度为警觉意识程度。

7、根据上述技术手段，本技术实施例可以提取驾驶员的眼部特征和面部动作特征，判断驾驶员是否满足一定周围环境观察条件，在未满足一定周围环境观察条件时，判定当前情境意识丧失程度为意识丧失程度，在满足一定周围环境观测条件时，判定当前情境意识程度为警觉意识程度，基于情境意识丧失程度进行相关驾驶安全接管，进一步保证实现有效的接管报警机制。

8、可选地，在本技术的一个实施例中，所述根据所述眼部位置特征和所述面部动作特征判断所述驾驶员是否满足预设周围环境观察条件，包括：根据所述眼部位置特征计算双眼连线中点的多个位置；将所述多个位置中所述双眼连线中点的位置所处时间最长的位置作为基准位置，根据所述面部动作特征计算每一帧中驾驶员双眼连线中点所处的实际位置，并检测所述实际位置与所述基准位置之间的对应关系；在检测到所述实际位置与所述基准位置相符时，判定满足所述预设周围环境观测条件，否则判定未满足所述预设周围环境观测条件。

9、根据上述技术手段，本技术实施例可以根据驾驶员眼部位置特征计算双眼连线中点的多个位置，根据面部动作特征计算每一帧中驾驶员双眼连线中点所处的实际位置，并检测实际位置与基准位置之间的对应关系，在检测到实际位置与基准位置相符时，判定满足一定周围环境观测条件，否则判定未满足一定周围环境观测条件，通过驾驶员的眼睛运动轨迹，可以有效识别出视觉焦点位置及停留时间，判断驾驶员对某一视觉对象的注意情况，根据驾驶员直接的注视行为更精确的判断驾驶员对周围环境的关注程度，从而精确推断自动驾驶中驾驶人员情境意识丧失程度。

10、可选地，在本技术的一个实施例中，在获取所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态之前，还包括：若所述当前情境意识丧失程度为意识丧失程度，则满足所述预设危险报警条件；若所述当前情境意识程度为所述警觉意识程度，则获取所述驾驶员的持续观察时长，并在所述持续观察时长小于预设安全时长时，判定满足所述预设危险报警条件。

11、根据上述技术手段，本技术实施例可以在当前情境意识丧失程度为意识丧失程度时，判定满足一定危险报警条件，在当前情境意识程度为警觉意识程度时，获取驾驶员的持续观察时长，并在持续观察时长小于一定安全时长时，判定满足一定危险报警条件，从而保证驾驶员在情境意识不同状态下，有效实现接管的预警机制，提升行驶安全性。

12、可选地，在本技术的一个实施例中，在由所述当前情境意识丧失程度确定所述驾驶员完成接管反应的总时间之前，还包括：检测车辆的当前工作模式；在检测到所述当前工作模式为第一工作模式时，所述驾驶员完成接管反应的总时间为预设时间，否则由所述当前情境意识丧失程度确定所述驾驶员完成接管反应的总时间。

13、根据上述技术手段，本技术实施例可以检测车辆的当前工作模式，在检测到当前工作模式为第一工作模式时，判定驾驶员完成接管反应的总时间为预设时间，否则由当前情境意识丧失程度确定驾驶员完成接管反应的总时间，从而保证接管质量。

14、可选地，在本技术的一个实施例中，所述由所述当前情境意识丧失程度确定驾驶员完成接管反应的总时间，包括：采集所述驾驶员的生理状态信息和所述情绪状态信息；根据所述生理状态信息和情绪状态信息从预设数据库中匹配所述驾驶员完成接管反应的总时间。

15、根据上述技术手段，本技术实施例可以采集驾驶员的生理状态信息和情绪状态信息，根据生理状态信息和情绪状态信息从数据库中匹配驾驶员完成接管反应的总时间，从而进一步获得驾驶员的情境意识丧失程度并进行相关驾驶安全接管，提升驾驶体验。

16、可选地，在本技术的一个实施例中，所述根据所述纵向接触时间和/或所述横向接触时间中的一项或两项与所述驾驶员完成接管反应的总时间确定每个周围车辆的危险区域程度，包括：若仅有纵向接触，则在所述纵向接触时间小于所述总时间时，所述危险区域程度为极度危险程度，并在所述纵向接触时间大于所述总时间且小于所述总时间和第一预设时长之和，所述危险区域程度为较危险程度，且在所述纵向接触时间大于所述总时间和第一预设时长之和，所述危险区域程度为一般危险区域；若仅有横向接触，则在所述横向接触时间小于所述总时间时，所述危险区域程度为所述极度危险程度，并在所述横向接触时间大于所述总时间且小于所述总时间和第二预设时长之和，所述危险区域程度为所述较危险程度，且在所述横向接触时间大于所述总时间和第二预设时长之和，所述危险区域程度为所述一般危险区域；若同时存在所述纵向接触和所述横向接触，则在任一接触时间小于所述总时间时，所述危险区域程度为所述极度危险程度，并在所述任一接触时间大于所述总时间且小于所述总时间和第三预设时长之和，所述危险区域程度为所述较危险程度，且在所述任一接触时间大于所述总时间和第三预设时长之和，所述危险区域程度为所述一般危险区域。

17、根据上述技术手段，本技术实施例可以通过比较纵向接触时间、横向接触时间与总时间的大小，判断危险程度大小，当极度危险警戒区域中和普通危险区域内有车辆时，可以通过车内不同程度的预警提示方式提示驾驶员保持情境意识，从而确保在紧急情况需要驾驶员手动接管车辆时有足够的反应时间，提升行驶的安全性，更加安全实用。

18、可选地，在本技术的一个实施例中，所述在基于所述危险区域程度感知所述车辆与周围车辆的碰撞危险之后，还包括：基于所述危险区域程度匹配最佳接管报警动作，并控制所述当前车辆对一个或多个周围车辆执行所述最佳接管报警动作。

19、根据上述技术手段，本技术实施例可以在基于危险区域程度感知车辆与周围车辆的碰撞危险之后，根据危险区域程度，匹配并控制执行最佳接管报警动作，从而有效保证不同驾驶员状态和环境状态下，自动驾驶安全接管，实现差异化的接管。

20、本技术第二方面实施例提供一种车辆的危险感知装置，包括：识别模块，用于基于驾驶员的脸部图像，识别所述驾驶员的当前情境意识丧失程度；计算模块，用于在所述当前情境意识丧失程度为预设程度时，计算在当前车辆的当前运动轨迹状态下每个周围车辆与所述当前车辆发生接触的纵向接触时间和/或横向接触时间；以及感知模块，用于根据所述纵向接触时间和/或所述横向接触时间中的一项或两项与驾驶员完成接管反应的总时间确定每个周围车辆的危险区域程度，基于所述危险区域程度感知所述当前车辆与周围车辆的碰撞危险。

21、可选地，在本技术的一个实施例中，所述计算模块包括：获取单元，用于获取所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态；计算单元，用于根据所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态计算在所述当前车辆的当前运动轨迹状态下每个周围车辆与所述当前车辆发生接触的纵向接触时间和/或横向接触时间。

22、可选地，在本技术的一个实施例中，所述识别模块包括：提取单元，用于提取脸部图像中所述驾驶员的眼部位置特征和面部动作特征；判断单元，用于根据所述眼部位置特征和所述面部动作特征判断所述驾驶员是否满足预设周围环境观察条件；第一判定单元，用于在未满足所述预设周围环境观察条件时，判定所述当前情境意识丧失程度为意识丧失程度；第二判定单元，用于在满足所述预设周围环境观测条件时，判定所述当前情境意识程度为警觉意识程度。

23、可选地，在本技术的一个实施例中，所述判断单元包括：计算子单元，用于根据所述眼部位置特征计算双眼连线中点的多个位置；检测子单元，用于将所述多个位置中所述双眼连线中点的位置所处时间最长的位置作为基准位置，根据所述面部动作特征计算每一帧中驾驶员双眼连线中点所处的实际位置，并检测所述实际位置与所述基准位置之间的对应关系；判定子单元，用于在检测到所述实际位置与所述基准位置相符时，判定满足所述预设周围环境观测条件，否则判定未满足所述预设周围环境观测条件。

24、可选地，在本技术的一个实施例中，还包括：第一判定模块，用于在获取所述当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态之前，当所述当前情境意识丧失程度为意识丧失程度时，满足所述预设危险报警条件；第二判定模块，用于当所述当前情境意识程度为所述警觉意识程度时，获取所述驾驶员的持续观察时长，并在所述持续观察时长小于预设安全时长时，判定满足所述预设危险报警条件。

25、可选地，在本技术的一个实施例中，还包括：检测模块，用于在由所述当前情境意识丧失程度确定所述驾驶员完成接管反应的总时间之前，检测车辆的当前工作模式；确定模块，用于在检测到所述当前工作模式为第一工作模式时，所述驾驶员完成接管反应的总时间为预设时间，否则由所述当前情境意识丧失程度确定所述驾驶员完成接管反应的总时间。

26、可选地，在本技术的一个实施例中，所述确定模块包括：采集单元，用于采集所述驾驶员的生理状态信息和情绪状态信息；匹配单元，用于根据所述生理状态信息和所述情绪状态信息从预设数据库中匹配所述驾驶员完成接管反应的总时间。

27、可选地，在本技术的一个实施例中，所述感知模块包括：第三判定单元，用于当仅有纵向接触时，在所述纵向接触时间小于所述总时间时，所述危险区域程度为极度危险程度，并在所述纵向接触时间大于所述总时间且小于所述总时间和第一预设时长之和，所述危险区域程度为较危险程度，且在所述纵向接触时间大于所述总时间和第一预设时长之和，所述危险区域程度为一般危险区域；第四判定单元，用于当仅有横向接触时，在所述横向接触时间小于所述总时间时，所述危险区域程度为所述极度危险程度，并在所述横向接触时间大于所述总时间且小于所述总时间和第二预设时长之和，所述危险区域程度为所述较危险程度，且在所述横向接触时间大于所述总时间和第二预设时长之和，所述危险区域程度为所述一般危险区域；第五判定单元，用于当同时存在所述纵向接触和所述横向接触时，在任一接触时间小于所述总时间时，所述危险区域程度为所述极度危险程度，并在所述任一接触时间大于所述总时间且小于所述总时间和第三预设时长之和，所述危险区域程度为所述较危险程度，且在所述任一接触时间大于所述总时间和第三预设时长之和，所述危险区域程度为所述一般危险区域。

28、可选地，在本技术的一个实施例中，还包括：控制模块，用于在基于所述危险区域程度感知所述车辆与周围车辆的碰撞危险之后，基于所述危险区域程度匹配最佳接管报警动作，并控制所述当前车辆对一个或多个周围车辆执行所述最佳接管报警动作。

29、本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的危险感知方法。

30、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的车辆的危险感知方法。

31、本技术实施例的有益效果：

32、(1)本技术实施例可以在驾驶员的当前情境意识丧失程度达到一定程度时，计算周围车辆与当前车辆发生接触的纵向时间和横向时间，确定周围其他车辆危险程度，以感知当前车辆与周围车辆的碰撞危险，从而基于情境意识丧失程度提醒驾驶员进行相关驾驶安全接管，提升行驶的安全性，更加安全实用，提升驾驶体验。

33、(2)本技术实施例可以根据当前车辆的所处车道的边界信息、与至少一个周围车辆之间的速度差和实时综合环境状态，计算在当前车辆的当前运动轨迹状态下每个周围车辆与当前车辆发生接触的纵向接触时间和/或横向接触时间，从而为确定每个周围车辆的危险区域程度提供依据，进一步提升行驶的安全性，更加安全实用。

34、(3)本技术实施例可以采集驾驶员的生理状态信息和情绪状态信息，根据生理状态信息和情绪状态信息从数据库中匹配驾驶员完成接管反应的总时间，从而进一步获得驾驶员的情境意识丧失程度并进行相关驾驶安全接管，提升驾驶体验。

35、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。