驾驶状态监测方法、装置、设备、系统、介质及交通工具与流程

所属的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

背景技术：

1、在车辆以及火车、船舶等其它交通工具的行驶过程中，驾驶员的安全驾驶问题日益成为焦点。除了众所周知的疲劳驾驶外，酒驾、毒驾以及眼部不适(比如外强光突然照射、异物进入以及眼部疲劳/疾病)等因素提升了驾驶安全隐患的不可预测性，除了主观意识防范外，还需要对驾驶员的驾驶状态进行监测，根据监测的情况进行相应的告警处理。

2、目前在驾驶员驾驶状态出现问题时，通常有两种方式进行监测，一种是开启车内摄像头进行全程的人工监控，另一种是根据车内摄像头拍摄的驾驶员的图像对驾驶员的头部姿态进行自动监测，判断其是否处于危险驾驶状态，前者需要耗费大量的人力成本和时间成本，实效性较低，后者仅基于头部姿态做判断，准确性较低。现有的驾驶监测主要是人工监测或单一维度的自动监测，例如仅基于图像的自动监测，监测方式较为单一，无法满足更高的监测需求。

技术实现思路

1、有鉴于此，本申请提供一种驾驶状态监测方法、装置、设备、系统、介质及交通工具，以解决现有技术中存在无法对驾驶员的驾驶状态进行实时且准确的监测的问题，技术方案如下：

2、第一方面，本申请实施例提供了一种驾驶状态监测方法，包括：

3、获取当前交通工具座舱内的视觉信息和音频信息；

4、通过视觉解析模型对视觉信息进行解析，得到视觉侧的第一解析结果；第一解析结果包括行为特征和面部特征中的至少一种；

5、通过音频解析模型对音频信息进行解析，得到音频侧的第二解析结果；第二解析结果包括语音特征和语义特征中的至少一种；

6、根据第一解析结果和第二解析结果中的至少一种解析结果，确定当前交通工具中的驾驶员的驾驶状态是否为危险驾驶。

7、第二方面，本申请实施例提供了一种驾驶状态监测装置，包括：

8、信息获取模块，用于获取当前交通工具座舱内的视觉信息和音频信息；

9、第一解析模块，用于通过视觉解析模型对视觉信息进行解析，得到视觉侧的第一解析结果；第一解析结果包括行为特征和面部特征中的至少一种；

10、第二解析模块，用于通过音频解析模型对音频信息进行解析，得到音频侧的第二解析结果；第二解析结果包括语音特征和语义特征中的至少一种；

11、危险驾驶决策模块，用于根据第一解析结果和第二解析结果中的至少一种解析结果，确定当前交通工具中的驾驶员的驾驶状态是否为危险驾驶。

12、第三方面，本申请实施例提供了一种驾驶状态监测设备，包括：存储器和处理器，存储器中存储有计算机程序，该计算机程序由处理器加载并执行，以实现本申请实施例第一方面提供的方法。

13、第四方面，本申请实施例提供了一种交通工具，包括：本申请实施例第三方面提供的设备。

14、第五方面，本申请实施例提供了一种驾驶状态监测系统，包括：第一服务器、第二服务器、输出设备以及本申请实施例第三方面提供的驾驶状态监测设备；

15、输出设备和驾驶状态监测设备位于交通工具内；

16、第一服务器、第二服务器、输出设备均与驾驶状态监测设备通信连接；

17、第一服务器用于接收驾驶状态监测设备发送的音视频信息并存储，第二服务器用于接收驾驶状态监测设备发送的报警信息，输出设备用于接收驾驶状态监测设备发送的告警信息并输出。

18、第六方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的方法。

19、本申请的上述技术方案至少可以实现如下有益效果：

20、本申请实施例提供的技术方案可以获取视觉和听觉两种模态的信息(即视觉信息和听觉信息)，通过对两种模态的信息进行解析，可以实现跨模态的解析，进而基于跨模态的解析结果综合判断驾驶员的驾驶状态是否为危险驾驶，这种监测方式更加全面和可靠，可以满足更高的监测需求。

技术特征：

1.一种驾驶状态监测方法，其特征在于，包括：

2.根据权利要求1所述的驾驶状态监测方法，其特征在于，在所述第一解析结果包括所述行为特征的情况下，所述根据所述第一解析结果和所述第二解析结果中的至少一种解析结果，确定当前交通工具中的驾驶员的驾驶状态是否为危险驾驶，包括：

3.根据权利要求2所述的驾驶状态监测方法，其特征在于，所述根据所述行为特征确定所述驾驶员的驾驶行为是否异常，包括：

4.根据权利要求2所述的驾驶状态监测方法，其特征在于，所述根据所述面部特征确定所述驾驶员的面部状态是否异常，包括以下至少一种操作：

5.根据权利要求1-4中任一项所述的驾驶状态监测方法，其特征在于，还包括：

6.根据权利要求5所述的驾驶状态监测方法，其特征在于，所述确定所述危险驾驶的类型，包括：

7.根据权利要求6所述的驾驶状态监测方法，其特征在于，在所述第二解析结果包括所述语音特征和所述语义特征的情况下，所述根据所述语音特征和语义特征中的至少一种信息确定所述驾驶员的语言表达是否清楚，包括：

8.根据权利要求7所述的驾驶状态监测方法，其特征在于，所述根据所述危险等级执行相应的告警处理，包括：

9.一种驾驶状态监测装置，其特征在于，包括：

10.一种驾驶状态监测设备，其特征在于，包括：存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行，以实现如权利要求1-8中任一项所述的方法。

11.一种交通工具，其特征在于，包括：如权利要求10所述的驾驶状态监测设备。

12.一种驾驶状态监测系统，其特征在于，包括：第一服务器、第二服务器、输出设备以及如权利要求10所述的驾驶状态监测设备；

13.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

技术总结
本申请提供了一种驾驶状态监测方法、装置、设备、系统、介质及交通工具。驾驶状态监测方法包括：获取当前交通工具座舱内的视觉信息和音频信息；通过视觉解析模型对视觉信息进行解析，得到视觉侧的第一解析结果；第一解析结果包括行为特征和面部特征中的至少一种；通过音频解析模型对音频信息进行解析，得到音频侧的第二解析结果；第二解析结果包括语音特征和语义特征中的至少一种；根据第一解析结果和第二解析结果中的至少一种解析结果，确定当前交通工具中的驾驶员的驾驶状态是否为危险驾驶。本申请的技术方案，可以实现对驾驶员驾驶状态的全面且准确的自动监测。

技术研发人员：李响
受保护的技术使用者：长春中科创达软件有限公司
技术研发日：
技术公布日：2024/6/30