基于多模态信息的行车风险识别方法、系统、设备及介质与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。根据本技术的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(ram)和/或高速缓存储存器，还可以进一步包括只读储存器(rom)。储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。此外，上述附图仅是根据本技术示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

背景技术：

1、随着社会经济的快速发展，汽车已经成为人们日常生活中必不可少的出行工具。然而，在车辆驾驶过程中，车辆座舱内可能发生胁迫或者持刀/枪抢劫等危险情况。在目前的技术方案中，常基于获取到的座舱内图像识别被胁迫者的预设手势或动作从而触发报警。然而，若用户预设的手势或动作过于简单，虽然能够大幅度降低操作繁琐度和行为暴露度，但是与生活中常见手势或动作相同或者相似，容易触发误报，而若用户预设的手势或动作过于复杂，则会大幅度增加操作繁琐度和行为暴露度，容易引起胁迫者的警觉，增大被胁迫者的人身财产安全的风险。由此，如何提高报警结果的准确性，及时应对行车时可能存在的危险情况，进而保证被胁迫者的人身财产安全成为了亟待解决的技术问题。

技术实现思路

1、有鉴于此，本技术提供一种基于多模态信息的行车风险识别方法、系统、设备及介质，以提高报警结果的准确性，及时应对行车时可能存在的危险情况，进而保证被胁迫者的人身财产安全。

2、根据本技术的一个方面，提供了一种基于多模态信息的行车风险识别方法，包括：

3、获取关于目标车辆的图像信息和音频信息，所述图像信息包括车辆内图像和/或车辆外图像；

4、对所述图像信息进行图像识别处理，得到图像处理结果，所述图像处理结果用以描述是否存在影响行车安全的危险行为；

5、对所述音频信息进行音频识别处理，得到音频处理结果，所述音频处理结果用以描述是否存在影响行车安全的危险行为；

6、根据所述图像处理结果和所述音频处理结果，确定所述目标车辆当前的行车风险等级。

7、在本技术的一个实施例中，所述图像处理结果包括面部表情识别结果以及行为识别结果；

8、对所述图像信息进行图像识别处理，得到图像处理结果，包括：

9、将所述图像信息输入至预先训练完成的面部表情识别模型，以使所述面部表情识别模型输出所述图像信息中存在的面部表情的表情类别，得到所述面部表情识别结果；

10、将所述图像信息输入至预先训练完成的行为识别模型，以使所述行为识别模型输出所述图像信息中存在的行为信息，得到所述行为识别结果。

11、在本技术的一个实施例中，根据所述图像处理结果和所述音频处理结果，确定所述目标车辆当前的行车风险等级，包括：

12、根据所述行为信息以及所述音频处理结果，确定所述目标车辆当前存在的危险行为；

13、根据所述表情类别以及所述目标车辆当前存在的危险行为，确定所述目标车辆当前的行车风险等级。

14、在本技术的一个实施例中，根据所述表情类别以及所述目标车辆当前存在的危险行为，确定所述目标车辆当前的行车风险等级，包括：

15、在所述表情类别为目标表情类别，且所述目标车辆当前未存在危险行为的情况下，确定所述目标车辆当前的行车风险等级为第一等级；

16、在所述目标车辆当前存在的危险行为为第一目标危险行为的情况下，确定所述目标车辆当前的行车风险等级为第二等级；

17、在所述目标车辆当前存在的危险行为为第二目标危险行为的情况下，确定所述目标车辆当前的行车风险等级为第三等级；

18、在所述目标车辆当前存在的危险行为为第三目标危险行为的情况下，确定所述目标车辆当前的行车风险等级为第四等级；

19、其中，所述第一等级、所述第二等级、所述第三等级以及所述第四等级对应的危险程度依次上升。

20、在本技术的一个实施例中，在根据所述图像处理结果和所述音频处理结果，确定所述目标车辆当前的行车风险等级之后，所述方法还包括：

21、在所述行车风险等级为第一等级的情况下，将针对所述目标车辆获取的图像信息和音频信息实时上传至报警中心平台；

22、在所述行车风险等级为第二等级或所述第三等级的情况下，获取所述目标车辆的位置信息，并生成与所述第一目标危险行为或所述第二目标危险行为对应的第一提示信息，将所述位置信息和所述第一提示信息上传至所述报警中心平台；

23、在所述行车风险等级为第四等级的情况下，获取所述目标车辆的位置信息，并生成与所述第三目标风险行为对应的第二提示信息，将所述位置信息、所述第二提示信息以及针对所述目标车辆获取的图像信息和音频信息实时上传至所述报警中心平台。

24、在本技术的一个实施例中，将针对所述目标车辆获取的图像信息和音频信息实时上传至报警中心平台，包括：

25、将针对所述目标车辆获取的图像信息和音频信息实时上传至云端服务器，以通过所述云端服务器向报警中心平台进行转发。

26、在本技术的一个实施例中，对所述音频信息进行音频识别处理，得到音频处理结果，包括：

27、对所述音频信息进行语音识别，得到所述音频信息对应的文字信息；

28、采用语言处理模型对所述文字信息进行文字解析，得到对应的文字解析结果。

29、根据本技术的一个方面，提供了一种基于多模态信息的行车风险识别系统，包括图像获取和处理模块、音频获取和处理模块以及危险等级决策解析模块，其中：

30、所述图像获取和处理模块，用于获取关于目标车辆的图像信息，并对所述图像信息进行图像识别处理，得到图像处理结果，所述图像处理结果用以描述是否存在影响行车安全的危险行为，所述图像信息包括车辆内图像和/或车辆外图像；

31、所述音频获取和处理模块，用于获取关于目标车辆的音频信息，并对所述音频信息进行音频识别处理，得到音频处理结果，所述音频处理结果用以描述是否存在影响行车安全的危险行为；

32、所述危险等级决策解析模块，用于根据所述图像处理结果和所述音频处理结果，确定所述目标车辆当前的行车风险等级。

33、根据本技术的一个方面，提供了一种车辆，包括车载终端，所述车载终端被配置于可执行如上所述的基于多模态信息的行车风险识别方法。

34、根据本技术的一个方面，提供了一种电子设备，包括处理器和存储器；

35、所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述方法的步骤。

36、根据本技术的一个方面，提供了一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述方法的步骤。

37、在本技术的一些实施例所提供的技术方案中，通过获取关于目标车辆的图像信息和音频信息，对图像信息进行图像识别处理，得到图像处理结果，该图像处理结果用以描述是否存在影响行车安全的危险行为，并对音频信息进行音视频处理，得到音频处理结果，该音频处理结果用以描述是否存在影响行车安全的危险行为；接着，根据该图像处理结果和音频处理结果，按照预定规则确定目标车辆当前的行车风险等级。由此，基于图像信息和音频信息进行处理，实现多模态信息的融合，从多个维度进行分析，提高了报警结果的准确性，以及时应对行车时可能存在的危险情况，进而保证被胁迫者的人身财产安全。