一种车辆用基于情感分析的免唤醒交互方法及装置与流程

1.本技术涉及车辆交互技术领域，具体涉及一种车辆用基于情感分析的免唤醒交互方法以及车辆用基于情感分析的免唤醒交互装置。


背景技术：

2.在车载场景中，唤醒词是必不可少的交互命令的前提，每次人机对话时，必须先唤醒机器后才可以对机器进行交互，下达命令等操作，但用户习惯性不进行唤醒直接进行交互或者紧急情况时间紧迫的情况下进行命令下达就显得比较难易达到效果，因此该发明可以在判断用户情感分析加上用户画像直接越过唤醒词这一个环节，进行指令控制。
3.当前免唤醒的技术，只有唤醒词和有限控制命令模型同时存在，是语音同时输入到两个不同的模型中进行识别，如果是控制命令，就直接进行控制命令的操作，如果是激活词就进行唤醒，然后再对后面所输入的语音进行指令识别和操作，并且控制命令只有有限个命令控制的可以直接跳过唤醒词直接使用，有的是判断的用户图像的一些动作和肢体语言进行的判断。
4.因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。


技术实现要素：

5.本发明的目的在于提供一种车辆用基于情感分析的免唤醒交互方法来至少解决上述的一个技术问题。
6.本发明的一个方面，提供一种车辆用基于情感分析的免唤醒交互方法，所述车辆用基于情感分析的免唤醒交互方法包括：
7.获取驾驶者基本情感信息；
8.获取经过训练的情感分类器；
9.提取所述驾驶者基本情感信息中的情感特征；
10.将所述情感特征输入至所述情感分类器，从而获取驾驶者情感种类；
11.根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式。
12.可选地，所述获取驾驶者基本情感信息包括：
13.获取驾驶者面部图像信息和/或获取驾驶者的声音信息；
14.所述获取经过训练的情感分类器包括：
15.获取经过训练的面部情感分类器和/或获取经过训练的声音情感分类器。
16.可选地，所述情感种类包括惊恐情感、抑郁情感以及其他情感；
17.所述根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式包括：
18.当所述情感种类为惊恐情感或抑郁情感时，所述语音交互方式为跳过唤醒词交互方式；
19.当所述情感种类为其他情感时，所述语音交互方式为需要唤醒词交互方式。
20.可选地，在所述将所述情感特征输入至所述情感分类器，从而获取驾驶者情感种类之后，所述根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式之前，所述车辆用基于情感分析的免唤醒交互方法进一步包括：
21.当获取到所述情感种类为抑郁情感时，获取车辆当前运行位置信息；
22.根据当前车辆运行位置信息判断是否需要生成刹车信号，若是，则
23.生成刹车信号。
24.可选地，在所述将所述情感特征输入至所述情感分类器，从而获取驾驶者情感种类之后，所述根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式之前，所述车辆用基于情感分析的免唤醒交互方法进一步包括：
25.当获取到所述情感种类为抑郁情感时，获取车辆当前运行位置信息以及车辆周侧环境图像；
26.根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号，若是，则
27.生成刹车信号。
28.可选地，所述根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号包括：
29.根据车辆运行位置信息，判断当前车辆是否处于车辆密集区域，若是，则
30.根据车辆周侧环境图像判断车辆的行驶方向的反方向上是否有其他车辆，若否，则
31.判断需要生成刹车信号。
32.可选地，在所述根据车辆周侧环境图像判断车辆的行驶方向的反方向上是否有车辆之后，所述根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号进一步包括：
33.获取车辆的距离传感器所传递的距离信号；
34.根据所述距离信号判断车辆的行驶方向的反方向上的其他车辆与距离传感器的距离是否超过第一预设阈值，若是，则
35.生成刹车信号。
36.可选地，所述根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号进一步包括：
37.根据所述距离信号判断车辆的行驶方向的反方向上的车辆与距离传感器的距离是否超过第一预设阈值，若否，则
38.通过多次获取距离信号的方式，获取车辆的行驶方向的反方向上的其他车辆的车速信息；
39.根据本车辆的车速信息以及其他车辆的所述车速信息获取减速刹车策略；
40.根据所述减速刹车策略生成刹车信号，以使车辆根据刹车策略进行刹车。
41.可选地，所述驾驶者基本情感信息进一步包括声纹信息；
42.所述车辆用基于情感分析的免唤醒交互方法进一步包括：
43.获取预设用户语音数据库，所述预设用户语音数据库包括至少一个预设声纹信息；
44.判断获取的驾驶者的声纹信息是否与一个预设声纹信息相同，若是，则选择所述语音交互方式为跳过唤醒词交互方式。
45.本技术还提供了一种车辆用基于情感分析和用户习惯的免唤醒交互装置，所述车辆用基于情感分析和用户习惯的免唤醒交互装置包括：
46.情感信息获取模块，所述情感信息获取模块用于获取驾驶者基本情感信息；
47.情感分类器获取模块，所述情感分类器获取模块用于获取经过训练的情感分类器；
48.情感特征提取模块，所述情感特征提取模块用于提取所述驾驶者基本情感信息中的情感特征；
49.情感种类获取模块，所述情感种类获取模块用于将所述情感特征输入至所述情感分类器，从而获取驾驶者情感种类；
50.语音交互选择模块，所述语音交互选择模块用于根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式。
51.有益效果
52.本技术的车辆用基于情感分析的免唤醒交互方法根据驾驶者的情感来选择语音交互方式，采用这种方式，避免了一些紧急情况下，驾驶者由于紧张、焦虑或者其他状态，导致忘记说唤醒词，而使得汽车无法通过语音进行命令的情况出现。
附图说明
53.图1是本技术一实施例的车辆用基于情感分析的免唤醒交互方法的流程示意图。
54.图2是本技术一实施例的能够实现车辆用基于情感分析的免唤醒交互方法的电子设备的示意图。
具体实施方式
55.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
56.图1是本技术一实施例的车辆用基于情感分析的免唤醒交互方法的流程示意图。
57.如图1所示的车辆用基于情感分析的免唤醒交互方法包括：
58.步骤1：获取驾驶者基本情感信息；
59.步骤2：获取经过训练的情感分类器；
60.步骤3：提取驾驶者基本情感信息中的情感特征；
61.步骤4：将情感特征输入至所述情感分类器，从而获取驾驶者情感种类；
62.步骤5：根据情感种类选择语音交互方式，语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式。
63.本技术的车辆用基于情感分析的免唤醒交互方法根据驾驶者的情感来选择语音交互方式，采用这种方式，避免了一些紧急情况下，驾驶者由于紧张、焦虑或者其他状态，导致忘记说唤醒词，而使得汽车无法通过语音进行命令的情况出现。
64.在本实施例中，获取驾驶者基本情感信息包括：
65.获取驾驶者面部图像信息和/或获取驾驶者的声音信息；
66.获取经过训练的情感分类器包括：
67.获取经过训练的面部情感分类器和/或获取经过训练的声音情感分类器。
68.在本实施例中，所述情感种类包括惊恐情感、抑郁情感以及其他情感；
69.所述根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式包括：
70.当所述情感种类为惊恐情感或抑郁情感时，所述语音交互方式为跳过唤醒词交互方式；
71.当所述情感种类为其他情感时，所述语音交互方式为需要唤醒词交互方式。
72.本技术通过面部表情和/或声音来进行情感分类，通过面部表情，通过图像识别分类的方式，可以了解使用者现在是属于惊恐情感还是抑郁情感，若属于惊恐情况，可能正面临某些较为紧急的状态，例如，前方有行人，使用者突然发现的情况，或者车内有打斗情况，导致使用者可能丧失车辆控制权的情况，此时，可能使用者较为希望能够进行刹车或者其他操作，例如，在打斗状态下，使用者可能希望开车门逃跑，又或者希望打开车窗，让外部的人介入等，此时，使用者很有可能无法进行手动操作，希望通过语音的方式与车辆交互，但是由于情况紧张，导致忘记说唤醒词，这是，现有技术则无法进行交互，而采用本技术的方法，则可以进行交互。
73.在本实施例中，通过分类器识别使用者的面部图像，从而获取使用者的情绪属于现有技术，在此不再赘述。
74.在一些实施例中，还可以通过面部识别出抑郁情感，例如，当使用者难受的时候(例如心脏病发作)时，使用者面部表情扭曲，此时，则认为是抑郁情感。
75.另外，在一些情况下，还可以通过使用者的声音信息来进行情绪的判断，若使用者的声音声调较高、语速较快，则认为属于惊恐情感。
76.或者可以通过声音中具体的文字内容判断属于惊恐情感或者抑郁情感，例如，当通过文字识别发现使用者说的是我好难受等词，则认为属于抑郁情感。
77.在本实施例中，在将情感特征输入至所述情感分类器，从而获取驾驶者情感种类之后，根据所述情感种类选择语音交互方式，所述语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式之前，所述车辆用基于情感分析的免唤醒交互方法进一步包括：
78.当获取到所述情感种类为抑郁情感时，获取车辆当前运行位置信息；
79.根据当前车辆运行位置信息判断是否需要生成刹车信号，若是，则
80.生成刹车信号。
81.当判断为抑郁情感时，通常情况下可能都是使用者突发疾病，而有可能无法控制
车辆的情况，此时，根据车辆当前运行位置信息来判断是否需要生成刹车信号，例如，通过车辆当前运行位置信息发现车辆正位于乡村小路上、或者一些城市街道道路上，则使用者本身车速就不会太快，而周围人的注意力也会比较集中，不太容易发生大的交通事故，此时，则进行刹车，一方面让使用者得到休息，防止车辆失控导致撞车事件发生，另一方面，也可以让周围人群注意到情况变化，能够帮忙进行急救。
82.在一个实施例中，在将情感特征输入至所述情感分类器，从而获取驾驶者情感种类之后，根据所述情感种类选择语音交互方式，语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式之前，车辆用基于情感分析的免唤醒交互方法进一步包括：
83.当获取到所述情感种类为抑郁情感时，获取车辆当前运行位置信息以及车辆周侧环境图像；
84.根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号，若是，则
85.生成刹车信号。
86.在一些情况下，可能需要结合周围车辆情况进行刹车判断，举例来说，假如在高速公路上，如果贸然停车，则容易发生撞车事故，因此，需要首先判断周围车辆情况。
87.在该实施例中，根据当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号包括：
88.根据车辆运行位置信息，判断当前车辆是否处于车辆密集区域，若是，则
89.根据车辆周侧环境图像判断车辆的行驶方向的反方向上是否有其他车辆，若否，则
90.判断需要生成刹车信号。
91.通过上述判断，可以防止在后车跟随过近的情况下进行刹车。
92.在本实施例中，在根据车辆周侧环境图像判断车辆的行驶方向的反方向上是否有车辆之后，根据所述当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号进一步包括：
93.获取车辆的距离传感器所传递的距离信号；
94.根据距离信号判断车辆的行驶方向的反方向上的其他车辆与距离传感器的距离是否超过第一预设阈值，若是，则
95.生成刹车信号。
96.在很多情况下，虽然车辆的后方会有其他车辆，但是其他车辆如果保持一个较远的行驶距离的情况下，即使突然刹车，可能也能够反映过来，因此，当后方车辆距离较远的情况下，也可以生成刹车信号。
97.在一个实施例中，根据当前车辆运行位置信息以及车辆周侧环境图像判断是否需要生成刹车信号进一步包括：
98.根据距离信号判断车辆的行驶方向的反方向上的车辆与距离传感器的距离是否超过第一预设阈值，若否，则
99.通过多次获取距离信号的方式，获取车辆的行驶方向的反方向上的其他车辆的车速信息；
100.根据本车辆的车速信息以及其他车辆的所述车速信息获取减速刹车策略；
101.根据减速刹车策略生成刹车信号，以使车辆根据刹车策略进行刹车。
102.当本车与其他车辆的距离没有超过第一预设阈值时，如果使用者真面临较为危险的情况，也需要进行停车，但是，此时，可以通过不同的减速刹车策略进行刹车，举例来说，假设本车与其他车辆的距离为50米，其他车辆的车速为80公里/小时，本车的车速也是80公里/小时左右，此时，如果突然刹车，其他车辆很可能由于反映不及时导致追尾事故的发生，此时，通过减速刹车策略慢慢进行刹车，例如，减速刹车策略有多个，每个减速刹车策略有个速度范围，例如，减速刹车策略包括a策略、b策略，其中，a策略为，当前车速为80至100公里/小时，其他车辆车速为80至100公里/小时时，减速刹车策略为：在15秒时间内将速度匀速减少至0，此时，就可以给与后车较为充足的反映时间。
103.在本实施例中，驾驶者基本情感信息进一步包括声纹信息；
104.车辆用基于情感分析的免唤醒交互方法进一步包括：
105.获取预设用户语音数据库，所述预设用户语音数据库包括至少一个预设声纹信息；
106.判断获取的驾驶者的声纹信息是否与一个预设声纹信息相同，若是，则选择语音交互方式为跳过唤醒词交互方式。
107.在一些情况下，可能是由于用户习惯导致的用户不喜欢使用唤醒词，此时，通过用户的声纹可以获取当该用户是否为预设用户语音数据库中设置的预设声纹信息，如果信息比对成功，则直接使用跳过唤醒词交互方式。
108.可以理解的是，还可以通过图像识别驾驶者是否为预设的希望跳过唤醒词的驾驶者的方式，来进行跳过唤醒词的设置。
109.本技术还提供了一种车辆用基于情感分析和用户习惯的免唤醒交互装置，所述车辆用基于情感分析和用户习惯的免唤醒交互装置包括情感信息获取模块、情感分类器获取模块、情感特征提取模块、情感种类获取模块以及语音交互选择模块，情感信息获取模块用于获取驾驶者基本情感信息；情感分类器获取模块用于获取经过训练的情感分类器；情感特征提取模块用于提取驾驶者基本情感信息中的情感特征；情感种类获取模块用于将情感特征输入至情感分类器，从而获取驾驶者情感种类；语音交互选择模块用于根据情感种类选择语音交互方式，语音交互方式包括跳过唤醒词交互方式以及需要唤醒词交互方式。
110.可以理解的是，上述对方法的描述，也同样适用于对装置的描述。
111.本技术还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的车辆用基于情感分析的免唤醒交互方法。
112.本技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的车辆用基于情感分析的免唤醒交互方法。
113.图2是能够实现根据本技术一个实施例提供的车辆用基于情感分析的免唤醒交互方法的电子设备的示例性结构图。
114.如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来
自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
115.也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的车辆用基于情感分析的免唤醒交互方法。
116.在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的车辆用基于情感分析的免唤醒交互方法。
117.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
118.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
119.计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数据多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
120.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
121.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
122.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
123.在本实施例中所称处理器可以是中央处理单元(central processing unit，
cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
124.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
125.在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本技术虽然以较佳实施例公开如上，但其实并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此，本技术的保护范围应当以本技术权利要求所界定的范围为准。
126.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
127.此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
128.虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。