用于车辆的基于情绪识别的服务提供装置及其控制方法与流程

1.本发明涉及一种基于车辆中驾驶员的情绪识别来控制车辆功能的方法，更具体涉及一种用于车辆的基于情绪识别的服务提供方法，以及一种根据驾驶员的情绪形式来确定是否提供服务的装置的控制方法。


背景技术：

2.近年来，人们对用于确定车辆中用户的情绪状态的技术进行了积极的研究。另外，还积极研究了基于所确定的用户的情绪状态来引导车辆中用户的积极情绪的技术。
3.然而，传统的基于情绪识别的服务只确定车辆中用户的情绪状态是积极的还是消极的，并且仅基于所确定的情绪状态是消极的还是积极的，提供用于调整车辆中部件的输出的反馈。
4.然而，在行驶时出现情绪之后，驾驶员情绪可能会迅速恢复到中性情绪，情绪可能会持续变化，并且可能反复且频繁地出现特定情绪。因此，就车辆的服务提供而言，如果即使当前的情绪对应于瞬时情绪，也要在检测到情绪时提供服务，则存在以下问题：在提供服务时驾驶员情绪已经恢复到中性情绪，因此对服务的需求较低。


技术实现要素：

5.本发明的目的在于提供用于车辆的基于情绪识别的服务及其控制方法，以便通过进一步考虑情绪形式以及情绪类型来确定是否提供服务。
6.特别地，本发明提供一种用于车辆的基于情绪识别的服务及其控制方法，以便根据情绪形式有效地确定需要实际提供服务的情绪。
7.本发明的其他优点、目的和特征将在下面的描述中部分地阐述，并且对于本领域普通技术人员而言，在检验下述内容后本发明的其他优点、目的和特征将变得部分地显而易见，或者本发明的其他优点、目的和特征可以从本发明的实践中获悉。通过在书面说明书和权利要求书以及附图中具体指出的结构可以实现并且获得本发明的目的和其它优点。
8.为了实现这些目的和其它优点，并且根据本发明的目的，如在此所体现和宽泛描述地，公开一种提供基于情绪识别的车辆服务的方法，该方法包括以下步骤：监控乘员和驾驶状况；当在监控期间识别出乘员的情绪时，将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较，其中，第一情绪是当前产生的情绪的类型，第一驾驶状况是与作为识别该情绪的时间点的第一时间相对应的驾驶状况，第二情绪是与该情绪相比先前识别的情绪的类型，第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况；以及基于比较的结果，将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种。
9.在本发明的另一方面，提供一种用于提供基于情绪识别的车辆服务的装置，该装置包括：情绪识别器，被配置成确定乘员的情绪；驾驶状况确定器，被配置成监控驾驶状况；以及情绪形式确定器，被配置成：当情绪识别器识别出乘员的情绪时，将第一情绪和第一驾
驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较，并且根据比较的结果，将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种，其中，第一情绪是当前产生的情绪的类型，第一驾驶状况是与作为识别该情绪的时间点的第一时间相对应的驾驶状况，第二情绪是与该情绪相比先前识别的情绪的类型，第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况。
附图说明
10.对本发明提供进一步理解的附图并入本技术中并构成其一部分，在附图中示出了本发明的实施方式，并且与具体描述一起用于解释本发明的原理，在附图中：
11.图1是示出根据本发明实施方式，用于提供基于情绪识别的车辆服务的装置的示例的图；
12.图2是示出根据本发明实施方式，提供基于情绪识别的服务的程序的示例的流程图；
13.图3是用于说明根据本发明实施方式，用于确定情绪形式的标准的图；
14.图4是示出根据本发明实施方式，确定情绪形式的示例的图；
15.图5a至图5c示出根据本发明实施方式，确定情绪形式的实验例；
16.图6是用于说明根据本发明另一实施方式，用于确定情绪形式的标准的图；以及
17.图7是示出根据本发明另一实施方式，提供基于情绪识别的服务的程序的示例的流程图。
具体实施方式
18.参照附图详细描述本发明的示例性实施方式，使得本领域普通技术人员可以容易地实现。然而，本发明可以以各种不同的形式实现，并且不限于这些实施方式。为了清楚地描述本发明，从附图中省略了与描述无关的部分，并且在整个说明书中相同的附图标记表示相同的元件。
19.另外，除非有相反的披露，否则当某一部件“包括”某一组件时，意味着该部件还可以包括其它组件，而不必排除其它组件。在整个附图和说明书中使用相同的附图标记表示相同的部件。
20.为了在更重要时间、更有效地响应于车辆乘员(例如，驾驶员)的情绪来提供服务，本发明的实施方式可以在通过进一步考虑情绪形式以及情绪类型来识别情绪的特定方式时提供服务。
21.适用于本发明实施方式的情绪形式可以包括瞬时情绪、连续情绪和反复情绪。
22.连续情绪是指在一个驾驶状况事件持续的情况下同时或连续出现多种情绪的情况。连续出现各种情绪的示例可以包括：驾驶员在交谈时同时或连续表达大笑、悲伤和后悔之类的情绪的情况。在这种情况下，可以将实际的驾驶员情绪分析为单位时间内的情绪变化，并将其作为事件发生的一种情绪进行处理，而不是对情绪进行多次处理。另外，在通过在情绪发生后立即识别连续情绪来提供相关服务的情况下，该服务是在情绪变化的中间提供的，这可能会给用户带来不适，因此，对于连续情绪而言，需要在情绪结束时提供情绪分析结果并执行相关服务。
23.反复情绪是指相同情绪在较小的时间间隔内再次出现的情况。反复情绪的示例可以包括：驾驶员由于连续巡航(以恒定速度驾驶)而感到无聊或困倦之后，无论驾驶状况如何，都反复地感到无聊或困倦的情况；以及驾驶员因在行驶时前方车辆突然停止而感到惊讶之后，无论驾驶状况如何，驾驶员都变得对其他车辆的运动敏感的情况。从人工情绪建模领域的研究中可以看到以下现象：出现过一次的情绪，即使在情绪的原因不再存在之后也被反复地表达，并且在行驶情况中可看到现有研究结果的心理现象：关于过去刺激的记忆是刺激新情绪的来源。
24.另外，瞬时情绪是指与反复情绪或构成连续情绪的情绪不对应的个别情绪。
25.在下文中，将描述根据本发明实施方式的基于情绪识别的服务提供装置及其控制方法。在下面的描述中，将情绪识别的目标假定为车辆乘员中的驾驶员，但是这是为了便于描述，实际上，不用说，对于本领域普通技术人员显而易见的是，在不超过与下面描述不矛盾的范围的情况下，无论驾驶车辆的角色如何，均向作为情绪识别的目标的任意乘员提供基于情绪的服务。
26.图1是示出根据本发明实施方式，用于提供基于情绪识别的车辆服务的装置的示例的图。
27.参照图1，用于提供基于情绪识别的车辆服务的装置可以包括：情绪识别器110，用于识别驾驶员情绪；服务提供确定器120，用于基于通过情绪识别器110识别的驾驶员情绪、驾驶状况及先前的确定历史来确定情绪形式，并且根据情绪形式来确定是否提供服务；以及输出单元130，用于根据服务提供确定器120的确定而在车辆中提供服务。
28.首先，情绪识别器110可以包括：信息获取器111、预处理器112、特征提取器113、情绪分类器114，以及基本情绪确定器115。
29.信息获取器111可以包括用于获取至少包含驾驶员面部的图像的摄像机。根据情绪识别方法，信息获取器111还可以包括：用于接收驾驶员声音的麦克风或者生物传感器(例如，心率传感器)以及摄像机。
30.预处理器112可以针对通过信息获取器111获取的信息来执行校正和噪声去除。例如，预处理器112可以通过预处理，针对通过摄像机获取的图像的原始数据，来执行图像质量校正和噪声去除。
31.特征提取器113可以对特征点进行特征提取，以作为从预处理的图像中确定情绪、运动等的基础。
32.用于情绪特征提取的技术可以宽泛地包括三种方法。一种方法是通过对整个面部的图像中的像素值的强度建模或表达来提取特征的整体方法。另一种方法是通过搜索面部中的特征的几何排列和位置来提取特征的几何方法。另外，还可以应用通过组合整体方法和几何方法而形成的主动外观模型(active appearance model，aam)。这些特征提取方法中的一个或多个可以通过特征提取器113来实现。
33.然而，这些特征提取方法仅仅是示例性的，并且本发明不限于此，因此特征提取方法可以是任何方法，只要该方法是提取用于确定情绪的特征的方法即可。
34.情绪分类器114可以基于所提取的特征的模式的分类，将给定图像中的表情分类为情绪状态。
35.情绪分类器114可以使用以下各种方法来分类情绪，包括：使用预定义条件概率的
贝叶斯网络、k近邻算法、人工神经网络等。
36.基本情绪确定器115可以将分类的情绪状态最终确定为预设类型的基本情绪。在此，基本情绪可以包括由p.ekman提出的、基于面部表情分类的六种情绪：痛苦、愤怒、快乐、厌恶、悲伤和惊讶。然而，这也仅仅是示例性的，并且可以以不同的方式设置基本情绪的类型和数量。例如，根据本实施方式的基本情绪不但包括p.ekman的六种基本情绪，还可以包括困倦、烦躁(contempt)、无聊等。
37.服务提供确定器120可以包括驾驶状况确定器121、情绪形式确定器122以及存储器123。
38.驾驶状况确定器121可以根据道路或交通状况来确定驾驶状况，例如，在拥堵路段中驾驶、巡航、突然停车或在弯曲路段中驾驶，以及驾驶员的车辆操纵。驾驶状况确定器121还可以确定与交通状况或车辆操纵无关的驾驶员情况(例如，打电话或与乘员交谈)。为此，驾驶状况确定器121可以从各种车辆传感器(车速传感器或加速度传感器)、用于提供道路信息和交通量信息的导航系统、主机单元(head unit)等获取确定驾驶状况所需的信息。
39.当情绪识别器110识别基本情绪时，情绪形式确定器122可以考虑相应时间点的驾驶状况、先前情绪、识别到先前情绪的时间点或者识别到先前情绪时的驾驶状况中的至少一者，来确定当前识别的情绪对应于瞬时情绪、连续情绪还是反复情绪。情绪形式确定器122可以基于情绪形式，确定是否提供与包含在所识别的情绪形式中的情绪或代表情绪相对应的服务。
40.每当情绪识别器110识别出情绪时，存储器123可以存储所识别的情绪的类型和形式，以及识别到情绪时的驾驶状况。
41.当通过服务提供确定器120确定提供与所识别的情绪相对应的服务时，输出单元130可以通过用于通过视觉输出提供服务的显示器131、用于通过听觉输出提供服务的扬声器132、用于通过振动输出提供服务的振动输出单元133等，提供相应形式的服务。
42.例如，当提供与无聊相对应的服务时，输出单元130可以通过扬声器132输出具有快节奏的音乐。在另一示例中，当提供与惊讶相对应的服务时，输出单元130可以通过显示器131提供用于引导深呼吸的图像。不用说，提供服务的形式仅仅是示例性的，并且只要服务对应于所识别的驾驶员的情绪，就可以提供任何服务。
43.在下文中，将基于装置的上述配置来描述根据实施方式提供服务的过程。
44.图2是示出根据本发明实施方式，提供基于情绪识别的服务的程序的示例的流程图。
45.参照图2，首先，可以监控驾驶员和驾驶状况(s210)。例如，可以捕获包含驾驶员的面部的图像，基于通过情绪识别器110捕获的图像来确定驾驶员情绪，并且驾驶状况确定器121可以监控驾驶状况。
46.当情绪识别器110确定在监控驾驶状况时出现情绪时(s220中为“是”)，情绪形式确定器122可以搜索存储器123，并且确定是否在出现先前情绪后的预设时间t内出现当前情绪(s230)。
47.当在预设时间t之后出现先前情绪时(s230中为“否”)，情绪形式确定器122可以将当前情绪的形式确定为瞬时情绪(s260)，并且可以将当前情绪出现的时间、类型(即，基本情绪的类型)以及相应时间点的驾驶状况的信息存储在存储器123中(s290)。
48.相反地，当在预设时间t内出现先前情绪时(s230中为“是”)，情绪形式确定器122可以确定出现当前情绪时的驾驶状况与先前情绪出现时的驾驶状况是否相同(s240)。
49.作为确定结果，当从出现先前情绪开始的预设时间内在相同驾驶状况中出现当前情绪时，情绪形式确定器122可以确定：先前情绪和当前情绪被包含在连续情绪中，并且可以确定连续情绪的代表情绪(s270)。例如，情绪形式确定器122可以通过将关于先前情绪的信息与关于新情绪的信息组合，生成一种代表性的情绪类型。可以将包含在连续情绪中的多个情绪中最频繁出现的情绪确定为代表情绪，在情绪具有相同频率的情况下，可以将积极情绪确定为代表情绪，或者可以根据预设的代表情绪的预设优先级来确定代表情绪，但是本发明不限于此。例如，可以主要基于出现情绪的频率来确定候选代表情绪，可以通过预先应用各个候选代表情绪的情绪大小以确定情绪的平均大小来确定代表情绪，并且还可以将权重应用至各种驾驶状况的不同情绪。
50.当确定当前情绪是连续情绪时，情绪形式确定器122可以将出现代表情绪的时间点、代表情绪的类型以及关于此时驾驶状况的信息存储在存储器123中(s290)。
51.当从出现先前情绪起的预设时间内出现当前情绪但驾驶状况不同时，情绪形式确定器122确定先前情绪与当前情绪是否为相同类型的情绪(s250)。
52.当确定先前情绪和当前情绪是相同类型的情绪时(s250中为“是”)，情绪形式确定器122可以将当前情绪确定为反复情绪，并且可以通过输出单元130提供与当前情绪的类型相对应的服务(s280)。不用说，在反复情绪的情况下，可以将关于当前情绪出现的时间点、当前情绪的类型以及相应时间点的驾驶状况的信息，存储在存储器123中(s290)。
53.相反地，在当前情绪是在出现先前情绪之后的预定时间内出现的情绪时，或者在当前情绪的驾驶状况和类型这两者均与先前情绪的不同时(s250中为“否”)，可以将当前情绪处理为瞬时情绪(s260)，并且将相关信息存储在存储器123中(s290)。
54.在下文中，将参照图3至图5c更详细地描述确定情绪形式的方法。
55.图3是说明根据本发明实施方式的用于确定情绪形式的标准的图。在图3中，横轴表示车辆开始行驶后经过的时间，而纵轴表示情绪的大小。
56.参照图3，在部分1中，示出了驾驶员因突然的车辆停止而感到惊讶之后对驾驶状况变得敏感并且反复感到惊讶的一个示例。最初发生的惊讶情绪310被处理为临时出现的情绪，但是在预设阈值时间t内再次出现的惊讶情绪320是与惊讶情绪310不同驾驶状况下发生的相同情绪，因此，可以将惊讶310和惊讶320处理为反复情绪，并且车辆可以提供与情绪相对应的服务，并且在反复地识别到该情绪时执行车辆控制。
57.附图在部分2中示出在驾驶员与乘员之间交谈的情况下，在阈值时间t内连续出现各种情绪的示例。在这种情况下，可以集成驾驶员与乘员之间继续交谈的驾驶状况中的所有情绪变化，并且处理为一种情绪变化。在部分2中，高兴的情绪出现的频率是最高的，因此可以将情绪变化作为单次出现的高兴(高兴作为代表情绪)来处理。
58.在部分2中也出现惊讶情绪330，但是这是在与最后出现的惊讶情绪320相比经过阈值时间t之后出现的，因此即使驾驶状况彼此不同，也可以不将惊讶330作为反复情绪处理。
59.图4是示出根据本发明实施方式，确定情绪形式的示例的图。
60.与图3类似，在图4中，纵轴表示情绪的大小，横轴表示车辆开始行驶后经过的时
间。然而，与图3相比，在图4中，在曲线图下方还示出了驾驶状况和情绪形式。
61.参照图4，即使在行驶时识别到对应于瞬时情绪的烦躁和惊讶，也可以不执行车辆控制和服务提供。
62.相反地，在曲线图中，当识别到无聊(其为连续情绪的代表情绪)并且在阈值时间t内再次识别到无聊时，可以处理为反复情绪，并且可以提供服务。在这种情况下，由于驾驶员在交通拥堵中感到一次无聊，然后驾驶员在交通拥堵之后的巡航期间反复地感到无聊，因此提供的服务可以是推荐和播放音乐，以便克服无聊，但是本发明不限于此。
63.图5a至图5c示出根据本发明实施方式，确定情绪形式的实验例。
64.首先，参照图5a，出现交通拥堵，驾驶员经历烦躁情绪(烦躁1)，然后即使在不存在交通拥堵的情况下也检测到反复的烦躁情绪(烦躁2)。当在阈值时间内出现烦躁1和烦躁2时，可以将烦躁处理为反复情绪，并且提供与烦躁相对应的服务。
65.参照图5b，当驾驶员在巡航情况下感到困倦(困倦1)，然后即使在阈值时间内没有巡航的情况下也检测到反复的困倦(困倦2)时，可以将困倦作为反复情绪处理，并且可以提供与困倦相对应的服务(例如，打开窗户、空调的操作或多媒体播放)。
66.参照图5c，当驾驶员与乘员之间继续交谈时，检测到连续出现情绪变化。在这种情况下，可以提取连续情绪的代表情绪，并且将连续情绪处理为一个代表情绪。
67.根据本发明的另一实施方式，用于处理连续情绪的先前情绪和当前情绪的时间间隔的阈值时间和用于处理重复情绪的先前情绪和当前情绪的时间间隔的阈值时间，可被设置得不同，后面将参照图6和图7进行描述。
68.图6是说明根据本发明另一实施方式，用于确定情绪形式的标准的图。
69.参考图6，可以将第一阈值时间t1(用于处理连续情绪的先前情绪与当前情绪之间的时间差)，设置成与第二阈值时间t2(用于处理反复情绪的先前情绪与当前情绪之间的时间差)不同。
70.在此，第一阈值时间可被设置成比第二阈值时间短。这是因为连续情绪通常在短时间内出现，但是与连续情绪相比，反复情绪以较长的时间间隔出现。这样，当t1和t2被设置得不同时，如图7所示，可以修改上述参照图2提供基于情绪识别的服务的程序。
71.图7是示出根据本发明另一实施方式，提供基于情绪识别的服务的程序的示例的流程图。
72.图7与图2的不同之处在于，图2的操作步骤s230被分成图7中的操作步骤s230a和s230b。除了该区别之外，图7与图2相似，因此将基于该区别进行描述。
73.参照图7，当在监控驾驶员和驾驶状况期间(s210)出现情绪时(s220中为“是”)，可以确定当前情绪是否在先前情绪出现之后的t1内出现(s230a)。当在t1内出现当前情绪(s230a中为“是”)时，如图2所示，确定出现当前情绪的驾驶状况是否与先前情绪的驾驶状况相同(s240)。
74.相反地，当在先前情绪经过t1之后出现当前情绪时(s230a中为“否”)，情绪形式确定器122确定当前情绪是否是在先前情绪发生的t2内出现(s230b)。
75.当在t2内出现当前情绪时(s230b中为“是”)，情绪形式确定器122确定当前情绪是否与先前情绪相同(s250)，并且当经过t2时(s230b中为“否”)，情绪形式确定器122可以将当前情绪处理为瞬时情绪(s260)。
76.剩余的过程类似于图2的过程，因此为了清楚起见，将省略重复描述。
77.如上配置的与本发明的至少一个实施方式相关的用于提供基于情绪识别的车辆服务的装置，可以通过进一步考虑情绪形式，确定是否提供服务。
78.具体地，根据本发明，可以根据情绪形式来区分连续情绪和反复情绪，并且可以提供与之相应的服务。
79.本领域技术人员应该理解，本发明可以实现的效果不限于以上已经具体描述的，并且从详细描述中将更加清楚地理解本发明的其他优点。
80.上述本发明还可以实施为存储在计算机可读记录介质(例如，非暂时性计算机可读记录介质)上的计算机可读代码。例如，通过单个组件(例如，情绪识别器110或其子组件，以及服务提供确定器120或其子组件)执行的方法或操作，可以实现为存储在存储器上的计算机可读代码，存储器例如实现为计算机可读记录介质(例如，非暂时性计算机可读记录介质)。计算机可读记录介质是可以存储随后可通过计算机读取的数据的任何数据存储设备。计算机可读记录介质的示例包括硬盘驱动器(hdd)、固态驱动器(ssd)、硅片驱动器(sdd)、只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘、光学数据存储设备等。情绪识别器110和服务提供确定器120可以各自或一起实现为计算机、处理器或微处理器。或者，预处理器112、特征提取器113、情绪分类器114以及基本情绪确定器115、驾驶状况确定器121以及情绪形式确定器122可以各自或一起实现为计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时，计算机、处理器或微处理器可以被配置成执行上述操作/方法。
81.对于本领域技术人员显而易见的是，在不脱离发明的精神和范围的情况下，可以对本发明进行各种变形和变化。因此，只要变形和变化落入所附权利要求及其等同物内，本发明旨在覆盖本发明的变型和变化。