生物特征传感器融合以对车辆乘客状态进行分类的制作方法

本公开涉及具有用以对车辆乘客状态进行分类的汽车传感器融合的系统。

背景

能够检测人的状态(例如精神状态、专注、刺激和注意力)是有利的。例如，在处于不良状态时驾驶机动车是驾驶员错误和可能可预防的交通事故的重要原因。有助于警告驾驶员其状态的车辆系统在这种情况下采取行动可以减少这种事故的数量或者试图减轻由驾驶员分心引起的损害。

概述

描述了一种车辆系统，其包括用于确定车辆乘员的压力水平或情绪状态的神经网络。第一乘员传感器设置在车辆中以感测乘员的中枢神经系统特征。第二乘员传感器设置在车辆中以感测乘员的非中枢神经系统特征。神经网络接收所感测的中枢神经系统特征和非中枢神经系统特征以计算乘员的情绪效价和唤醒水平(例如情绪状态)。

在一个方面，第一乘员传感器感测神经电信号。神经网络包括处理神经电信号的第一路径。

在一个方面，第二乘员传感器感测近红外光谱信号。神经网络包括处理近红外光谱信号的第二路径。

在一个方面，第一路径执行神经电信号的频率分析和时间分析两者。

在一个方面，第一路径包括皮层和区域信号分析层处的多个第一节点。

在一个方面，第二路径包括区域激活/去激活层处的多个第二节点。

座椅被定位在车辆中，并且被配置成支撑作为乘员的人。第一乘员传感器包括安装在座椅中靠近乘员头部的非接触式皮电电位传感器(contactlesselectro-dermalpotentialsensor)。

在一个方面，第二乘员传感器是安装在座椅的非接触式传感器。

在一个方面，神经网络可以确定乘员的情绪效价和唤醒水平是否超过阈值，并且当超过阈值时输出指示信号。

在一个方面，车辆到乘员界面被配置为从神经网络接收指示信号，并向乘客输出驾驶室内的指示通知。

在一个方面，车辆到乘员界面从座椅中的发射器输出神经刺激信号以将乘员状态降低到阈值以下。

在一个方面，指示通知包括以使乘员平静到阈值以下的存储的音频信号。

在一个方面，指示通知包括以使乘员平静到阈值以下的在驾驶室中的显示器上的视觉图像。

在一个方面，第二乘员传感器包括安装在驾驶室中的内部摄像机，该摄像机指向座椅以感测乘员以确定面部表情。

在一个方面，第二乘员传感器包括非接触式传感器，其被配置为感测在交感神经信号、自主神经信号、副交感神经系统信号或其组合中的至少一个。

车辆系统可以包括:第一乘员传感器，其用于感测车辆乘员的中枢神经系统特征；第二乘员传感器，其用于感测车辆乘员的非中枢神经系统特征；神经网络，其用于接收所感测的中枢神经系统特征和非中枢神经系统特征，以计算乘员的情绪效价和唤醒水平，并基于情绪效价和唤醒水平输出压力水平；以及导航系统，其被配置为基于乘客对于行驶路线的各路段的历史压力水平来规划车辆的行驶路线。

在一个方面，导航系统被配置为接收每个路段的犯罪数据、事故数据和乘员压力数据，并且当路段的犯罪数据、事故数据或压力数据中的任何一项为高水平时，则重新计算路线以包括其犯罪数据、事故数据或压力数据中的任何一项为较低水平或低于阈值水平的不同路段。

在一个方面，导航系统被配置为接收所计算的路线的每个路段的实时驾驶条件，并根据由神经网络确定的，指示当前驾驶条件何时可能触发压力。

上述示例中的任一个可以彼此组合以形成本公开的附加实施例。

附图说明

图1是根据示例实施例的车辆的示意图。

图2是根据示例实施例的其中具有传感器的车辆座椅的示意图。

图3a和3b示出了根据示例实施例的车辆系统的功能框图。

图3c示出了根据示例实施例的用于组合车辆乘员确定的数据的车辆系统的功能框图。

图4是根据示例实施例的车辆系统的示意图。

图5是根据示例实施例的车辆系统的示意图。

图6是根据示例实施例的车辆系统的示意图。

图7是根据示例实施例的车辆系统的示意图。

图8是根据示例实施例的车辆过程的流程图。

详细描述

根据需要，在本文中公开了本发明的详细实施例；然而，应理解的是，所公开的实施例仅仅是可以以各种形式和替代形式来实施的本发明的示例。附图不一定是按比例的；一些特征可能被放大或最小化以示出特定部件的细节。因此，本文中所公开的特定的结构细节和功能细节不应被解释为限制性的，而是仅仅作为用于教导本领域中的技术人员以各种方式利用本发明的代表性基础。

本公开总体上涉及车辆安装的传感器，其可至少部分嵌入车辆驾驶室或在车辆座椅的泡沫、装饰件、头枕、框架或其组合中的任何部分。传感器还可以定位在车顶内衬、仪表板、结构支柱、方向盘或它们的组合中。传感器中的至少一个传感器确定主要源自大脑皮层活动的皮电电位。这种edp感测可以是接触或非接触的(例如，场感测)，并且还可以感测肌肉活动和皮肤特性。这将揭示高级中枢神经系统(cns)功能，其可以一起用于对车辆乘客(例如汽车驾驶员)的状态进行分类。如本文描述的系统可以使用与cns、交感神经系统(sns)、自主神经系统(ans)、副交感神经系统(psns)和周围神经系统(pns)相关的信号。本文描述的感测项目采用电位波动的实时处理，例如，相对于彼此比较感测信号的各种频带。这些可以作为主要的大脑活动的定量分类器。本系统可以使用感测的信号以及其他传感器信息来分类乘客情绪状态，例如情绪效价和唤醒水平(其可以表示为向量)。该系统通过获取适当的生理度量并使用物理处理器中加载的软件算法，可以对乘员的情绪状态进行分类。

本公开涉及一种车辆系统，其包括n尺寸的各种生物特征传感器(例如心率监测器和皮电电位(edp)大脑活动检测系统)阵列。心率监测器收集与车辆乘员的心脏活动相关的数据，并且可以计算心率变异性(hrv)以计算自主神经系统成分的相对激活(交感神经/副交感神经)，并且评估计算结果以确定生理唤醒的量。edp测量大脑中与认知处理负荷和图案和/或空间激活相关的大脑电活动。该系统还可以测量乘员的皮肤电反应(gsr)、出汗、呼吸和血压，其可以用于对乘员的生理和心理状态进行分类，并增加本系统分类的整体可靠性。

感测到的和导出的与乘员相关的数据被馈送到处理器中，处理器计算每个测量的状态，对其进行分类，然后进行交叉比较，以使假阳性识别和阈值处理的实例最小化。除了确定乘员的压力或状态类型之外，还可以使用edp激活模式、水平和位置。

然后，系统可以报告乘员的个人压力水平，以及他们当前正在经历的潜在压力类型(例如，过程性应激源与系统性应激源)。关于驾驶车辆的环境应激源可以是过程性应激源或系统性应激源。过程性应激源是那些需要对情况进行评估的、或涉及对传入感觉信息的高级认知处理的应激源。过程性应激源的例子可能包括在新环境中驾驶、其他驾驶员驾驶不良(感觉到的或真实的)，或者由于以前与不愉快的驾驶刺激相关联而引发恐惧的情况。相比之下，系统性应激源是生理来源的(例如，细菌或病毒感染导致的正常身体代谢紊乱)。

本分类系统中的传感器中的至少一些传感器可以与座椅集成，座椅包括嵌入座椅的任何部分(例如泡沫、装饰件、头枕或其组合)中的一个或多个传感器。对于座椅乘员(例如驾驶员)的标准和复杂非线性动力学两者，非接触式edp感测系统可以由适当的生理度量(例如心率、hrv等)、心肺耦合/同步图(crs)、呼吸速率、edp图案偏移等来补充。控制器可以接收感测到的生理度量相关信号，并对乘员的状态进行分类，并且因此在注意力和反应时间受到影响的情况下，接收感测到的生理度量相关信号，并对乘员的状态进行分类。控制器可以使用自动的用户专用校准来适应各个乘员。

该系统还可以包括战略性地定位成观察驾驶员的摄像机。向内的摄像机可以与座椅传感器结合使用，以实现传感器融合，并提高分心水平检测的特异性和准确性。摄像机生成乘员的多个图像，这些图像可以受到分析以确定其他乘员度量。度量可以包括头部位置、眨眼率、瞳孔扩张、眼睛位置、固定、注视模式、眼睑闭合、头部运动面部表情、整体骨骼位置、呼吸率、心率等。摄像机系统拍摄图像，并且图像处理电路分析图像以确定图像度量。

来自不同来源的各种度量的使用提供了乘员分心的客观量化。分心量化可以与车辆中的其他数据(例如车辆性能、驾驶环境等)结合，以防止分心的错误指示。如果分心量化水平超过分心阈值，则车辆可以自动触发对策(例如警报、报警、避免碰撞等)。如果驾驶员的分心状态被量化，则车辆可以改变碰撞避免系统(例如自适应制动系统)的反应时间，以根据至少部分由分心水平确定的驾驶员状况来优化系统自身的反应。

描述了一种车辆系统，其使用至少两个传感器感测两个标准，这两个标准是不同的，当由控制器处理时产生乘员或驾驶员的分心或专注的指示。在示例中，第一传感器感测与分心驾驶有关并由驾驶员控制的第一标准。在示例中，第二传感器感测与分心驾驶相关并表示不受驾驶员控制的环境条件的第二标准。控制器接收第一标准和第二标准，并确定第一标准和第二标准之间的相对关系，其中相对关系超过分心阈值以指示分心驾驶。

图1示出了车辆100，其包括驾驶室115和发动机舱116，发动机舱116可以位于驾驶室115的前方。发动机舱116容纳向车辆提供动力的发动机101。控制器102包括适于执行可存储在存储器中的任务的电信号处理器。任务可以根据加载到控制器102中的规则处理感测信号。感测数据可以存储在与控制器102相关联的存储器中。

视觉系统103被提供以接收来自控制器102的指令，并在车辆中产生视觉显示(例如在驾驶室中在显示屏、仪表板、与车辆相关联的移动电子设备上)。由视觉系统产生的显示可以是由内部摄像机104、外部摄像机105感测的图像、碰撞警告、分心警告等。视觉系统103可以在将图像数据提供给控制器102之前处理来自摄像机104、105的图像数据。在示例实施例中，视觉系统103可以处理图像以识别对象和驾驶员的位置。该数据可以被提供给控制器102。

音频系统106可以是车辆中的头部单元的一部分。头部单元可以是电子处理器，其用于处理车辆中的音频信号或感测信号。音频系统106可以感测驾驶室115中的音频，并且例如使用多个扬声器114将音频输出到驾驶室中。基于来自控制器102的指令，来自音频系统106的音频输出可以是如本文所述的警告。音频警告可以是口头语言或音调，其用于指示驾驶员分心、设置改变、即将发生的危险、碰撞警告系统的激活或其组合。音频系统106还可以包括用于感测乘员的语音的麦克风，乘员的语音可以是用于对乘员的压力水平进行分类的输入。当车辆乘员的情绪状态超过阈值时，音频系统可以播放警告、音乐和/或舒缓的声音，如将在本文中更详细地描述的。

提供车辆速度传感器107以检测车辆的速度并向控制器102提供速度信号。车辆速度传感器可以包括节气门位置传感器。车辆速度可以是对驾驶员或其他车辆乘员的情绪状态进行分类的输入。

导航定位系统108通过接收卫星信号或基于地面的位置信号来检测车辆的位置。导航定位系统108可以包括全球导航卫星系统(gnss)，诸如全球定位系统(gps)、北斗、compass、伽利略、glonass、印度区域导航卫星系统(irnss)或qzss。导航系统可以包括从faa的waas系统接收北美差分校正信号的接收器。导航定位系统108向控制器102提供车辆的精确位置。控制器102可以加载关于车辆周围位置的信息，并请求计算出的路线的每个路段的实时驾驶条件。然后，当前描述的系统可以确定并指示当前驾驶条件何时可能触发压力，如由神经网络确定的。驾驶条件可以包括历史上遇到的交通或实时交通信息。还可以将关于有关路线的社会因素的实时数据(例如文化或体育事件的开始时间)加载到控制器中。驾驶条件可以包括路线的犯罪统计。

分心警报器109位于驾驶室115中。分心警报器109可以包括机械警报器(例如可以位于方向盘或座椅中的振动设备)。分心警报器109可以是使与车辆和车辆中乘客相关联的移动电子设备振动的信号。

车辆座椅110位于驾驶室115中，并被配置为支撑人(例如驾驶员或乘客)。座椅110可以包括多个传感器150、155、156，其用于检测人的各种生物特征。传感器150可以是非接触式的，并且可以感测就座的人的头部附近的edp。传感器155和156可以检测其他生物特征信息。传感器155、156可以是非接触式的(例如，在不物理接触乘员的情况下感测来自乘员的参数)。在一些情况下，传感器156中的至少一个可以接触乘员。

提供制动系统111以制动车辆的车轮。制动系统111可以由驾驶员启动，并且还可以由控制器102自动启动(例如，当如本文所述地检测到分心驾驶、将碰撞检测为即将发生、或者检测到即将发生的危险时)。

提供了激光感测系统112，例如lidar。激光感测系统112以脉冲形式发射光，并检测在光从车辆100外部的物体反射之后返回的光。激光感测系统112可以在光脉冲的方向上产生车辆周围外部环境的数字三维表示。激光感测系统112可以执行激光扫描以产生车辆周围的表示。外部环境可以包括其他车辆、标志、动物、人和其他物体。该表示或单独识别的物体可以被提供给控制器102以用于如本文所述的车辆中使用。

雷达(radar)感测系统113设置在车辆中。雷达感测系统113发射射频能量脉冲并检测返回的脉冲以识别车辆周围的物体或绘制外部环境图。该表示或单独识别的物体可以被提供给控制器102以用于如本文所述的车辆中使用。

在车辆100中可以包括其它典型的车辆系统，但是为了附图清楚起见而没有示出。控制器102可以向这些其他系统提供输入。

图2示出了被配置成固定在机动车辆100的驾驶室中的车辆座椅110。座椅110适于将乘员(例如基座201上的人)支撑在靠在座椅靠背202的竖直位置。基座201例如通过轨道固定到车辆驾驶室中的地板。头部保护装置203可位于座椅靠背的顶部并用作头枕。在基座201、座椅靠背202和头部保护装置203中的每一个包括刚性框架、框架上的舒适层和外部覆盖物。多个传感器150、155、156可被支撑在座椅中。多个第一传感器150可位于头枕203中，并适于感测来自座椅110的乘员的中枢神经系统(cns)信号、交感神经系统(sns)信号、自主神经系统(ans)信号和副交感神经(pns)信号中的至少一个。多个第二传感器155可以位于座椅靠背202中。多个第二传感器155还可以感测来自就座乘员的cns、sns、ans和/或pns信号中的至少一个。多个第二传感器155可以包括至少一个传感器，其与头部保护装置传感器150相比感测不同的信号。一个或多个第三传感器156位于座椅基座201中。第三传感器156还可以感测来自在就座乘员的cns、sns、ans或pns信号中的至少一个。多个第三和第二传感器156和155可以包括至少一个传感器，其不感测来自就座乘员的cns、sns、ans或pns信号中的至少一个。传感器可以是位置传感器或重量传感器，其使用座椅靠背或座椅基座中的传感器来感测座椅中的人的存在和位置。传感器150、155、156可以产生原始cns、sns、ans和/或pns信号，这些信号被滤波以产生分析信号，分析信号包括与座椅中乘员感兴趣的信号相关的频率分量，同时衰减不相关的频率分量。可以提供发射器160，其向乘员发射刺激信号。发射器160可以是座椅中的非接触式发射器，其用于刺激乘员以使乘员返回到平静状态或警觉状态。

在另一方面，提供了一种方法，其用于监测身体在座椅基座201和座椅靠背202上的人的精神状态，其中乘员的头部位于与头部保护装置203中的传感器150相邻的头部保护装置203处。该方法还包括将传感器定位成至少在头部下方身体皮肤的部分附近，以产生原始信号，并且处理原始信号以产生至少一个带通滤波状态指示信号(该信号代表预定频率范围内的原始信号幅度)作为人的精神状态(例如，分心状态)的指示。

至少一个传感器150被定位在头部的后部(靠近或位于枕骨-视觉皮层区域)。这可以有助于精确测量脑电波(例如通过edp)。由于驾驶是视觉上占主导地位的认知任务，因此检测大脑解剖区域(例如视觉皮层)中的处理以及其它处理和心理处理的认知网络的能力提供了具体监测视觉注意力水平的能力。例如，视觉习惯化是大脑的能力，即：一旦信息已经被处理并且不再视为相关处理需求，则减少其对重复刺激的反应。除了通常低的视觉注意力之外，乘员不应该经历明显的习惯化模式，因为视觉风景虽然平常有时是连续变化的，并且条件需要在这些区域中的注意力。除了其他脑电波反应和二级监测系统之外，缺乏与视觉处理或视觉刺激习惯化相关的活动可以作为潜在分心的子集分类。

各种传感器可以提供n尺寸的生物特征传感器阵列，其测量至少车辆乘员的cns功能的信号，并且在一些方面测量针对车辆乘员的其他生物特征信号的信号。其它生物特征信号可以是在pns、ans、sns、pnps和/或生物化学中的至少一种，以用于提高检测乘员情绪阶段的准确性。如下文更详细描述的，信号被馈送到信号处理单元中，信号处理单元是神经网络的一部分，其中针对每种类型的感测信号运行适当的伪像校正。神经网络针对各种效价和唤醒的生物功能标记在第一层单独处理信号。每一层都有个性化的机器学习逻辑树，其用于消除单一度量和主观性的不确定性，并且提高准确性。这些初始层的输出被馈送到第二层中，并且如果需要的话，被馈送到神经网络的后续层，在此，它们以子组合或总组合的方式进行评估。每个组合层都有更深的机器学习逻辑树，其进一步消除单一度量和主观性不确定性，提高准确性。神经网络可以使用基于信号保真度的加权逻辑和处理技术来估计每个网络的评估等级的置信系数，以提高可靠性。最终的效价/唤醒水平被计算并可用于通知乘员或改变车辆的性能参数。

传感器还可以感测与躯体神经系统(即，随意肌和皮肤活动)相关的数据。这些传感器可以是肌电图传感器，其用于感测肌肉中的电活动。传感器可以是电流响应传感器，其感测皮肤上的电阻。这些感测信号可以被馈送到神经网络310。

图3a示出了系统300的示意图，系统300可以被实现为对乘员(例如，在车辆座椅中的车辆乘员)的情绪状态进行分类。传感器阵列301可以监测车辆座椅的驾驶员或乘员，并且位于车辆中，并且可以包括本文所述的任何传感器。传感器阵列301可以使用中枢神经系统(cns)传感器303、交感神经系统(sns)传感器304、自主神经系统(ans)传感器305、副交感神经系统(psns)传感器306和周围神经系统(pns)传感器307来监测乘员。这些传感器可以放置在车辆驾驶室内(例如座椅、方向盘、车门、a柱、b柱或车辆中可以与车辆乘员交互的其他位置中)。cns传感器303被配置为感测与乘员的大脑和脊柱相关的信号。ans传感器305被配置为感测与无意识身体功能相关的乘员的身体状态(例如心率、消化、呼吸速率、瞳孔反应、唾液腺操作、尿急和性唤起)。sns传感器304可以感测乘员的战斗或逃跑反应，其可以被测量为乘员心率的变化、血管收缩和血压的变化。心率的增加和血压的增加可能表明乘员的可能的激动。psns传感器306可以感测乘员关于副交感神经系统的状态，副交感神经系统负责刺激消化、休息、进食或身体休息时发生的其他活动(尤其是进食后，包括性唤起、流涎、流泪(例如眼泪)、排尿、消化和排便)。这些传感器可以放置在乘员神经输出与在乘员体内ans、sns、cns和/或psns电信号中的至少两个相关的信号的位置。psns传感器306可以感测乘员的颅骶骨流出。sns传感器304可以感测乘员的胸腰椎流出。pns传感器307感测中枢神经系统外的乘员身体中的电信号，并且可以感测移动肌肉(例如抽搐、紧张的习惯等)的信号。

神经网络310从乘员传感器301接收与乘员(多个乘员)相关的感测数据。神经网络310可以包括硬件处理器中的各种算法。神经网络310作为计算系统运行，该计算系统通过执行算法来考虑鉴于乘员状态的输入示例，从而自学习以逐步提高对乘员情绪状态进行分类的性能。神经网络310可以学习以识别乘员的情绪状态和与乘员相关的感测数据。随着时间的推移，神经网络可以从输入数据(即，感测到的乘员数据)和乘员状态中进化出它自己的一组个体乘员的相关特征。神经网络310可以包括多个连接的节点，其可以在层中被组织，并且在各层之间的节点被连接在一起，其中来自一层的输出是另一层的节点的输入。第一层可以从乘员传感器301接收原始数据信号。不同的层可以对其输入执行不同类型的转换。信号从第一(输入)层传播到最后(输出)层。反馈连接可以将输出信号从后续层传输到前一层。因此，在确定输出之前，正在处理的信号或数据可能多次遍历这些层。在某些情况下，神经网络本身可以基于其自学习来重新连接节点。神经网络中的每个节点可以对输入执行计算(例如，其输入之和的非线性函数)。节点还可以包括权重，该权重相对于该节点的输出相对于其他节点的输出的重要性来调整其输出。非线性函数、总和与权重可以随着神经网络310的学习而改变。在示例中，权重增加或减少了神经网络310穿过下一层发送的从节点输出的信号的强度。

基于特定特征相对于可以提取的所有其他特征的相关性，可以通过预定分数来初始设置权重(多个权重)。在示例中，第一感测信号可以包含第二感测信号的伪像。神经网络310可以从第一信号中消除第二感测信号的伪像。eeg信号可以在其信号中包含ecg的伪像(特别是可区分的r波)。神经网络310可以从eeg信号中消除ecg信号的伪像。在这种情况下，ecg信号是重复尖峰，其幅度大大超过(例如，至少两倍于)eeg信号的幅度。

神经网络310可以操作以使用ecg中r波的肯定识别，通过传感器融合来交叉验证心脏活动。感测信号可以是pqrst波形。p波、qrs复合波(complex)和t波代表心脏和ecg中的电活动。p波代表左心房和右心房的去极化。qrs复合波波形跟随p波，并且描绘了右心室和左心室的激活。t波表示心室的复极化。r波将在ecg特征中排名最重要，其中pqrst波形的其他峰值按照峰值突出度的顺序排名较低。例如，排名可以从最高到最低，5＝r，4＝t，3＝p，2＝s，1＝q。这是因为，虽然其他波可以提供活动的视角以及传感器之间相同特征的可能位置，但是直接对相同特征进行一对一的比较，这是比较信号的最佳方式。此外，感测信号中的特征越突出，神经网络310越确信感测信号确实是系统能够检测和处理的真实特征。

在另一示例中，特定传感器的信噪比(snr)可以用作加权因子。例如，利用ecg，网络310可以假设特征的突出度(例如，pqrst复合波的子波)并且知道感测信号如何受到snr的影响。随着snr的增加，特征变得更加可区分。相反，随着snr的降低，感测信号中的特征变得不太可区分，并且具有最低突出度的特征(诸如相对于r波的q波)将变得更难以相对于彼此有把握地进行肯定识别。最初，这可以通过将当时计算的snr与在工厂测试系统时测量的系统验证snr进行比较来计算，例如，如果在组装期间snr被测量为16db，并且实时地测量为14db，则我们可以对所有特征在该时间点生成作为这两者的分数的加权因子14/16或0.875，然后基于每个特征的相对突出度等级再次缩放每个特征。当系统捕获n+1个复合波时，我们可以基于snr相对于先前检测到的复合波的变化(例如14到11到16)，来更新这个加权因子。snr的这种多层方法被馈送到激活/传递函数中，该激活/传递函数在神经网络310的每级阈值化。特征提取算法可以检测pqrst的所有分量，但是激活函数可以基于加权因子阈值化除r波之外的所有分量。神经网络310包括误差反向传播，其用以通过使用最高质量的样本作为训练集来更智能地更新这些权重因子。在这种情况下，可以使用神经网络310中的自相关方法来替换初始假设和初始权重，使得更新神经网络310以匹配实际车辆(例如，传感器和通信信道)和最可能的乘员(与通用模型相反)。因此，神经网络310在其使用时学习。当神经网络310的训练集达到每个特征、复合波或两者的指定数量的质量样本时，神经网络310朝着自相关方法调整其加权函数，其中加权因子是基于当与该训练数据相关时该新特征的相关系数的值。这样，通用特征假设不偏置权重。此外，snr在自相关中被自动考虑，因为snr的降低将降低系数，并且增加不会错误地偏置权重。

对于神经网络310中基于复合波的方法(例如，多个耦合特征)，同一复合波的各种特征的识别和识别的置信度可以提供一种生成加权因子以阻止假阳性和假阴性两者的手段。神经网络310可以利用ecg中qst波形识别的强置信度(其可以覆盖eeg中r波的弱识别)来解决假阴性，假阴性可能导致检测整体被拒绝。在这种情况下，当信号传感器的置信度足够高时，即权重足够高以通过单个传感器水平激活水平(神经网络功能)，即使权重不足够高以通过主融合水平激活水平，心脏信号检测的置信度不受传感器之间不一致的影响。在这些情况下，被拒绝的数据被反馈到次级单级激活水平(神经网络功能)，其阈值高于初始函数。如果这些被拒绝的信号单独通过了那个阈值，则我们可以确信在这种情况下，一个传感器足以确定肯定检测。

神经网络310可以包括被编程到具有节点的层中的学习模块313。学习模块313包括节点和层(其用以接收来自传感器301的输入)，并通过调整节点和层之间的连接(例如，通过神经网络的数据流)以及节点处的函数和权重来学习。学习模块313的结果存储在储存器315中，该储存器可以是数字存储器。规划和预测模块317接收来自储存器315的数据和来自传感器301的数据，以对乘员的情绪状态进行分类。规划和预测模块317与执行结果(例如，来自使用来自乘员传感器301的当前感测数据的学习模块313的预测算法)的处理器一起操作。来自规划和预测模块317的输出是乘员的情绪状态分类320。在示例中，乘员的当前情绪分类320可以存储在储存器315中，并从神经网络310输出到例如其他车辆系统中。车辆可以使用乘员分类320，在一些情况下，触发车辆乘员界面325以与乘员交互。可由乘员分类320触发的车辆乘员界面325的示例包括播放舒缓音乐或音频消息的音频系统、显示消息或抚慰人心的图像的视频系统、控制气候控制系统、操作座椅冷却、加热、消息、振动等。

在示例中，cns传感器303可以包括使用非接触式传感器(例如传感器150)的edp传感器。edp信号用于检测驾驶员的分心状态。edp信号可以通过使用滤波器来允许某些成为子带的划分而被分成各种子信号(例如，在不同的频率下)。这些子带可以在频率范围内重叠。每个子带的一般频率范围可以在合理的方差内定义。第一子信号可以高达四赫兹。第二子信号可以是四赫兹到七赫兹。第三子信号可以是七赫兹到十四赫兹。第四子信号可以是十四赫兹到大约三十赫兹。第五子信号可以是大约三十赫兹到大约一百赫兹。其他子信号可以与第一子信号到第六子信号的这些范围重叠(例如，从八赫兹到十三赫兹)。这些子信号之间的关系可用于确定驾驶员是否从驾驶任务中分心。子信号的模式或多个子信号相对于彼此的比率可用于确定是否正在发生分心。

乘员传感器301可以包括用于检测车辆座椅中的驾驶员的车辆驾驶室成像器(例如摄像机)。摄像机数据用于检测乘员的身体特征(例如肌肉运动、眼睛运动、呼吸模式等)。摄像机可以检测驾驶员的运动或没有运动、驾驶员的面部特征或两者。摄像机数据可以是发送到车辆中的数据处理器然后发送到神经网络310的视频信号。

车辆驾驶室成像器可以固定在车辆驾驶室中(例如，在车辆的仪表板中，指向车辆乘员)。成像器可以监测车辆乘员(例如驾驶员)的面部表情。能够访问来自成像器的图像数据的成像器或其他处理器可以监测车辆乘员面部表情的变化(例如眼球运动、收缩和扩张)。面部表情的变化可以是帮助确定车辆乘员的情绪或状态的输入。状态的示例可以包括愤怒、悲伤、开心、喝醉、分心昏昏欲睡等等。在示例中，所确定的情绪可以是对神经网络的输入，用以更精确地确定乘员状态。所确定的状态还可用于调节内部照明、调节音频或以其他方式改变车辆驾驶室内乘员的环境。音频可以基于确定的情绪触发某些歌曲或消息。音频还可以通过预先录制的消息向乘员建议(从预先选择的歌曲列表中播放某首歌曲，这可能改变乘员的状态)。来自摄像机的图像还可以被分析并确定乘员可能喝醉了，这可能是一种分心驾驶的形式。如果乘员被确定为不处于驾驶车辆的合适状态，则车辆可以通过通信系统向驾驶员的移动设备或家庭成员的移动设备触发自动消息。这种醉酒状态还可以是对神经网络的输入，以考虑乘员的改变状态。

图3b示出了可以在车辆100中的神经网络中实现的过程330。传感器301向神经网络310输出原始数据331(包括来自传感器303-307的神经电信号、血氧水平相关响应信号、近红外光谱数据信号等)。原始数据可以存储在储存器315中。神经网络310将神经电信号馈送到正在实现神经电信号的神经网络算法的第一组神经网络节点310a。神经网络310将血氧水平相关的响应信号和近红外光谱数据信号馈送到正在实现非神经电信号的神经网络算法的第二组神经网络节点310b。第一组神经网络节点310a被配置成将神经电信号分成频率分析332和时间分析333。频率分析332执行皮层和区域分析334以及单独的半球形侧化(hemisphericallateralization)335，其认识到某些神经功能或认知过程在大脑的一个半球中相对于另一个半球倾向于更占主导地位。在示例中，乘员的某些情绪和情感状态可以通过一个大脑半球的某些神经电信号来表示。来自皮层和区域分析334的输出被馈送到另一层，该层包括指向激活网络序列336、总频谱功率序列337和频带检查338的三个节点。半球形侧化335可以被馈送到总频谱功率序列337和频带检查338。总频谱功率序列337和频带检查338被馈送到组合频带检查339。

时间分析333被馈送到皮层和区域分析341以及半球形异步342。皮层和区域分析341被馈送到激活网络序列343和evp响应时间344。半球形异步342被馈送到evp响应时间344。时间/频率分析345从皮层和区域分析334、单独的半球形侧化335、激活网络序列336、总频谱功率序列337、频带检查338、组合频带检查339、皮层和区域分析341、半球形异步342、激活网络序列343和/或evp响应时间344中的任一个接收数据。

近红外光谱级350包括多个处理节点，其可以评估信号以用于连续波分析、频域分析、时间分辨分析、空间分辨光谱分析等。近红外光谱级350将其输出馈送到血液动力学响应分析351。输出被馈送到两个不同级别的区域激活/去激活352和全局流动动态353。区域激活/去激活352被馈送到激活网络序列354和evp响应时间355。本文描述的馈送中的每个馈送可以来自包括多个节点的级别，并且被馈送到具有神经网络内的多个节点的另一级别。规划和预测模块317可以包括如图3b所示的组件。模块317中的激活逻辑库级365接收来自任何先前级的输出，以提供车辆中乘员情绪状态的分类。激活逻辑库级365将其结果输出到存储器逻辑级，存储器逻辑级充当数据储存器315和学习模块367，学习模块367包括储存各种信号的学习模型、指示乘员情绪状态的级输出的连续数据简档监测器级。

应当理解，类似的示意结构可以用于来自ans、sns、cns和/或psns传感器的其它信号。神经网络310可以使用来自多于一种类型的传感器的感测信号。

320处乘员情绪分类的输出。情绪分类可以包括情绪效价和唤醒水平分量。图4更详细地示出了情绪效价和唤醒水平分量。当乘员分类被确定时，那么车辆可以通过车辆乘员界面325采取行动来警告乘员他们的状态，提供刺激以使乘员返回到非激动或警觉状态，改变车辆性能参数或其组合。车辆乘员界面325包括车辆驾驶室中的显示器(在该显示器上可以显示乘员状态的警告)和/或来自车辆信息娱乐系统的音频警告。车辆乘员界面325可以包括刺激系统，其用以刺激乘员以将乘员从激动状态转变到平静状态或者从困倦状态转变到警觉状态。

与检测到的分心相关的长期数据可以在实时算法之后进行处理，为乘员和机器学习系统两者提供各种统计信息。长期数据可以储存在车辆中或车外的远程服务器上。车辆可以包括例如通过wifi、诸如蜂窝通信的移动通信网络等与外部服务器的电子通信。长期分心计算可用于改变用于确定分心的或用于减轻假阳性的指令。本公开量化驾驶员的分心/专注状态，同时纠正分心的错误指示。车辆可以使用驾驶员的分心/专注状态来操纵各种车辆安全系统(例如自适应制动系统)的反应时间，以优化系统本身的响应。这可以降低向前碰撞的风险。

图3c示出了处理来自与乘员相关联的传感器的多个神经系统输入的过程300c，在此示出为基于来自cns传感器的感测数据和来自ans传感器和/或sns传感器的感测数据的生理唤醒水平的情绪效价和唤醒水平。过程300c包括用于乘员输入的第一感测状态的第一路径361和用于乘员的第二感测状态的第二路径362。在一个方面，第一路径接收与大脑功能相关的数据。第二路径接收与pnps、ans、sns、身体生物化学或其组合相关的数据。第一路径361接收基于cns感测数据的情绪效价和唤醒水平320(例如，如本文所述的向量)。第二路径362接收基于非cns感测数据(例如基于ans或sns数据)的生理唤醒水平320b。情绪效价和唤醒水平320以及生理唤醒水平320b两者都可以由神经网络的先前级别提供。情绪效价和唤醒水平320被分成其情绪效价分量364和其生理唤醒水平365。情绪效价364被馈送到神经网络的监测和结束级，而无需进一步处理，即，它跳过加权级(多个加权级)。生理唤醒水平365在神经网络的加权级中被进一步处理。信噪比加权366用于对信号质量提供加权，例如，噪声越小，加权越大，以及噪声越大，加权越小。时期破坏加权比367用于基于在神经网络中计算的任何单个周期是否可能被破坏来对输入进行加权。时期加权368被执行，并且在神经网络的递归计算中，时期加权368可以对连续的周期(大于先前的周期)进行加权。加权366、367和368被馈送到逻辑级369以组合结果。组合逻辑函数369将输入(这里是生理唤醒水平)中的置信度系数370输出到第一路径361中。第二路径362从乘员的另一个非cns评估接收生理唤醒水平371。生理唤醒水平371通过与cns唤醒水平相同类型的处理(即，信噪比加权366c、时期破坏比加权367c和时期加权368c来处理(该处理使用具有后缀c的相同参考数字来指定))。加权366c、367c和368c在组合逻辑函数级369c处组合，组合逻辑函数级369c输出用于第二路径362的输入的置信度水平370c。置信度水平是ans或sns评估的生理唤醒水平。组合唤醒计算水平372组合置信度水平370、370c，以向输出级输出总体置信度水平，以用于进一步处理或存储，输出级可以各自单独调整与车辆乘员相关联的最终情绪效价和唤醒水平320c。在300c处的处理基于来自每类感测信号的最终效价/唤醒水平(多个唤醒水平)来计算组合向量320c。组合向量320c表示乘员的情绪状态。组合向量可以被馈送到另一人工智能逻辑树中(例如，在车辆中的神经网络内)，该人工智能逻辑树使用长期信息针对稳定性和环境影响来考虑乘员的个性，以进一步改善在变化的周围趋势中的加权。基于计算的最终向量320c或其他输出可用于其他车辆系统，以触发或建议先发制人的对策。此外，长期趋势分析和短期可变性可以用来为乘员提供其情绪健康变化(稳定或退化)的指标。

神经网络层通常在图3b-3c中以垂直对齐方式示出。应当认识到，这些层中的每一层可以包括许多节点和子层，其用以提供本文描述的处理。

本文描述的传感器可以感测车辆乘员的各种特征。传感器可以感测脑电图(eeg)、心电图(ecg)、心率变异性(hrv)、皮肤电反应(gsr)、肌肉活动或肌电图(emg)、皮肤温度(skt)、血容量脉冲(bvp)和呼吸容量(resp)。

图4示出了可用于本公开的效价/唤醒向量的示意图400。在401处，本文描述的系统和方法使用神经网络确定情绪效价和唤醒水平。在403处，产生效价/唤醒向量。效价/唤醒向量绘制在x/y坐标系上，该x/y坐标系可以具有在正x方向上的愉快增加，以及在负x方向上的愉快减少。乘员的唤醒状态在正y方向上增加，并且在负y方向上减少。基本情绪状态被标记在象限中。当乘员在任何象限中处于极端时，那么乘员可能被通知或刺激以更多地朝向图的中心返回。样本向量在404处示出。在此可能期望减小向量404的幅度。大幅度唤醒状态可能表明乘员害怕或愤怒，或者昏昏欲睡或分心。在405处，产生对车辆乘员的输出，以试图使乘员返回平静和警觉状态，这可以通过向量404的减小的幅度来指示，向量404的减小的幅度转而在神经网络中基于车辆中的实时感测数据来确定。在407处，神经网络可以接收效价/唤醒向量，并在神经网络学习、规划和应用于神经网络中节点的加权中使用所确定的向量。

图5示出了用于感测车辆乘员的各种特征的车辆系统500。多个电磁传感器501被配置在车辆驾驶室中以感测乘员体内的电信号。传感器501可定位在车辆座椅中或车辆驾驶室中邻近乘员的位置中。传感器501可以与乘员紧密相邻，但不与乘员接触。传感器501可以测量edp、eeg等(例如整个大脑电活动)并将其分成频带，以确定负载、水平和位置。该信息用于评估乘员的认知功能，并确定包括压力在内的几种情况。多个生理传感器502被配置在车辆驾驶室中以感测乘员的其他特征。传感器502可以与乘员紧密相邻，但不与乘员接触。传感器502可以测量心率、呼吸速率、血压、皮肤电反应等。传感器502可以包括心脏传感器，其用以测量由心脏产生的冲击、心震图和/或电信号，其被馈送到算法中以确定与自主唤醒水平相关的心率和心率变异性值(多个心率变异性值)。传感器502还可以皮电反应测量皮肤对应激源的、或对缺乏应激源的反应性，同时呼吸速率有助于确定应激源的强度和反应。血压升高有助于指示血管收缩和心率增加。传感器502可定位在车辆座椅中或车辆驾驶室中邻近的位置中。

传感器501、502将感测到的信号馈送到模数转换器503，模数转换器503转而可以将数字的感测到的信号发送到信号处理器505，信号处理器505可以包括处理器和可操作地连接到处理器的存储器。信号处理器505处理信号以减少和/或消除感测信号中的噪声分量506。信号处理器505输出与乘员相关的处理过的生物数据。生物数据507可以被馈送到神经网络310，以产生情绪效价和唤醒水平(例如，向量)，并对乘员的情绪状态进行分类。

在本公开的一个方面，系统500、神经网络可以包括存储在存储器中的分量压力库509。分量压力库509包括对各种传感器数据(例如来自传感器501和502的任何数据)的多个选择，其在确定车辆乘员的情绪状态时是有用的。库简档509还可以基于任何个体乘员的感测数据的可靠性来选择。使用在来自库509的简档中指示的乘员数据507来执行个体压力或情绪状态评估510。评估510可以包括本文描述的神经网络步骤中的任何神经网络步骤。个体状态评估510还可以单独处理生物数据。当单独计算时，在511处，可以使用神经网络中的层来组合压力确定。该组合511提高了情绪状态或压力评估的可靠性。在511处得到的组合评估可被发送到设备512，以将结果输出到车辆中的乘员界面。可选地，在512处，来自510的一些个体评估可以触发对乘员界面的输出。用户简档储存器514接收对乘员的评估和输出。神经网络可以使用任何个体乘员或一群乘员的历史结果来训练神经网络，或者使用过去的结果来检查当前评估的准确性。控制模块515可以开始感测或控制传感器501、502的操作，使得可以实时连续监测车辆乘员。来自传感器的感测特征的改变可以改变510处的评估，并且改变对乘员的输出。

与使用单个输入相比，使用诸如生物特征和神经认知信号的两种类型的感测数据的系统500可以提供乘员的情绪状态或压力分类的更大的特异性，即，压力的存在、水平和类型可以用更大的特异性(与使用任何单独的感测分量相比)来确定。系统500集成了来自两个或更多个生物特征设备的生理和心理数据，其提高了确定个体乘员的压力水平的准确性并且增加了确定个体乘员的压力水平的分辨率。具体地，该系统可以将第二传感器502获取的神经认知处理负荷和模式与第一传感器501中如通过心率变异性检测到的副交感/交感神经系统的相对激活水平交叉关联。在示例中，系统500将心率变异性测量结果的灵敏度与eeg/edp的特异性相结合。心率的增加可能表明高效价的唤醒或压力，而不应该表明驾驶时的压力或愤怒。也就是说，在某些情况下，单独的心率或可变的心率并不是不希望的乘员状态的准确指标。将该结果与对来自第一传感器501的数据的分析相结合将表明乘员是否被以非不利的方式(例如，快乐/激动相对于有压力或恐惧)激励。结合的使用可以提高准确性。

图6示出了用于使用情绪状态确定来使乘员平静的车载方法600。可能并非所有乘员希望使用本系统100、300、500来确定车辆乘员的情绪状态。此外，某些动作可能增加乘员的压力。在601处，如果乘员希望车辆执行如本文所述的乘员感测和平静举措，则车辆请求来自乘员(例如驾驶员)的输入。如果乘员没有选择加入或打开感测和评估系统，则过程在602停止。如果乘员选择加入，则在603处，可以向乘员提供多个当前类别。乘员可以从要激活的多个传感器中选择任何传感器以及从机器到人界面中选择任何机器到人界面，以向乘员提供反馈。机器到人界面可以包括视频显示、音频信号和神经刺激。

在604处，车辆监测并感测乘员的特征。车辆还可以监测可能表明引发情况的压力或愤怒的其他因素。如本文所述，可以测量乘员的生物特征和身体特征。车辆中的传感器通过使用摄像机或其它生物特征感测能力(例如，座椅传感器)或通过记录和分析乘员发出的音调和短语可以感测如本文描述的乘员的语音、动作和生理功能(例如，面部表情、手势、心率、温度等)。乘员的面部表情及其变化还可以被分析以确定乘员的状态。

在605处，将与乘员相关的感测因素和生物特征数据与已知标准或过去的平静行为进行比较。在606处，确定所比较的数据是否在阈值之外。步骤605和606可以在如本文描述的神经网络中执行。比较605和差异确定606还可以在信号处理器中或在控制器中通过将存储的数据与感测的数据进行比较来执行。在607处，如果没有超过阈值，则过程600继续监测乘员。监测604可以与比较步骤和确定步骤连续。

在608处，监测车辆环境中可能影响乘员的情绪状态的潜在刺激。环境因素可以包括交通、交通流量、事故(多个事故)、低燃料状态、检查发动机指标、位置、新位置、乘员已经经历压力的位置等。其他因素可以包括一天中的时间、给定位置的交通速度、一周中的某一天、其他因素中的任何其他因素的乘员过去的状态。环境传感器可以包括一个面向外的摄像机，其观察车外状况和触发驾驶员反应的刺激。

步骤605、606、608可以操作来将乘员的反应识别为是基于愤怒的还是基于压力的，这取决于来自传感器的数据和基于车外的数据的融合。

在609处，如果出现指示驾驶员没有以平静方式行动的事件，则触发机器到人界面。

在610处，人机界面可以向乘员提供旨在使乘员平静的指示输出。指示输出可以是如本文所述的音频消息、视觉或刺激。音频消息可以存储在车辆信息娱乐系统中，并在本系统和方法确定乘员受到压力或没有处于平静状态时播放。视觉可以是车辆显示器上喜爱的个体(例如家人、重要的其他人、宠物)的图片。音频可以播放最喜欢的歌曲，讲笑话，或者播放诙谐的评论(预先录制或从公共领域收集)。

在611处，监测乘员情绪状态的变化。监测可以与步骤604中的监测相同。在612处，确定乘员是否已经改变到平静状态。如果是，则过程在613停止。停止表明输出结束，然而，只要乘员在车辆中，步骤604的监测就可以继续。如果乘员没有平静，则该过程返回到输出610，并且可以重复先前的输出或者尝试新的输出。

图7示出了用以帮助神经网络310确定车辆乘员的情感分类的传感器融合过程700。该过程将车辆的位置信息与乘员的情绪分类一起使用来提供改进的情绪分类。在一个方面，位置信息和驾驶员情绪分类两者的使用可用于规划行驶路线，以降低不良情绪分类的可能性。不良情绪分类可以是昏昏欲睡状态或愤怒状态。历史情绪分类可以存储在存储器中。可以存储任何不良情绪分类的位置，并且可以避免这些位置，以降低不良情绪分类的可能性。在一个方面，可能触发不良情绪状态的某些实时事件正在发生，并且为车辆所知。车辆中的过程可以使用这些事件(符合或触发不良情绪分类)的位置，并避免不良事件的位置。

在701处，目的地被输入到车辆导航系统中。在702处，定位系统(例如美国的全球定位系统(gps))通电并确定车辆的位置。在703处，确定车辆驾驶员是否打开路线增强器。如果没有，则在704处，车辆请求驾驶员打开路线增强器。如果路线增强器未被打开，则过程在705处停止。如果在706处路线增强器被打开，则在707处确定第一路线。第一路线由车辆的导航系统计算。与所有路线一样，在710处，第一路线可以被分成路段(例如用于在车辆中显示)。

路线包括起点711、多个路段712-715和目的地716。尽管在所示示例中显示为四个路段，但是本公开不限于四个路段。第一路线段712被示出为没有可能的压力升高因素的负面指示。压力升高因素是车辆或驾驶相关的情况、事实或影响，其有助于增加车辆乘员将具有不良情绪状态的可能性(例如，如使用如本文所述的神经网络所确定的)。第二路线段713确实显示了压力升高因素的指示；此处显示为在具有高犯罪历史的位置。第三路线段714确实显示了压力升高因素的指示；此处显示为在具有高事故历史的位置。第四路线段715还显示了压力升高因素的指示；此处显示为在具有高压力历史的位置。

在719处，驾驶员或车辆基于设置可以选择替代路线。替代路线720可以包括相同的起点711、第一路段712和目的地716，但是第一路线710中可能在车辆乘员(例如，驾驶员或乘客)中触发不良压力反应的路段713-715被替代路段721替换。替代段721将避开路段713-715中的位置(例如，道路)。

车辆将包括数据储存器或远程访问数据储存器，在那里储存了与驾驶环境和压力统计相关的历史数据。事故统计数据储存器723储存与涉及车辆的事故相关的数据(包括位置数据)。犯罪数据储存器724储存犯罪统计(包括位置数据)。情绪状态数据储存器725储存历史情绪状态分类(包括位置数据)。尽管为了便于说明而显示为三个不同的数据储存器723-725，但是将犯罪数据、事故数据和情绪压力分类数据储存在单个或多个数据储存器中也在本公开的范围内。

车辆导航系统被馈送来自事故数据储存器723的事故数据。导航系统可以确定路线(例如路线710)，然后基于如由导航系统确定的路段位置数据，向事故数据储存器723请求每个路段712-715的事故数据。导航系统可以基于事故数据确定任何负面事故指标是否应该是任何单个路段的一部分。

车辆导航系统被馈送来自犯罪数据储存器724的犯罪数据。导航系统可以确定路线(例如路线710)，然后基于如由导航系统确定的路段位置数据，向犯罪数据储存器724请求每个路段712-715的犯罪数据。导航系统可以基于事故数据确定任何负面犯罪指标是否应该是任何单独路段的一部分。

在一个方面，事故数据储存器723、犯罪数据储存器724和乘员压力数据储存器725可各自包括基于每个位置的事故统计、犯罪统计和历史压力确定(例如，使用如本文所述的神经网络)的负评级或正评级。事故评级和犯罪评级的计算可以从车辆移出到容纳数据储存器723、724的远程服务器。乘员压力数据储存器725可以是车载的，因为用于对车辆乘员压力进行分类的神经网络是车载的。在一个方面，乘员压力数据储存器725还可以在远程服务器处。来自数据储存器723、724或725的评级可被发送到导航系统，以用于通过电磁通信系统指示任何路段增加车辆乘员的压力水平的可能性。在727处，与路线有关的事故数据从事故数据储存器723输入导航系统。在728处，与路线有关的犯罪数据从犯罪数据储存器724输入导航系统。在729处，与路线有关的乘员压力数据从乘员数据储存器725输入导航系统。

在本公开的方面中，除了犯罪、事故和乘员压力之外的其他数据可用于确定路线段是否可能导致乘员压力升高。这可以是当前数据，包括交通密度数据731、建筑物数据732和当前事故数据733。这些可以通过从远程服务器到车辆的通信信道提供给导航系统。在当前数据可能导致乘员的压力增加时，则可以避开当前事件发生的路线段。

本说明书旨在提供一种不具有触发压力或升高应力的路段的路线。然而，在一些情况下(例如，如果避免了这样的路段和道路，由于时间限制)，避开压力诱导路段可能是不可能的或不希望的。压力诱导路段713-715的显示可以帮助乘员为道路上压力诱导情况的发生做好准备。也就是说，乘员可以为压力诱导的情况做好准备。车辆还可以通过在路段之前或者当乘员压力水平增加时(例如，如由神经网络任何时候在路段中确定)，提供压力减少的车辆与乘员的相互作用来为压力诱导位置做准备。

本文描述的神经网络300、500可用于对乘员的情绪状态进行分类。压力分类的位置可以由导航系统(例如从gps设备)提供，以储存在乘员压力储存器725中。神经网络300、500可以被馈送来自车辆系统的附加数据。内部摄像机104和外部摄像机105捕获可用于分类乘员压力的图像数据。来自内部摄像机104的图像数据可以被分析以确定压力的指标(例如面部特征、姿势等)。来自外部摄像机的图像数据可以被分析以确定压力的指标(例如外部特征、交通、动物、道路状况、天气等)。数据分析引擎745可以接收来自两个摄像机的处理后的图像数据、来自导航系统的当前路线信息和历史路线信息。数据分析引擎745处理接收到的数据并将数据提供给神经网络300、500。

过程700融合多种类型的数据(例如犯罪、事故和情绪状态数据)，以显示可能的压力(包括行驶路线的路段)，使用指标向乘员强调有问题的路段。指标可以是可视的(例如颜色的变化、不同的线条类型或闪烁)，以向乘员显示问题行驶路段。指标可以包括音频指示(例如音调、嗡嗡声、录制的短语等)。

本车辆系统使用传感器融合辅助的位置路线，其在行驶通过路线的某些部分时考虑乘员压力分类水平、路线沿线区域的犯罪和事故统计，并为驾驶员提供挑选替代路线的选项。随着行驶的进行，座椅中的生物特征传感器、面向内的摄像机或具有本文所述神经网络的其他驾驶室传感器感测到升高的压力水平，以确定乘员在行驶通过路线的某一部分时感到不舒服。该系统还可以结合来自座椅中面向内的摄像机和生物特征传感器的数据使用面向外的摄像机数据，来关联升高的压力的原因。在一个方面，路线被以编码指标更新，该编码指标显示单个路段可能会增加压力。基于经常路线上的历史乘员压力水平数据，车辆可以呈现替代路线，以避开造成压力的区域(例如，除了上面描述的那些以外，交通灯不合时宜的十字路口或红灯延长的十字路口)。车辆系统和过程可以是他们的gps系统中的安全特征的一部分，其可以潜在地减少由于突然进入路线段(这是意料之外的，并且可能导致压力增加)而导致的车辆乘员的焦虑。

图8示出了示意性音频系统800，其可以使用如本文描述的控制器和神经网络将音频输出到车辆驾驶室中。音频输出可用于降低乘员的压力。801感测车辆乘员的位置。传感器801可包括如本文所述的座椅传感器。乘员的位置可以包括任何单独的座椅(例如驾驶员座椅、前排乘客座椅、后排驾驶员侧乘客座椅和后排乘客侧座椅)是否被占据。在一个方面，座椅传感器801还可以确定座椅乘员的姿势。

乘员的情绪分类803还如本文所述那样(例如使用神经网络)来确定。

音频控制器805接收乘员位置数据和乘员的情绪分类。音频控制器805可以基于情绪分类和乘员位置来控制乘员的个人音频体验807。缓解压力的个人音频体验设置可以储存在车辆信息娱乐系统中。当情绪分类(例如来自神经网络)触发音频动作以试图使乘员返回到平静状态或警觉状态时，音频控制器可以触发，并且根据个人音频体验的适当音频事件从扬声器809输出。

麦克风811可以检测车辆驾驶室中的声音，并将感测到的声音信号提供给控制器805。控制器805可以使用感测到的声音来控制任何个人乘员的音频体验。控制器805可以将感测到的声音发送到神经网络，以用于对乘员的情绪状态进行分类。

个人音频体验807可以调整来自扬声器的音频输出，以将音频集中在乘员就座的座椅(多个座椅)上。车辆中只有驾驶员的情况下，音频可以集中在驾驶员座椅上。在一个方面，本系统800在801处感测乘员姿势，并且可以进一步细化音频的位置以基于座椅占用和乘员的姿势(例如，向车门倾斜或向车辆中心倾斜)来定中心。在一个方面，个人音频体验可以做相反的事情。神经网络确定乘客昏昏欲睡，然后音频输出可以从以昏昏欲睡的乘员为中心改变到车辆中的不同位置，试图使乘员从昏昏欲睡状态返回到警觉状态。音频控制器可以产生音频体验，该音频体验将音频输出的中心从座椅旋转到座椅(例如，以顺时针方向)，或者从驾驶员座椅旋转到后排乘客侧座椅。

扬声器809可以包括安装在座椅中头部保护装置中的扬声器。这种安装在座椅中的扬声器可以传送单独的音频(基本上只传送给座椅上的乘员)。个人座椅音频可以由分类的情绪状态触发。座椅音频可以是本文所述的音频中的任何音频，以将唤醒的状态或升高的情绪效价降低到可接受的分类。

音频控制器805还可以例如通过麦克风811感测车辆中的乘员何时正在进行对话，并且可以基于对话和对话中乘员的情绪分类来控制音频输出(例如音量、中心位置和均衡)。

车辆的音频系统800可以使用控制器805中的算法以在车辆驾驶室中创建实时、自适应的音乐/声音氛围。音频输出的音色、节奏、和声内容、情绪和感觉将实时生成，并由从车辆中的多个传感器获取的数据通知。音频系统继续提供可调节的音频参数(例如环境、清晰度、节奏、音调等)，并且基于所感测的乘员位置和乘员的情绪分类，通过实时决策来增强这一点。

该系统主要存在于汽车座椅内，但是可以与座椅和周围的汽车空间一起存在，或者独立存在于汽车客运车辆的车顶内衬、方向盘/仪表板和/或前排的b柱中以及后仪表板上。

来自生理信号的情绪识别吸引了来自不同学科(例如情感计算、认知科学和心理学)的研究人员的注意力。本系统和方法可以使用在车辆中感测到的外围生理信号来对情绪状态进行分类，该外围生理信号是基于使用车辆中的神经网络的唤醒效价评估的。感测信号的示例包括心电图信号、呼吸量信号、皮肤温度信号和皮肤电反应信号；然而，本公开不限于仅仅这些信号。

本系统可用于自主车辆，例如1-2级汽车(多个汽车)，其中车辆使用分心水平、分心的确定或分心驾驶员的多传感器确定，以便能够判断从手动驾驶切换到自主驾驶的最合适时间，反之亦然，或者采取某些级别的对策。

该系统有利于所有运输模式(甚至超越汽车和个人车辆，延伸到其他机动、驱动或有人驾驶的交通工具)。

本公开说明了控制器102。控制器102代表多个处理器、存储器和电子控制单元(其可以与各种系统独立工作，以实现本文描述的功能和任务)也在本公开的范围内。车辆可以使用比单个控制器更分布式的控制器系统，并且保持在本公开的范围内。控制器102包括处理代表真实世界条件和数据的感测信号的电路。

本公开描述了用于基于所感测的生物数据计算车辆乘员的情绪状态和唤醒的系统和方法。其它感测数据可用于计算，并可用于确认计算结果。其他感测数据可以包括来自内部摄像机和车辆操作(例如街道上的漂移或越过线、过度加速和制动)的数据。

电-皮肤电位的一个示例可以是一种脑电图(eeg)，这是一种记录大脑的电活动的电生理监测方法。它通常是非侵入性的，其中电极沿头皮放置，尽管侵入性电极有时用于特定应用。eeg测量由大脑神经元内离子电流引起的电压波动。在临床背景下，eeg指的是一段时间内大脑自发电活动的记录，如从置于头皮上的多个电极记录的。诊断应用通常集中在eeg的频谱内容上(即eeg信号中可以观察到的神经振荡的类型)。

车辆乘员的分类可用于识别乘员情绪状态的情绪状态水平。车辆驾驶员的情绪状态与各种驾驶状态相关。驾驶状态的示例可以包括严重的健康状况，其可能导致车辆中的分心。驾驶员的情绪状态可能导致大量的汽车事故或其他驾驶事故。通过对车辆乘员的状态进行分类，车辆可以采取多种对策，从而将乘员从不希望的状态转变到希望的状态，这可以改善驾驶体验。对策可以包括车辆系统(例如视频、音频、气候控制、制动、防撞、警告系统)、机器对人的措施(例如视觉、音乐、口头警告)以通知乘员他们的状态或修改他们的状态。此外，对情绪状态进行监测和分类有助于促进更好的生活质量和更长的预期寿命。

本公开包括处理器中的计算逻辑，以用于通过多感官、多层、神经网络的利用来进行详细的情绪唤醒/效价分类，以生成能够由车辆中的传感器越来越精确地连续监测的人工智能系统。该系统能够利用机器学习，并根据该学习进行规划，以提高以乘员为中心的情绪智力，并提供可由辅助系统使用的越来越精确的情绪和乘员识别输出。该系统使用来自例如中枢神经系统的生物特征原始输入，并且可以包括交感神经系统、副交感神经系统、生化反应及其组合。处理器中的多层神经网络最初单独处理输入和度量，然后以加权置信度的方式传递或抑制来自单一测量的信息输出，以评估乘员的情绪状况。随着系统数据库的增长，它以多种方式利用储存的信息。系统的学习和规划方面的一些(但不限于)示例针对损坏的或低置信度数据的分组来稳定情绪分类，使得情绪状态的变化在时间上与身体及时改变状态的能力一致。另一个示例是系统的长期预测分析，其将时间、日、季节、天气等与特定乘员在这些情况下的情绪状态的可能性联系起来，以便提出先发制人的对策。此外，长期趋势分析和短期可变性可以用来为乘员提供其情绪健康变化(稳定或退化)的指标。

如本文描述的神经网络使用多个感测信号和传感器数据融合来对乘员的状态进行分类，并且可以减少错误结果的发生。通过提供定制的改进分类、触发对策和长期情绪健康跟踪，改进的分类可以使乘员受益。本公开可以试图减少负面情绪状态，其在操作车辆时可能是危险的。正确的情绪分类可以为车辆制造商改进用户体验和数据，以改进他们的产品。

虽然本公开将神经网络描述为计算或数据处理系统，但是可以采用其他类型的计算设备来处理感测信号，以融合多个感测信号以对车辆乘员进行分类。数据处理系统可以是贝叶斯网络、归纳逻辑编程系统或基于规则的学习系统。这些系统可以被包含在可编程逻辑阵列或其他合适的计算机系统中。

虽然上面描述了示例性实施例，但是并非意图这些实施例描述了本发明的所有可能的形式。而是，在说明书中使用的词语是描述性的词语而非限制性的词语，并且应理解，可做出各种变化而不偏离本发明的精神和范围。此外，各种实现的实施例的特征可被组合以形成本发明的另外的实施例。