用于与视觉和听觉受损的车辆乘员通信的系统和方法与流程

1.本公开总体涉及与车辆相关的系统和方法，并且更具体地涉及用于与车辆的听觉和视觉受损的乘员进行通信的系统和方法。


背景技术：

2.自主车辆是一种能够感知其环境并在很少或没有用户输入的情况下导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控系统的信息来导航车辆。
3.车辆自动化已被分类为范围从零到五的数字级别，零对应于完全人工控制的无自动化，而五对应于没有人工控制的全自动化。各种自动驾驶辅助系统(adas)比如巡航控制、自适应巡航控制和停车辅助系统对应于较低自动化级别，而真正的“无人驾驶”车辆对应于较高自动化级别。
4.视觉受损的车辆乘客可能会发现一些车辆动作(例如突然转向)令人不安，并且可能不完全了解外部场景，这也可能令人不安。此外，对于视觉受损的乘客来说，上下车(例如共享乘坐车辆)可能是困难的。听觉受损的车辆乘员可能无法获得车辆传达的全部信息，例如即将到来的停靠站或地图导航方向，这是许多可能示例中的两个。
5.因此，期望提供辅助听觉和视觉受损的车辆乘员接收来自车辆的通信的系统和方法。此外，期望为视觉和听觉受损的乘员提供各种信息，以辅助这些乘客的舒适和安全。此外，结合附图和前述技术领域和背景技术，从随后的详细描述和所附权利要求中，本发明的其他期望特征和特性将变得显而易见。


技术实现要素：

6.提供了一种与车辆相关的系统。该系统包括具有输出设备的乘员输出系统、相机或其他感知设备以及与乘员输出系统和相机或其他感知设备可操作通信的处理器。处理器配置为执行程序指令以使处理器：从相机或其他感知设备接收图像或其他感知数据，该图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分，分析图像或其他感知数据以确定该乘员是否听觉和视觉受损，当乘员被确定为视觉和听觉受损时，决定输出模态以辅助乘员，并在输出设备上并且以输出模态为乘员生成输出。
7.在实施例中，分析图像或其他感知数据利用机器学习算法。
8.在实施例中，分析图像或其他感知数据包括跟踪乘员的一只或两只眼睛。
9.在实施例中，程序指令配置成使处理器输出声音，并且分析图像或其他感知数据包括监测乘员对声音的响应。
10.在实施例中，程序指令配置成使处理器将用于乘员的输出模态与乘员标识符一起存储在乘员简档数据库中。
11.在实施例中，乘员标识符包括生物统计数据。
12.在实施例中，乘员标识符包括乘员电子设备的标识符。
13.在实施例中，程序指令配置成使处理器从车辆背景数据源接收车辆或乘员背景数据，基于车辆或乘员背景数据生成乘员消息数据，并且基于乘员消息数据在输出设备上并以输出模态为乘员生成输出。
14.在实施例中，车辆或乘员背景数据包括乘员相对于车辆的位置、基于车辆控制命令的车辆行为信息、来自车辆外部场景的图像或其他感知数据和/或地图数据。
15.在实施例中，乘员消息数据包括描述车辆外部环境的消息、对乘员上下车或与车辆相关的任何其他乘员动作的指导以及对车辆采取的动作的描述。
16.在实施例中，为乘员生成输出包括将包括在消息数据中的消息翻译成乘员的优选语言。
17.在实施例中，为乘员生成输出包括当乘员被确定为听觉受损时，生成手语动画并在输出设备的视觉显示设备上显示手语动画。除了手语动画或者作为替代，可以生成文本输出。
18.在实施例中，为乘员生成输出包括当乘员被确定为视觉受损时，在乘员输出系统的音频输出设备上生成音频输出。
19.在另一方面，存在一种用于控制与车辆相关的乘员输出系统的方法，该方法包括：经由处理器从相机或其他感知设备接收图像或其他感知数据，该图像或其他感知数据包括车辆乘员的头部和/或身体的至少一部分，经由处理器分析图像或其他感知数据以确定乘员是否听觉和视觉受损，当乘员被确定为视觉或听觉受损时，经由处理器决定输出模态以辅助乘员，并且经由处理器在输出设备上并且以输出模态为乘员生成输出。
20.在实施例中，分析图像或其他感知数据利用机器学习算法。
21.在实施例中，分析图像或其他感知数据包括跟踪乘员的一只或两只眼睛。
22.在实施例中，经由处理器输出声音，并且其中分析图像或其他感知数据包括监测乘员对声音的响应。
23.在实施例中，该方法包括将用于乘员的输出模态连同乘员标识符一起存储在乘员简档数据库中。
24.在实施例中，乘员标识符包括生物统计数据或乘员电子设备的标识符。
25.在实施例中，该方法包括当确定乘员听觉受损时，经由处理器生成手语动画作为用于乘员的输出。
附图说明
26.下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，其中：
27.图1是示出根据各种实施例的与用于与盲人和视觉受损的乘员通信的通信系统相关的车辆的功能框图；
28.图2示出了根据各种实施例的与通信系统相关的自主驾驶系统；
29.图3是根据各种实施例的通信系统的功能框图；
30.图4是根据各种实施例的用于自动检测可以与通信系统相关的视觉或听觉受损人员的检测系统的功能框图；
31.图5是示出根据各种实施例的与车辆的视觉和听觉受损的乘员通信的方法的流程图；以及
32.图6是示出根据各种实施例的自动检测视力或听觉受损人员的方法的流程图。
具体实施方式
33.下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，没有意图被在前面的技术领域、背景、简要概述或下面的详细描述中提出的任何明示或暗示的理论所束缚。如本文所用，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合的形式，包括但不限于：专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
34.本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，这种块部件可以由配置成执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
35.为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作部件)相关的传统技术在此可能不详细描述。此外，本文包含的各个图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。
36.如本文所用，术语“乘员”或“乘客”包括位于车辆中的人(例如在车辆的座位上)以及打算或将要上车的人。
37.参考图1，根据各种实施例，总体以200示出的通信系统与车辆10相关。通常，通信系统200向车辆的视觉或听觉受损的乘员提供信息。该信息可以包括辅助视觉受损的人进入车辆。通信系统200可以使用个人应用程序，该个人应用程序可以与车辆10通信，并以视觉或听觉受损人员的优选输出模态向视觉和听觉受损者提供引导，包括精确的实时运动引导。由通信系统200传达的信息可以包括至听觉或视觉受损乘员的关于车辆采取的动作的信息以及其他背景信息。可以通过融合环境数据和车辆控制数据来确定通信信息。通信系统200可以使用神经机器翻译成乘员的优选语言来生成输出。输出可以包括为听觉受损乘员生成的手语动画或文本输出以及为视觉受损乘员生成的音频信息。通信系统200可以通过监测眼睛运动和对声音的反应来自动检测乘员是否是视觉受损或听觉受损。在图1的实施例中，通信系统200示出为包括在车辆10内，但分布式系统可以设置有包括在乘员的个人电子设备(例如智能手机或平板电脑)中的一些部件、位于云处理系统中的一些部件和位于车辆10上的一些部件或其任意组合。
38.如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并基本包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应拐角附近可旋转地联接到底盘12。
39.在各种实施例中，车辆10是自主车辆，并且通信系统200与车辆10(以下称为车辆
10)相关。车辆10例如是被自动控制以将乘客从一个地点运送到另一个地点的车辆。在所示实施例中，车辆10描述为客车，但应当理解，也可以使用包括摩托车、卡车、运动型多用途车(suv)、休闲车(rv)、海船、飞机、共用客车、长途汽车等在内的任何其他交通工具。在示例性实施例中，车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，指的是自动驾驶系统对动态驾驶任务的所有方面的驾驶模式特定性能，即使人类驾驶员没有对干预请求做出适当响应。五级系统表示“完全自动化”，指的是自动驾驶系统在人类驾驶员可以管理的所有道路和环境条件下动态驾驶任务的所有方面的全时性能。然而，在其他实施例中，车辆10自动化程度较低，并且包括高级驾驶员辅助系统(adas)。
40.如图所示，车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和连接系统36。在各种实施例中，推进系统20可包括内燃机、电机如牵引电机和/或燃料电池推进系统。传动系统22配置成根据可选择的速度比将动力从推进系统20传递到车轮16-18。根据各种实施例，传动系统22可包括有级自动变速器、无级变速器或其他合适的变速器。制动系统26配置为向车轮16-18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动器、线制动、再生制动系统如电机和/或其他合适的制动系统。转向系统24影响车轮16-18的位置。尽管出于说明的目的被描绘为包括方向盘，但在本发明范围内预期的一些实施例中，转向系统24可以不包括方向盘。
41.传感器系统28包括一个或多个感测设备40a-40n，其感测车辆10的外部环境和/或内部环境的可观测条件。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热感相机、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，例如但不限于门、行李箱和车厢特征，例如通风、音乐、照明等(未编号)。
42.连接系统36配置成向和从其他实体48无线传送信息，其他实体48例如但不限于其他车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人设备。在示例性实施例中，连接系统36是配置成使用ieee 802.11标准或通过使用蜂窝数据通信经由无线局域网(wlan)进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道的附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车应用设计的单向或双向短程到中程无线通信信道，以及相应的一组协议和标准。
43.数据存储设备32存储用于自动控制车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义的地图可以由远程系统预定义并从远程系统(例如云处理系统)获得。例如，定义的地图可由远程系统组装并传送给车辆10(无线地和/或以有线方式)并存储在数据存储设备32中。可以理解，数据存储设备32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和独立系统的一部分。
44.控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或市场上可买到的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合，或者通常是用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中
的易失性和非易失性存储。kam是永久性或非易失性存储器，当处理器44断电时，其可用于存储各种操作变量。计算机可读存储设备或介质46可以使用多种已知存储设备中的任何一种来实现，例如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或任何其他能够存储数据的电、磁、光或组合存储设备，其中一些表示控制器34在控制车辆10时使用的可执行指令。
45.指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，这些指令接收并处理来自传感器系统28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并向致动器系统30生成控制信号，以基于该逻辑、计算、方法和/或算法自动控制车辆10的部件。尽管在图1中仅示出了一个控制器34，但车辆10的实施例可以包括任何数量的控制器34，这些控制器通过任何合适的通信介质或通信介质的组合进行通信，并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制车辆10的特征。
46.在各种实施例中，控制器34的一个或多个指令体现在通信系统200中，并且当由处理器44执行时，执行关于图3和图4的系统描述的功能以及关于图5和图6描述的方法的步骤。特别地，处理器44由指令配置成允许个人应用程序与车辆10通信，并将相关信息翻译成个人期望的通信模态，包括手语动画。无线连接技术允许通信系统在进入和离开车辆10期间提供精确的位置信息。此外，处理器44由指令配置成向乘员解释环境和车辆背景信息，并以适合于听觉或视觉受损乘客的模态输出解释。这些解释可能被提供用于配有adas的车辆或自动化程度较高的车辆。此外，处理器44由指令配置成自动确定何时需要视觉或听觉受损的通信模态，而无需先前与个人交互。
47.参照图1描述的车辆10可适用于特定地理区域(例如城市、学校或商业校园、购物中心、游乐园、活动中心等)中的出租车、公共汽车或班车系统，或者可简单地由远程系统管理。例如，车辆10可以与基于自主车辆的远程运输系统相关。在各种实施例中，操作环境还包括一个或多个用户装置(未示出)，其通过通信网络(未示出)与车辆10和/或远程运输系统(未示出)通信。远程运输系统的注册用户可以通过用户设备创建乘车请求。乘车请求通常将指示乘客期望的上车位置(或当前gps位置)、期望的目的地位置(其可以识别预定义的车辆停靠点和/或用户指定的乘客目的地)以及上车时间。远程运输系统接收搭车请求，处理该请求，并调度选定的自主车辆以在指定的上车地点和适当的时间搭载乘客。
48.现在参考图2，并继续参考图1，根据示例性自主驾驶应用，控制器34实施如图2所示的自主驾驶系统(ads)70。也就是说，控制器34的合适软件和/或硬件部件(例如处理器44和计算机可读存储装置46)被用来提供与车辆10结合使用的自主驾驶系统70。
49.在各种实施例中，自主驾驶系统70的指令可以通过功能、模块或系统来组织。例如，如图3所示，自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。如可以理解的，在各种实施例中，指令可被组织成任何数量的系统(例如组合、进一步划分等)，因为本公开不限于当前的示例。
50.在各种实施例中，计算机视觉系统74合成并处理传感器数据，并预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可以结合来自多个传感器的信息，包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。计算机视觉系统74提供感知数据，通信系统200可以使用该感知数据来导出环境
背景数据，其可用于生成向用户描述车辆10的环境的乘员消息。
51.定位系统76处理传感器数据以及其他数据以确定车辆相对于环境的位置(例如相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据，以确定车辆10要遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。车辆在环境中的位置也可用于导出环境背景数据，以生成向用户描述车辆10的环境的乘员消息。用于控制车辆10的控制信号向用户提供车辆背景数据，用于生成描述车辆10采取的动作的乘员消息。
52.使用来自传感器系统28的数据和adas车辆控制命令，也可以在装备有adas系统的车辆中产生环境背景数据和车辆背景数据。
53.在各种实施例中，控制器34实施机器学习技术来辅助控制器34的功能，比如特征检测/分类、障碍缓解、路线遍历、绘图、传感器集成、地面实况确定等。
54.如上面简要提到，图1的通信系统200与自主驾驶系统70相关，并且还可以与另外的计算机实现的设备和云处理系统相关。
55.现在将参考图3和图4更详细地描述通信系统200。通信系统200包括车辆和乘客背景数据源，包括驾驶控制源202、外部相机204、内部相机206、映射模块208、v2x模块210和其他环境数据源212。可以包括允许通信系统200输入关于车辆内部和外部环境以及车辆动作的信息的任何合适的信息源。驾驶控制源202可以是图2的车辆控制系统80、adas控制系统或其他车辆控制或状态源，其允许通信系统200确定车辆10已经或将要采取什么动作，并使用该信息来生成要传达给乘员的消息。外部相机204(可以作为传感器系统28的一部分)可以对车辆周围的外部场景进行成像，以允许通信系统200确定车辆10的环境。可以包括其他外部感知系统，例如激光雷达、雷达、超声波等。在一些实施例中，来自不同源的感知数据的融合可用于生成描述车辆环境的数据，这又允许通信系统200生成描述环境的相关消息。此外，外部相机204或其他感知传感器可以允许确定希望登上车辆10的乘员的位置。内部相机206允许拍摄车辆10的车厢内的乘员的图像，这在获取乘客信息时是有用的，特别是用于自动检测乘客是否听觉或视觉受损。映射模块208可以类似于上述定位系统76或更标准的导航工具。通常，映射模块将包括关于车辆10的环境的详细信息，包括地点的名称和类型，这提供了有用的环境背景数据，用于向车辆10的环境的用户生成描述性消息。v2x模块210允许从包括其他车辆、建筑设备、行人设备、广告设备、基础设施、咨询设备等的环境中获得信息。这种信息可以是丰富的环境信息源，用于向车辆10的乘员生成相关信息。许多其他环境数据源212可以在通信系统200中使用，以提供用于为乘员生成消息的背景数据。在图3的实施例中，各种类型的数据源已被分类为提供乘员背景数据214和车辆背景数据216。乘员背景数据214包括乘客识别信息或与识别乘客相关的信息，车辆背景数据包括描述车辆10采取的动作的信息和外部环境信息。
56.在图3的示例性实施例中，通信系统200包括乘员消息生成模块217和乘员输出系统224。乘员消息生成模块217接收车辆背景数据216和乘员背景数据214。乘员消息生成模块217包括用于生成描述车辆10的动作和环境背景的消息的车辆背景解释子模块218。乘员消息生成模块217包括乘员定位子模块222和乘员引导子模块220，用于定位车辆10内部或外部的乘员(潜在乘员),并用于向乘员提供移动方向以安全就座、上车、下车等。
57.车辆背景解释子模块218接收车辆背景数据216，该数据提供关于外部环境的信
息，并且还提供关于车辆10采取的动作的信息。关于外部环境的信息可以包括来自映射模块208的地图信息，比如位置名称、地标、商店、便利设施、场所、计划的行动、即将到来的站点、交通信息、剩余的旅行时间等，视觉受损人员可能对这些感兴趣，以提供他们旅程的背景。该信息可以包括关于任何值得注意的操纵的信息，比如突然停止、突然转弯或急转弯、变道、速度变化等。这种信息来源于驱动控制源202，并且当由例如惯性测量单元指示的车辆加速度超过特定阈值时，可以是控制命令的过滤版本。从驱动控制源202获得的其他信息可以是车辆状态信息，比如燃料/电池水平、喇叭的使用、信号等。车辆背景数据216可以包括感知信息，比如从外部相机204获得的信息。感知信息可以基于车辆10的传感器系统28在通过一个或多个机器学习识别算法处理后感知的外部环境的标记版本，该机器学习识别算法可以包括在计算机视觉系统74中。其他环境数据源212可以包括天气信息源，特别是当天气有变化时，这可以有助于向乘员解释。
58.车辆背景解释子模块218可将车辆背景数据216解析成消息。车辆背景数据216可仅提供有限的即将到来的时间或距离窗口的信息，以确保相关性。可替代地，车辆背景解释子模块218可以将接收的信息过滤到即将到来的时间或距离受限的窗口。例如，可以处理与即将到来的200英尺的窗口(这可能是基于当前速度的某个时间段)相关的信息。车辆背景解释子模块218可以通过算法将车辆背景数据216处理成体现在消息数据238中的离散消息，该消息数据238被发送给乘员输出系统224。示例性消息可以包括：“进入[城镇/城市名称]”、“右边的[银行名称]”、“突然转向以避开前面的车辆”、“冰雹风暴”、“由于交通原因，到达时间已经延迟[x]分钟”、“向左转”、“变道”、“在高速公路上”、“结冰条件下”、“在红绿灯处停车”、“右边的停车场”等。可以从各种数据源感知、知道或导出的关于外部环境和车辆采取的动作的任何信息可被压缩成相关消息，并在消息数据238中发送到乘员输出系统224。
[0059]
在示例性实施例中，乘员定位子模块222被提供来相对于车辆10定位视觉或听觉受损的乘客。乘客可以位于车辆10的外部或内部。乘员定位子模块可以接收乘客(或潜在乘客)听觉或视觉受损的指示。该指示可以来自乘员设备240上的应用程序的通知的形式来提供，或者可以如参考图4所描述的那样自动确定。该指示可以作为乘员背景数据214的一部分来提供。乘员背景数据214可以另外包括使得听觉或视觉受损人员的位置能够被确定的信息。该信息可以是来自乘员设备240的传输信号，该传输信号允许由包括在车辆10的连接系统36中的信号接收器(和相关的处理软件)进行三角测量(或其他处理算法以基于接收的信号定位设备)。传输信号可以是蓝牙、超宽带等。可替代地，一旦基于来自乘员设备240的信号识别出乘客，就可以执行图像处理，以使用真实世界空间到图像空间的投影处理在图像数据内大致定位乘客，这需要了解相机固有数据。图像数据可以由外部相机204或内部相机206提供，并作为乘员背景数据214的一部分。然后，可以使用图像处理来细化图像数据内的乘客的大致或粗略估计，以识别图像内的乘客。通过执行图像空间到真实世界空间投影的逆过程，可以获得乘客位置的细化坐标。坐标系可以在车辆10的参照系中。无论使用哪种特定算法来相对于车辆定位乘客，乘客的三维(3d)坐标都由乘员定位子模块222生成，并发送到乘员引导子模块220。可以包括其他数据模态来确定乘客的位置，例如处理激光雷达、雷达或其他成像模态来定位乘客相对于车辆的位置。
[0060]
乘员引导子模块220接收乘员位置相对于车辆的3d坐标，并访问车辆模型242，车
辆模型242包括关于车门位置和座椅位置的信息。乘员引导子模块220因此能够使用乘客相对于车辆的精确3d位置和详细的车辆模型242来生成详细的引导消息。引导消息可以描述上下车辆10要采取的动作。例如，所需的步数、步的方向、到达何处以找到任何车辆特征(例如门把手、安全带等)等。此外，乘员定位子模块222可以实时跟踪乘客的位置，使得乘客运动引导可以由乘员引导子模块220动态更新。引导消息可以体现在消息数据238中，并输出到乘员输出系统224。
[0061]
在示例性实施例中，乘员输出系统224包括各种输出设备，包括向乘员提供触觉反馈的触觉设备、用于向乘员提供音频信息的音频输出设备244(例如扬声器、头戴式耳机、耳机等)以及用于向乘员显示信息的视觉显示设备228。各种输出设备可被包括作为乘员设备240的一部分或者作为车辆的一部分(例如车辆扬声器或者车辆显示器)。乘员设备240可以是膝上型电脑、平板电脑、智能手机或任何其他便携式计算机设备。乘员输出系统224包括神经机器翻译模块230、输出模态决定模块236、辅助确定模块232和手语动画生成模块234。各种模块可以包括在乘员设备240上的应用程序中，或者作为车辆10的控制器34的一部分。
[0062]
辅助确定模块232配置成确定乘员是否需要针对视觉或听觉受损人员的特殊辅助以及需要哪种类型辅助。辅助确定模块232可基于参照图4描述的自动检测过程或基于乘员设备240中包括的信息或基于乘员简档数据库246中包括的信息做出这样的确定。例如，乘员设备240可以包括状态通知，当乘员输出系统224是乘员设备240的一部分时，该状态通知在内部传送到乘员输出系统224，或者当乘员输出系统224是车辆10的一部分时，该状态通知通过无线传输传送到乘员输出系统224。状态通知可以是乘客已经选择的乘员设备240的设定。在另一示例中，乘员设备240可以将乘员标识符248传送给包括在车辆中的乘员输出系统224。乘员输出系统224可以从乘员简档数据库246中检索对应于乘员标识符248的记录，以确定是否需要辅助以及需要什么类型帮助。在另一示例中，乘员简档数据库246可以包括在每个记录中识别乘员的生物统计数据。乘员输出系统224可以访问车辆10的内部相机206或乘员设备240的相机，以获得车辆中每个乘员的生物统计数据，从而查看记录是否包括在乘员简档数据库246中，该记录指示是否可以提供特殊辅助以及可以提供什么类型的特殊辅助。乘员简档数据库246可以存储在车辆10的数据存储装置(例如关于图1描述的数据存储装置32)上、乘员设备240的存储装置上或云存储中。
[0063]
辅助确定模块232向输出模态决定模块236提供关于所需辅助类型的信息，输出模态决定模块236设定要提供给每个乘客(如果有的话)的输出模态。可以不同的复杂程度提供输出模态。在一实施例中，输出模态被设定为视觉受损或听觉受损。在另一实施例中，输出模态可以包括更详细的乘客偏好(从乘员简档数据库246获得)。例如，听觉受损人员可能更喜欢文本消息而不是手语消息。如果视觉受损人员的视力没有完全丧失，他们可能更喜欢大的文本而不是声音。在另一示例中，听力或视觉受损人员偏好可以从消息中不同级别的细节中进行选择。例如，听觉受损人员可能不想要关于外部场景的详细信息，并且不同的视觉受损人员可能偏好不同级别的细节。
[0064]
神经机器翻译模块230可以将包括在消息数据238中的消息转换成乘员的偏好语言，该偏好语言可以在乘员简档数据库246中设定。乘员输出系统224可以根据车辆10销售的国家的语言来选择默认的优选语言。
[0065]
当为视觉受损人员设置输出模态时，来自神经机器翻译模块230的翻译的(如果必
要的话)消息可被转换成语音(使用文本到语音处理)并提供给音频输出设备244。当为听觉受损人员设定输出模态时，翻译的消息可被提供给手语动画生成模块234。如上详述，输出消息可能不是包括在消息数据238中的所有消息，因为用户偏好以及听力和视觉受损人员之间不同的辅助要求可能导致对所提供的消息进行过滤以确保相关性。在一些实施例中，除了手语动画之外，或者作为替代，翻译的消息以文本形式输出。
[0066]
手语动画生成模块234接收翻译的(如果必要的话)消息，并产生手语的动画形式来表示整个消息。使用的手语(如美国手语、英国手语、中国手语、德国手语等)可以取决于根据乘员简档数据库246优选的消息语言。所生成的手语动画在视觉显示设备228上输出给乘员。
[0067]
应当理解，车辆背景解释子模块218和乘员引导子模块220的功能不一定都需要提供。也就是说，两种功能都是独立有用的。因此，可以提供一种系统，该系统或提供对车辆动作和外部环境的解释，或向车辆10内和周围的乘员提供运动引导。然而，这些功能的组合为视力和听觉受损人员提供了增强的效用。
[0068]
另外参照图4，根据实施例，检测系统300用于自动检测车辆10的任何乘员是否是视觉或听觉受损。检测系统300包括乘员监测系统302，其包括相机304、声音发生器306、乘员识别模块308和图像分析模块。相机304可以是图3的内部相机206之一。相机304向图像分析模块310提供每个乘员的图像数据帧(即视频数据),用于分析以确定乘员是否有听觉或视觉受损。
[0069]
乘员识别模块308确定通信系统200是否已经知道车辆10的乘员。具体地，乘员识别模块308可以从乘员设备240接收乘员标识符248，其可以用于查找乘员简档数据库246，以查看记录是否已经存在。可替代地，乘员识别模块308可以接收由乘员的相机304拍摄的图像数据，并在其上执行面部或其他生物特征识别处理。然后，可以将生物统计数据与包括在乘员简档数据库中的生物统计数据进行比较，以查看通信系统200是否已经知道该乘员。如果记录已经存在，则可以在没有自动检测的情况下确定乘员的输出模态，并且该过程进行到根据存储的输出模态输出消息，如参考图3所述。如果记录不存在，则该过程转到分析来自相机304的图像数据，以自动检测视觉或听觉受损。
[0070]
图像分析模块从相机304接收图像数据帧，并且可以执行各种算法过程来确定乘员是否是视觉或听觉受损。在一过程中，从图像数据中提取眼睛运动，这可以指示视觉受损人员。在另一过程中，声音发生器306提供声音，并且分析图像数据以测量对声音的任何反应。在一示例中，声音是定向的(例如来自车辆10的立体声扬声器系统的一侧)，并且分析检测朝向声音的头部运动。基于声音的检测可以指示听觉受损人员。在另一示例中，可以在车辆10中激活车灯。例如，可以使用闪光灯。可以分析图像数据以测量对光的任何反应，这可以指示人员是否是视觉受损。在另一示例中，图像分析模块310可以通过分析乘员如何在车厢周围移动来检测视觉受损人员，这可能不同于非视觉受损人员。也可以使用这些技术的组合。在一实施例中，诸如神经网络或支持向量机之类的机器学习算法被包括在图像分析模块310中，该模块基于大量标记的(例如听觉受损、视觉受损、非听觉受损、非视觉受损)输入图像数据来训练。尽管已经在图像分析的背景下描述了本实施例，但其他感知模态也是适用的。例如，激光雷达数据可以另外或可替代地提供给图像数据，其可以针对视觉受损人员的特征运动或响应于听觉受损人员的生成声音的运动而被监测(处理)。
[0071]
图像分析模块310对视觉或听觉受损人员的检测可被发送到乘员输出系统224，从而根据适当的输出模态向乘员提供消息。此外，检测结果可以与乘员标识符248或从相机304拍摄的图像数据中提取的生物统计数据一起保存在乘员简档数据库中。
[0072]
可以理解，图4的检测系统300比图3的通信系统200更适用。也就是说，图4的自动检测系统300在需要自动检测听力或视觉受损人员的各种应用中具有实用性。可以基于自动检测来设定输出模态，尽管输出的内容可以是各种类型，不必限于由图3的通信系统200生成的消息。
[0073]
在本公开的实施例中，通信系统200将用户的优选通信模态(包括音频/文本/手语动画和语言偏好)存储在乘员简档数据库246中。通信系统200将来自车辆10的任何通知翻译和转换成用户优选的通信模式。通信系统200使用无线通信来精确地确定用户相对于车辆10的位置。通信系统200基于无线通信和/或感知信息为接近、进入、离开和离开车辆10提供用户指导。因此，通信系统200能够利用用户保存的通信模式，以个性化的方式向用户提供来自车辆10的信息。通信系统200还能够利用连接和感知技术来提供精确的定位信息。
[0074]
在本公开的附加或替代实施例中，通信系统200组合环境信息和车辆动作信息来创建动作的背景解释以供输出。通信系统200使用神经机器翻译来生成所选听觉语言的音频，使用神经机器翻译来生成所选文本语言的文本，使用神经机器翻译来生成所选手语的手语，然后生成手语动画(和/或文本输出)，并最终输出所生成的音频、文本和手语动画。因此，本公开通过将相关环境细节与车辆10的动作解释相结合，使得听觉和视觉受损乘员能够理解自动驾驶辅助系统(adas)或更完全自主车辆所采取的动作，并且以针对听觉和视觉受损个人的模态提供该信息。
[0075]
在本公开的附加或替代实施例中，通信系统200通过识别不规则的眼睛运动和监测对所生成的音调的反应来识别与个人的适当通信模态，并存储该模态以供以后检索。因此，可以识别听觉或视觉受损人员，而无需预先与个人交互来通过适合于该人的替代模态发起通信。
[0076]
现在参考图5和6，并继续参考图1-4，流程图示出了根据本公开的可以由参考图1-4描述的通信系统200执行的方法500、600。根据本公开可以理解，该方法中的操作顺序不限于如图5和图6所示的顺序执行，而是可以按照适用的和根据本公开的一个或多个不同顺序来执行。在各种实施例中，方法500、600可以基于一个或多个预定事件被安排运行，和/或可以在车辆10运行期间连续运行。示例性预定事件可以是在每次停车搭载乘客时、在车辆10的每次启动时、在新乘员(潜在乘员)每次接近车辆时或者在车辆10的每次开门时。
[0077]
图5示出了根据优选输出模态与视觉或听觉受损人员进行通信的方法。在步骤502，从通信系统200的各种数据源接收车辆和/或乘员背景数据214、216。车辆背景数据216可以包括关于车辆10外部场景的环境信息和关于车辆10采取的动作的信息(例如从自动驾驶命令中导出的)。乘员背景数据214可以特别涉及能够确定潜在乘员的精确3d位置的信息。
[0078]
在步骤504，生成消息数据238。消息数据238可包括基于车辆背景数据216的车辆动作和/或外部环境的解释。消息数据238还可以或替代地包括基于乘员背景数据214的运动引导，以辅助听觉或视觉受损人员上车、找到座位、系好安全带和/或离开车辆10。
[0079]
在步骤506，确定乘员是否是听觉或视觉受损。这可以通过查找乘员简档数据库
246或者通过自动检测来执行，如将参考图6描述。根据乘员是否是听觉或视觉受损，设定适当的输出模态。在一些实施例中，乘员还可以在存储在乘员简档数据库中的偏好中保存消息的语言和手语的优选标准。
[0080]
在步骤508，根据设定的输出模态和消息的优选语言以及手语标准(例如美国手语)为乘员生成输出。神经机器翻译模块230可以将消息翻译成优选语言。在听觉受损人员的情况下，手语动画生成模块234可以将消息转换成期望类型的文本或动画手语，并通过视觉显示设备228输出。在视觉受损人员的情况下，翻译的消息可被转换成语音并通过音频输出设备244输出。
[0081]
参考图6，自动检测车辆10中视觉和听觉受损乘员的示例性方法600。在步骤602，从相机304接收图像数据(例如视频数据)帧。在步骤604，分析图像数据以确定车辆10的乘员是否是听力或视觉受损。在一实施例中，该分析包括由机器学习算法进行的处理，该算法已被训练来检测视觉受损和听觉受损乘员。分析可以包括检测不规则的眼睛运动，这可以指示视觉受损人员。分析可以包括车辆车厢内部的不规则运动，这可以指示视觉受损人员。分析可以包括检测对由音频输出设备244产生的声音的不规则或不存在的响应，这可以指示听觉受损人员。乘员是否是听觉或视觉受损将指示适当的输出模态。在步骤606，消息、通知、咨询等根据设定的输出模态输出。当乘员视觉受损时，步骤606的输出可以经由文本到语音处理，并且通过音频输出设备244输出音频。当乘员听觉受损时，步骤606的输出可以通过在视觉显示设备228上显示文本或手语动画(和/或文本输出)来实现。
[0082]
虽然在前面的详细描述中已经介绍了至少一个示例性实施例，但应该理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其法律等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。