用于在车辆中显示信息的系统和方法与流程

本公开涉及具有配置为感测车辆外部和附近区域的传感器的车辆，尤其涉及具有增强现实相机系统的车辆。

引言

机动车辆通常在设有各种道路设施的道路上操作。道路设施是指用于交通控制和驾驶员辅助的路边对象。道路设施包括但不限于停车标志、停车灯、让行标志、方向标志、管理标志和路面标线。因此，非常期望确保机动车辆的操作者随时知道靠近他们的车辆的道路设施。

技术实现要素：

根据本公开的机动车辆包括：传感器，其配置为检测车辆外部的特征；hmi，其配置为向车辆的操作者发出警报信号；以及控制器。控制器与传感器和hmi通信，并且与具有道路设施数据库的非瞬态计算机可读存储介质通信。道路设施数据库包括具有相关联的道路设施地理位置和道路设施分类的多个道路设施项目。控制器配置为响应于车辆接近相应道路设施项目的相应道路设施地理位置以及传感器未检测到相应道路设施项目，而控制hmi以发出警报信号。

在示例性实施例中，hmi包括增强现实界面，并且控制器配置为控制增强现实界面以通过显示包括与相应道路设施项目相关联的标记的增强现实叠加来发出警报信号。标记可以包括与相应道路设施项目的相应道路设施分类相关联的图像。可以基于当前车辆位置和相应道路设施项目的相应地理位置之间的距离来缩放图像。道路设施数据库可进一步包括与多个道路设施项目相关联的道路设施定向，且图像可基于相应道路设施项目的相应道路设施定向相对于车辆的当前方向偏斜。

在示例性实施例中，在高清晰度地图数据库中提供道路设施数据库。

在示例性实施例中，传感器包括光学相机。

根据本公开的控制车辆的方法包括：向主车辆提供配置为检测车辆外部的特征的传感器，配置为向车辆的操作者发出警报信号的hmi，以及与传感器和hmi通信的控制器。方法还包括经由控制器检测主车辆的当前地理位置。方法还包括经由控制器访问道路设施数据库，道路设施数据库包括具有相关联的道路设施地理位置和道路设施分类的多个道路设施项目。方法还包括经由控制器识别具有接近主车辆的当前地理位置的相应道路设施地理位置的相应道路设施项目。方法还包括经由控制器确定传感器是否在相应道路设施地理位置处指示相应道路设施项目的存在。方法还包括，响应于传感器没有指示相应道路设施项目的存在，经由控制器自动控制hmi以发出警报信号。

在示例性实施例中，hmi包括增强现实界面。在这样的实施例中，控制hmi以发出警报信号包括控制增强现实界面以显示包括与相应道路设施项目相关联的标记的增强现实叠加。这样的实施例可以包括经由控制器识别与相应道路设施项目相关联的相应道路设施分类，其中标记包括与相应道路设施分类相关联的图像。可以基于当前车辆位置和相应道路设施项目的相应地理位置之间的距离来缩放这些图像。和/或基于相应道路设施项目的相应道路设施定向相对于车辆的当前方向偏斜。

在示例性实施例中，传感器包括光学相机。

根据本公开的用于显示图像的系统包括光学相机、增强现实显示器、以及与光学相机和增强现实显示器通信的控制器。控制器配置为与具有物理对象数据库的非瞬态计算机可读存储介质通信。物理对象数据库包括具有相关联的对象地理位置和对象分类的多个物理对象。控制器配置为响应于光学相机处于相应物理对象的相应对象地理位置的视线中且光学相机未检测到相应物理对象，控制增强现实显示器显示合成图像，合成图像包括由光学相机捕获的图像和与相应物理对象的相应对象分类相关联的标记。

在示例性实施例中，系统还包括具有乘员舱的机动车辆，增强现实显示器限定布置在乘员舱中的hmi。

在示例性实施例中，标记包括与相应对象分类相关联的图像。可以基于增强现实显示器的当前位置与相应对象地理位置之间的距离来缩放图像，和/或基于相应物理对象的相应对象定向来偏斜图像。

根据本公开的实施例提供了多个优点。例如，本公开提供了一种系统和方法，用于当道路设施项目可能被阻碍或以其他方式不清楚可见时通知车辆的操作者，并且此外以直观的方式这样做。

通过以下结合附图对优选实施例的详细描述，本公开的上述和其它优点和特征将变得清楚明白。

附图说明

图1是根据本公开的实施例的车辆的示意图；

图2是表示根据本公开的实施例的用于车辆的控制系统的框图；

图3是根据本公开的实施例的用于控制车辆的方法的流程图表示；以及

图4是根据本公开的实施例的提供通知的方法的图示。

具体实施方式

本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，且其它实施例可以采用各种以及可选的形式。附图无需按比例绘制；可以放大或最小化一些特征以显示特定部件的细节。因此，本文所公开的具体结构和功能细节不应被解释为限制性的，而仅仅是代表性的。参考任一附图示出和描述的各种特征可以与在一个或更多个其它附图中示出的特征组合以产生未明确示出或描述的实施例。所示特征的组合为典型应用提供了代表性的实施例。然而，对于特定应用或实施方式，可能需要对与本公开教导一致的特征进行各种组合和修改。

现在参见图1，以示意性形式示出了根据本公开的用于控制车辆的系统10。系统10包括机动车辆12。机动车辆12包括推进系统14，在各种实施例中，推进系统14可以包括内燃发动机、诸如牵引马达的电机和/或燃料电池推进系统。机动车辆12还包括转向系统16。虽然为了说明的目的描述为包括方向盘，但是在本公开范围内的一些实施例中，转向系统16可以省略方向盘。机动车辆12另外包括多个车轮18和配置为向车轮18提供制动扭矩的相关联的车轮制动器20。在各种实施例中，车轮制动件20可以包括摩擦制动器、诸如电机的再生制动系统和/或其他适当的制动系统。

推进系统14、转向系统16和车轮制动器20与至少一个控制器22通信或在至少一个控制器22的控制下。虽然为了说明的目的描述为单个单元，但是控制器22还可以包括一个或多个其它控制器，统称为“控制器”。控制器22可以包括与各种类型的计算机可读存储设备或介质通信的微处理器或中央处理单元(cpu)。计算机可读存储装置或介质可以包括例如只读存储器(rom)、随机存取存储器(ram)和不失效存储器(kam)中的易失性和非易失性存储器。kam是永久或非易失性存储器，其可用于在cpu断电时存储各种操作变量。计算机可读存储装置或介质可以使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存之类的多种已知存储装置中的任何一种来实现，或者使用能够存储数据的任何其他电、磁、光或组合存储装置来实现，其中一些表示可执行指令，由控制器22用于控制车辆。

控制器22与多个传感器24通信。在示例性实施例中，传感器24包括配置为捕获关于车辆12附近的车道信息的一个或多个传感器，例如雷达(radar)、激光雷达(lidar)、光学相机、热感相机和超声传感器。此外，传感器24包括配置为检测车辆12的速度、加速度和横摆率的一个或多个传感器。这种传感器可以包括一个或多个惯性测量单元。此外，传感器24包括配置为检测车辆的当前地理位置的一个或多个传感器，例如gps系统。传感器24还可以适当地包括附加传感器或上述的任意组合。

控制器22与非瞬态数据存储器26通信。非瞬态数据存储器26具有数据，例如以一个或多个数据库的形式，包括具有已知道路设施和相关交叉点位置的列表的道路设施数据库。道路设施是指用于交通控制和驾驶员辅助的路边对象。道路设施包括但不限于停车标志、停车灯、让行标志、方向标志、管理标志和路面标线。道路设施数据库可以使用任何已知的方法生成，该方法用于生成道路的高清晰度地图及其附属物。数据存储器26可以是物理上位于车辆中的本地存储器，物理上位于车辆外部的远程存储器，并且经由诸如蜂窝通信或其他无线接口或其组合的无线通信系统来访问。

控制器22另外与人机界面(hmi)28通信。根据各种实施例，hmi28可以包括平视显示器(hud)、多功能视频显示器(mfd)、音频通知系统、触觉通知系统、或向车辆12的乘员传达信息的任何其他合适的装置。

现参见图2，示出了用于向车辆12的乘员呈现信息的系统30。系统30可以在车辆12的一个或多个部件中实现，这将在下面进一步详细讨论。

系统30包括中央处理模块32。中央处理模块32可以例如经由控制器22来实现。中央处理模块32也可以称为中央堆叠模块。

中央处理模块32与远程信息处理模块34通信。远程信息处理模块34配置为监测车辆12的操作参数并且与车辆12外部的系统通信，例如，经由车辆到车辆(v2v)或车辆到基础设施(v2i)通信，诸如蜂窝通信系统、802.11(“wifi^tm”)通信系统、dsrc通信系统或其它系统。远程信息处理模块34可以经由控制器22结合一个或多个无线通信系统来实现。

此外，中央处理模块32与定位模块36通信。定位模块36配置为估计车辆12相对于车辆周围环境的位置和定向。定位模块36具有高清晰度(hd)地图数据库38。hd地图数据库38包括关于多个地理位置处的道路和交通控制特征的信息。hd地图数据库38包括道路设施数据库。hd地图数据库38可以本地存储，例如，在数据存储器26中，远程存储并经由诸如远程信息处理模块34或其组合的无线通信系统访问。

此外，中央处理模块32与传感器模块40通信。传感器模块40可以经由控制器22实现以控制传感器24中的一个，例如，前置摄像头。传感器模块40包括传感器定位算法42。传感器定位算法42配置为将传感器检测到的特征映射到hd地图数据库38中的特征。传感器模块40还包括道路设施识别算法44。道路设施识别算法44配置为处理由传感器接收的信号，例如，由相机拍摄的图像，用于识别存在于车辆12附近的一个或多个道路设施项目。

中央处理模块32另外与增强现实(ar)相机模块46通信。ar相机模块46可以经由控制器22实现以控制传感器24中的一个，例如，专用ar相机。ar相机模块46配置为提供用于在舱内ar系统中处理和显示的实时视频馈送。尽管描绘为与传感器模块40分离的模块，但在替代实施例中，传感器模块40和ar相机模块46可集成到单个模块中。

中央处理模块32另外与外部对象计算模块48通信。外部对象计算模块48可以经由控制器22来实现。外部对象计算模块48配置为计算车辆12外部的对象相对于车辆12的位置和速度。外部对象计算模块48包括地图融合算法50。地图融合算法50配置为接收由传感器定位算法42映射的特征、由道路设施识别算法44识别的道路设施项目、以及与中央处理模块32相关联的道路设施存储器数据库52。虽然描绘为与hd地图数据库38分离的数据库，但在替代实施例中，道路设施存储器数据库52可作为hd地图数据库38的部件提供。道路设施存储器数据库52包括多个已知的道路设施数据，包括已知的道路设施的地理位置、已知的道路设施的分类，例如，路标类型和道路设施相对于车道的定向。地图融合算法50配置为输出在主车辆的当前地理位置和定向处检测和识别的道路设施项目与期望的道路设施项目的比较。

中央处理模块32具有缺失/阻碍道路设施检测算法54。缺失/阻碍道路设施检测算法54配置为响应于在当前位置和定向期望道路设施项目时，地图融合算法50指示当没有检测到这样的道路设施，发出缺失/阻碍道路设施标志的信号。缺失/阻碍道路设施标志指示没有检测到预期的道路设施项目。缺失/阻碍道路设施检测算法54还可以包括预期的道路设施项目的分类、地理位置和定向。

中央处理模块32另外包括ar显示算法56。ar显示算法56与缺失/阻碍道路设施检测算法54、道路设施图像数据库58以及一个或多个增强现实显示器60通信。响应于缺失/阻碍道路设施检测算法54发出缺失/阻碍道路设施标志信号，ar显示算法56产生适当的图像叠加以显示在增强现实显示器60上。ar显示算法可以例如基于缺失/阻碍道路设施的分类从道路设施图像数据库58中选择图像，基于主车辆和缺失/阻碍道路设施的地理位置之间的相对位置缩放图像，基于预期道路设施项目相对于主车辆的定向偏斜图像，以及将所得到的图像叠加在由ar相机46捕获的图像上，以显示在增强现实显示器60上。

当然，上述的变化是可能的。作为示例，其他实施例可以利用其他hmi，诸如音频提示、触觉提示、或者通过hud投影ar图像。作为附加示例，其他实施例可以省略图2所示的一个或多个模块，诸如外部对象分类模块和/或定位模块。

现参见图3，以流程图的形式示出了根据本公开的控制车辆的方法。方法开始于框100。

主车辆具有至少一个传感器、hmi和至少一个控制器，如框102所示。在示例性实施例中，主车辆配置为大致如图1所示。

对于接近主车辆的区域，通过传感器获得传感器读数，如框104所示。在示例性实施例中，感测包括经由光学相机捕获一个或多个图像。然而，在其他实施例中，可以使用其他传感器类型。

识别传感器数据中的特征，如框106所示。这可以通过用于基于传感器数据识别和分类物理特征的任何已知图像处理装置来执行。

访问道路设施数据库，如框108所示。如上所述，道路设施数据库包括道路设施地理位置和分类。在示例性实施例中，道路设施数据库是地理区域的hd地图的一部分。

如操作110所示，确定在主车辆附近预期是否有一项或多项道路设施。在示例性实施例中，这包括对主车辆的当前地理位置与道路设施数据库中的数据进行比较。主车辆的当前地理位置可以由与传感器通信的控制器自动确定，传感器配置为检测车辆的地理位置，例如，gps系统。如果在主车辆的传感器范围之内，道路设施项目可以被认为是最近的，例如，在视线内。

如果操作110的确定是否定的，例如，预期没有道路设施接近主车辆，然后控制返回到框104。算法由此不继续进行，除非并且直到道路设施预期接近主车辆。

如果操作110的确定是肯定的，则确定是否检测到与预期的道路设施相对应的道路设施项目，如操作112所示。在示例性实施例中，这包括基于道路设施数据库，确定在框106中识别的特征是否指示该类型和预期位置的道路设施项目。

如果操作112的确定是肯定的，例如，检测相应的道路设施，然后控制返回到框104。算法由此不继续进行，除非并且直到道路设施预期接近主车辆。

如果操作112的确定是否定的，则经由hmi向车辆操作者发出信号，如框114所示。在示例性实施例中，这包括经由ar显示器将预期道路设施的图像叠加在当前环境上，例如，如上关于图2和如下关于图4所讨论的那样。然而，在其他实施例中，可以提供其他通知。作为非限制性示例，通知可以包括听觉通知，诸如口头通知、触觉通知、经由hud的通知、其他合适的通知、或其任意组合。

现参见图4，示出了根据本公开的系统的操作。访问hd图120以确定接近当前主车辆地理位置122的特征。在所示配置中，hd地图120指示存在接近当前车辆位置122的道路设施124的项目。为了说明的目的，道路设施124的项目显示为停止标志；然而，道路设施的项目可以是如上所述的其它项目。

捕获接近主车辆区域的传感器数据126。出于说明性目的，传感器数据126描绘为由光学相机捕获的图像；然而，可以使用如上所述的其它传感器类型。在所示的构造中，道路设施124的项目(以虚线示出)是不可见的。这里描述为已经被叶子阻挡；然而，当道路设施项目在其它方面不可见时，例如由于天气情况、照明情况或道路设施的损坏，系统可类似地起作用。

响应于未检测到预期的道路设施，例如，如以上参见图3所讨论的，系统经由hmi生成通知128。在所示实施例中，hmi包括一件道路设施124'的ar叠加。在这样的实施例中，选择道路设施124的适当图像，例如，根据如上参见图2讨论的道路设施图像数据库，基于主车辆相对于道路设施124的项目的预期位置的距离和定向来缩放和偏斜图像。然后将经缩放和偏斜的图像插入到传感器数据126中的适当位置作为一件道路设施124'的ar叠加。在利用其他类型的hmi的其他实施例中，通知128可以采取如上讨论的其他形式。

尽管已经结合机动车辆描述了上述内容，但是应当理解，本发明的各方面也可以在非汽车情况下实施。在这样的非汽车实施例中，可以提供包括多个物理对象、物理对象的地理位置和物理对象的分类的数据库。控制器和hmi可以以与上述通常类似的方式访问数据库并响应于预期但未检测到的用户附近的物理对象而呈现通知。

如可以看到的，本公开提供了一种系统和方法，用于当道路设施项目可能被阻碍或以其他方式不清楚可见时通知车辆的操作者，并且此外以直观的方式这样做。

尽管上面描述了示例性实施例，但并不意味着这些实施例描述了权利要求所包含的所有可能的形式。说明书中使用的词语为描述性词语而非限制性词语，并且应理解的是，在不脱离本公开的精神和范围的情况下可做出各种改变。如前所述，可将各种实施例的特征组合以形成本公开可能没有明确描述或示出的进一步的示例方面。尽管各种实施例可能被描述为在一个或多个期望特性方面具有优点或者优于其它实施例或现有技术实施方式，但是本领域的普通技术人员应认识到，可根据特定应用和实施方式对一个或多个特征或特性进行折中，以实现期望的整体系统属性。这些属性可包括但不限于成本、强度、耐用性、生命周期成本、可销售性、外观、封装、尺寸、可维护性、重量、可制造性、易组装性等。因此，被描述为在一个或更多个特性方面不如其它实施例或现有技术实施方式令人满意的实施例并不在本公开的范围之外，并可被期望用于特定应用。