辅助装置及相应的车辆、方法、计算机设备和介质与流程

本发明涉及车辆技术领域，更具体而言，涉及一种用于车辆的辅助装置、包括其的车辆及相应的方法、计算机设备和计算机可读存储介质。

背景技术：

车辆中的操作件如按钮有时会被误使用。例如，车辆用户的非手身体部位(如腿、胳膊肘等)或随身物品(如，手提包、移动电话等)可能会无意中触碰到车辆中的某个按钮而导致该按钮被按压。对操作件的误使用可能被车辆用户察觉，或者可能不被车辆用户察觉或不能被车辆用户及时察觉。根据情况，对操作件的误使用可能导致对车辆用户的负担、对车辆用户的干扰(如使车辆用户分心)和/或更严重的后果如安全事故等。例如，在某个按钮被误使用而导致某项车辆功能(如音乐播放功能)被不期望地启用或停用的情况下，车辆用户须进行必要的操作(例如，按压按钮)以使所述车辆功能被停用或启用。再如，若与车辆的行驶相关联的某个按钮被误使用，可能导致安全事故。

技术实现要素：

本发明的目的在于提出一种方案，其能够解决或缓解上文提到的问题，有助于改进车辆乘员的体验和提高安全性。

根据本发明的一个方面，提供一种用于车辆的辅助装置，其包括：

图像捕获单元，被配置用于捕获所述车辆内部的至少部分区域的多个图像；

确定单元，被配置用于确定所述车辆内的一操作件被操作以及所述操作件被操作的操作时间；

处理单元，被配置用于：确定所述多个图像中其捕获时间最接近所述操作时间的图像帧，并识别被包括在所述图像帧中的、物理上在所述操作件附近的一个或多个对象是否包括预定对象；

输出单元，被配置用于：响应于所述一个或多个对象不包括所述预定对象，提供用于所述车辆的输出。

根据本发明的另一方面，提供一种车辆，所述车辆包括上述的辅助装置。

根据本发明的又一方面，提供一种用于车辆的辅助方法，其包括：

捕获所述车辆内部的至少部分区域的多个图像；

确定所述车辆内的一操作件被操作以及所述操作件被操作的操作时间；

确定所述多个图像中其捕获时间最接近所述操作时间的图像帧，并识别被包括在所述图像帧中的、物理上在所述操作件附近的一个或多个对象是否包括预定对象；

响应于所述一个或多个对象不包括所述预定对象，提供用于所述车辆的输出。

根据本发明的再一方面，提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在由所述处理器执行时导致上述的辅助方法被执行。

根据本发明的又一方面，提供一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致上述的辅助方法被执行。

利用本发明的方案，能检测对车辆内的操作件的误使用，并响应于此，提供用于车辆的输出。由此，能防止或减轻对操作件的误使用原本会导致的后果(如，对车辆乘员的负担或干扰、安全事故等)，从而改进车辆乘员的体验、提高安全性。

附图说明

以示例的方式参考以下附图描述本发明的非限制性且非穷举性实施例，其中：

图1是示出根据本发明一个实施例的用于车辆的辅助装置的示意图；

图2是示意性示出根据本发明一个实施例的用于车辆的辅助方法的流程图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

图1示意性示出根据本发明一个实施例的用于车辆的辅助装置100。

辅助装置100包括图像捕获单元110、确定单元120、处理单元130和输出单元140。图像捕获单元110、确定单元120和输出单元140中的每个与处理单元130通信地耦合。

图像捕获单元110可以被配置用于捕获所述车辆内部的至少部分区域的多个图像。确定单元120可以被配置用于确定所述车辆内的一操作件被操作以及所述操作件被操作的操作时间。处理单元130可以被配置用于：确定图像捕获单元110捕获的多个图像中其捕获时间最接近所述操作时间的图像帧，并识别被包括在所述图像帧中的、物理上在所述操作件附近的一个或多个对象是否包括预定对象。输出单元140可以被配置用于：响应于所述一个或多个对象不包括所述预定对象，提供用于所述车辆的输出。

图像捕获单元110可以是设置于车辆内部合适位置处的摄像头或任何其他合适的传感器，或其任何合适组合。图像捕获单元110适于捕获其图像的所述车辆内部的至少部分区域可以是所述车辆内部区域的一部分或全部。特别地，所述至少部分区域可以包括所述车辆内部的一个或多个其中存在操作件的区域，如车辆内的仪器板所在的区域、车门关闭时车门内侧的车门/车窗操作件所在的区域、车辆油门踏板所在的区域，以及车辆内其他存在操作件的区域。操作件可以是任何适于由车辆乘员操作的操作件，包括：物理上存在的各种可能形式的操作件，如适于被按压的按钮、适于被转动的旋钮、适于被拨动的开关、适于被滑动的滑动件、适于被踩踏的操作件等；非物理上存在的各种可能形式的操作件，如触摸屏上的适用接收触摸输入的按钮形式的或任何其他形式的区域等。

本文中，摄像头或任何其他适于进行图像捕获的部件可以统称为图像捕获部件。图像捕获单元110可以包括一个或多个图像捕获部件。图像捕获单元110的单个或每个图像捕获部件可以布置在车辆内部的合适位置处，使得所述图像捕获部件的视场覆盖所述车辆内部的至少部分区域。例如，在图像捕获单元包括多个图像捕获部件的情况下，每个图像捕获部件可以被布置在所述车辆内部的不同位置，使得每个图像捕获部件适于捕获所述车辆内部的一个不同区域部分，即每个图像捕获部件的视场覆盖所述车辆内部的一个不同区域部分。所述车辆内部适于布置图像捕获部件的位置可以包括例如车顶、车辆左侧部、车辆右侧部和/或其他可能位置。在一个实施例中，图像捕获单元110包括设置于所述车辆的车顶的一个摄像头或设置于所述车辆的车顶的多个不同位置的多个摄像头。

图像捕获单元110捕获的多个图像可以是多个连续的图像帧或多个不连续的图像帧；在前者的情况下，这多个图像即为多个连续的图像帧组成的视频。

确定单元120可以各种可能的方式或其任意合适组合直接和/或间接地确定所述车辆内的一操作件被操作以及所述操作件被操作的操作时间。例如，确定单元120可以包括和/或适于通信地耦合至能够检测与所述操作件的操作有关的信息的感测装置，和/或适于通信地耦合至所述车辆的与所述操作件相关联的控制单元。这样的感测装置可以是安装在车辆内部合适位置(例如，车辆顶部、侧部等)适于捕获所述操作件所在区域的图像或视频的摄像头或其他图像捕获部件。基于这样的感测装置捕获的图像或视频，确定单元120可以利用已有的图像分析和处理技术直接检测和确定对所述操作件的操作以及所述操作件被操作的操作时间。确定单元120通信地耦合至所述车辆的与所述车辆内的操作件相关联的控制单元是有利的；在此情况下，确定单元120可以从与操作件相关联的控制单元实时接收与所述操作件的操作相关联的操作信息，并根据接收的操作信息确定所述操作件被操作以及所述操作件被操作的操作时间。例如，确定单元120可以从与操作件相关联的控制单元实时接收所述操作件被操作的信息以及所述操作件被操作的操作时间，由此实时确定所述操作件被操作以及所述操作件被操作的操作时间。例如，这样的控制单元可以是车辆的音响系统的控制单元，相关联的操作件可以是用于音响系统的操作件，如用于启用/停用音乐播放功能的按钮、用于调节音量的按钮或旋钮等。再如，这样的控制单元可以是车辆的车门系统的控制单元，相关联的操作件可以是用于车门系统的操作件，如用于开启/关闭行李箱或车门的按钮等。又如，这样的控制单元可以是车辆的导航系统的控制单元，相关联的操作件可以是用于导航系统的操作件，如用于启用/停用导航功能的按钮、显示屏上可被触摸以放大/缩小导航地图的区域等。

为方便描述，下文中，由确定单元120确定为被操作的操作件亦可称为“感兴趣操作件”。感兴趣操作件在车辆内的位置是已知的。处理单元130可以获取感兴趣操作件在车辆内的位置信息，如该感兴趣操作件在基于车辆本身建立的3d坐标系中的位置。该3d坐标系的x轴、y轴和z轴可分别沿着所述车辆的前后方向(纵向)、左右方向(横向)和上下方向(高度方向)。

图像捕获单元110捕获的所述车辆内部的至少部分区域的各个图像帧的捕获时间可基于该图像帧获得。所述各个图像帧的捕获时间可由图像捕获单元110本身从其捕获的图像获取、然后提供给处理单元130，也可以由处理单元130基于图像捕获单元110捕获的图像获取。如此，处理单元130可以确定图像捕获单元110捕获的多个图像中其捕获时间最接近确定单元120所确定的操作时间的图像帧；为方便描述，下文中，处理单元130所确定的该图像帧亦称为“操作相关帧”。该操作相关帧一旦被确定，处理单元130可以利用合适的图像识别和分析技术识别被包括在该操作相关帧中的各对象、所述各对象在该操作相关帧中的位置信息、所述各对象的类别(如手、腿、移动电话等)。基于捕获该操作相关帧的图像捕获部件如摄像头本身的坐标系与上述3d坐标系之间的关系，处理单元130可以识别被包括在该操作相关帧中的、物理上在感兴趣操作件附近的一个或多个对象，并基于这一个或多个对象的类别识别这一个或多个对象是否包括预定对象。物理上在感兴趣操作件附近的一个或多个对象可以是物理上在感兴趣操作件周围的紧邻感兴趣操作件的一个或多个对象。在一个实施例中，处理单元130识别被包括在操作相关帧中的、物理上最接近感兴趣操作件的一个或多个对象，并识别这一个或多个对象是否包括预定对象。这里，“预定对象”应被广义地理解为任何被预期或被设定操作所述感兴趣操作件的对象，例如被预期或被设定操作所述感兴趣操作件的人体部位。预定对象通常可以是人手，但也可能是其他人体部位，如脚(例如，在操作件是油门踏板的情况下)。感兴趣操作件在图像捕获单元110的视野内是有利的；例如，处理单元130识别被包括在操作相关帧中的、物理上在所述感兴趣操作件附近或最接近所述感兴趣操作件的一个或多个对象时，可以相对简单，例如可省略对上文提到的两个坐标系之间的关系的使用。

输出单元140提供的用于车辆的输出应被广义地理解为囊括各种可能的输出，例如与对车辆的控制有关的输出、与对驾驶员的信息呈现/警示有关的输出、与车辆的信息发送有关的输出等。在一个实施例中，输出单元140提供的用于车辆的输出包括以下至少之一：i.指示感兴趣操作件被误用的警示；ii.用于使对感兴趣操作件的操作无效的输出。对于输出i，警示可以是例如视觉警示和/或声音警示。视觉警示可以被显示在车载显示屏上，由此被呈现给车辆乘员。声音警示可以通过车辆的扬声器被呈现给车辆乘员。对于输出ii，例如，输出单元140可以将用于使对感兴趣操作件的操作无效的输出提供给与感兴趣操作件相关联的控制单元，由此通过该控制单元使对感兴趣操作件的操作无效。可选地，输出ii可以仅在对同一感兴趣操作件的误使用被检测到不止一次(例如，两次)时被提供。

图2示意性示出根据本发明一个实施例的用于车辆的辅助方法200。该辅助方法可利用如上文描述的本发明的辅助装置实施。

如图2所示，辅助方法200包括步骤s210、步骤s220、步骤s230和步骤s240。

在步骤s210，捕获车辆内部的至少部分区域的多个图像。

在步骤s220，确定所述车辆内的一操作件被操作以及所述操作件被操作的操作时间。

在步骤s230，确定所述多个图像中其捕获时间最接近所述操作时间的图像帧，并识别被包括在所述图像帧中的、物理上在所述操作件附近的一个或多个对象是否包括预定对象。

在步骤s240，响应于所述一个或多个对象不包括所述预定对象，提供用于所述车辆的输出。

可选地，步骤s220可包括：通过从与所述操作件相关联的控制单元实时接收指示所述操作件被操作的信息以及所述操作件被操作的操作时间，实时确定所述操作件被操作以及所述操作件被操作的操作时间。

上述步骤中的每个可由本发明的辅助装置的相应单元执行，如上文结合图1所述。另外，如上文结合本发明的辅助装置的各单元所述的各操作和细节可被包括或体现在本发明的辅助方法中。

应理解，本发明的辅助装置的各个单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器，也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各单元的操作。所述各单元各自可以实现为独立的部件或模块，或者两个或更多个单元可实现为单个部件或模块。

本领域普通技术人员应理解，图1中示出的辅助装置的示意图仅仅是与本发明的方案相关的部分结构的示例性说明框图，并不构成对体现本发明的方案的计算机设备、处理器或计算机程序的限定。具体的计算机设备、处理器或计算机程序可以包括比图中所示更多或更少的部件或模块，或者组合或拆分某些部件或模块，或者可具有不同的部件或模块布置。

在一个实施例中，提供了一种计算机设备，其包括存储器和处理器，所述存储器上存储有可由处理器执行的计算机指令，所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的辅助方法的各步骤。该计算机设备可以广义地为服务器、车载终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的辅助方法的步骤。

本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。

本领域普通技术人员可以理解，本发明的辅助方法的全部或部分步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的辅助方法的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(ram)、外部高速缓冲存储器等。

以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。

尽管结合实施例对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施例。在不偏离本发明的精神的情况下，各种改型和变体是可能的。