自主驾驶系统及用于自主驾驶系统的方法
【专利摘要】本发明涉及用于车辆的激活系统，该激活系统包括转向盘(20)和半自主或自主控制系统。激活系统包括诸如摄像机之类的至少一个成像装置(12)，所述至少一个成像装置(12)具有包含转向盘的至少实质部分的视场，所述至少一个成像装置(12)设置成在使用中采集表示所述视场内的被摄体的原始图像的第一图像数据集。还设置了控制模块，该控制模块用于处理所述第一图像数据，并且做出关于驾驶员当前是否使其两只手在转向盘上的判定。响应于做出所述判定，激活系统构造成和/或设置成触发半自主或自主控制系统。
【专利说明】
自主驾驶系统及用于自主驾驶系统的方法
技术领域
[0001]本公开内容涉及自主驾驶系统及方法。实施方式涉及适用于机动车辆的半自主和自主控制系统的激活系统，但是非排他地，涉及由激活系统自动触发的半自主和自主控制系统。本发明的实施方式还涉及判定车辆的驾驶员已经将他的手从车辆的转向盘移开的方法，更特别地但非排他地，涉及以下识别方法:采用一系列决策来判定驾驶员已经将他的手从转向盘移开，使得响应于驾驶员已经将他的手从转向盘移开，在没有来自驾驶员的进一步输入的情况下，可以激活巡航控制或其他半自主驾驶系统。
[0002]本发明的各方面涉及激活系统、车辆、方法及程序。
【背景技术】
[0003]机动车辆的巡航控制(CC)系统，当手动地被激活时，自动地将机动车辆保持在所选择的行驶速度，所选择的行驶速度被称为“设置速度”或“车辆巡航速度”。
[0004]机动车辆的自适应巡航控制(ACC)系统，当手动地被激活时，还使本文中称为“主车辆”的机动车辆保持在所选择的设置速度，并且当前方(目标)车辆被部署在主车辆的路径中时使主车辆保持所选择的“车辆巡航车间时距(headway)”。
[0005]机动车辆的半自主和自主控制系统，当手动地被激活时，可以使车辆保持在道路上的车道位置。与ACC系统一样，这样的系统可以另外允许由车辆的驾驶员选择“设置速度”(当在巡航控制中时)和/或可以另外允许由车辆的驾驶员选择“车间时距”。这样的系统还可以包括排队辅助或交通堵塞辅助特征件，所述排队辅助或交通堵塞辅助特征件使得主车辆能够以慢速度并且以短距离跟随目标车辆。
[0006]本发明试图提供对机动车辆的半自主和自主控制系统的领域中的改进。本发明的实施方式可以提供适合于机动车辆的半自主和自主控制系统的激活系统，对车辆的驾驶员而言，启用该激活系统快捷简单并且避免了需要驾驶员按控制按钮。
【发明内容】
[0007]本发明的各方面提供了如所附权利要求书中要求保护的激活系统、方法、程序及车辆。
[0008]根据本发明的寻求保护的一方面，提供了一种用于车辆的激活系统，该激活系统包括驾驶员可操作转向装置和半自主或自主控制系统，该激活系统包括:
[0009](i)至少一个成像装置，其具有包括车辆的驾驶员可操作转向装置的至少实质部分的视场，并且所述至少一个成像装置构造成和/或设置成在使用中采集表示所述视场中的被摄体的原始图像的第一图像数据集;以及
[0010](?)控制模块，构造成和/或设置成对所述第一图像数据进行处理，所述控制模块用于做出关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定，
[0011 ]其中，响应于做出所述判定，激活系统构造成和/或设置成触发半自主或自主控制系统。
[0012]可选地，所述关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定通过判定驾驶员的两只手是否离开了转向装置或者驾驶员的两只手是否没有离开转向装置来做出。
[0013]可选地，至少一个成像装置包括选自以下的摄像机:热成像摄像机、近红外摄像机、立体摄像机、飞彳丁时间摄像机、黑白摄像机和RGB摄像机。
[0014]可选地，至少一个成像装置位于:驾驶员座位上方区域中的车辆的内车顶的部分中；在内车顶的部分中；在车内灯的外壳中；包括在车辆的后视镜和/或B柱中。
[0015]可选地，驾驶员可操作转向装置是转向盘。
[0016]可选地，控制模块包括一个或更多个处理器，所述一个或更多个处理器具有与其相关联的至少一个存储器并且具有能够在其上执行的至少一个算法，所述算法构造成:
[0017](i)接收第一图像数据集；
[0018](ii)将第一图像数据集与存储在所述至少一个存储器中的背景图像数据集进行比较；
[0019](iii)根据所述第一图像数据集并且根据所述背景图像数据集来创建第一修改数据集；
[0020](iv)根据与第一修改数据集中的数据元素相关联的亮度特性来创建第二修改数据集；以及
[0021](V)通过对第二修改数据集中的不调和元素进行识别和混合来创建第三修改数据集。
[0022]可选地，所述背景图像数据集表征当没有驾驶员(并且没有手)出现在视场中时采集的背景图像，并且其中，所述背景图像数据集包括每个表示背景图像的像素的数据元素的序列。
[0023]可选地，所述第一图像数据集包括每个表示所述视场中的被摄体的所述原始图像的像素的数据元素的序列；并且其中，所述背景图像数据集与所述第一图像数据集包括相同数量的数据元素。
[0024]可选地，通过以下操作来创建所述第一修改数据集:将所述第一图像数据集的数据元素与所述背景图像数据集中的(空间上)相对应的数据元素进行比较;用所述第二图像数据集中的暗色数据元素和/或黑色数据元素来表征匹配数据元素；以及用白色数据元素和/或明亮数据元素来表征不同数据元素。
[0025]可选地，第一修改数据集的数据元素被分类为:在创建第二修改数据集中，在亮度阈值以上或在亮度阈值以下。
[0026]可选地，计算表示第二修改数据集中的一组数据元素中的暗像素的数据元素的密度，并且根据所述密度将第二修改数据集中的不调和数据元素转变成第三修改数据集中的暗数据元素(或者反之亦然)。
[0027]可选地，将由表示白色像素的数据元素空间上包围的、第二修改数据集中的表示暗像素的一个数据元素或空间上连接的一组数据元素转变成第三修改数据集中的白色数据元素。
[0028]可选地，当判定第三修改数据集包括与两个显著大小的白色区域和/或明亮区域有关的数据元素时，做出驾驶员的手在驾驶员可操作转向装置上的肯定性判定。
[0029]可选地，在做出驾驶员的手在驾驶员可操作转向装置上的肯定性判定之前，对所述两个显著大小的白色区域和/或明亮区域执行姿态识别算法。
[0030]根据本发明的寻求保护的另一方面，提供了一种包括根据任意相关的前述段落所述的激活系统的车辆。
[0031]可选地，激活系统包括自主或半自主控制系统，所述自主或半自主控制系统构造成和/或设置成:响应于自主或半自主转向控制系统的激活，对选自以下项中至少一者进行控制:车辆转向、车辆速度、车间时距、跟车距离、加速度、减速度以及相对于其他车辆的空间定位。
[0032]根据本发明的寻求保护的又一方面，提供了一种识别手是否出现在图像中的方法，所述方法包括:
[0033](i)接收表示所述图像的第一图像数据集；
[0034](ii)将第一图像数据集与背景图像数据集进行比较；
[0035](iii)根据所述第一图像数据集并且根据所述背景图像数据集来创建第一修改数据集；
[0036](iv)根据与第一修改数据集中的数据元素相关联的亮度特性来创建第二修改数据集；
[0037](V)通过对第二修改数据集中的不调和元素进行识别和混合来创建第三修改数据集；以及
[0038](vi)根据与第三修改数据集中的数据元素相关联的亮度特性来识别第三修改数据集中的数据元素，所述第三修改数据集中的数据元素与两个显著大小的区域有关。
[0039]在缺少与两个显著大小的区域有关的第三修改数据集中的数据元素时，所述方法可以包括做出所述手离开了出现在图像中的转向装置的判定。
[0040]在存在与两个显著大小的区域有关的第三修改数据集中的数据元素时，所述方法可以包括做出所述手位于出现在图像中的转向装置上的判定。
[0041]替代性地或附加地，根据上述方面的方法可以包括:根据第三修改数据集中的两个显著大小的区域的相对姿态和位置中的至少一者来判定所述手是在出现在图像中的转向装置上还是离开了出现在图像中的转向装置。可选地，还可以根据第一图像数据集、背景图像数据集、第一修改数据集和第二修改数据集中的一个或更多个来做出所述判定。
[0042]根据本发明的寻求保护的再一方面，提供了一种用于计算机的程序，所述程序构造成和/或设置成:当在计算机上运行时，执行根据前面的段落所述的方法。
[0043]根据本发明的寻求保护的甚至再一方面，提供了一种由车辆的驾驶员用于激活和停用设置在车辆中的自主或半自主转向控制系统的方法，所述方法包括:(驾驶员)故意使两只手移开转向装置以激活自主或半自主转向控制系统；以及(驾驶员)故意将一只手或两只手移动到转向装置上以停用自主或半自主转向控制系统。
[0044]激活系统包括成像装置，该成像装置采集车辆的转向盘的区域中的图像数据。对所采集的图像数据进行分析以判定驾驶员的手相对于转向盘的位置，更特别地但非排他地，以判定驾驶员的两只手是否离开了转向盘或者驾驶员的两只手是否没有离开转向盘。当做出驾驶员的两只手离开了转向盘的判定时，激活系统自动地触发半自主或自主控制系统，以在没有来自驾驶员的另外的输入(手动激活)的情况下对转向(并且可选地，其他功能如车辆速度和车间时距)进行控制。相反地，驾驶员可以使用激活系统来停用半自主或自主控制系统。
[0045]当做出驾驶员的两只手没有离开转向盘(S卩，驾驶员的手中至少一者在转向盘上)的判定时，停用半自主或自主控制系统并且车辆的控制返回至“手动模式”。
[0046]激活系统可以用于除了车辆以外的应用中。
[0047]如本文中所使用的，术语“半自主系统”和“自主系统”用来指代用于车辆和机动车辆的控制系统，特别用于(自动地)管理车辆(机动车辆)的转向的控制系统。这样的系统可以向车辆的电动助力转向系统(EPAS)发出命令信号，或者在替代布置中，自主和半自主系统可以以其他方式与车辆的转向机构相关联，使得自主和半自主系统可以对车辆的转向方向做出调整。可选地，术语“半自主系统”和“自主系统”用于指代修改、管理或以其他方式控制车辆相对于在车辆正在上面行驶的表面例如道路上表示“车道”的边界的白线上设置的一个或更多个特征件的位置的系统。
[0048]如本文中所使用的，术语“手动模式”用于指代以下模式:驾驶员使至少一只手在转向盘上并且从而没有使两只手都离开转向盘。在手动模式下，半自主系统或自主系统不受转向控制并且处于停用状态。
[0049]在本申请的范围内，明显地旨在:可以独立地采用或者以任意组合采用在前面的段落、权利要求书和/或下面的说明书及附图中阐述的各个方面、实施方式、示例和替代以及尤其所述各个方面、实施方式、示例和替代的各个特征。即，除非这样的特征是不相容的，否则可以以任意方式和/或组合对所有实施方式和/或任意实施方式的特征进行组合。本
【申请人】保留了依据任何新的权利要求对任何原始提交的权利要求或文件进行修改的权利，包括对任何原始提交的权利要求进行修正以取决于和/或包括虽然并未以那种方式原始要求保护的任意其他权利要求的任意特征的权利。
【附图说明】
[0050]现在将参照附图仅借助于示例来描述本发明的一个或更多个实施方式，在附图中:
[0051 ]图1是包括根据本发明实施方式的激活系统的车辆的示意图；
[0052]图2是由图1的激活系统的至少一个成像装置获得的第一图像数据集的图示；
[0053]图3是由图1的激活系统的控制模块执行的第一算法的示意图，所述控制模块输出关于车辆的驾驶员(是否)正在操作车辆的转向装置的判定；
[0054]图4是通过使用图3中示意性表示的算法对第一图像数据集(图2中图示的)进行操作而获得的第一修改数据集的图示；
[0055]图5是通过使用图3中示意性表示的算法对图4中图示的第一修改数据集进行操作而获得的第二修改数据集的图示；
[0056]图6是通过使用图3中示意性表示的算法对图5中图示的第二修改数据集进行操作而获得的第三修改数据集的图示；以及
[0057]图7是由图1的激活系统的控制模块执行的决策算法的图示，提供所述决策算法用于判定:响应于图3中的算法的输出，是否应当自动激活车辆的半自主或自主系统(未示出)。
【具体实施方式】
[0058]在本文中公开了对本发明的激活系统、系统、方法、程序和车辆的【具体实施方式】的详细描述。应当理解，所公开的实施方式仅仅是可以实施本发明的某些方面的方式的示例，并且不表示可以实现本发明的所有方式的详尽列举。当然，应当理解，可以以各种形式和替代形式实现本文中描述的激活系统、系统、方法、程序和车辆。图不一定按比例绘制并且一些特征件可能放大或缩小以显示特定部件的细节。不一定对公知的部件、材料或方法进行详细地描述以避免使本公开内容含糊不清。本文中所公开的任何特定结构和功能细节不应当视为是限制性的，而应当视为仅作为权利要求的基础并且作为教导本领域技术人员以各种不同的方式使用本发明的表示性基础。
[0059]在图1中，示出了包括激活系统90的车辆10，激活系统90用于自动触发车辆10的半自主或自主转向控制系统(未示出)。可选地，自主或半自主控制系统可以是转向控制系统或另外的控制系统，所述转向控制系统或另外的控制系统构造成和/或设置成响应于激活系统90对其的激活而对下面的车辆可控参数中的至少一者进行控制:车辆转向(例如，使车辆保持在由白线限定的车道中)、车辆速度(例如，使车辆或系统采用或保持所选择的巡航控制速度)、车间时距(例如，保持用户选择的或系统选择的受控车辆与该受控车辆的路线中的紧前方车辆之间的时间差)、跟车距离(例如，使受控车辆与该受控车辆的路线中的紧前方车辆之间以米为单位保持间隔)、加速度、减速度以及相对于其他车辆的空间定位。
[0060]激活系统90构造成和/或设置成不断地监测和评估车辆10的驾驶员(图1中未示出)是否正在手动地控制车辆10的转向。激活系统90做出关于车辆10的驾驶员(是否)正在操作车辆的转向装置20的判定;并且响应于该判定(并且可选地，连同对一个或更多个其他车辆参数的评估)，激活系统90输出命令信号以触发车辆10的半自主或自主转向控制系统的自动激活(或停用)。
[0061]图1所示的实施方式中的激活系统90包括与控制模块50联接的至少一个成像装置
12。本实施方式中的至少一个成像装置12包括单个近红外(NIR)摄像机12。可选地，至少一个成像装置12安装至车辆10的车顶22或结合在车辆10的车顶22内，并且全部地布置在车辆10内部。线束(未示出)可以将至少一个成像装置12联接至控制模块50，并且可选地联接至附加电源(未示出)。
[0062]为了便于显示激活系统90，图1所示的车辆10示出为移除了前乘客门和其他内部特征件(如座位)。车辆10包括驾驶员可操作转向装置20，在此所示的实施方式中，驾驶员可操作转向装置20采用了转向盘20的形式。转向盘20安装至内部结构16，并且布置在车辆10的驾驶室14内并且在将坐在驾驶员座位(未示出)上的驾驶员(未示出)可达到的范围内。
[0063]应当理解，在车辆10具有右座驾驶的情境下描述并示出了本实施方式。在其他实施方式中，设想激活系统90的部件的其他相对位置和绝对位置以及驾驶员可操作转向装置20的其他相对位置和绝对位置用于在例如具有左座驾驶的车辆、将转向盘布置在中央的车辆、或者具有给驾驶员的单个座位的车辆中应用。
[0064]在图1中可以看到，在本布置中，至少一个成像装置12结合在车辆10中，使得至少一个成像装置12的视场(FOV) 18包含驾驶员可操作转向装置20的至少实质部分(即便不是所有部分)。因此，视场18定位成并且设置成:获取转向装置20的图像数据，并且当驾驶员的手出现时获取驾驶员的手的图像数据。
[0065]至少一个成像装置12的视场18可以附加地包含车辆10的其他部分，例如，内部结构16的部分以及前挡风玻璃24的一部分和通过前挡风玻璃24的视野内的对象。在本文中将这些对象统称为“被摄体”。当激活系统90在使用中并且车辆10的驾驶员位于转向装置20的可达范围内以对转向装置20进行操作时，至少一个成像装置12的视场18可以附加地包含驾驶员的部分。为了便于图示激活系统90，在图1中未示出驾驶员。至少一个成像装置12对FOV18(参见图2)中的被摄体进行成像并且生成包括数据元素的序列的第一图像数据集。
[0066]在本实施方式中，至少一个成像装置12采集表示FOV18内的被摄体的二维数字图像65的第一图像数据集33。还将该数字图像65称为FOV 18内的被摄体的“原始图像65”并且在图2中示出了该数字图像65。原始图像65的被摄体包括转向装置20的实质部分、前挡风玻璃24的一部分、内部结构16的一部分以及驾驶员的部分。特别地，包括在图2的示意性原始图像65中的驾驶员的部分包括:驾驶员的左臂“LA”的一部分、驾驶员的左手“LH”的一部分、驾驶员的左手“LH”的手指“LF”的部分、驾驶员的右手“RH”的一部分以及驾驶员的右手“RH”的手指“RF”的部分。在图2的原始图像65中不能看见驾驶员的左手“LH”和右手“RH”中的所有部分一一包括每只手的四个手指和拇指，原因是驾驶员的手正在转向盘20的每一侧上握着转向盘20。可以将如原始图像65中所示的驾驶员在正常驾驶位置中采用的姿态称为“紧握姿态”。
[0067]激活系统90重复地并且可选地连续地更新第一图像数据集33，确保以这种方式重复地并且可选地不断地监测转向盘20以及驾驶员的手相对于转向盘20的位置。表示“原始图像65”的第一图像数据集33可选地借助于连接3传送(重复地并且可选地不断地)至控制模块50。应当理解，连接3可以是数据网络连接;可以是有线的或无线的；并且适合于发送电数据信号。可选地，本文中提到的所有数据通信可以通过在部件与控制器之间直接使用车辆CAN(控制器局域网)、LIN(本地互联网络)而发生，或者通过可以包括有线的、或无线的、或者有线与无线相组合的连接的任何其他合适的装置而发生。
[0068]可选地，第一图像数据集33是数字数据集(或流)，数字数据集(或流)可选地包括组织成行列的数据元素的序列，数字数据集(或流)表示由至少一个成像装置12进行成像的被摄体的原始图像65的像素。
[0069]可选地，控制模块50结合有图像处理引擎52或者与图像处理引擎52适当地相关联。图像处理引擎52可以包括一个或更多个处理器，一个或更多个处理器具有与其相关联的至少一个存储器并且具有能够在其上执行以对第一图像数据集33进行处理的至少一个算法80。
[0070]图3中示出了由图像处理引擎52执行的算法80的示例性、非限制性实施方式。通过通信链路3传输的第一图像数据集33输入至算法80中。
[0071]在算法80的第一步骤82中，表示原始图像65的第一图像数据集33由控制模块50接收并且至少暂时地被存储以供图像处理引擎52使用。
[0072]在第二步骤84中，对第一图像数据集33进行操作，以从原始图像65有效地“提取”背景图像并且创建第一修改数据集35。背景图像数据集表征当没有驾驶员出现在视场18内时采集的背景图像。背景图像数据集包括数据元素的序列，每个数据元素均表示背景图像的像素。
[0073]通过以下方式来创建第一修改数据集35:将第一图像数据集33的数据元素与背景图像数据集的对应的数据元素进行比较，以及用第一修改数据集35中的表示暗色像素和/或黑色像素的数据元素来表征匹配数据元素。在第一修改数据集35中，用表示明亮像素和/或白色像素的数据元素来表示第一图像数据集33中的具有与背景数据集中的对应数据元素不同的特性的数据元素。
[0074]以这样的方式，用基于第一修改数据集的数字图像67中的暗色像素和/或黑色像素来表示原始图像65中的与背景图像中的对应像素相同的像素；以及，用数字图像67中的明亮像素和/或白色像素来表示原始图像65中的与背景图像中的对应像素相比具有不同特性的像素。在图4中，图示了由第一修改数据集35表示的黑白数字图像67。
[0075]图像处理引擎52自身并不输出基于第一图像数据集33或第一修改数据集35的FOV18的图像或者数字图像65、67(激活系统90亦非如此)。然而，在图2和图4至图6中示出了由通过至少分别在成像装置12和图像处理引擎52上创建的第一图像数据集33、第一修改数据集35、第二修改数据集37和第三修改数据集39表示的数字图像65、67、69、71。这按顺序给读者示出了本发明的本实施方式并且示出了图像处理引擎52如何处理和分析第一图像数据集33。
[0076]在本实施方式中，即使当驾驶员不出现时，正如至少一个成像装置12正常使用中一样，至少一个成像装置12用于通过使至少一个成像装置12的视场18指向转向装置20来采集背景图像数据集。背景图像中包括的特征件通常是静止的。例如，转向装置20的内部结构
16、轮廓形状、一般位置和大小以及前挡风玻璃24的相对位置和大小不会趋向于随着时间而运动(即使可以提供对转向装置20的位置的一些调整一一参见下文)。在判定驾驶员是否使两只手在转向装置20上并且当前在手动模式下使用转向装置20正使车辆10转向中，本公开内容的算法80有利地利用了可以一致地复制背景图像的事实。由于由位于相同的(或非常相似的)位置(即，可选地安装在车顶22内)的相同或相似的成像装置12采集原始图像数据和背景数据两者，因此用于表征背景图像的背景数据集和第一图像数据集33的分辨率(数据元素的数量)是相同的。经历了执行其他数据处理操作(例如，对所发送的第一图像数据集解压缩)，可以相对快地进行从第一图像数据集“提取”背景数据集。
[0077]可以将背景图像数据集存储在与图像处理引擎52相关联的存储器中，并且每当对算法80进行重复并且对新的且当前的第一图像数据集33进行处理时可以参照背景图像数据集。各种数据处理技术适用于从第一图像数据集33提取可校正的背景数据集。
[0078]在算法80的可选的第三步骤86中，第一修改数据集35经历了“分割”并且然后创建了第二修改数据集37。在分割步骤中，根据与其相关联的亮度特性来分类或操作第一修改数据集中的数据元素。可选地，可以使用一个或更多个亮度阈值。在本设置中，使用单个亮度阈值，并且亮度特性在该阈值以下的数据元素使它们的亮度水平更进一步下降；可选地，亮度特性在该阈值以上的数据元素使它们的亮度水平升高。替代性地，可以使用两个阈值，其中，亮度特性在第一阈值以下的数据元素使它们的亮度水平下降；亮度特性在第二阈值以上的数据元素使它们的亮度水平升高；以及，可以不改变亮度特性在第一阈值与第二阈值之间的数据元素。优选地，使用单个阈值以提供暗区域与亮区域之间的较大差别。
[0079]这是有益的，原因是皮肤可以反射NIR摄像机12发出的近红外辐射，并且在通过使两个较亮和/或较白区域或形状突出来自动识别驾驶员的左手和右手的位置中，该步骤可能是有用的。在图5中，示出了第二修改数据集37的图示69。
[0080]在算法80的可选的第四步骤88中，第二修改数据集37经历了 “连接的部件标记”，而且创建并输出第三修改数据集39 ο在第四步骤88中，通过将数字图像69中的由第二修改数据集37中的数据元素表示的不调和像素与所述不调和像素周围的像素进行混合来进行进一步的增强，以使驾驶员的手和/或臂更加可识别(如果它们出现)。
[0081 ]例如，考虑图5所示的数字图像69 ο对数字图像69内的相对孤立和/或与它们周围的像素相对不同的像素进行修改，使得这些像素与它们周围的像素更相似。在图5中，由Wl表示的区域包括大密度的暗色像素和黑色像素、非常小的密度的白像素。第四步骤88处的算法80构造成和/或设置成:数学上识别对第二修改数据集37内的表示暗像素和黑像素的密集区域内孤立的白像素的数据元素；以及，改变或修改那些数据元素、或者以其他方式创建第三修改数据集39中的对应的数据元素，在第三修改数据集39中，与不调和像素相对应的数据元素表示它们周围的较大数量的暗像素和黑色像素、或者更紧密地匹配它们周围的较大数量的暗像素和黑像素。图6中的71图示了第三数据集39，其中，同一区域“W1”被突出。可以看到，来自数字图像69(由第二修改数据集37表示)的许多白像素已经改变为暗像素。任何剩余白像素在白像素的组中。
[0082]可以通过(数学上)将彼此靠近并且由相对小的黑色区域分开的一个或更多个白色区域“结合”或混合在一起来执行“连接的部件标记”的步骤。类似地，可以通过(数学上)将彼此靠近并且由相对小的白色区域分开的一个或更多个黑色区域“结合”或混合在一起来执行“连接的部件标记”的步骤。在本实施方式中，如果黑色区域由较大的白色区域包围，则将该黑色区域变成白色。由此产生的第三修改数据集39进一步增强驾驶员的手相对于转向装置20的出现、形状和位置。
[0083]在另外的步骤90中，算法80构造成判定在FOV 18内是否能够识别两只手。在一种实施方式中，这通过(数学上)判定在F0V18内存在两个相对大并且相对亮的区域来实现。如果出现了两个这样的区域(如在图6中)，则可以做出以下判定:驾驶员没有使两只手离开转向盘一一驾驶员正在操作转向装置20并且车辆10在“手动模式”下。
[0084]在另一实施方式中，进一步考虑“大的明亮区域和白色区域”的相对位置和/或姿态，以甚至更有把握地判定驾驶员是否使两只手在转向装置上并且正在操作转向装置20。以下情况是可能的:在FOV 18的经处理并且经修改的图像内能够识别两个大的明亮区域和白色区域，但是事实上驾驶员并没有紧握转向装置20并且并没有正在使用转向装置20。可选地，此“姿态估计”步骤可以包括姿态估计算法的使用，在姿态估计算法中，考虑并分析大的明亮区域的形状。可选地，可以将所识别的形状与一个或更多个基准形状进行比较。比较的目的可能是识别驾驶员的手指的期望区域中表示手指正“紧握”或“没有紧握”的(轮廓)形状。期望通过使用激活系统90故意触发半自主或自主驾驶模式的激活的驾驶员将做出清楚并故意的姿势以使他的两只手离开转向盘。
[0085]在一些实施方式中，在做出驾驶员不再操作转向装置20(S卩，他的手“离开”了转向盘20)的判定之前，控制模块50进一步执行检查步骤并且考虑一个或更多个其他车辆参数，所述一个或更多个其他车辆参数可选地可以包括:驾驶员座位安全带是否在使用中；与驾驶员的座位相关联的压力传感器是否正发出指示驾驶员正坐在驾驶员座位上的信号；和/或，面向驾驶员的摄像机系统一一可选地基于驾驶员的眼睛的眼睛睁开水平一一已经判定驾驶员是否清醒，并且是否故意执行移动他的手离开转向装置20的姿势。以此方式，如果判定驾驶员出现在驾驶员座位上并且驾驶员的两只手不在FOV 18内而且并没有正在操作转向装置20，才执行自主或半自主控制系统的自动激活。换言之，响应于驾驶员做出故意的姿势，才执行自主或半自主控制系统的自动激活。这提供了非常简单的机理，驾驶员通过该机理可以故意地启用车辆10的自主或半自主控制系统。除了驾驶员不得不按下按钮以选择车辆10的自主或半自主控制以外，本发明为驾驶员提供了只从转向盘20移开他的两只手以使手动驾驶模式停止并且调用自主或半自主驾驶模式。
[0086]在本设置中，当激活系统90判定驾驶员的手是在转向盘20“上”还是“离开”了转向盘20时，执行后续算法以判定是否应当进行自主或半自主控制系统的自动激活。在图7中，示意性示出了决策算法60。决策算法60由激活系统90的控制模块50来执行，并且设置成用于:响应于算法80 (图3)的输出，判定是否应当自动激活车辆10(未示出)的半自主或自主系统。
[0087]根据车辆10及其各种控制系统构造的方式，“手动模式”控制信号在车辆10内的数据网络(如控制器局域网(CAN))上是可用的。车辆10的一个或更多个系统可以使用“手动模式”控制信号来判定例如它们是激活的还是未激活的，或者例如来判定它们应该如何操作。同样地，在本发明的实施方式中，作为表示手动模式驾驶
[0088]“关闭”的“手动模式”控制信号的直接结果，可以导致半自主或自主驾驶系统的“激活”。
[0089]当运行算法60时，第一步骤42询问:
[0090]步骤42:驾驶员的两只手离开了转向装置20。“真”还是“假”？
[0091]通过对由图像处理引擎52执行并且设置为算法60的输入的处理算法80，来判定对该问题的“真”或“假”的回答。
[0092]如果步骤42处的回答为“真”(驾驶员的两只手离开了转向装置20并且驾驶员没有正在操作转向装置20)，则—步骤44(参见下面)；
[0093]如果步骤42处的回答为“假”(驾驶员的至少一只手在转向盘上)，则—步骤48(参见下面)；
[0094]步骤44:手动模式开启，“真”还是“假” ?
[0095]该步骤设置成检查当驾驶员的手被识别为在转向盘20上时，半自主或自主系统是未激活的——即，车辆10响应于驾驶员操作转向盘20。
[0096]如果步骤44处的回答为“真”，则—返回至步骤42以继续监测驾驶员的手；
[0097]如果步骤44处的回答为“假”，则—转到步骤46;
[0098]步骤46:激活或启用手动驾驶模式并且返回至步骤42以继续监测FOV 18，从而监测驾驶员的手相对于转向盘20的位置。
[0099]步骤48:手动模式开启，“真”还是“假” ?
[0100]该步骤设置成检查:当驾驶员的手被识别为离开了转向盘20时，半自主或自主系统是否已经是激活的。
[0101]如果该步骤处的回答为“假”并且半自主或自主系统当前是激活的，则4返回至步骤42以继续监测驾驶员的手(以当驾驶员的至少一只手返回至转向盘20时，在适合停用半自主或自主驾驶的时候，可以随后停用半自主或自主驾驶);
[0102]如果答案为“真”，则—转到步骤49;
[0103]步骤49:激活或启用半自主或自主系统(换言之，停用或禁用“手动驾驶模式”)并且返回至步骤42以继续监测FOV 18，从而监测驾驶员的手相对于转向盘20的位置。
[0104]算法60连续地重复并且可选地以与采集第一图像数据集33相同的速率连续地重复。为半自主或自主驾驶模式的自动激活和停用提供了对图像数据的连续或频繁采集、使用算法80以及决策算法60对图像数据的处理和分析。
[0105]应当理解，在本发明的范围内，可以做出各种变化，例如，在本发明的其他实施方式中，设想使用不止一个成像装置，所述不止一个成像装置是彼此相同类型或不同类型的成像装置。在其他实施方式中，至少一个成像装置12不包括红外线摄像机12。设想可以使用其他合适的成像装置，并且在其他实施方式中，可以使用不同类型的成像装置的组合。这样，至少一个成像装置12可以包括选自以下的一个或更多个成像装置或者选自以下的成像装置的组合:立体摄像机、飞行时间摄像机、热成像摄像机、红绿蓝RGB(即，彩色)摄像机、黑白摄像机、立体摄像机以及任何其他合适的摄像机。
[0106]一些实施方式中，至少一个成像装置可以适用于用于采集3D(三维)图像。至少一个成像装置可以以模拟或数字格式采集图像数据。然而，在能够对图像数据进行处理和分析之前，优选地，将任意模拟信号转变成数字数据流。
[0107]在一些实施方式中，至少一个成像装置位于相比所示的车顶位置而言的替代位置或附加的位置。例如，一个或更多个附加的成像装置或替代的成像装置可以位于:车顶的中部而不是驾驶员侧;车内灯的外壳中；结合在车辆10的后视镜中和/或B柱中。也可以采用其他位置。
[0108]在本发明的一些实施方式中，可操作转向装置不是像这样的转向“盘”，而不过是由驾驶员以以下这样的方式操作的装置:本文中所公开的激活系统可以监测转向装置的图像数据以及驾驶员的出现和/或驾驶员的手相对于转向装置的位置，以判定驾驶员是否正在操作转向装置。在一些设置中，可操作转向装置可以是控制杆、杆式转向装置(例如，双杆式装置)以及开始被使用的其他转向装置，或者包括控制杆、杠杆式转向装置(例如，双杠杆装置)以及开始被使用的其他转向装置。
[0109]在一些实施方式中，至少一个成像装置12构造成采集表示被摄体的三维图像的第一图像数据。
[0110]在设想的实施方式中，可以将两个或更多个背景图像数据集存储在与控制模块(和/或图像处理引擎)相关联的存储器中。两个或更多个背景图像数据集与针对驾驶员可操作转向装置20的不同位置获取的两个或更多个背景图像相对应。在驾驶员可操作转向装置20是例如转向盘的情况下，应当理解，转向盘20可以具有可调节的高度、可调节的倾斜角和/或可调节的延伸距离(相对于内部结构16)。这样，可以对与不同的转向盘位置有关的两个或更多个或者一系列背景图像进行存储。当执行对第一图像数据集的处理以及将第一图像数据集与背景图像数据集进行比较时，可以根据与获取背景图像处的、转向盘的位置有关的转向盘位置基准，从存储器中检索背景图像数据集。例如，位置基准可以是以下形式的位置:中等高度、中等倾斜位置;或者最大高度、中等倾斜、完全延伸位置。以此方式，使用与转向盘20实际上所处的情形更紧密地相对应的背景图像数据集来执行背景图像“提取”的步骤。
[0111]可选地，在一些实施方式中，激活系统90可以从EPAS系统的控制模块接收指示驾驶员施加的扭矩的数据信号。根据由驾驶员施加的扭矩的存在和/或大小，激活系统90可以判定驾驶员没有使两只手离开转向装置20。
[0112]下面带标号的段落包括对本发明的陈述:
[0113]1.一种用于车辆的激活系统，所述系统包括驾驶员可操作转向装置和半自主或自主控制系统，所述激活系统包括:
[0114](i)至少一个成像器，其具有包含车辆的驾驶员可操作转向装置的至少实质部分的视场，并且所述至少一个成像器构造成和/或设置成在使用中采集表示所述视场内的被摄体的原始图像的第一图像数据集;以及
[0115](ii)控制模块，其构造成和/或设置成对所述第一图像数据进行处理，所述控制模块用于做出关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定；
[0116]其中，响应于做出所述判定，所述激活系统构造成和/或设置成触发半自主或自主控制系统。
[0117]2.根据段落I所述的激活系统，其中，所述关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定通过判定所述驾驶员的两只手是否离开了所述转向装置或者所述驾驶员的两只手是否没有离开所述转向装置来做出。
[0118]3.根据段落2所述的激活系统，其中，所述至少一个成像器包括选自以下的摄像机:热成像摄像机、近红外摄像机、立体摄像机、飞行时间摄像机、黑白摄像机和RGB摄像机。
[0119]4.根据段落I所述的激活系统，其中，所述至少一个成像器位于:驾驶员座位上方的区域中的所述车辆的内车顶的部分中；所述内车顶的部分中；车内灯的外壳内；结合在所述车辆的后视镜和/或B柱中。
[0120]5.根据段落I所述的激活系统，其中，所述驾驶员可操作转向装置是转向盘。
[0121]6.根据段落2所述的激活系统，其中，所述控制模块包括一个或更多个处理器，所述一个或更多个处理器具有与其相关联的至少一个存储器并且具有能够在其上执行的至少一个算法，所述至少一个算法构造成:
[0122](i)接收所述第一图像数据集；
[0123](ii)将所述第一图像数据集与存储在所述至少一个存储器中的背景图像数据集进行比较；
[0124](iii)根据所述第一图像数据集根据所述背景图像数据集来创建第一修改数据集；
[0125](iv)根据与所述第一修改数据集中的数据元素相关联的亮度特性来创建第二修改数据集;以及
[0126](V)通过对所述第二修改数据集内的不调和元素进行识别和混合来创建第三修改数据集。
[0127]7.根据段落6所述的激活系统，其中，所述背景图像数据集表征当无驾驶员出现在所述视场内时采集的背景图像，并且其中，所述背景图像数据集包括数据元素的序列，每个数据元素均表示所述背景图像的像素。
[0128]8.根据段落7所述的激活系统，其中，所述第一图像数据集包括数据元素的序列，每个数据元素均表示所述视场内的被摄体的所述原始图像的像素;并且其中，所述背景图像数据集和所述第一图像数据集包括相同数量的数据元素。
[0129]9.根据段落8所述的激活系统，其中，所述第一修改数据集通过以下方式创建:将所述第一图像数据集的数据元素与所述背景图像数据集的对应数据元素进行比较;用所述第二图像数据集中的暗色数据元素和/或黑色数据元素来表征匹配数据元素；以及用白色数据元素和/或明亮数据元素来表征不同数据元素。
[0130]10.根据段落9所述的激活系统，其中，在创建所述第二修改数据集中，所述第一修改数据集的数据元素被分类为在亮度阈值以上或在亮度阈值以下。
[0131]11.根据段落10所述的激活系统，其中，计算表示所述第二修改数据集中的一组数据元素内的暗像素的数据元素的密度，并且根据所述密度，将所述第二修改数据集内的不调和数据元素转变成所述第三修改数据集中的暗数据元素。
[0132]12.根据段落11所述的激活系统，其中，将由表示白像素的数据元素在空间上包围的、所述第二修改数据集内的表示暗像素的一个数据元素或在空间上相连接的一组数据元素转变成所述第三修改数据集中的白色数据元素。
[0133]13.根据段落12所述的激活系统，其中，当判定所述第三修改数据集包括与两个显著大小的白色区域和/或明亮区域有关的数据元素时，做出驾驶员的手离开了所述驾驶员可操作转向装置的否定性判定，和/或其中，当判定所述第三修改数据集不包括与两个显著大小的白色区域和/或明亮区域有关的数据元素时，做出驾驶员的手离开了所述驾驶员可操作转向装置的肯定性判定。
[0134]14.根据段落13所述的激活系统，其中，在做出驾驶员的手离开了所述驾驶员可操作转向装置的肯定性判定之前，对所述两个显著大小的白色区域和/或明亮区域执行姿态识别算法。
[0135]15.—种包括根据段落I所述的激活系统的车辆。
[0136]16.根据段落15所述的车辆，其中，所述激活系统包括自主或半自主控制系统，所述自主或半自主控制系统构造成和/或设置成响应于所述自主或半自主转向控制系统的激活对选自以下项中的至少一者进行控制:车辆转向、车辆速度、车间时距、跟车间距、加速度、减速度以及相对于其他车辆的空间定位。
[0137]17.—种识别手是否出现在图像内的方法，所述方法包括:
[0138](i)接收表示所述图像的第一图像数据集；
[0139](ii)将第一图像数据集与背景图像数据集进行比较；
[0140](iii)根据所述第一图像数据集并且根据所述背景图像数据集来创建第一修改数据集；
[0141](iv)根据与所述第一修改数据集中的数据元素相关联的亮度特性来创建第二修改数据集；
[0142](V)通过对所述第二修改数据集内的不调和元素进行识别和混合来创建第三修改数据集;以及
[0143](vi)根据与所述第三修改数据集内的数据元素相关联的亮度特性来识别所述第三修改数据集内的数据元素，所述第三修改数据集中的数据元素与两个显著大小的区域有关。
[0144]18.根据段落17所述的方法，包括:
[0145](vii)在缺少与两个显著大小的区域有关的所述第三修改数据集内的数据元素时，做出所述手离开了在所述图像中出现的转向装置的判定。
[0146]19.根据段落17所述的方法，包括:
[0147](viii)在存在与两个显著大小的区域有关的所述第三修改数据集内的数据元素时，做出所述手位于在所述图像中出现的转向装置上的判定。
[0148]20.根据段落17所述的方法，包括:
[0149](ix)根据所述第三修改数据集内的所述两个显著大小区域的相对姿态和位置中的至少一者，来判定所述手是位于在所述图像中出现的转向装置上、还是离开了在所述图像中出现的转向装置。
[0150]21.—种由车辆的驾驶员用于激活和停用设置在所述车辆中的自主或半自主控制系统的方法，所述方法包括:故意移动两只手离开所述转向装置以激活所述自主或半自主转向控制系统；以及，故意将一只手或两只手移动到所述转向装置上以停用所述自主或半自主转向控制系统。
[0151 ] 22.一种用于计算机的程序，所述程序构造成和/或设置成:当在计算机上运行时，执行根据段落17所述的方法。
【主权项】
1.一种用于车辆的系统，所述系统包括驾驶员可操作转向装置和半自主或自主控制系统，所述激活系统包括: (i)至少一个成像装置，其具有包含所述驾驶员可操作转向装置的至少一部分的视场，并且所述至少一个成像装置构造成在使用中采集表示所述视场内的被摄体的原始图像的第一图像数据集;以及 (ii)控制模块，其构造成对所述第一图像数据进行处理，所述控制模块用于做出关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定； 其中，响应于做出所述判定，所述系统构造成触发半自主或自主控制系统。2.根据权利要求1所述的系统，其中，通过判定所述驾驶员的两只手是否离开了所述转向装置、或者所述驾驶员的两只手是否没有离开所述转向装置，做出所述关于驾驶员当前是否正在操作所述驾驶员可操作转向装置的判定。3.根据权利要求1或2所述的系统，其中，所述至少一个成像装置包括选自以下的摄像机:热成像摄像机、近红外摄像机、立体摄像机、飞行时间摄像机、黑白摄像机和RGB摄像机。4.根据权利要求1、2或3所述的系统，其中，所述至少一个成像装置位于:驾驶员座位上方的区域中的所述车辆的内车顶的一部分中；所述内车顶的一部分中；车内灯的外壳内；结合在所述车辆的后视镜和/或B柱中。5.根据前述权利要求中任一项所述的系统，其中，所述驾驶员可操作转向装置是转向盘。6.根据前述权利要求中任一项所述的系统，其中，所述控制模块包括一个或更多个处理器，所述一个或更多个处理器具有与其相关联的至少一个存储器并且具有能够在其上执行的至少一个算法，所述至少一个算法构造成: (i)接收所述第一图像数据集； (ii)将所述第一图像数据集与存储在所述至少一个存储器中的背景图像数据集进行比较； (iii)根据所述第一图像数据集、根据所述背景图像数据集创建第一修改数据集； (iv)根据与所述第一修改数据集中的数据元素相关联的亮度特性，创建第二修改数据集；以及 (V)通过对所述第二修改数据集中的不调和元素进行识别和混合，创建第三修改数据集。7.根据权利要求6所述的系统，其中，所述背景图像数据集表征当无驾驶员出现在所述视场内时采集的背景图像，并且其中，所述背景图像数据集包括每个均表示所述背景图像的像素的数据元素的序列。8.根据权利要求7所述的系统，其中，所述第一图像数据集包括每个均表示所述视场内的被摄体的所述原始图像的像素的数据元素的序列；并且其中，所述背景图像数据集和所述第一图像数据集包括相同数量的数据元素。9.根据权利要求8所述的系统，其中，所述第一修改数据集通过以下方式创建:将所述第一图像数据集的数据元素与所述背景图像数据集的对应的数据元素进行比较;用所述第二图像数据集中的暗色数据元素和/或黑色数据元素来表征匹配数据元素；以及，用白色数据元素和/或明亮数据元素来表征不同的数据元素。10.根据权利要求6至9中任一项所述的系统，其中，在创建所述第二修改数据集中，所述第一修改数据集的数据元素被分类为在亮度阈值以上或在亮度阈值以下。11.根据权利要求6至10中任一项所述的系统，其中，计算表示所述第二修改数据集中的一组数据元素内的暗像素的数据元素的密度，并且根据所述密度，将所述第二修改数据集内的不调和数据元素转变成所述第三修改数据集中的暗数据元素。12.根据权利要求6至11中任一项所述的系统，其中，将由表示白像素的数据元素在空间上包围的、所述第二修改数据集内的表示暗像素的一个数据元素或在空间上相连接的一组数据元素转变成所述第三修改数据集中的白色数据元素。13.根据权利要求6至11中任一项所述的系统，其中，当判定所述第三修改数据集包括与两个显著大小的白色区域和/或明亮区域有关的数据元素时，做出驾驶员的手离开了所述驾驶员可操作转向装置的否定性判定，和/或其中，当判定所述第三修改数据集不包括与两个显著大小的白色区域和/或明亮区域有关的数据元素时，做出驾驶员的手离开了所述驾驶员可操作转向装置的肯定性判定。14.根据权利要求13所述的系统，其中，在做出驾驶员的手离开了所述驾驶员可操作转向装置的肯定性判定之前，对所述两个显著大小的白色区域和/或明亮区域执行姿态识别算法。15.—种包括根据任一前述权利要求所述的系统的车辆。16.根据权利要求15所述的车辆，其中，所述系统包括自主或半自主控制系统，所述自主或半自主控制系统构造成响应于所述自主或半自主转向控制系统的激活对选自以下各项中的至少一者进行控制:车辆转向、车辆速度、车间时距、跟车间距、加速度、减速度以及相对于其他车辆的空间定位。17.一种识别手是否出现在图像内的方法，所述方法包括: (i)接收表示所述图像的第一图像数据集； (ii)将第一图像数据集与背景图像数据集进行比较； (iii)根据所述第一图像数据集并且根据所述背景图像数据集，创建第一修改数据集； (iv)根据与所述第一修改数据集中的数据元素相关联的亮度特性，创建第二修改数据集； (V)通过对所述第二修改数据集内的不调和元素进行识别和混合，创建第三修改数据集；以及 (vi)根据与所述第三修改数据集内的数据元素相关联的亮度特性，识别所述第三修改数据集中的数据元素，所述第三修改数据集中的数据元素与两个显著大小的区域有关。18.根据权利要求17所述的方法，包括: (vii)在缺少与两个显著大小的区域有关的所述第三修改数据集内的数据元素时，做出所述手离开了出现在所述图像中的转向装置的判定。19.根据权利要求17或18所述的方法，包括: (viii)在存在与两个显著大小的区域有关的所述第三修改数据集内的数据元素时，做出所述手位于出现在所述图像中的转向装置上的判定。20.根据权利要求17至19中任一项所述的方法，包括: (ix)根据所述第三修改数据集内的所述两个显著大小区域的相对姿态和位置中的至少一者，判定所述手是位于出现在所述图像中的转向装置上、还是离开了出现在所述图像中的转向装置。21.—种由车辆的驾驶员用于激活和停用设置在所述车辆中的自主或半自主控制系统的方法，所述方法包括:故意移动两只手离开所述转向装置以激活所述自主或半自主转向控制系统；以及，故意将一只手或两只手移动到所述转向装置上以停用所述自主或半自主转向控制系统。22.一种用于计算机的程序，所述程序构造成:当在计算机上运行时，执行根据权利要求21所述的方法。23.—种基本上如本文中参照附图和/或如附图所示所描述的系统、车辆、方法或程序。
【文档编号】B60W50/00GK106061817SQ201580009319
【公开日】2016年10月26日
【申请日】2015年2月17日
【发明人】爱德华多·迪亚斯
【申请人】捷豹路虎有限公司