驾驶提示方法与系统与流程

本发明涉及一种驾驶辅助技术，尤其涉及一种驾驶提示方法与系统。

背景技术：

随着交通工具的数量与种类日益增长，发生交通事故的机率也逐年增加。显然地，交通科技除了在动力部分持续进步外，行驶过程中安全性的增进也是另一需要专注的课题。举例而言，汽车行驶路线上存在多种需要驾驶注视的物体，像是交通号志、行人、障碍物等等，驾驶需要专心的观看路况环境以作为执行下一步驾驶动作的依据。

在现今的社会里，交通意外往往发生在驾驶没有专心注视路况的情况下发生。驾驶可能因为疲劳或分心而没有注意到路上的交通号志或障碍物，因此导致驾驶没有依据交通号志或眼前的障碍物执行正确的驾驶动作。举例而言，若驾驶分心于使用手机而没有适时注意到红绿灯的灯号转换，则驾驶可能来不及反应而做出闯红灯或闯黄灯的驾驶行为。若驾驶过度疲劳而没有注意到路上的速限标志，驾驶有很大机会将超速驾驶。上述状况非常容易导致交通事故的发生。换言之，若驾驶可以确实的注意到行驶导路上的需要被注意的物件，则可大幅降低交通事故的发生机率。

技术实现要素：

有鉴于此，本发明提供一种驾驶提示方法与系统，其可通过眼球追踪装置来判断驾驶的视线是否注视于目标物体上，并响应于检测到驾驶的视线未注视于目标物体而启动示警，藉此提升驾驶交通工具的安全性。

本发明提供一种驾驶提示方法，适用于包括眼球追踪装置以及图像获取装置的驾驶提示系统。驾驶提示系统装载于移动载具上，而所述方法包括下列步骤。经由图像获取装置获取环境图像。对环境图像执行目标物检测，而获取图像检测物件的目标位置。经由眼球追踪装置检测驾驶的注视位置。判断注视位置是否吻合目标位置。若注视位置不吻合目标位置，控制示警装置启动示警操作。

从另一观点来看，本发明提供一种驾驶提示系统，其包括图像获取装置、眼球追踪装置、存储器，以及处理器。存储器存储有多个指令，处理器耦接图像获取装置、眼球追踪装置以及存储器。处理器经配置执行这些指令以：经由图像获取装置获取环境图像；对环境图像执行目标物检测，而获取图像检测物件的目标位置；经由眼球追踪装置检测驾驶的注视位置；判断注视位置是否吻合目标位置；以及若注视位置不吻合目标位置，控制示警装置启动示警操作。

基于上述，本发明实施例所提出的驾驶提示方法与系统可以追踪驾驶的眼球所注视的位置，并通过图像获取与目标物检测来获取环境图像上的图像检测物件的目标位置。如此一来，通过将驾驶的眼球所注视的位置与图像检测物件的目标位置进行比较，驾驶的视线是否落在目标物体上可据以被检测出来。藉此，若眼球追踪装置所检测到的注视位置不吻合目标物体的图像检测物件的目标位置，警示操作可以被启动来提示驾驶。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的驾驶提示系统的方块图；

图2是依照本发明一实施例的驾驶提示系统与移动载具的示意图；

图3是依照本发明一实施例的方法的流程图；

图4是依照本发明一实施例的驾驶提示系统的方块图；

图5是依照本发明一实施例的方法的流程图；

图6是依照本发明一实施例的获取注视位置的示意图；

图7a与图7b是依据本发明一实施例的获取注视位置的情境示意图；

图8是依照本发明一实施例的判断注视位置与目标位置是否吻合的示意图；

图9是依照本发明一实施例的判断注视位置与目标位置是否吻合的示意图。

附图标号说明

10、40：驾驶提示系统；

110、410：眼球追踪装置；

120、420：示警装置；

130、430：处理器；

140、440：存储器；

150、450、490：图像获取装置；

460：测距装置；

470：载具行驶元件；

21、63：驾驶；

22、61：车辆；

m1：后照镜；

f1：视野范围；

62：目标物体；

pl1、pl2：投影平面；

s1、s2：图像检测物件；

img1、img2、img8：环境图像；

img3：投影参考图像；

d1：间距；

z1：特定区块；

z2：图像区块；

s301～s306、501～s512：步骤。

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法、电子装置以及电脑可读取存储媒体的范例。

图1是依照本发明一实施例的驾驶提示系统的方块图。请参照图1，驾驶提示系统10包括眼球追踪装置110、示警装置120、处理器130、存储器140，以及图像获取装置150。

驾驶提示系统10适于设置于一移动载具上，并于驾驶行驶/骑乘上述移动载具的过程中持续地检测周遭的目标物体。上述移动载具是一种经由人类操控而移动的交通工具，例如是各类汽车、公车、脚踏车、机车、船只、飞机及机动机械等，本发明对此并不限制。于此，驾驶提示系统10还可检测驾驶的眼球特征，以识别出驾驶的注视位置。通过比对目标物体的所在位置与驾驶的注视位置，驾驶提示系统10可判断驾驶的视线是否确实的落在需要被注意的目标物体上。藉此，一旦行驶过程中检测到驾驶的视线未注视需要被注意的目标物体，驾驶提示系统10可适时的提出示警来通知驾驶。

眼球追踪装置110是一种能够跟踪与测量眼球位置及眼球运动信息的一种设备，适于用以检测驾驶的眼球特征。在一实施例中，眼球追踪装置110可包括脸部取像模块，用以通过获取驾驶的脸部图像以及眼部图像，而依据脸部转向与瞳孔位置来判断驾驶的注视位置。在一实施例中，眼球追踪装置110可以包括发光模块与眼部取像模块。眼球追踪装置110的发光模块朝驾驶的眼球发射光束，眼球追踪装置110的眼部取像模块拍摄眼部图像。眼球追踪装置110检测眼部图像中的驾驶的瞳孔位置以及亮点位置，并且依据瞳孔位置与亮点位置两者的位置对应关系，判断目前眼球的视线注视位置。上述亮点位置是通过发光模块发射光束照射驾驶的眼睛所形成的反光点。

示警装置120是用于执行示警操作，以发出示警信息给驾驶。示警装置120可以为车内仪表板、导航装置、使用者手机等，可依据示警装置120的类型执行各式示警操作，以发出对应的示警信息。举例来说，当示警装置120为车内仪表板时，示警信息可以为文字提示、灯光闪烁提示、颜色转变提示等。当示警装置120为车内扬声器或驾驶的手机时，示警信息可以为声音提示等。当示警装置120为导航装置时，示警信息可以为文字提示、声音提示等。又或者，示警装置120也可以是与驾驶接触的移动载具的构件，像是座椅或方向盘等等。换言之，示警信息也可以为座椅震动、方向盘震动等类型的提示，只要能够发出通知提示驾驶的方法，皆可应用于本发明中。

处理器130耦接于眼球追踪装置110、示警装置120、存储器140、及图像获取装置150，以控制驾驶提示系统10的整体运作。在本实施例中，处理器130例如是中央处理单元(centralprocessingunit，cpu)，或是其他可程序化的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuits，asic)、可程序化逻辑装置(programmablelogicdevice，pld)或其他具备运算能力的硬件装置，但本揭露并不以此为限。

存储器140例如是任意形式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘或其他类似装置或这些装置的组合，其是用以存储行驾驶提示系统10运作中可能使用的数据、程序码、图像等。也即，存储器140还用以记录可由处理器130执行的多个指令。

图像获取装置150设置于移动载具上，用以获取移动载具前方的环境图像。图像获取装置150例如是具有电荷耦合元件(chargecoupleddevice，ccd)或互补式金氧半导体(complementarymetal-oxidesemiconductor，cmos)元件的图像传感器，用以环境图像。在一实施例中，图像获取装置150可设置于车辆的前方，像是车辆挡风玻璃的上方，以获取车辆前方的路况图像。或者，图像获取装置150也可以是行车记录器、或其他设置于车辆上的数码照相机，但本发明并不局限于此等实作态样。

图2是依照本发明一实施例的驾驶提示系统与移动载具的示意图。请参照图2，若将驾驶提示系统10应用至汽车驾驶环境中，当驾驶21行驶车辆22(也即移动载具)时，图像获取装置150可基于视野范围f1朝车辆22的前方拍摄图像。此外，眼球追踪装置110可设置于照后镜m1的一侧，以朝驾驶21的方向获取驾驶的眼部图像，从而检测驾驶21的注视位置。然而，图2仅为示范性说明，本发明对于眼球追踪装置110与图像获取装置150的数量与实际位置并不限制，其可依据实际应用情况而设计。

图3是依照本发明一实施例的驾驶提示方法的流程图。请参照图3，本实施例的方式适用于上述实施例中的驾驶提示系统10，以下即搭配驾驶提示系统10中的各项元件说明本实施例依据驾驶的注视位置提供示警的详细步骤。

首先，在步骤s301，处理器130经由图像获取装置150获取环境图像。图像获取装置150用以获取移动载具四周的图像，例如，图像获取装置150可以朝向行进方向、行进方向的侧面或行进方向后方，来获取环境图像。此外，本发明对于图像获取装置150的数目并不限制。在一实施例中，处理器130可使用一个以上的图像获取装置来同时获取多张环境图像。需说明的是，图像获取装置150的视野范围(fieldofview，fov)将依据图像获取装置150的性能与设置位置而定，而环境图像的成像内容也将取决于图像获取装置150的视野范围。

在步骤s302，处理器130对环境图像执行目标物检测，而获取图像检测物件的目标位置。具体而言，各式目标物体的特定图像特征已经建立于数据库之中。处理器130可依据数据库中的特定图像特征来分析环境图像，以判断是否有符合特定图像特征的图像检测物件存在于环境图像当中。换言之，当发现到符合特定图像特征的图像检测物件存在于车辆前方的环境图像时，处理器130可判定对应的目标物体位于图像获取装置150的拍摄方向上，像是车辆的前方。举例而言，处理器130可通过环境图像的轮廓信息或颜色信息来进行图像分析，以检测目标物体的存在与否。上述的目标物体可以是交通号志(例如是交通指示灯号、行驶规范标志、道路导引标志等等)或障碍物(例如是行人、路障、动物等等)。

在一实施例中，图像检测物件的目标位置可为图像检测物件位于环境图像上的代表图像坐标，或是通过空间深度分析而产生的三维空间坐标，本发明对此并不限制。需说明的是，若图像检测物件的目标位置为三维空间坐标，通过装设一台以上图像获取装置来获取多张环境图像，可通过深度信息计算来获取图像检测物件的三维空间坐标。

在步骤s303，处理器130经由眼球追踪装置110检测驾驶的注视位置。在一实施例中，眼球追踪装置110可用图像分析来检测与判断视线落点。此外，视线追踪技术也可从前后获取的两张眼部图像中，计算同一瞳孔特征点的位置偏移量以作为眼球的移动信息。或者，眼球追踪装置110也可根据瞳孔、眼眶位置、形状以及视线方向等关系来进行视线落点的追踪。眼球追踪装置110持续将检测到的驾驶的注视位置提供给处理器130。在一实施例中，眼球追踪装置110可分析出驾驶视线射向驾驶前方的一投影平面上的二维投影坐标，其可作为驾驶的注视位置。在一实施例中，基于投影平面的深度信息的设定，驾驶的注视位置也可以是三维空间坐标。

在步骤s304，处理器130判断注视位置是否吻合目标位置。详细而言，在处理器130取得眼球追踪装置110提供的注视位置以及分析出目标位置之后，处理器130可判断注视位置是否足够接近目标位置，以判断驾驶的视线是否有落在目标物体上。

在步骤s305，若注视位置不吻合目标位置(步骤s304判断为否)，处理器130控制示警装置120启动示警操作。另一方面，在步骤s306，若注视位置吻合目标位置(步骤s304判断为是)，处理器130控制示警装置120不启动示警操作。换言之，处理器130响应于判定注视位置不吻合目标位置，而控制示警装置120启动示警操作。处理器130响应于判定注视位置吻合目标位置，而控制示警装置120不启动示警操作。具体而言，当处理器130判定驾驶的注视位置与图像检测物件的目标位置不吻合时，代表驾驶没有注视到目标物体，则处理器130可控制示警装置120发出听觉警示、视觉警示、或触觉警示来提示驾驶，以告知驾驶移动载具周遭有被忽略的重要目标物体存在。

然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更上述实施例的内容。例如，在本发明的一实施例中，在启动示警装置之后可再次判断注视位置是否吻合目标位置，以制止示警装置继续执行示警操作或进一步对移动载具的构件进行控制。以下则举一实施例详细说明。

图4是依照本发明一实施例的驾驶提示系统的方块图。请参照图4，驾驶提示系统40包括眼球追踪装置410、示警装置420、处理器430、存储器440、图像获取装置450，以及测距装置460。需说明的是，眼球追踪装置410、示警装置420、处理器430、存储器440，以及图像获取装置450的功能与耦接关系与图1所示的眼球追踪装置110、示警装置120、处理器130、存储器140，以及图像获取装置150的功能与耦接关系相似，于此不再赘述。与图1所示实施例不同的是，驾驶提示系统40还包括测距装置460，且处理器430耦接至移动载具的载具行驶元件470。

测距装置460可以是超音波测距装置、红外线测距装置，或激光测距装置(或称光达)，其用以量测移动载具与目标物体之间的距离。测距装置460也可以是图像深度分析装置，以依据图像深度值来判断目标物体与移动载具之间的距离。载具行驶元件470可以是移动载具的刹车装置、速度控制装置，方向控制装置或其他机构件。

图5是依照本发明一实施例的驾驶提示方法的流程图。请参照图5，本实施例的方式适用于上述实施例中的驾驶提示系统40，以下即搭配驾驶提示系统40中的各项元件说明本实施例依据驾驶的注视位置提供示警的详细步骤。

在步骤s501，处理器430经由图像获取装置450获取环境图像。在步骤s502，处理器430对环境图像执行目标物检测，而获取图像检测物件的目标位置。在步骤s503，处理器430经由眼球追踪装置410检测驾驶的注视位置。

举例而言，图6是依照本发明一实施例的获取注视位置的示意图。请参照图6，移动载具61行驶于道路上，设置于移动载具61上的图像获取装置450朝行进方向拍照，而设置于移动载具61上的眼球追踪装置410用以检测驾驶的注视位置。具体而言，处理器430可获取眼球追踪装置410所设定的投影平面pl1的参考设定值，也可获取眼球追踪装置410所提供的驾驶注视于投影平面pl1上的投影位置(xe,ye)。上述的参考设定值包括投影平面pl1的宽度w、高度h以及与移动载具61之间的距离d。

另一方面，图像获取装置450依据其视野范围与设置位置可获取到移动载具61前方的环境图像img1。处理器430可检测到目标物体62(即，红绿灯)的图像检测物件s1存在于环境图像img1上，并获取图像检测物件s1位于环境图像img1上的目标位置(xc,yc)。另一方面，依据图像获取装置450的视野范围以及投影平面pl1的参考设定值，处理器430可将投影平面pl1上的投影位置(xe,ye)转换为环境图像img1上的相对位置(xet,yet)，以获取驾驶的注视位置。换言之，处理器430可依据图像获取装置450的视野范围将投影平面pl1的任一坐标映射至环境图像img1的图像坐标上。于此，处理器430将此相对位置(xet,yet)视为驾驶的注视位置。基此，处理器430可后续步骤依据目标位置(xc,yc)以及相对位置(xet,yet)来判断驾驶的视线落点是否落在目标物体上。

图7a与图7b是依据本发明一实施例的获取注视位置的情境示意图。请先参照图7a，设置于移动载具61外部的图像获取装置450可拍摄下环境图像img2，设置于移动载具61内部的图像获取装置490可拍摄下投影参考图像img3。需特别说明的是，在图7a的范例中，图像获取装置490的设置位置可基于眼球追踪装置410的投影平面而被配置，致使用以产生投影参考图像img3的图像获取装置490的视野范围被配置为与眼球追踪装置410的虚拟空间相同。眼球追踪装置410用以检测驾驶视线落在虚拟空间的位置，而眼球追踪装置410的投影平面为虚拟空间内垂直于地面的一平面。基此，通过对环境图像img2与投影参考图像img3进行图像校正与匹配，驾驶63注视于眼球追踪装置410所设定的投影平面上的投影位置(xe,ye)可被转换为环境图像img2上的相对位置(xet,yet)。

请参照图7b，相较于图7a，移动载具61内部并不具有图像获取装置490。在图7b的范例中，基于投影平面pl2的参考设定值，眼球追踪装置410可检测到投影于投影平面pl2上的投影位置(xe,ye)。设置于移动载具61外部的图像获取装置450可拍摄下环境图像img2，通过对图像img2进行图像校正以及相对于投影平面pl2的视野范围映射，驾驶63注视于眼球追踪装置410所设定的投影平面pl2上的投影位置(xe,ye)可被转换为环境图像img2上的相对位置(xet,yet)。基于图7a与图7b的范例可知，投影位置(xe,ye)可映射至目标位置(xc,yc)的坐标空间中，因此驾驶的注视位置(xet,yet)也可据以取得。

请继续参照图5，在步骤s504，当检测到图像检测物件对应的目标物体时，处理器430利用测距装置460检测移动载具与目标物体之间的距离。接着，在步骤s505，处理器430判断移动载具与目标物体之间的距离是否小于临界值。若步骤s505判断为否，代表此目标物体与移动载具相距太远并不需要特别提示驾驶去注意，在步骤s508，处理器430控制示警装置420不启动示警操作。举例而言，测距装置460可量测出移动载具与红绿灯之间的距离a1(公尺)，当处理器430判断a1(公尺)大于临界值b1(公尺)时，处理器430并不会启动示警装置420也不会更进一步去判断红绿灯的目标位置与注视位置是否吻合。

需特别说明的是，上述临界值的设定可视实际应用而定。在一实施例中，上述临界值还可依据目标物体的形态而具有相对应的数值。以目标物体为障碍物为例，相距太遥远的障碍物并没有迫切被驾驶注意的必要，因此对应于障碍物的临界值可以设定为第一值。以目标物体为特定交通号志为例，对应于特定交通号志的临界值可以设定为相异于上述第一值的第二值。

另一方面，若步骤s505判断为是，在步骤s506，处理器430判断注视位置是否吻合目标位置。基于图6、图7a以及图7b的说明可知，处理器430可依据环境图像获取目标位置，并依据眼球追踪装置410提供的投影位置计算出注视位置。于是，处理器430可进一步判断注视位置是否吻合目标位置是否足够接近。在一实施例中，处理器430可直接依据注视位置与目标位置之间的间距来判断注视位置与目标位置是否吻合。

举例而言，图8是依照本发明一实施例的判断注视位置与目标位置是否吻合的示意图。请参照图8，处理器430可判断图像检测物件s2在环境图像img8上的目标位置(xc,yc)与驾驶的注视位置(xet,yet)之间的间距d1是否大于临界值。当图像检测物件s2在环境图像上的目标位置(xc,yc)与驾驶的注视位置(xet,yet)之间的间距d1大于临界值，处理器430可判定注视位置不吻合目标位置，当图像检测物件s2在环境图像img8上的目标位置(xc,yc)与驾驶的注视位置(xet,yet)之间的间距d1不大于临界值，处理器430可判定注视位置吻合目标位置。

此外，在一实施例中，处理器430也可依据图像检测物件与包括注视位置的图像区块之间的相似度来判断注视位置与目标位置是否吻合。举例而言，图9是依照本发明一实施例的判断注视位置与目标位置是否吻合的示意图。请参照图9，处理器430以驾驶的注视位置(xet,yet)作为延伸基础，而获取环境图像img8上的特定区块z1。处理器430判断特定区块z1与图像检测物件s2之间的图像相似程度。从另一方面来说，处理器430判断特定区块z1与包括图像检测物件s2的图像区块z2之间的图像相似程度。当特定区块z1与图像检测物件s2之间的图像相似程度大于临界值，处理器430可判定注视位置吻合目标位置。当特定区块与图像检测物件之间的图像相似程度不大于临界值，处理器430可判定注视位置不吻合目标位置。

请继续参考图5，若步骤s506判断为是，代表驾驶的视线落在目标物体上，在步骤s508，处理器430控制示警装置420不启动示警操作。若步骤s506判断为否，代表驾驶的视线没有落在目标物体上，在步骤s507，处理器430控制示警装置420启动示警操作。在启动示警操作之后，在步骤s509，处理器430重复执行步骤s501～s503。接着，在步骤s510，处理器430再次判断注视位置是否吻合目标位置。

若步骤s510判断为是，代表驾驶的视线经过警示操作的提示已经落在目标物体上，在步骤s512，处理器430控制示警装置420停止执行示警操作。若步骤s510判断为否，代表驾驶的视线经过警示操作的提示还是没有落在目标物体上，在步骤s511，处理器430可依据图像检测物件所对应的目标物体来控制移动载具的载具行驶元件470。在一实施例中，处理器430可依据交通号志或障碍物控制移动载具的速度控制装置，以降低移动载具的行驶速度。也就是说，当驾驶持续没有注意到目标物体时，处理器430可依据目标物体的形态来控制移动载具的载具行驶元件470，从而介入驾驶行为。举例而言，若目标物体为速限标志，则处理器430将控制移动载具的速度控制装置来降低移动速度。若目标物体为障碍物，则处理器430将控制移动载具的刹车装置来执行自动刹车。

综上所述，在本发明实施例中，通过眼球追踪装置来获取驾驶的视线落点，本发明可判断驾驶的视线是否有落在移动载具周遭的目标物体上。当驾驶的注视位置与目标位置没有吻合时，本发明可提供示警来提示驾驶专注于需要被注意的目标物体上。本发明通过依据驾驶视线来适时地提供示警，以期望驾驶的视线有确实的注意到路上需要被注意的物体。除此之外，本发明还可依据驾驶的视线来进一步介入驾驶行为，以排解紧急且危急状况的发生。藉此，本发明可提供一种高安全性的驾驶辅助，以降低交通事故的发生机率。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定者为准。