基于图像来检测乘客和系安全带的设备及方法与流程

相关申请的交叉引用

本申请根据要求于2018年11月29日向韩国知识产权局提交的韩国专利申请第10-2018-0150589号的优先权，其全部内容通过引用合并于此。

本公开的实施方式涉及一种基于图像检测乘客的设备和方法，并且更具体地，涉及一种能够使用图像准确检测乘客或随行乘客，而无需在车辆上添加单独的传感器，并且通过检测安全带是否系上来提高用户的安全性和便利性的基于图像检测乘客的设备和方法。

背景技术：

通常，车辆的安全带提醒(sbr)系统是用于检查乘客是否乘坐在车辆中并且是否系安全带，并将信息(即，乘客是否乘坐在车辆中以及是否系安全带)传递到电子控制单元(ecu)的系统。当乘客未系安全带时，ecu使用sbr提供的信息通过警报发出警告。

例如，sbr系统具有sbr垫，在该sbr垫中传感器提供在车辆的座椅中，以确定乘客是否乘坐在车辆中，使用带扣开关确定安全带是否系紧，并将确定结果发送给ecu。因此，当通过发送的确定结果确定乘客乘坐车辆但未系安全带时，ecu通过警告灯或铃声发出警告。

在这种情况下，提供在sbr系统的sbr垫中的传感器通常放置在座垫的泡沫上，并且该产品会根据乘客的乘坐受到恒定的应力。此外，由于一个传感器仅检测到一个座椅的占用，因此为了确定后座乘客是否乘坐车辆，在后座的乘客座椅部分需要单独的传感器，这成为增加车辆的制造成本的原因。

因此，需要一种无需添加单独的传感器或改变线路(线束)结构即可检测乘客的方法。

本公开的相关技术在公开号为10-2001-0102409的韩国专利中公开(公开于2001年11月15日，标题为“systemandmethodfordetectinganobjectorapersoninavehicleinterioranddevicefortheprotectionofoccupantsinavehiclewithsuchasystem”)。

技术实现要素：

各种实施方式旨在基于图像检测乘客的设备和方法，其能够使用图像准确检测乘客或随行乘客，而无需在车辆上添加单独的传感器，并且通过检测安全带是否系上来提高用户的安全性和便利性。

在实施方式中，一种用于基于图像来检测乘客和系安全带的设备包括：图像检测器，被配置为检测使用相机捕获的车辆的内部的图像；控制器，被配置为分析通过所述图像检测器捕获的所述车辆的内部的图像，并且确定是否存在乘客以及所述乘客是否系安全带；以及信息输出部，被配置为根据由所述控制器确定的所述乘客与物体的区分、所述乘客的存在或不存在、以及所述乘客是否系上安全带，来输出警告或警报。

在本公开中，所述控制器可以在通过所述图像检测器检测到的图像中设置多个关注区域(roi)，并且分析所述多个roi以确定所述乘客的存在或不存在、安全座椅的存在或不存在、空座椅的存在或不存在、以及物体的存在或不存在。

在本公开中，所述控制器可以设置第一roi(roi#1)、第二roi(roi#2)以及第三roi(roi#3)，所述第一roi(roi#1)用于检测所述乘客的面部，所述第二roi(roi#2)用于检测所述乘客的外表、空座椅、所述物体以及安全座椅，所述第三roi(roi#3)用于确定所述乘客是否系上安全带或者所述安全带是否系在所述安全座椅上。

在本公开中，所述控制器可以设置所述第一roi(roi#1)和所述第二roi(roi#2)，使得无论座椅板的位置如何应该始终在所述第一roi(roi#1)中显示所述乘客的整个面部，无论座椅板的位置如何应该始终在所述第二roi(roi#2)中显示所述乘客的从面部到膝盖的外表，无论座椅板的位置如何应该始终在所述第二roi(roi#2)中显示座椅的全部，并且当座椅的斜坡向前倾斜时应该始终在所述第一roi(roi#1)中显示所述乘客的整个面部，并且当座椅向前倾斜时应该始终在所述第二roi(roi#2)中显示所述乘客的从面部到膝盖的外表，并且当座椅向前倾斜时应该始终在所述第二roi(roi#2)中显示座椅的全部。

在本公开中，所述控制器可以设置第三roi(roi#3)，使得无论座椅板的位置如何应该始终在所述第三roi(roi#3)中显示安全带，并且当座椅的斜坡向前倾斜时，应该始终在所述第三roi(roi#3)中显示所述安全带。

在本公开中，所述图像检测器可以包括数字相机，所述数字相机应用了能够同时捕获前座和后座的视角和滤波器。

在本公开中，所述相机可以包括高视角鱼眼镜头或红外(ir)镜头。

在本公开中，可将通信功能添加到所述信息输出部，并且所述信息输出部能够根据所述乘客的存在或不存在以及所述乘客是否系安全带，通过指定的移动通信终端来输出警告或警报。

在实施方式中，一种基于图像检测乘客和系安全带的方法，包括以下步骤：由控制器根据接收到的相机图像设置第一关注区域(roi)和第二roi；由所述控制器通过分析所述第一roi和所述第二roi中的面部和外表，检测乘客是否乘坐在车辆中，并且当检测到所述乘客乘坐在所述车辆中时，由所述控制器设置第三roi，并通过分析所述第三roi确定是否系安全带，并且当所述乘客没有根据所述确定系安全带时，由所述控制器输出指示未系所述安全带的警报。

在本公开中，该方法还可包括：当所述乘客未乘坐在所述车辆时，由所述控制器通过所述第二roi的图像分析来确定空座椅或者物体是否放置在座椅上；并且作为所述第二roi的图像分析的确定结果，当放置在座椅上的物体是安全座椅时，由所述控制器设置所述第三roi，并且通过分析所述第三roi区域来确定是否系安全带；并且根据确定，当所述乘客未系安全带时，由所述控制器输出指示未系安全带的警报。

在本公开中，作为所述第二roi的图像分析的确定结果，当未检测到所述安全座椅时，为了检查座椅是否为所述空座椅，所述方法还可以包括由所述控制器将所述第二roi与在不存在所述乘客的初始状态下捕获的图像进行比较，并且当座椅仍处于没有物体的初始状态时，将座椅确定为所述空座椅。

在本公开中，作为所述第二roi的图像分析的确定结果，当未检测到所述安全座椅时，所述方法还可包括：由所述控制器将所述第二roi与不存在所述乘客的初始状态下捕获的图像进行比较，并且当物体存在而不是所述安全座椅时，将所述物体确定为放置在所述座椅上。

在本公开中，所述第一roi(roi#1)可以是用于由所述控制器检测所述乘客的面部的roi；所述第二roi(roi#2)可以是用于由所述控制器检测所述乘客的外表、空座椅、物体以及安全座椅的roi，并且所述第三roi(roi#3)可以是用于由所述控制器确定所述乘客是否系安全带或者所述安全带是否系在所述安全座椅上的roi。

在本公开中，所述控制器可以设置所述第一roi(roi#1)和所述第二roi(roi#2)，使得无论座椅板的位置如何应该始终在所述第一roi(roi#1)中显示所述乘客的整个面部，无论座椅板的位置如何应该始终在所述第二roi(roi#2)中显示所述乘客的从面部到膝盖的外表，无论座椅板的位置如何都应该始终在所述第二roi(roi#2)中显示座椅的全部，并且当座椅的斜坡向前倾斜时，应该始终在所述第一roi(roi#1)中显示所述乘客的整个面部，并且当座椅向前倾斜时，应该始终在所述第二roi(roi#2)中显示所述乘客的从面部到膝盖的外表，并且当座椅向前倾斜时，应该始终在所述第二roi(roi#2)中显示座椅的全部。

在本公开中，所述控制器可以设置所述第三roi(roi#3)，使得无论座椅板的位置如何应该始终在所述第三roi(roi#3)中显示安全带，并且当座椅的斜坡向前倾斜时，应该始终在所述第三roi(roi#3)中显示所述安全带。

附图说明

图1是示出根据本公开的实施方式的用于基于图像来检测乘客和系安全带的设备的示意性配置的示例性图。

图2是用于描述根据本公开的实施方式的基于图像检测乘客和系安全带的方法的流程图。

图3是示出通过接收图2中的相机图像来设置的第一关注区域(roi)和第二roi的示例性图。

图4是示出通过接收图2中的相机图像来设置的第三roi的示例性图。

具体实施方式

在下文中，参考示出了本发明的实施方式的附图来更全面地描述本发明。然而，本发明能够以许多不同的形式来实施，并且不应被解释为限于在此阐述的实施方式。相反，提供这些实施方式是为了更详尽本公开，并将本发明的范围充分传达给本领域技术人员。附图中相同的附图标记表示相同的元件。

通过以下参考附图对实施方式的描述，本发明的各种优点和特征以及实现本发明的方法将变得显而易见。然而，本发明不限于在此阐述的实施方式，而是能够以许多不同的形式实现。可提供本实施方式，使得本发明的公开将是完整的，并且将本发明的范围充分传达给本领域技术人员，因此，本发明将在权利要求的范围内进行限定。在整个说明书中，相同的附图标记表示相同的元件。

除非另有定义，否则应理解，说明书中使用的所有术语(包括技术术语和科学术语)具有与本领域技术人员所理解的含义相同的含义。此外，除非明确地明确定义，否则通常不应理想地或过度地正式定义由字典定义的术语。将理解的是，出于本公开的目的，“x，y和z中的至少一个”可被解释为仅x，仅y，仅z或两个或更多个项x，y和z的任意组合(例如，xyz，xyy，yz，zz)。除非有相反的特别描述，否则本文所描述的术语“包括”，“配置”，“具有”等将被理解为暗示包含所述组件，因此应解释为包括其他组件，而不排除任何其他元件。

除非另有定义，否则本文中使用的所有术语(包括技术术语和科学术语)具有与本公开内容所属于的本领域普通技术人员通常理解的相同含义。术语，例如在常用词典中定义的术语，应解释为具有与相关领域中它们的含义一致的含义，除非在此明确定义，否则将不会以理想化或过于正式的意义进行解释。

如在相应领域中的传统，在功能块、单元和/或模块方面可在附图中示出一些示例性实施方式。本领域普通技术人员将理解，这些块、单元和/或模块由诸如逻辑电路、分立组件、处理器、硬连线电路、存储元件、布线连接等电子(或光学)电路物理地实现。当块、单元和/或模块由处理器或类似硬件实现时，可使用软件(例如，代码)对它们进行编程和控制，以执行本文讨论的各种功能。可替代地，每个块、单元和/或模块可由专用硬件或作为专用硬件的组合来实现，以执行一些功能，并且可由处理器(例如，一个或多个编程的处理器和相关的电路)来实现，以执行其他功能。在不背离本发明构思的范围的情况下，一些示例性实施方式的每个块、单元和/或模块可在物理上被分成两个或更多个相互作用的和离散的块、单元和/或模块。此外，一些示例性实施方式的块、单元和/或模块可在物理上组合成更复杂的块、单元和/或模块，而不脱离本发明构思的范围。

在下文中，将参照附图通过实施方式的各种实例来描述根据本公开发明的用于基于图像来检测乘客和系安全带的设备和方法。

在下面的描述中，为了清楚和便于描述，附图中所示的线的粗细和部件的尺寸可能被放大。另外，考虑到本公开的功能来定义以下描述的术语，并且这些术语可根据用户或操作者的意图或习惯而变化。因此，本文所用术语的定义应遵循本文所公开的上下文。

图1是示出根据本公开的实施方式的用于基于图像来检测乘客和系安全带的设备的示意性配置的示例性图。

如图1所示，根据本实施方式的基于图像来检测乘客和系安全带的设备包括图像检测器110、控制器120以及信息输出部130。

图像检测器110包括用于捕获车辆的内部的相机。

相机是附接到车辆的挡风玻璃(前玻璃窗)或天花板上的数字相机，并且数字相机应用了能够同时捕获前座和后座的视角(例如，190度的视角)和滤波器(例如，高通滤波器(hpf))。相机可包括红外(ir)相机。

此外，相机可包括使用鱼眼镜头以获得高视角的相机。

鱼眼镜头是具有180度以上视角的超广角镜头。鱼眼镜头之所以被命名是因为，当一条鱼在水中往上看时，由于水的折射率，该鱼可看到水面以上的所有东西。

鱼眼镜头是使用球面像差制成的并且基于在前部使用大的凹透镜聚焦的原理制成的透镜。由于大的凹透镜，发生了桶形的圆形畸变。当使用大的凹透镜时，可确保190度或更大的视角，并且该技术可用于使用单个相机来监视车辆的内部的整体。

控制器120基于由图像检测器110捕获的车辆的内部的整体图像来检测乘客(或随行乘客)的存在或不存在，以及乘客(或随行乘客)是否系上安全带。具体地说，控制器120使用通过位于天花板上的单个高视角相机捕获的车辆的内部的整体图像，来将乘客与物体区分开，并确定乘客是否系安全带。

信息输出部130根据在控制器120中检查的乘客与物体的区分、乘客(或随行乘客)是否存在以及乘客是否系上安全带，来输出警告或警报。在这种情况下，当将通信功能添加到信息输出部130时，信息输出部130可根据乘客(或随行乘客)的存在或不存在以及乘客是否系安全带，通过指定的移动通信终端(例如，移动电话或智能手机)来输出警告或警报。

在本实施方式中，对于能够增强驾驶员的安全性和便利性的装置而言，确定乘客的存在或不存在是至关重要的，诸如安全气囊的展开控制、对车辆中未注意到的乘客的检测、以及空调系统的控制。

控制器120在通过图像检测器110获取的图像中设置关注区域(roi)，并确定roi区域是乘客、安全座椅(carseat)、空座椅还是物体。

当检测到乘客(或随行乘客)或安全座椅时，控制器120分析图像以确定乘客是否系上安全带。

在这种情况下，用于确定乘客(或随行乘客)是否系上安全带的原因在于，当乘客(或随行乘客)未系安全带时，存在以下情形的目的：准确地检测将安全带带扣与要接合的安全带手动分离以防止sbr发出警告声的情形。另外，当存在安全座椅时确定安全带是否系上的原因在于，应该接合安全带，以将安全座椅牢固地固定在乘客座椅上。

图2是用于描述根据本公开的实施方式的基于图像检测乘客和系安全带的方法的流程图。

参照图2，当通过图像检测器110输入相机图像时(s101)，控制器120设置第一roiroi#1和第二roiroi#2(s102)(见图3)。

图3是示出通过接收图2中的相机图像来设置的第一roiroi#1和第二roiroi#2的示例性图。

这里，第一roiroi#1是用于检测乘客的面部的roi，并且第二roiroi#2是用于检测乘客的外表、空座椅、物体以及安全座椅的roi。即，控制器120分析第一roiroi#1以确定乘客的存在或不存在，并且分析第二roiroi#2，以确定乘客的存在或不存在、以检测是否存在空座椅和是否存在乘客或物体、以及已安装的安全座椅。

作为参考，将描述用于设置第一roiroi#1和第二roiroi#2的条件。

例如，为了设置第一roiroi#1和第二roiroi#2，(1)当座椅板位于最前侧、中间侧或最后侧时，应该始终在第一roiroi#1中显示乘客的整个面部，(2)当座椅板位于最前侧、中间侧或最后侧时，应该始终在第二roiroi#2中显示外表(从乘客的面部到膝盖)，(3)当座椅板位于最前侧、中间侧或最后侧时，应该始终在第二roiroi#2中显示座椅的全部，(4)当座椅的斜坡向前倾斜(躺着或倾斜)时，应该始终在第一roiroi#1中显示乘客的整个面部。(5)当座椅的斜坡向前倾斜(躺着或倾斜)时，应该始终在第二roiroi#2中显示外表(从乘客的面部到膝盖)，以及(6)当座椅的斜坡向前倾斜(躺下或倾斜)时，应该始终在第二roiroi#2中显示座椅的全部。

此外，在本实施方式中，当乘客乘坐车辆时，可另外设置用于检测安全带是否被系的第三roiroi#3(s105)(见图4)。

图4是示出通过接收图2中的相机图像而设置的第三roiroi#3的示例性图。图4的(a)是示出在未系安全带的状态下的第三roiroi#3的图像分析画面的示例性图，并且图4的(b)是在系好安全带的状态下的第三roiroi#3的图像分析画面。

这里，第三roiroi#3是用于确定乘客是否系安全带的roi。即，控制器120分析第三roiroi#3以检测乘客是否系上安全带。

作为参考，将描述用于设置第三roiroi#3的条件。

例如，为了设置第三roiroi#3，(1)当座椅板位于最前侧、中间侧或最后侧时，应该始终在第三roiroi#3中显示座椅板的全部，和(2)当座椅的斜坡向前倾斜(躺着或倾斜)时，应该始终在第三roiroi#3中显示座椅板。

再次参照图2，控制器120通过分析第一roiroi#1和第二roiroi#2中的乘客的面部和外表来检测乘客(或随行乘客)是否乘坐在车辆中(s103)。

作为参考，当乘客的脸朝向前方时，仅通过面部分析来检测乘客(随行乘客)是否乘坐在车辆中的方法操作良好。然而，在乘客侧卧或看着后侧的情况下未示出面部，使得可能会确定出乘客的存在或不存在。然而，在本实施方式中，由于根据外表检测结果来确定乘客的存在或不存在，因此与现有技术不同，即使当无法通过面部确定乘客的存在或不存在时，也可通过外表分析确定乘客的存在或不存在。

作为乘客的存在或不存在的检测结果(s103)，当确定乘客(人)乘坐在车辆中时(s103和s104为“是”)，控制器120设置第三roiroi#3(s105)，并通过分析第三roiroi#3来确定是否系上安全带(s106)。

作为参考，当存在乘客(或随行乘客)时，通过图像的分析来确定安全带是否系上的原因在于，存在将要接合的带扣手动分离以防止发出sbr警告声的情形。此外，当存在安全座椅时(s110)，通过图像的分析来确定安全带是否系上的原因在于，需要相对于安全座椅而接合，以将安全座椅固定至乘客座椅。

作为确定结果(s106)，当乘客系上安全带时(s106为“是”)，处理返回操作s101。相反，当乘客未系安全带时(s106为“否”)，控制器120通过信息输出部130输出警告(例如，未系安全带的警报)(s107)。

同时，作为乘客存在或不存在的检测结果(s103)，当乘客(人)未乘坐在车辆中时(s103为“否”)，控制器120通过第二roiroi#2的图像分析来确定是否是空座椅或放置了其他物体(具体而言是安全座椅)(s108)。

作为通过第二roiroi#2的图像分析的确定结果(s108)，当检测到安全座椅时(s109和s110为“是”)，控制器120设置第三roiroi#3(s105)，并且通过分析第三roiroi#3来确定是否系上安全带(s106)。此外，作为确定结果(s106)，当乘客系上安全带时(s106为“是”)，处理返回操作s101。相反，当乘客未系安全带时(s106为“否”)，控制器120通过信息输出部130输出警告(例如，未系安全带的警报)(s107)。

此外，作为通过第二roiroi#2的图像分析的确定结果(s108)，当未检测到安全座椅时(s109为“否”)，控制器120检查座椅是否为空座椅(s111)。当在第二roiroi#2中不存在物体时(即，与在没有乘客的初始状态下捕获的图像相比，在座椅上没有物体时)，控制器120确定座椅为空座椅(s112)。

然而，当在第二roiroi#2中存在不同于初始状态的物体时(即，当通过与乘客不存在的初始状态进行比较，来确定某个物体存在于不同于初始状态的座椅上时)，控制器120确定物体被放置在座椅上(s113)。

如上所述，本实施方式克服了现有技术的局限，并且具有如下的效果：能够使误警报的发生最小化，以方便用户，防止由于外部照明变化引起的变化性能，检测各种乘坐姿势(例如，躺着姿势和向前弯弓姿势以及当乘客的面部未示出时)的乘客，并且即使仅手动分离要接合的安全带带扣以防止sbr的警告声，也通过图像分析检测是否系好安全带。

根据本公开的一个方面，可在不向车辆添加单独的传感器的情况下使用图像来准确地检测乘客或随行乘客，并且可通过检测是否系安全带为增强用户的安全性和便利性。

尽管已经出于说明性目的公开了本公开的优选实施方式，但是本领域技术人员将理解，在不脱离所附权利要求所限定的本公开的范围和精神的情况下，可进行各种修改、添加和替换。因此，本公开的真实技术范围应由所附权利要求书限定。因此，本公开的技术范围应由所附权利要求书限定。