车辆的乘员监视装置以及乘员保护系统的制作方法

本发明涉及车辆的乘员监视装置以及乘员保护系统。

背景技术：

专利文献1、2公开了对乘坐于车辆的乘员进行监视的乘员监视装置。

专利文献1：日本特开平11-043009号公报

专利文献2：日本特开2015-140146号公报

考虑在碰撞时对乘员进行拍摄并灵活运用于乘员保护控制。

然而，车辆的乘员监视装置通常为了对就坐于座椅的乘员的疲劳度、瞌睡、斜视等进行检测并发出警告而设置。

因此，车辆的乘员监视装置对就坐于座椅的乘员整个上体进行拍摄，根据其上体的动作等而判断乘员的状态。

另外，可以认为，如果车辆的乘员监视装置以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄，则能够充分获得实用性。

然而，通过以几十毫秒至几百毫秒1次左右的频率对乘员的整个上体进行拍摄，在碰撞时，有可能无法充分灵活运用于乘员保护控制。即，在碰撞时的乘员保护控制中，从检测出碰撞起直至进行控制为止的时间较短，有可能难以在该短时间内基于乘员监视装置的信息对设定进行变更。

这样，在车辆中，期望能够基于乘员监视装置的拍摄图像而改善碰撞时的乘员保护控制。

技术实现要素：

本发明所涉及的车辆的乘员监视装置监视就坐于车辆中设置的座椅的乘员，具有：投光设备，其朝向就坐于所述座椅的乘员投光；拍摄设备，其对就坐于所述座椅的乘员进行拍摄；以及处理部，其对所述投光设备以及所述拍摄设备进行控制，对就坐于所述座椅的乘员进行拍摄，所述处理部在未预测或者检测到车辆的碰撞的情况下，为了对乘员保护控制进行变更，利用所述拍摄设备对与车辆的行驶控制或者动作对应的乘员的动作进行拍摄。

本发明所涉及的车辆的乘员保护系统具有：上述车辆的乘员监视装置；以及乘员保护控制部，其执行基于由所述乘员监视装置拍摄的乘员的拍摄图像的乘员保护控制，所述乘员保护控制部基于在未预测或者检测到车辆的碰撞的状态下由所述乘员监视装置拍摄的乘员的拍摄图像，对所述气囊部件以及所述座椅安全带部件的设定进行变更，在检测出碰撞的情况下，在变更后的设定下使所述气囊部件以及所述座椅安全带部件进行动作。

优选地，可以为，所述乘员监视装置的所述处理部判断所述车辆的行驶状态是否为规定的动作测量的行驶状态，在行驶状态是动作测量的行驶状态的情况下，利用所述拍摄设备对乘员的头部进行拍摄，所述乘员保护控制部根据在行驶状态是动作测量的行驶状态的情况下利用所述拍摄设备拍摄的乘员的头部的位置以及动作，对乘员保护控制进行变更。

优选地，可以为，具有：用于对就坐于座椅的乘员进行支撑的气囊部件和座椅安全带部件；以及乘员保护控制部，其对所述气囊部件以及所述座椅安全带部件的动作进行控制，所述乘员保护控制部基于拍摄图像中的乘员的头部的位置以及动作对所述座椅安全带部件的动作开始定时、支撑强度、释放开始定时、所述气囊部件的展开开始定时、展开位置、展开朝向、展开尺寸、展开速度、以及展开时的硬度中的至少一个进行变更。

优选地，可以为，在所述乘员保护控制部根据由所述拍摄设备拍摄的图像中的乘员的上体或者头部的动作而能够确定为乘员能够用力支撑的情况下，与无法用力支撑的乘员的情况相比，车辆的乘员保护装置以如下方式进行变更，即，使所述座椅安全带部件的动作开始定时滞后，提高支撑强度，使释放开始定时提前，使所述气囊部件的展开开始定时滞后，使展开速度加快、或者提高展开时的硬度。

优选地，可以为，所述乘员保护控制部根据由所述拍摄设备拍摄的图像中的乘员的上体或者头部的位置，以如下方式对所述气囊部件的展开位置、展开朝向、或者展开尺寸进行变更，即，如果因碰撞输入使得乘员的上体或者头部倾倒，则向预想的方向以及位置展开。

优选地，可以为，在作为基于通过自动驾驶或者驾驶辅助对所述车辆进行制动的行驶状态下的拍摄图像而确定的乘员的上体或者头部的振动，确定了大于或等于规定量的振动的情况下，所述乘员保护控制部变更为使所述气囊部件以及所述座椅安全带部件的动作尽早开始，或者变更为提高乘员的支撑力。

优选地，可以为，在作为基于对所述车辆作用有大于或等于规定值的加速度的行驶状态的情况下的拍摄图像而确定的乘员的上体或者头部的振动，判断为大于或等于规定量的振动的情况下，所述乘员保护控制部变更为使所述气囊部件以及所述座椅安全带部件的动作尽早开始，或者变更为提高乘员的支撑力。

优选地，可以为，在能够获取到基于通过自动驾驶或者驾驶辅助对所述车辆进行制动的情况下的拍摄图像的乘员的上体或者头部的振动的情况下，所述乘员保护控制部基于该制动中的乘员的上体或者头部的振动而对乘员保护控制进行变更，在无法获取到基于通过自动驾驶或者驾驶辅助对所述车辆进行制动的情况下的拍摄图像的乘员的上体或者头部的振动的情况下，基于对所述车辆作用有大于或等于规定值的加速度的行驶状态下的乘员的上体或者头部的振动，对乘员保护控制进行变更。

发明的效果

在本发明中，对用于监视就坐于车辆中设置的座椅的乘员的所述投光设备以及所述拍摄设备进行控制，在未预测或者检测到车辆的碰撞的情况下，为了对乘员保护控制进行变更，对就坐于所述座椅的乘员进行拍摄的处理部利用所述拍摄设备对与车辆的行驶控制或者动作对应的乘员的动作进行拍摄。另外，车辆的乘员保护装置例如基于在未预测或者检测到车辆的碰撞的状态下利用所述乘员监视装置拍摄的乘员的拍摄图像，对所述气囊部件以及所述座椅安全带部件的设定进行变更，在检测出碰撞的情况下，在变更后的设定下使所述气囊部件以及所述座椅安全带部件进行动作。由此，车辆的乘员保护装置能够根据基于未预测或者检测到车辆的碰撞的状态下的拍摄图像而确定的与车辆的行驶控制或者动作对应的乘员的上体或者头部的位置以及动作，实施乘员保护控制。

这样，在本发明中，在预测或者检测出碰撞之前对乘员保护控制进行变更，因此乘员保护控制装置能够在实际预测或者检测出碰撞的情况下不进行设定变更地立即开始乘员保护控制。与未进行与乘员的动作相应的设定变更的情况相同地，在实际预测或者检测出碰撞的情况下，乘员保护控制装置能够立即开始乘员保护控制。

附图说明

图1是本发明的实施方式所涉及的汽车的乘员保护的说明图。

图2是关于图1的汽车中的乘员的左右方向上的动作的说明图。

图3是关于图1的汽车中的乘员的朝向斜前方向的动作的说明图。

图4是设置于图1的汽车的作为乘员保护系统的车辆控制系统的说明图。

图5是设置于图1的汽车的乘员监视装置的说明图。

图6是设置于图1的汽车的乘员保护装置的说明图。

图7是表示图5的监视控制部的处理的流程图。

图8是表示图3的行驶辅助装置的辅助控制部的处理的流程图。

图9是表示图6的保护控制部的处理的流程图。

图10是表示针对如下一系列处理的一个例子的说明图，即，基于拍摄图像对乘员保护控制的设定进行变更，并基于该设定而在碰撞时执行乘员保护控制。

标号的说明

1…汽车(车辆)、4…乘员室、5…座椅、6…仪表盘、7…方向盘、10…车辆控制系统(乘员保护系统)、12…加速度传感器、16…车外拍摄设备、20…ecu、31…监视控制部、32…辅助控制部、33…保护控制部、40…行驶辅助装置、50…乘员监视装置、52…光学单元、53…车内拍摄设备、54…投光设备、58…设定数据、60…乘员保护装置、69…设定数据、70…气囊部件、71…座椅安全带部件。

具体实施方式

下面，基于附图对本发明的实施方式进行说明。

图1是本发明的实施方式所涉及的汽车1的乘员保护的说明图。图1中示出了对车内进行拍摄的车内拍摄设备53。

汽车1是供人乘坐而移动的汽车1的一个例子。对于汽车1，例如还存在大型车、摩托车、个人移动体、自行车、铁道车辆、飞机、轮船等。

图1的汽车1具有如下部件等：车身2；车轮3，其设置于车身2的前后；座椅5，其设置于车身2的乘员室4；仪表盘6，其设置于座椅5的前方；以及方向盘7，其设置为从仪表盘6向后方凸出。

在这种汽车1中，乘坐于车身2的乘员室4的乘员就坐于座椅5。另外，乘员对方向盘7等进行操作。汽车1利用未图示的发动机、电机的驱动力，根据乘员的操作而行驶。

另外，汽车1例如通过设定目的地而对直至目的地为止的路径进行引导、或者沿着路径自动行驶至目的地。

图2是关于图1的汽车1中的乘员的左右方向上的动作的说明图。

图2是从前方观察图1的汽车1的图，两名乘员乘坐于左右排列的一对座椅5。就坐于座椅5的乘员的上体在汽车1的例如左右转弯时有时会在座椅5上向左右倾斜。

图3是关于图1的汽车1中的乘员的朝向斜前方向的动作的说明图。

图3是从上方观察图1的汽车1的图，两名乘员乘坐于左右排列的一对座椅5。就坐于座椅5的乘员的上体在汽车1的例如制动时等有时会向斜前方倾斜。

另外，如图1所示，就坐于座椅5的乘员的上体在汽车1的例如制动时等有时会向前方倾斜。

在未作用有过大的加速度的情况下，上述乘员的上体的动作未成为问题。

然而，例如在碰撞时，乘员的上体因碰撞时的过大的冲击而以从座椅5向外侧露出的方式大幅倾斜。

因此，在汽车1中，为了对就坐于座椅5的乘员的上体进行支撑，如图1所示，使用气囊部件70、座椅安全带部件71之类的乘员保护装置60。

座椅安全带部件71具有佩戴于就坐于座椅5的乘员的前方的安全带。座椅安全带部件71在碰撞时使安全带致动器63进行动作而对安全带施加张力。由此，在碰撞时，就坐于座椅5的乘员的上体由安全带支撑，难以以进一步从座椅5露出的方式移动。

气囊部件70在碰撞时利用由充气机产生的气体而使气囊64展开。在图1中，气囊64在方向盘7的后侧、即就坐于座椅5的乘员的上体的前方正面展开。由此，要从座椅5向前方倾倒的乘员的上体与气囊64接触。气囊64因乘员的载荷而变形，将作用于乘员的上体的动能吸收。

汽车1能够利用上述乘员保护装置60而在碰撞时也对乘员加以保护。

但是，可以认为，在汽车1的碰撞时，对乘员进行拍摄而灵活运用于乘员保护控制。

然而，汽车1的乘员监视装置50通常为了检测就坐于座椅5的乘员的疲劳度、瞌睡、斜视等并发出警告而设置。

因此，汽车1的乘员监视装置50对就坐于座椅5的乘员的整个上体进行拍摄，根据该上体的动作等而判断乘员的状态。

另外，可以认为，如果汽车1的乘员监视装置50与通常的动画同样地以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄，则能够充分获得实用性。

然而，以几十毫秒至几百毫秒1次左右的频率对乘员的整个上体进行拍摄，在碰撞时，有可能无法充分灵活运用于乘员保护控制。即，在碰撞时的乘员保护控制中，从检测出碰撞起直至进行控制为止的时间较短，需要能够在该短时间内完成处理。在碰撞时利用乘员监视装置对乘员进行拍摄，在与此相应地执行乘员保护控制的情况下，有可能无法确保用于上述处理的时间。

这样，在汽车1中，期望能够基于乘员监视装置的拍摄图像而改善碰撞时的乘员保护控制。

图4是设置于图1的汽车1的作为乘员保护系统的车辆控制系统10的说明图。

图4的车辆控制系统10具有车速传感器11、加速度传感器12、显示设备13、操作设备14、扬声器设备15、车外拍摄设备16、无线通信设备17、系统计时器18、存储设备19、ecu(electroniccontrolunit)20、以及对上述部件进行连接的车内网络21。

车内网络21例如是基于can(controllerareanetwork)、lin(localinterconnectnetwork)的有线的通信网络。与车内网络21连接的仪器分散配置于车身2的各部分，通过车内网络21而收发数据。此外，与车内网络21连接的仪器分别具有用于通过车内网络21而收发数据的cpu(centralprocessingunit)，可以分别构成为装置。

车速传感器11对汽车1的车身2的移动等的速度进行检测并向车内网络21输出。

加速度传感器12对作用于汽车1的车身2的加速度进行检测并向车内网络21输出。此外，在要检测出针对车身2的来自多个方向的冲击输入的情况下，加速度传感器12在汽车1设置有多个，可以在车身2的外周面的附近分散设置。

显示设备13从车内网络21获取显示数据，对基于显示数据的图像进行显示。

操作设备14设置于乘员室4等以供乘员操作。操作设备14例如具有方向盘7、换挡杆、制动器踏板。

扬声器设备15从车内网络21获取语音数据，将基于语音数据的语音输出。

车外拍摄设备16设置于汽车1的乘员室4等，对汽车1的周围进行拍摄并将图像数据向车内网络21输出。车外拍摄设备16例如图1所示那样在乘员室4的顶棚附近设置为朝向前方。在该情况下，车外拍摄设备16对汽车1的前方进行拍摄。

无线通信设备17与未连接于车内网络21的例如存在于汽车1的外部的其他车辆、基站、信标装置等之间进行无线通信并收发数据。

系统计时器18对时间、时刻进行测量。系统计时器18通过车内网络21而将测量的时间、时刻向与车内网络21连接的仪器输出。由此，与车内网络21连接的多个仪器能够根据系统计时器18的例如测量时刻而同步地进行动作。

存储设备19对ecu20在车辆的控制中使用的程序以及数据进行记录。存储设备19例如可以是半导体存储器、硬盘设备。

ecu20例如是单片机装置等具有cpu的计算机装置。单片机装置可以和cpu一起内置有系统计时器18、存储设备19。ecu20读取并执行存储设备19中记录的程序。由此，对于ecu20而实现了对汽车1整体的动作进行控制的控制部。此外，ecu20可以在汽车1设置有多个。在该情况下，多个ecu20相互协同地进行动作而作为控制部起作用。

图4中作为针对ecu20而实现的控制部的功能而示出了乘员的监视控制部31、行驶的辅助控制部32、乘员等的保护控制部33、通信控制部34、空调控制部35。

通信控制部34对无线通信设备17的数据通信进行管理，与无线通信设备17一起构成汽车1的无线通信设备。通信控制部34利用无线通信设备17例如与未图示的交通系统的服务器装置、以及与交通系统对应的其他车辆之间收发用于对汽车1的行驶等进行控制的数据。

空调控制部35对汽车1的乘员室4等的空调进行控制。

行驶的辅助控制部32与图3的车外拍摄设备16以及辅助存储器41一起构成汽车1的行驶辅助装置40。辅助存储器41例如可以设置于存储设备19的一部分。辅助控制部32基于辅助存储器41的设定并根据车外拍摄设备16的车外的拍摄图像而提取出存在于汽车1的周围的其他车辆、行人、自行车、外壁等构造物，生成与提取出的各物体之间的距离以及方向的信息。辅助控制部32以不与提取出的物体以及物体的行进路线相交叉或接近的方式生成本车辆的行进路线，使得本车辆沿着该行进路线行驶的方式对汽车1的移动进行控制。在由乘员在该期间例如对方向盘7等操作设备14进行操作的情况下，以根据对基于该操作设备14的操作的行进路线进行补充的行进路线而行驶的方式对汽车1的移动进行辅助。

另外，辅助控制部32根据后述的图8的处理，判断避免与其他车辆等碰撞的可能性，在该可能性较高的情况下，对碰撞进行预测。

图5是设置于图1的汽车1的乘员监视装置50的说明图。

图5的乘员监视装置50与图4的乘员的监视控制部31一起具有监视存储器51、光学单元52。乘员监视装置50对就坐于汽车1中设置的座椅5的乘员进行监视。

如图5以及图2所示，光学单元52在乘员室4的仪表盘6的中央部分设置为朝向后方。光学单元52具有车内拍摄设备53、一对投光设备54。

车内拍摄设备53在乘员室4的仪表盘6的中央部分设置为朝向后方。如图2的点划线框所示，车内拍摄设备53对乘员室4中就坐于在车宽方向上排列且针对每名乘员而设置的左右一对座椅5的两名乘员的整个上体进行拍摄。车内拍摄设备53在正常时与通常的动画同样地例如以每秒30帧进行拍摄。车内拍摄设备53在正常时以几十毫秒至几百毫秒1次左右的频率对乘员进行拍摄。另外，车内拍摄设备53可以以最大时高于正常时的例如每秒120帧进行拍摄。

各投光设备54在乘员室4的仪表盘6的中央部分设置为朝向后方。如图2的双点划线框所示，各投光设备54对就坐于各座椅5并由车内拍摄设备53拍摄的乘员的整个上体，例如投射红外线等非可见光。投光设备54为了对乘员的头部的脸部进行拍摄而设置为比座椅5的就坐位置靠前。

监视存储器51例如可以设置于存储设备19的一部分。监视存储器51对用于监视乘员的设定数据58等进行记录。

如后述的图7所示，监视控制部31在正常行驶中基于监视存储器51的设定数据58，对投光设备54以及车内拍摄设备53进行控制，根据车内拍摄设备53的车内的拍摄图像，判断就坐于座椅5乘员的上体的位置以及动作，根据该上体的位置以及动作，判断乘员的瞌睡、斜视等。在乘员瞌睡、斜视等的情况下，监视控制部31利用显示设备13以及扬声器设备15将警告输出。监视控制部31可以根据拍摄图像而判断乘员的脸部的朝向、眼球的动作，与此相应地将瞌睡、斜视等警告输出。

图6是设置于图1的汽车1的乘员保护装置60的说明图。

图6的乘员保护装置60与图4的乘员等的保护控制部33一起具有保护存储器61、多个座椅安全带62、多个安全带致动器63、多个气囊64、多个基座部件65、多个气囊致动器(ab致动器)66、多个充气机67、68。

一组座椅安全带62、以及安全带致动器63构成一个座椅安全带部件71。

一组气囊64、基座部件65、气囊致动器66、第一充气机67、以及第二充气机68构成一个气囊部件70。

即，图6中以与左右一对座椅5对应的方式示出了两组座椅安全带部件71、以及两组气囊部件70。

座椅安全带62是佩戴于就坐于座椅5的乘员的腰部以及上体的前方的安全带。

安全带致动器63对座椅安全带62施加可变的张力。施加有张力的座椅安全带62能够以将乘员的腰部以及上体按压至座椅5的方式起作用。

气囊64是利用高压气体而瞬时展开的袋体。

第一充气机67以及第二充气机68产生注入至气囊64的高压气体。在使第一充气机67以及第二充气机68一起进行动作的情况下，气囊64能够以较高的压力而展开。在使第一充气机67或者第二充气机68进行动作的情况下，气囊64能够以较低的压力而展开。通过使第一充气机67的动作开始定时和第二充气机68的动作开始定时错开，能够以与它们一致的情况不同的压力变化而使气囊64展开。

在基座部件65安装有气囊64，折叠并收纳气囊64。此外，第一充气机67以及第二充气机68也可以设置于基座部件65。

气囊致动器66对基座部件65进行驱动，对基座部件65的位置或者朝向进行调整。在基座部件65例如以能够在车宽方向、前后方向、上下方向移动的方式安装于车身2的情况下，气囊致动器66对基座部件65进行滑动驱动而调整其位置。

在基座部件65以能够旋转的方式设置于安装位置的情况下，气囊致动器66对基座部件65进行旋转驱动而调整其朝向。

保护存储器61例如可以设置于存储设备19的一部分。保护存储器61对用于保护乘员的设定数据69等进行记录。

乘员等的保护控制部33和加速度传感器12、如图1所示的气囊部件70以及座椅安全带部件71一起构成汽车1的乘员保护装置60。如果保护控制部33基于存储设备19的设定而判断为加速度传感器12检测出超过与碰撞的冲击对应的阈值的加速度，则执行乘员等的保护控制。保护控制部33为了保护乘员而将气囊部件70的气囊64展开，将张力施加于座椅安全带部件71的座椅安全带62。

另外，在预测出汽车1的碰撞的情况下，保护控制部33执行基于由乘员监视装置50拍摄的乘员的拍摄图像的乘员保护控制。

图7是表示图5的监视控制部31的处理的流程图。

监视控制部31在乘员乘坐于汽车1而将图4的车辆控制系统10的电源接通的情况下反复执行图7的处理。

在图7的通常的监视控制的步骤st1中，监视控制部31判断乘员是否已乘车。直至判断为乘员已乘车为止，监视控制部31反复执行步骤st1的乘车判断。

如果乘员乘车并就坐于座椅5，则车内拍摄设备53通过周期性地反复拍摄而开始对就坐于座椅5的乘员进行拍摄。

在步骤st2中，监视控制部31例如利用存储于监视存储器51的乘员的设定数据58对由车内拍摄设备53拍摄的图像中映射的乘员的脸部进行识别。

在步骤st3中，监视控制部31例如利用存储于监视存储器51的乘员的设定数据58而执行与识别出的乘员对应的设定处理。监视控制部31将识别出的乘员的识别编号或者设定数据向车内网络21输出。由此，例如由操作设备14识别出的乘员将方向盘7等调整为以往的设定位置，或者进行与辅助控制部32识别出的乘员的以往的驾驶履历对应的驾驶辅助用的设定，或者进行与保护控制部33识别出的乘员对应的保护控制用的设定，或者通过空调装置识别出的乘员的以往的设定，由此开始进行空调动作。

在以上乘车时的设定处理之后，辅助控制部32开始乘员的监视。

在步骤st4中，监视控制部31通过正常的投光控制而将投光设备54点亮。通过正常的投光，监视控制部31以能够长时间连续点亮的恒定输出的亮度间歇地使投光设备54点亮。投光设备54通过间歇的点亮而开始以广角对乘员的整个上体投射红外线。

在步骤st5中，监视控制部31利用车内拍摄设备53对就坐于座椅5的乘员进行拍摄。车内拍摄设备53以正常的拍摄速度对就坐于座椅5的乘员进行拍摄。

在步骤st6中，监视控制部31基于拍摄图像中映射的乘员的状态，判断是否需要警告。监视控制部31确定拍摄图像中的乘员的上体的位置以及动作等，通过确定的上体的位置以及动作等而判断乘员的瞌睡、斜视等。而且，在乘员未进行瞌睡、斜视等的情况下，监视控制部31判断为不需要警告，使处理进入步骤st8。在乘员进行瞌睡、斜视等的情况下，监视控制部31判断为需要警告，使处理进入步骤st7。

在步骤st7中，监视控制部31判断汽车1的当前的行驶状态是否为能够用于乘员保护控制的规定的动作测量的行驶状态。

动作测量的行驶状态是指例如与汽车1发生大幅碰撞的情况类似的行驶状态。

例如，通过自动驾驶或者驾驶辅助，不依赖于乘员的操作地通过紧急制动而对汽车1进行制动的状态，与汽车1发生大幅碰撞的状态类似。在该情况下，可以认为乘员的上体以及头部与汽车1发生大幅碰撞时同样地进行动作。

除此以外，可以认为，例如，在对汽车1作用有较大加速度的状态下，尽管并非通过紧急制动对乘员的上体以及头部进行制动的情况，但相应地较大的加速度也作用于乘员而使得乘员的上体以及头部进行动作。具体而言，例如，可以考虑汽车1紧急进行加速减速的情况、稳定行驶中的加速减速的情况、误前进的情况、误后退的情况。可以认为这与汽车1发生轻微碰撞的情况类似。

监视控制部31例如对汽车1所产生的加速度和阈值进行比较而实施判别，由此判别与上述大幅碰撞类似的情况、与轻微碰撞类似的情况、以及除此以外的情况。

而且，在与大幅碰撞类似的情况下、以及与轻微碰撞类似的情况下，监视控制部31判断为处于规定的动作测量的行驶状态，使处理进入步骤st8。

在除此以外的情况下，监视控制部31判断为未处于规定的动作测量的行驶状态，使处理进入步骤st10。

在步骤st8中，监视控制部31基于车内拍摄设备53的拍摄图像而对实际的乘员的动作进行测量。

例如，监视控制部31从步骤st4中拍摄所得的图像切取并提取乘员的头部的拍摄范围，基于提取出的局部图像中的上体或者头部的拍摄位置，对乘员室4中的乘员的上体或者头部的位置以及动作进行测量。监视控制部31根据拍摄图像，对与汽车1的动作测量的行驶控制或者动作对应的乘员的动作进行测量。在乘员能够用力支撑的情况下，乘员的动作幅度减小，在乘员无法用力支撑的情况下，乘员的动作幅度增大。

另外，监视控制部31可以基于测量出的乘员的上体或者头部的动作，对实际产生了碰撞的情况下的乘员的动作进行预测。在该情况下，监视控制部31可以根据此次的汽车1的动作的加速度相对于实际的碰撞中有可能产生的加速度的比率而使乘员的动作幅度增减。

另外，监视控制部31可以基于测量或增减的乘员的上体或者头部的动作而判断乘员在碰撞时能否用力支撑。

此外，除此之外，监视控制部31还可以根据规定的车辆状态下的乘员的头部的眼球运动量，通过预测对乘员的动作进行测量。

例如，监视控制部31可以基于由声音制造器(soundcreator)发出声音时的眼球运动量、汽车1从明亮的场所向昏暗的场所移动或者反向移动时的眼球运动量等，通过预测而对乘员的动作进行测量。由此，能够对与乘员的意识水平相应的动作进行测量。

在步骤st9中，监视控制部31将步骤st8中获取到的各种信息作为乘员动作信息而输出。另外，监视控制部31可以基于乘员动作信息，根据需要而对监视存储器51的设定数据58进行更新。

在步骤st10中，监视控制部31判断乘员是否已下车。如果由车内拍摄设备53拍摄的图像中未映射出乘员，则监视控制部31判断为乘员已下车。在乘员未下车的情况下，监视控制部31使处理向步骤st4返回。监视控制部31基于接下来的车内拍摄设备53的拍摄图像而反复执行对未下车的乘员的上述监视。在乘员已下车的情况下，监视控制部31结束图7的处理。

图8是表示图3的行驶辅助装置的辅助控制部32的处理的流程图。

辅助控制部32在汽车1行驶或者停车的期间反复执行图8的处理。

在图8的驾驶辅助控制的步骤st11中，辅助控制部32获取本车辆以及周围信息。辅助控制部32例如获取车外拍摄设备16的拍摄图像、通信控制部34从交通系统获取其他车辆的移动数据、车速传感器11的速度、加速度传感器12的加速度、辅助控制部32的行进路线、路径信息等。

在步骤st12中，辅助控制部32基于关于本车辆的行驶而获取的信息生成本车辆的行进路线。辅助控制部32例如基于本车辆的路径信息而生成最近的行进路线。

在步骤st13中，辅助控制部32判断其他车辆等其他移动体和本车辆的碰撞可能性。辅助控制部32例如根据拍摄图像或者移动数据而生成其他移动体的行进路线，判断与本车辆的最近的行进路线的交叉或者接近的情况。而且，在本车辆的最近的行进路线和其他移动体的行进路线相交叉或者接近的情况下，辅助控制部32判断为存在碰撞的可能性，使处理进入步骤st14。在本车辆的最近的行进路线和其他移动体的行进路线未交叉或者未接近的情况下，辅助控制部32判断为不存在碰撞可能性，使处理进入步骤st15。

在步骤st14中，辅助控制部32将步骤st12中生成的行进路线更新为难以与其他移动体的行进路线相交叉或接近。辅助控制部32例如以在行进路线的中途实施加减速、或停车的方式对生成的行进路线进行更新。

在步骤st15中，辅助控制部32根据生成或者更新的行进路线，对本车辆的行驶进行控制。辅助控制部32根据生成的行进路线，使得更新后的行进路线优先。在通过自动驾驶而行驶的情况下，辅助控制部32以根据生成或者更新的行进路线进行行驶的方式使本车辆行驶。在乘员对方向盘7等操作设备14进行操作的情况下，辅助控制部32根据生成或者更新的行进路线对操作量进行调整，并使本车辆行驶。

在步骤st16中，辅助控制部32判断关于控制的行驶中的碰撞的避免可能性。辅助控制部32获取车外拍摄设备16的最新的拍摄图像等由本车辆传感器得到的信息，判断与其他移动体的碰撞的避免可能性。本车辆通常根据通过步骤st14以避免的方式更新的行进路线使本车辆移动，因此能够避免与其他移动体的碰撞。但是，例如在其他移动体进行超出预想的动作的情况下，即使根据更新的行进路线使本车辆移动，也存在发生碰撞的可能性。辅助控制部32例如根据拍摄图像中映射的其他移动体的相对的移动而判断避免可能性。这样，步骤st16的避免可能性的判断是比步骤st14的碰撞可能性的预测判断更严密的判断，判断是否实际上产生碰撞的可能性。在不存在避免可能性的情况下，辅助控制部32使处理进入步骤st17。在存在避免可能性的情况下，辅助控制部32使处理进入步骤st18。

在步骤st17中，辅助控制部32将碰撞预测向车内网络21输出。然后，辅助控制部32结束图8的驾驶辅助控制。

在步骤st18中，辅助控制部32将碰撞预测解除向车内网络21输出。然后，辅助控制部32结束图8的驾驶辅助控制。

通过以上处理，在判断为实际上发生了碰撞的情况下，辅助控制部32在步骤st17中将碰撞预测输出。在未判断为实际上发生了碰撞的情况下，辅助控制部32在步骤st18中将碰撞预测解除输出。

图9是表示基于图6的保护控制部33的处理的流程图。

乘员的保护控制部33反复执行图9的处理。

在图9的乘员保护处理的步骤st21中，保护控制部33判断是否获取到基于步骤st9的乘员动作信息。

在获取到乘员动作信息的情况下，保护控制部33使处理进入步骤st22。

在未获取到乘员动作信息的情况下，保护控制部33使处理进入步骤st24。

在步骤st22中，保护控制部33判断是否需要用于乘员保护控制的设定变更。

保护控制部33在例如并非已经根据与大幅碰撞类似的情况下的乘员动作信息而对保护存储器61的设定数据69进行了更新的情况、新的乘员动作信息与大幅碰撞类似的情况时，判断为不需要设定变更。

另外，保护控制部33在仅根据与轻微碰撞类似的情况下的乘员动作信息对保护存储器61的设定数据69进行更新的情况下，判断为需要基于新的乘员动作信息的设定变更。

这样，保护控制部33根据与轻微碰撞类似的情况下的乘员动作信息，以优先考虑与大幅碰撞类似的情况下的乘员动作信息的方式判断是否需要设定变更。

在判断为需要设定变更的情况下，保护控制部33使处理进入步骤st23。

在判断为不需要设定变更的情况下，保护控制部33使处理进入步骤st24。

在步骤st23中，保护控制部33执行用于乘员保护控制的设定变更处理。

保护控制部33在例如获取到与大幅碰撞类似的情况下的乘员动作信息的情况下，将获取到的乘员的上体或者头部的动作作为碰撞时的动作而执行用于乘员保护控制的设定变更处理。

例如在获取到与轻微碰撞类似的情况下的乘员动作信息的情况下，保护控制部33以规定的方式将获取到的乘员的上体或者头部的动作放大，将放大的动作作为碰撞时的动作，执行用于乘员保护控制的设定变更处理。

除此之外，例如，保护控制部33可以基于乘员动作信息中包含的、乘员在碰撞时能否用力支撑的判断结果而执行用于乘员保护控制的设定变更处理。

另外，在用于乘员保护控制的设定变更中，保护控制部33对气囊部件70以及座椅安全带部件71的设定进行变更。

保护控制部33例如对有关座椅安全带部件71的动作开始定时、支撑强度、释放开始定时、气囊部件70的展开开始定时、展开位置、展开朝向、展开尺寸、展开速度、以及展开时的硬度的设定进行变更。

具体而言，例如在能够确定为乘员的动作幅度较小而乘员能够用力支撑的情况下，保护控制部33使座椅安全带部件71的动作开始定时滞后，提高支撑强度，提前释放开始定时，使气囊部件70的展开开始定时滞后，加快展开速度，或者提高展开时的硬度。由此，能够提高气囊部件70以及座椅安全带部件71对乘员的支撑力。

相反，在能够确定为乘员的动作幅度较大而无法用力支撑的情况下，保护控制部33使座椅安全带部件71的动作开始定时提前，降低支撑强度，使释放开始定时滞后，使气囊部件70的展开开始定时提前，减慢展开速度，或者降低展开时的硬度。

除此之外，例如，保护控制部33根据乘员的乘员的上体或者头部的位置以如下方式对气囊部件70的展开位置、展开朝向或者展开尺寸进行变更，即，如果因碰撞输入使得乘员的上体或者头部倾倒，则向预想的方向以及位置展开。

除此之外，例如，在轻微碰撞的情况下，保护控制部33可以以仅利用座椅安全带部件71支撑乘员的方式对设定进行变更。

在步骤st24中，保护控制部33判断是否能够获取到步骤st17中输出的碰撞预测。

在未获取到碰撞预测的情况下，保护控制部33使处理向步骤st21返回。保护控制部33持续进行基于碰撞前的乘员动作信息的设定变更处理。

在获取到碰撞预测的情况下，保护控制部33使处理进入步骤st25。

在步骤st25中，保护控制部33判断是否为碰撞预测的警报定时。

在并非碰撞预测的警报定时的情况下，保护控制部33使处理进入步骤st27。

在碰撞预测的警报定时的情况下，保护控制部33在步骤st26中将警报输出至扬声器设备15以及显示设备13。然后，保护控制部33使处理进入步骤st27。

此外，可以在碰撞预测时基于直至碰撞为止的剩余时间而设定警报定时。

在步骤st27中，保护控制部33执行基于预测到碰撞的情况的检测出碰撞前的事前控制。

在事前控制中，保护控制部33例如使安全带致动器63工作而将座椅安全带62拉出，使座椅安全带62与乘员紧贴。

在步骤st28中，保护控制部33判断是否检测出碰撞。保护控制部33例如基于是否由加速度传感器12检测出与碰撞的冲击对应的过大的加速度而判断是否检测出碰撞。

在未检测出碰撞的情况下，保护控制部33在步骤st29中判断是否解除了步骤st18的碰撞预测。在解除了碰撞预测的情况下，保护控制部33结束图9的乘员保护处理。在未解除碰撞预测的情况下，保护控制部33使处理返回至步骤st25。直至判断检测出碰撞或者碰撞预测的解除的任一者为止，保护控制部33反复执行步骤st25至步骤st28的处理。例如直至即将碰撞之前，保护控制部33根据乘员的头部的动作而对设定进行变更，执行事前控制。

在检测出碰撞的情况下，保护控制部33在步骤st30中在变更后的设定中执行乘员保护控制。

在碰撞时控制中，保护控制部33根据设定例如利用安全带致动器63将张力施加于座椅安全带62。保护控制部33根据设定而使第一充气机67以及第二充气机68工作。由此，气囊64展开。在碰撞时，乘员的动能能够被座椅安全带62以及气囊64吸收。

例如，在作为乘员的上体或头部的振动而由保护控制部33判断出大于或等于规定量的振动的情况下，支撑不起作用，使气囊部件70以及座椅安全带部件71的动作尽早开始，利用较高的支撑力对乘员进行支撑。

在根据由车内拍摄设备53拍摄的图像中的乘员的上体或者头部的动作而能够确定为乘员能够用力支撑的情况下，与能够确定为无法用力支撑的情况相比，保护控制部33使气囊部件70以及座椅安全带部件71的动作滞后开始，利用正常的支撑力对乘员进行支撑。

这样，在检测出碰撞之前，保护控制部33根据行驶状态为动作测量的行驶状态的情况下由车内拍摄设备53拍摄的乘员的头部的位置以及动作，对乘员保护控制的设定进行变更。例如，在能够获得基于通过自动驾驶或者驾驶辅助对汽车1进行制动的情况下的拍摄图像的乘员的上体或者头部的振动的情况下，保护控制部33能够基于该制动中的乘员的上体或者头部的振动而对乘员保护控制的设定进行变更，能够根据变更后的设定而执行乘员保护控制。另外，在无法获得基于通过自动驾驶或者驾驶辅助对汽车1进行制动的情况下的拍摄图像的乘员的上体或者头部的振动的情况下，保护控制部33能够基于与对汽车1作用有大于或等于规定值的加速度的轻微碰撞类似的行驶状态下的乘员的上体或者头部的振动，对乘员保护控制的设定进行变更，能够根据变更后的设定而执行乘员保护控制。

图10是表示有关基于拍摄图像对乘员保护控制的设定进行变更，基于该设定而在碰撞时执行乘员保护控制的一系列处理的一个例子的说明图。

图10(a)是对作为基于拍摄图像而判断的乘员的动作的移动量(纵轴)、和对图像进行拍摄时的汽车1的加速度(横轴)的对应关系的一个例子进行说明的图。

如图10(a)所示，监视控制部31基于移动量和加速度的对应关系而将乘员的动作分为3个保护等级。例如，在加速度较低且移动量较小的情况下，将乘员的动作划分为低级。在加速度较高且移动量较大的情况下，将乘员的动作划分为高级。除此以外的中间等级的动作划分为中级。监视控制部31将乘员的保护等级的信息作为乘员动作信息而向保护控制部33输出。

图10(b)是表示与乘员的保护等级相应的乘员保护设定的变更内容的一个例子的图。监视控制部31基于从监视控制部31获取到的乘员的保护等级的信息，根据图10(b)而对乘员保护控制的设定进行变更。

例如，在保护等级为高级的情况下，监视控制部31以根据图10(b)而增强基于座椅安全带部件71以及气囊部件70的乘员保护的方式对设定进行变更。

除此之外，例如，在保护等级为低级的情况下，监视控制部31以根据图10(b)而减弱基于座椅安全带部件71以及气囊部件70的乘员保护的方式对设定进行变更。

图10(c)是表示检测出碰撞时基于监视控制部31的乘员保护控制的一个例子的内容的图。

在冲击输入大于冲击判定用的阈值的情况下，监视控制部31根据变更后的设定而使座椅安全带部件71以及气囊部件70进行动作。

在冲击输入小于冲击判定用的阈值的情况下，监视控制部31根据变更后的设定而仅使座椅安全带部件71进行动作。

如上，在本实施方式中，对用于监视就坐于汽车1中设置的座椅5的乘员的投光设备54以及车内拍摄设备53进行控制，对就坐于座椅5的乘员进行拍摄。而且，在未预测或者检测到汽车1的碰撞的情况下，为了对乘员保护控制的设定进行变更，利用拍摄设备对与汽车1的行驶控制或者动作对应的乘员的动作进行拍摄，并向汽车1的保护控制部33输出。另外，汽车1的保护控制部33例如基于在未预测或者检测到汽车1的碰撞的状态下拍摄的乘员的拍摄图像，对气囊部件70以及座椅安全带部件71的设定进行变更，在检测出碰撞的情况下，在变更后的设定下使气囊部件70以及座椅安全带部件71进行动作。由此，汽车1的保护控制部33能够根据基于未预测或者检测到汽车1的碰撞的状态下的拍摄图像而确定的、与汽车1的行驶控制或者动作对应的乘员的上体或者头部的位置以及动作实施乘员保护控制。

例如，在乘员在紧急制动中也能够用力支撑且对动作幅度较小的情况进行拍摄的情况下，与无法用力支撑的乘员的情况相比，汽车1的保护控制部33使有关在检测出碰撞时展开的气囊部件的展开开始定时滞后。由此，能够期待实施与乘员的状态相应的良好的乘员保护。

这样，在本实施方式中，在预测或者检测出碰撞之前对乘员保护控制的设定进行变更，因此保护控制部33能够在实际预测或者检测出碰撞的情况下不进行设定变更地立即开始乘员保护控制。与未进行与乘员的动作相应的设定变更的情况相同地，在实际预测或者检测出碰撞的情况下，保护控制部33能够立即开始乘员保护控制。

在本实施方式中，能够根据乘员自身的支撑程度以对其进行补充的方式使座椅安全带部件71以及气囊部件70进行动作。

在本实施方式中，根据乘员的上体或者头部的位置，以如果因碰撞输入使得乘员的上体或者头部倾倒则向预想的方向以及位置展开的方式对气囊部件70的展开位置、展开朝向或者展开尺寸进行变更。因而，即使在乘员未以理想的状态就坐于座椅5的情况下，也能够根据其实际的就坐状态而使气囊部件70进行动作。

在本实施方式中，在作为基于通过自动驾驶或者驾驶辅助对汽车1进行制动的与大幅碰撞类似的行驶状态下的拍摄图像而确定的乘员的上体或者头部的振动，确定了大于或等于规定量的振动的情况下，判断为支撑不起作用，变更为使得气囊部件70以及座椅安全带部件71的动作在早期开始、或者变更为提高乘员的支撑力。因而，在实际产生了大幅碰撞的情况下，能够根据此时的乘员的支撑以对其进行补充的方式使座椅安全带部件71以及气囊部件70进行动作。

在本实施方式中，在作为基于对汽车1作用有大于或等于规定值的加速度的处于与轻微碰撞类似的行驶状态的情况下的拍摄图像而确定的乘员的上体或者头部的振动，判断为大于或等于规定量的振动的情况下，判断为支撑不起作用，变更为使气囊部件70以及座椅安全带部件71的动作尽早开始、或者变更为提高乘员的支撑力。因而，在实际产生了大幅碰撞的情况下，能够根据此时的乘员的支撑以对其进行补充的方式使座椅安全带部件71以及气囊部件70进行动作。

在本实施方式中，即使在汽车1的正常行驶中未产生基于自动驾驶或者驾驶辅助的制动定时的情况下，也能够基于正常的行驶中作用有大于或等于规定值的加速度的与轻微碰撞类似的行驶状态下的乘员的上体或者头部的振动，对乘员保护控制的设定进行变更。

以上实施方式是本发明的优选实施方式的例子，但本发明并不限定于此，在未脱离发明的主旨的范围内能够进行各种变形或者变更。

例如在上述实施方式中，乘员监视装置50与车内网络21连接。除此之外，例如乘员监视装置50能够与无线通信设备17进行通信，可以与乘员保护装置60等之间收发数据。乘员监视装置50和无线通信设备17例如可以根据基于ieee802.1x的标准的较短距离的通信方式而收发数据。在该情况下，乘员监视装置50可以以能够拆卸的方式设置于汽车1。相对于汽车1能够拆卸的乘员监视装置50可以利用支架定位并固定设置于乘员室4。