车辆的乘员监视装置的制作方法

1.本发明涉及车辆的乘员监视装置。


背景技术：

2.在车辆中提出有关于驾驶员监视装置的发明(专利文献1、2)。
3.在专利文献1中，仅为了驾驶员而使用在驾驶员之前专门设置的摄像头，仅拍摄驾驶员进行监视。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2019－014359号公报
7.专利文献2：日本特开2019－014360号公报


技术实现要素：

8.发明所要解决的问题
9.但是，车辆中，有时除了驾驶员以外，还乘坐有同乘者。
10.当对于同乘者，也要与驾驶员一样监视时，通过在驾驶员之前专门设置的摄像头难以拍摄同乘者。
11.而且，例如如专利文献2，考虑使专利文献1的驾驶员专用的监视装置的设置位置向车辆的车宽方向的中央部分移动。
12.但是，若是仅仅使摄像头向车辆的车宽方向的中央部分移动，则驾驶员本身也不能良好地拍摄，对于驾驶员的监视功能本身可能会降低。
13.除此之外，例如还考虑对包含驾驶员在内的每个乘员设置乘员监视装置，但当考虑到成本等时，难以成为现实的选项。
14.这样，为了能够良好地监视乘坐车辆的多个乘员的状态，期望进一步的改善。
15.用于解决问题的技术方案
16.本发明的一个实施方式提供一种车辆的乘员监视装置，其具有：拍摄部件，其为了可监视乘坐车辆的多个乘员的状态而拍摄所述车辆的车室；显示部件，其显示供乘坐车辆的乘员辨识的画面；判断部，其使用由所述拍摄部件对在所述显示部件上显示画面时的乘员拍摄到的拍摄数据，判断乘坐所述车辆的乘员的状态，其中，在显示所述显示部件的所述画面的面板上，在与所述画面的显示区域外接的矩形框的内侧设置非显示部，所述拍摄部件配置于所述显示部件的所述面板的所述非显示部的背侧。
17.发明效果
18.在本发明中，具有：为了可监视乘坐车辆的多个乘员的状态而拍摄车辆的车室的拍摄部件、显示供乘坐车辆的各乘员辨识的画面的显示部件、使用由拍摄部件对在显示部件显示规定画面时的各乘员拍摄到的拍摄数据来判断乘坐车辆的各乘员的状态的判断部。由此，在本实施方式中，能够与由拍摄部件拍摄的当前的拍摄数据一起，使用由拍摄部件对
在显示部件显示规定画面时的各乘员拍摄到的拍摄数据，判断乘坐车辆的各乘员的状态。能够抑制关于乘坐车辆的各乘员在拍摄数据中的视角位置及乘员身体特征等的影响，而更准确地判断乘坐车辆的各乘员的状态。
19.与之相对，假设在例如仅基于由拍摄部件拍摄的当前的拍摄数据，判断乘坐车辆的各乘员的状态的情况下，由于乘坐车辆的各乘员在拍摄数据中的视角位置及各乘员身体特征等的影响，可能不能正确地判断各乘员的状态。在本发明中，使用由拍摄部件对在显示部件显示规定画面时的各乘员拍摄到的拍摄数据，因此，抑制这些影响，能够更准确地判断各乘员的状态。
20.特别是，在本发明中，将拍摄部件配置于显示拍摄部件的画面的面板的背侧，即进一步配置于被设置为成为与画面显示区域外接的矩形框的内侧的非显示部的背侧。因此，拍摄部件可拍摄与从显示部件中显示的画面的背侧进行拍摄的图像同等的图像。拍摄部件可从其正面拍摄到观察画面的各乘员的头部。而且，通过使用从正面拍摄到各乘员的头部的拍摄数据，能够更准确地判断由拍摄部件拍摄的当前的拍摄数据中所含的各乘员的状态。
21.其结果，在本发明中，在车辆的车宽方向的中央部分，将显示部件的面板及拍摄部件从车宽方向的中央偏置地配置，拍摄部件具有在居中配置于车辆的车宽方向的中央部分的状态下，可拍摄就座于车辆的前排的多个乘员的头部的视角的广角镜头(広角
レンズ
)，即使判断部至少判断驾驶员的眼睛的开闭状态或视线作为乘坐车辆的多个乘员各自的状态，也能够更准确地判断包含乘坐车辆的驾驶员在内的多个乘员各自的状态。
附图说明
22.图1是应用本发明的实施方式的乘员监视装置的汽车的说明图。
23.图2是图1的汽车的控制装置的说明图。
24.图3是图2的汽车的乘员监视装置的说明图。
25.图4a是作为汽车乘员的第一驾驶员的头部的主视图。
26.图4b是图4a的第一驾驶员的头部的立体图。
27.图4c是作为汽车乘员的第二驾驶员的头部的主视图。
28.图4d是图4c的第二驾驶员的头部的立体图。
29.图5a是有关具有图3的显示操作面板的液晶设备和具有拍摄传感器的摄像头模块在车室中的配置的说明图。
30.图5b是图5a的具有拍摄传感器41和拍摄广角镜头42的摄像头模块31对车室的拍摄范围r1的说明图。
31.图6a是设置于车身的车宽方向的中央部分中的偏置位置的液晶设备的显示操作面板的说明图。
32.图6b是从车身2的车宽方向看图6a的显示操作面板的侧视图。
33.图7是图3的监视控制部进行的乘员的注册控制的流程图。
34.图8是图3的监视控制部进行的乘员的监视控制的流程图。
35.图9是关于图6a的变形例的具有拍摄传感器的摄像头模块的、相对于液晶设备的显示操作面板的配置的说明图。
36.图10是关于图9的又一变形例的具有拍摄传感器的摄像头模块的、相对于液晶设备的显示操作面板的配置的说明图。
具体实施方式
37.以下，基于附图说明本发明的实施方式。
38.图1是应用本发明的实施方式的乘员监视装置15的汽车1的说明图。
39.汽车1为车辆的一例。汽车1可以使用内燃机、电池电力，或它们的组合作为行驶动力源。
40.在图1的汽车1的车身2上形成有车室3。在车室3中设置用于驾驶席及副驾驶席的多个前排座椅4和长条的后排座椅4。包含驾驶员在内的乘员就座于座椅4。在前排的座椅4的前侧即车室3的前部，以沿着车身2的车宽方向延伸的方式设置仪表板5。
41.图2是图1的汽车1的控制装置10的说明图。
42.图2的控制装置10具有：车门开关传感器11、车速传感器12、驻车传感器13、扬声器设备14、乘员监视装置15、位置设定装置16、驾驶辅助装置17、车外通信装置18、乘员保护装置19、空调装置20、及连接它们的车内网络21。
43.车内网络21也可以是用于汽车1的例如依据can(controller area network，控制器区域网络)、lin(local interconnect network，局部互联网络)的有线通信网络。车内网络21可以是lan等通信用网络，也可以是组合了它们的网络。也可以在车内网络21的一部分中包含无线方式的通信网络。
44.车门开关传感器11检测汽车1的车门的开关。
45.车速传感器12检测行驶的汽车1的速度。车速传感器12也可以检测停止状态。
46.驻车传感器13检测将汽车1维持成停车状态的驻车状态。驻车传感器13也可以将例如未图示的变速杆被操作至驻车位置和未图示的停车杆(
パーキングレバー
)被操作至制动位置作为驻车状态进行检测。
47.乘员监视装置15当例如车门开关传感器11检测到车门的开关时，执行乘坐于车室3的乘员的识别处理。
48.乘员监视装置15在识别多个乘员的情况下，也可以单独监视多个乘员中的各个乘员。
49.乘员监视装置15也可以将识别的各乘员的信息、基于监视的信息通过车内网络21向控制装置10的各部输出。
50.特别是，乘员监视装置15将例如就座于驾驶员用座椅4的乘员作为驾驶员识别，并监视识别的驾驶员的斜视或瞌睡。而且，在驾驶员处于规定的状态的情况下，乘员监视装置15执行用于向驾驶员唤起注意的控制、用于预防危险的控制。此时，乘员监视装置15也可以将驾驶员的信息、用于唤起注意的信息、用于预防危险的信息通过车内网络21向控制装置10的各部输出。
51.扬声器设备14输出声音、警告声等。扬声器设备14也可以输出乘员监视装置15进行的向驾驶员、其它乘员的警告。
52.位置设定装置16调整例如座椅4的前后上下的位置及靠背的角度、方向盘的前后上下的位置及角度、各种踏板的前后上下的位置及角度。位置设定装置16基于乘员监视装
置15输出的乘员的信息，变更座椅位置。
53.驾驶辅助装置17辅助由驾驶员的手动驾驶进行的汽车1的行驶操作，或辅助自动驾驶进行的汽车1的行驶操作。驾驶辅助装置17控制汽车1的加速、减速、停止、转向。驾驶辅助装置17基于乘员监视装置15输出的驾驶员的信息，执行与驾驶员对应的驾驶辅助。
54.车外通信装置18在例如与公共无线通讯网络的基站、商用无线通讯网络的基站、用于高度交通信息的基站之间建立无线通信路，使用建立的无线通信路执行数据通信。车外通信装置18也可以执行例如与辅助自动驾驶的服务器装置等的双方向的数据通信。车外通信装置18也可以将乘员监视装置15输出的包含驾驶员在内的乘员的信息作为例如紧急辅助信息，向服务器装置发送。
55.乘员保护装置19在检测或预测到汽车1的碰撞的情况下，执行用于保护乘员的控制。乘员保护装置19通过将未图示的例如安全气囊展开，或对座椅安全带施加拉力，而保护就座于座椅4的乘员。乘员保护装置19也可以根据乘员监视装置15输出的乘员的信息，执行对于乘员的乘员保护。
56.空调装置20控制车室3的温度、氧浓度。空调装置20将例如冷却的空气或过热的空气向车室3供给，由此，将车室3调整成设定温度。空调装置20也可以执行与乘员监视装置15输出的乘员的信息对应的空气调节。
57.通过基于这些乘员监视装置15输出的乘员的信息的控制，乘员能够在例如与自己对应的设定下舒适地乘车。驾驶员能够集中于例如汽车1的行驶。
58.图3是图2的汽车1的乘员监视装置15的说明图。图3的乘员监视装置15不仅监视驾驶员，还监视例如就座于前排多个座椅4的多个乘员。图3的乘员监视装置15具有：摄像头模块31、具有显示操作面板33的液晶设备32、输入输出设备34、存储器35、及连接它们的监视控制部36。
59.例如如图1所示，摄像头模块31设置于仪表板5的车宽方向的中央部。摄像头模块31用于拍摄就座于前排多个座椅4的多个乘员。摄像头模块31具有：拍摄传感器41、拍摄广角镜头42、第一led43、第一投光透镜44、第二led45、第二投光透镜46。
60.拍摄传感器41是例如ccd、cmos传感器之类的半导体光学传感器。拍摄传感器41也可以具有例如排列有多个受光元件的大致四边形的受光面。拍摄传感器41也可以将包含拍摄图像的拍摄数据向监视控制部36输出。
61.拍摄广角镜头42叠加地设置于拍摄传感器41。拍摄广角镜头42也可以是例如在仪表板5的车宽方向的中央部设置有拍摄传感器41的状态下，可拍摄就座于前排多个座椅4的多个乘员的上半身或头部的透镜。拍摄广角镜头42也可以由多片光学透镜构成，以抑制图像在周缘部分的失真。
62.为了可监视乘坐于汽车1的多个乘员的状态，拍摄传感器41及拍摄广角镜头42作为拍摄部件，能够拍摄汽车1的车室。
63.第一led43、第二led45也可以是半导体发光元件。第一led43、第二led45作为投光部件，向乘坐于汽车1的至少驾驶员投光。第一led43、第二led45也可以投光例如红外线。在该情况下，拍摄传感器41将包含红外线的拍摄图像的拍摄数据向监视控制部36输出。第一投光透镜44与第一led43叠加地设置。第一投光透镜44主要向就座于作为驾驶席的座椅4的驾驶员照射第一led43的光。第二投光透镜46与第二led45叠加地设置。第二投光透镜46主
要向就座于作为副驾驶席的座椅4的乘员照射第二led45的光。此外，第二投光透镜46也可以将光扩散并向就座于作为副驾驶席的座椅4的乘员和就座于作为驾驶席的座椅4的驾驶员进行投光。
64.而且，在摄像头模块31中，拍摄传感器41及拍摄广角镜头42配置于车宽方向的中央部分。第一led43及第一投光透镜44配置于副驾驶席侧的端部分。第二led45及第二投光透镜46配置于驾驶员侧的端部分。由此，摄像头模块31即使在驾驶员和仪表板5之间存在转向盘7等物体，也能够不被该转向盘7等遮挡而进行投光、拍摄。
65.液晶设备32通常具有大致四边形的显示面。液晶设备32在显示操作面板33的显示面上显示图像。
66.液晶设备32作为显示部件，显示供乘坐于汽车1的各乘员辨识的画面。
67.显示操作面板33是与液晶设备32的显示面叠加地设置的透明或半透明的操作检测面板。将显示操作面板33与液晶设备32的显示面叠加所得的部件是显示部件。显示操作面板33检测乘员对于液晶设备32的显示面的操作。显示操作面板33也可以将乘员对于液晶设备32的显示面的操作位置向监视控制部36输出。
68.输入输出设备34与车内网络21连接。输入输出设备34通过车内网络21，在与设置于汽车1的其它各部之间输入输出数据。
69.存储器35存储程序及数据。存储器35也可以由非易失性存储器和易失性存储器构成。在非易失性存储器中具有例如hdd、ssd、eeprom等。在易失性存储器中具有例如ram。
70.汽车1中注册的多个乘员的数据可以按照每个乘员进行管理并记录于乘员监视装置15的存储器35。图3中表示有关于第一乘员的第一乘员数据51和关于第二乘员的第二乘员数据52。通过多个乘员数据构成数据库。
71.在第一乘员数据51、第二乘员数据52之类的各乘员数据中也可以包含每个乘员中固有的识别信息，例如由拍摄传感器41拍摄乘员的头部及眼睛的注册拍摄数据、乘员设定的各种设定数据。在设定数据中也可以包含例如关于乘员就座的座椅位置、驾驶辅助的有无的初始设定、自动驾驶中的行驶嗜好信息、使用的服务器装置的信息、乘员保护的设定、空调的设定之类的信息。
72.这样，存储器35作为记录部件，可以记录由拍摄传感器41从正面对在显示部件显示规定画面时的各乘员拍摄到的拍摄数据，作为各个乘员的注册拍摄数据。
73.另外，存储器35也可以记录未注册的一般乘员(汎用
の
乗員)有关的乘员数据。
74.监视控制部36例如也可以是ecu、cpu、其它的微型计算机。监视控制部36从存储器35读入程序并执行。由此，实现作为乘员监视装置15的控制部的监视控制部36。
75.监视控制部36执行例如关于乘坐于汽车1的乘员的注册处理、监视处理。在监视处理中，监视控制部36也可以识别乘坐于汽车1的乘员，并执行每个乘员的监视处理。
76.特别是，关于至少作为驾驶员的乘员，监视控制部36作为判断部，将注册于存储器35的各自的注册拍摄数据用作判断时的基准数据，判断各乘员的斜视、瞌睡、紧急情况之类的状态。
77.但是，图3的摄像头模块31的拍摄传感器41配置于车身2的车宽方向的中央部分，不仅拍摄驾驶员，还拍摄就座于前排多个座椅4的多个乘员的上半身或头部。汽车1中，除了驾驶员以外，有时还乘坐有同乘者。
78.当也要与驾驶员同样地监视同乘者时，通过专门设置于驾驶员之前的拍摄传感器41，难以拍摄同乘者。
79.另外，在要利用一个拍摄传感器41拍摄包含驾驶员在内的多个乘员的情况下，如图3的摄像头模块31那样，在拍摄传感器41中，为了扩展视角而需要组合拍摄广角镜头42。但是，在使拍摄广角镜头42与拍摄传感器41重合的情况下，在非图像中央部分的周边部分拍摄的乘员产生失真。当驾驶员失真而被拍摄时，驾驶员的眼睛也会失真而被拍摄，基于眼睛的开闭状态或视线等的乘员的瞌睡及斜视之类的判定的准确度可能降低。关于驾驶员的监视功能本身可能会降低。
80.图4a至图4d是作为汽车1的乘员的驾驶员的拍摄状态的说明图。
81.图4a是第一驾驶员的头部的主视图。图4b是图4a的第一驾驶员的头部的立体图。
82.设置于汽车1的车宽方向的中央部分的拍摄传感器41在驾驶员朝向汽车1的前方的情况下，未从图4a的正面方向拍摄到驾驶员的头部，而是如图4b那样从倾斜方向拍摄驾驶员的头部。
83.图4c是第二驾驶员的头部的主视图。图4d是图4c的第二驾驶员的头部的立体图。
84.设置于汽车1的车宽方向的中央部分的拍摄传感器41在驾驶员朝向汽车1的前方的情况下，未从图4c的正面方向拍摄到驾驶员的头部，而是如图4d那样从倾斜方向拍摄驾驶员的头部。
85.而且，图4d的拍摄数据中，与图4b的拍摄数据不同，驾驶员的右眼被驾驶员的高鼻子遮挡，仅看到黑眼珠。
86.在该情况下，监视控制部36仅根据图4d的拍摄数据，不易判断驾驶员的右眼的开闭状态。特别是，如图4d那样，在不是以没有失真的状态，而作为失真的图像被拍摄的情况下，监视控制部36仅根据图4d的拍摄数据，极其不易判断驾驶员的右眼的开闭状态。
87.另外，由于不包含驾驶员的右眼的白眼珠的图像成分，因此，监视控制部36可能仅基于图4d的拍摄数据不能提取右眼，也不能提取图4d的驾驶员的头部。例如在基于双眼和鼻子的配置关系、双眼和嘴巴的配置关系确定图像中的头部的拍摄区域那样的情况下，监视控制部36仅基于图4d的拍摄数据，不能确定图4d的驾驶员的头部。在没有关于驾驶员头部的成为基准的数据的情况下，监视控制部36也无法正确地推断驾驶员的右眼未包含于图像成分中。
88.在将摄像头模块31的拍摄传感器41设置于汽车1的车宽方向的中央部分的情况下，可容易产生该图4d那样的状态。
89.这样，乘员中存在例如眼睛大的人、眼睛小的人、眼睛向前突出的人、眼睛深陷的人等的个体差异。
90.实际的驾驶员头部的位置不仅可能向车宽方向上的视角方向移动，还可能向上下方向移动。当考虑到这些移动的产生时，仅基于拍摄传感器41的当前的拍摄数据不容易可靠地确定驾驶员的头部。
91.图5a是关于本实施方式的具有图3的显示操作面板33的液晶设备32和具有拍摄传感器41的摄像头模块31在车室中的配置的说明图。
92.在图5a中表示有设置于车室3的前部的仪表板5及中控台6。
93.具有显示操作面板33的液晶设备32在车身2的车宽方向的中央部分，从仪表板5到
中控台6纵长地配置。
94.详细而言，具有显示操作面板33的液晶设备32在车身2的车宽方向的中央部分，配置于从车身2的车宽方向的中央位置y0向与驾驶员相反侧即同乘者侧稍微偏移的偏置位置，以远离驾驶员。另外，具有这样设置于偏置位置的显示操作面板33的液晶设备32在车身2的车宽方向的中央部分，以相对于车宽方向具有角度的方式倾斜地配置。具有显示操作面板33的液晶设备32在偏置位置，以朝向驾驶员的方式相对于车身2的前后方向倾斜地配置。而且，虽然具有显示操作面板33的液晶设备32以朝向驾驶员的方式倾斜地设置，但因为设为向与驾驶员相反侧稍微偏移的偏置位置，以远离驾驶员，因此，同乘者能够获得与居中配置的情况同样的操作性。
95.图6a至图6b是设置于车身2的车宽方向的中央部分中的偏置位置的液晶设备32的显示操作面板33的说明图。图6a是从车室3侧看的主视图。图6b是从车身2的车宽方向看的侧视图。在图6a中，液晶设备32的显示操作面板33的中央位置yd从车身2的车宽方向的中央位置y0向图示左侧即同乘者侧偏移地设置。
96.具有显示操作面板33的液晶设备32和摄像头模块31设置于从车身2的车宽方向的中央位置y0偏置的位置。具有显示操作面板33的液晶设备32利用树脂制的保持部件61，在其四角保持显示操作面板33的周缘部分。
97.液晶设备32作为显示画面的显示区域，不是普通的监视器那样四边形的显示面，而是具有缺少了四边形的上缘中央部分的大致凹形状。在与大致凹形状的液晶设备32的显示区域外接的矩形框33a的内侧形成成为缺口的非显示部33b。在非显示部33b的左右两侧具有液晶设备32的显示区域。非显示部33b以液晶设备32的显示操作面板33的中央位置yd为基准，线对称地形成。
98.这样，非显示部33b在显示液晶设备32的画面的显示操作面板33中，作为与显示区域外接的矩形框33a的内侧的、画面显示区域的上缘中央部分的缺口部分而形成。非显示部33b在显示液晶设备32的画面的显示操作面板33中，作为沿着画面显示区域的上缘的缺口部分而形成。而且，非显示部33b在显示液晶设备32的画面的显示操作面板33中，至少遍及从画面显示区域的车宽方向的中央位置yd到汽车1的车宽方向的中央位置y0的范围而形成。非显示部33b在显示操作面板33中，以画面显示区域的车宽方向的中央位置yd为基准，在汽车1的车宽方向上形成为左右对称的形状。
99.具有拍摄传感器41的摄像头模块31在显示操作面板33的背侧，配置于形成在液晶设备32的显示区域的上侧的非显示部33b的背侧。详细而言，摄像头模块31被设置为使拍摄传感器41及拍摄广角镜头42居于液晶设备32的显示操作面板33的中央位置yd和车身2的车宽方向的中央位置y0之间。由此，拍摄传感器41及拍摄广角镜头42被设置为使这些部件车宽方向的中央位置位于液晶设备32的显示操作面板33的中央位置yd和车身2的车宽方向的中央位置y0之间。另外，拍摄传感器41及拍摄广角镜头42在从车身2的车宽方向的中央位置y0向与驾驶员相反侧稍微偏离的偏置位置，相对于车身2的前后方向倾斜地配置，以与显示操作面板33一样朝向驾驶员。
100.摄像头模块31的第一led43、第二led45与拍摄传感器41一起配置于非显示部33b的背侧。
101.此外，在这样将摄像头模块31设置于显示操作面板33的背侧的情况下，拍摄广角
镜头42、第一投光透镜44、第二投光透镜46也可以通过对显示操作面板33本身进行加工而设置。
102.图5b是在汽车1的车宽方向的中央部分倾斜地设置于偏置位置的具有拍摄传感器41及拍摄广角镜头42的摄像头模块31产生的车室的拍摄范围r1的说明图。
103.拍摄广角镜头42与拍摄传感器41重合。由此，拍摄传感器41如图5b中作为拍摄范围r1所示那样，能够整体地拍摄车室3。拍摄传感器41配置于汽车1的车宽方向的中央部分，能够拍摄就座于多个前排座椅4的驾驶员的头部和同乘者的头部。
104.但是，在使拍摄广角镜头42与拍摄传感器41组合而可拍摄多个乘员的情况下，拍摄范围r1的中央部分的图像成为失真少的高画质区域rp1，另一方面，拍摄范围r1的周缘部分成为与中央部分相比产生失真的失真产生区域rp2。因此，当乘员在车宽方向上靠右端或左端就座时，趋于难以无失真地拍摄该乘员的头部。在将乘员眼睛的开闭状态等用于判断的情况下，不能正确地进行该判断的可能性变高。
105.在本实施方式中，显示操作面板33以朝向驾驶员的方式，相对于车身2的前后方向倾斜地配置。配置于该显示操作面板33的背侧的拍摄传感器41及拍摄广角镜头42以车身2的车宽方向的中央位置y0设为基准，设置于向与驾驶员相反侧偏移的偏置位置。由此，拍摄传感器41的拍摄图像的中央部分的高画质区域rp1靠向驾驶员侧。驾驶员在拍摄传感器41的拍摄图像的中央部分的高画质区域rp1中容易被拍摄，难以在周边部分的失真产生区域rp2中被拍摄。能够期待作为抑制了失真的图像而拍摄到驾驶员。
106.这样摄像头模块31在关于显示操作面板33的、液晶设备32上的非显示部33b的背侧，设置于从车宽方向的中央位置y0偏置的位置。具有显示操作面板33的液晶设备32也可以沿着从仪表板5到中控台6的内装表面的倾斜，以后背朝下(後下
となる
)的倾斜姿势设置。其结果，摄像头模块31与具有显示操作面板33的液晶设备32同样，以朝向驾驶员的方式相对于车身2的前后方向倾斜地设置，并且以后背朝下的倾斜姿势设置。
107.而且，摄像头模块31被设置为在保持部件61的内侧，使得不会向保持显示操作面板33的四角的保持部件61的外侧突出。另外，如图6中虚线圆圈所示，摄像头模块31被配置为使拍摄传感器41、第一led43、及第二led45居于图像显示区域的外接圆的内侧。
108.通过设为在这种限制下的配置，摄像头模块31的拍摄传感器41的拍摄图像的车宽方向的中心位置位于具有显示操作面板33的液晶设备32的图像显示区域的中心位置yd和车身2的车宽方向的中央位置y0之间。另外，摄像头模块31的拍摄传感器41配置于保持部件61的内侧，成为恰似设置于液晶设备32本身的状态。其结果，摄像头模块31的拍摄传感器41从具有显示操作面板33的液晶设备32的背侧拍摄乘员。摄像头模块31的拍摄传感器41在显示操作面板33的背侧偏移配置为，从画面显示区域的车宽方向的中央位置yd靠向汽车1的车宽方向的中央位置y0，以居于从画面显示区域的车宽方向的中央位置yd到汽车1的车宽方向的中央位置y0的范围。
109.图7是图3的监视控制部36进行的乘员的注册控制的流程图。
110.当新的乘员乘坐于汽车1时，监视控制部36也可以重复执行图7的注册控制。
111.在步骤st1中，监视控制部36首先判断是否注册乘员。
112.监视控制部36在例如液晶设备32所显示的菜单画面中由乘员选择操作了乘员注册按钮的情况下，判断为注册乘员，并使处理进入步骤st2。在除此以外的情况下，监视控制
部36判断为不注册乘员，并结束图7的注册控制。
113.从步骤st2起，监视控制部36执行新的乘员注册处理。监视控制部36首先将开始乘员注册的导向显示于液晶设备32。在菜单画面中操作乘员注册按钮要注册的乘员被认为从正面正视液晶设备32的导向显示。另外，监视控制部36也可以在导向中进行正对的指示，以将脸面向液晶设备32。另外，监视控制部36点亮摄像头模块31的第一led43、及第二led45。由此，向以观察液晶设备32的导向显示的方式正对的乘员的上半身或头部照射红外线。
114.在步骤st3中，监视控制部36从拍摄传感器41获取当前的拍摄数据，并将拍摄数据中所含的从正面对新注册对象的乘员拍摄到的图像成分作为正对图像进行获取。监视控制部36在可以从拍摄传感器41的拍摄图像提取多个乘员的情况下，也可以将其中一个选择为乘员。能够期待在正对图像中以高的准确率包含关于乘员的双眼、鼻子、嘴巴的红外线光形成的图像成分。红外线光形成的图像成分中也可以包含头部或眼球的静脉图案。头部或眼球的静脉图案也取决于对其提取的特征点的个数，但能够用于确定个人。另外，头部或眼球的静脉图案不易受到头部的表面形状或脸的凹凸及形状的影响所引起的明暗图案的影响。眼球的静脉图案基本上从周边的白眼珠朝向中央的黑眼珠。覆盖眼球的眼皮的静脉图案是与眼球的静脉图案不同的图案。监视控制部36也可以将这些头部、眼球、眼皮等静脉图案的信息从拍摄数据提出并获取。而且，能够期待这样捕捉正对的乘员头部的图像成分中，高画质地包含头部的各部的图像成分。
115.此外，监视控制部36也可以重复进行导向，或重复进行来自拍摄传感器41的当前的拍摄数据的获取，直到能够确认在正对图像中包含关于乘员的双眼、鼻子、嘴巴的红外线光形成的图像成分。
116.从步骤st4起，监视控制部36在液晶设备32中显示乘员观察汽车1前方的向前看(正面視)的导向。认为是乘员基于液晶设备32的导向显示观察汽车1的前方。另外，监视控制部36点亮摄像头模块31的第一led43及第二led45。由此，向观察汽车1前方的向前看的乘员的上半身或头部照射红外线。
117.在步骤st5中，监视控制部36从拍摄传感器41获取当前的拍摄数据，获取拍摄数据中所含的对向前看的乘员拍摄到的图像成分，作为向前看图像(正面視画像)。在向前看图像中，能够以基本上与正对图像不同的角度包含关于乘员的双眼、鼻子、嘴巴的红外线光形成的图像成分。当拍摄乘员的角度变化时，图像中例如双眼的间隔等相对配置会发生变化。在向前看图像中也可以包含红外线光形成的向前看的头部或眼球的静脉图案。监视控制部36也可以从拍摄数据中提取并获得这些头部、眼球、眼皮等静脉图案的信息。
118.而且，能够期待在捕捉到这样向前看的乘员头部的图像成分中，高画质地包含以也不瞌睡也不斜视的状态向前看的头部的各部的图像成分。向前看的头部的各部的图像成分能够与正对的头部的各部的图像成分适当对应。其结果，在具有例如一名乘员以瞌睡的状态向前看的头部图像的情况下，通过执行与将该乘员以也不瞌睡也不斜视的状态向前看的头部的各部的图像成分向正对看(正対視
している
)的头部的各部的图像成分转换的情况同样的处理，可得到以瞌睡的状态正对看的头部的各部的图像成分。这种正对看的头部的各部的图像成分能够确保作为该乘员瞌睡的状态的图像。在不管乘员的特征而执行统一的处理的情况下，有该乘员不在瞌睡的状态的可能性，但能够可靠地减少这种可能性。
119.在步骤st6中，监视控制部36执行用户的注册处理。
120.在用户注册处理中，监视控制部36将拍摄的两名乘员的图像作为注册拍摄数据，与每个乘员中固有的识别信息一起进行记录。由此，在存储器35中记录包含关于新乘员的注册拍摄数据的乘员数据。存储器35作为记录部件，将由拍摄传感器41对在液晶设备32中显示规定画面时的各乘员拍摄到的拍摄数据作为每个乘员的拍摄数据进行记录。存储器35中对各乘员记录的注册拍摄数据中包含有从正面对乘员拍摄到的数据和对向前看的乘员拍摄到的数据。
121.图8是图3的监视控制部36进行的乘员的监视控制的流程图。
122.监视控制部36也可以在例如乘员乘坐于汽车1的期间重复执行图8的监视控制。
123.在步骤st11中，监视控制部36判断乘员的乘车。监视控制部36也可以基于例如车门开关传感器11的开关检测、拍摄传感器41的图像，判断乘员的乘车。在乘员乘车的情况下，监视控制部36使处理进入步骤st12。在乘员未乘车的情况下，监视控制部36重复进行本处理。此外，在乘员未乘车的情况下，监视控制部36也可以结束图8的监视控制。
124.从步骤st12起，监视控制部36开始进行乘车的乘员的监视处理。监视控制部36首先识别乘车的乘员。
125.监视控制部36从拍摄传感器41获取新的拍摄图像，提取乘车的乘员的图像成分，并与存储器35中注册的多个乘员数据进行对照。
126.此时，监视控制部36也可以仅基于存储器35中注册的各乘员的注册拍摄数据中的、向前看的图像成分进行对照。在向前看的图像中，大多鲜明地包含关于脸的鼻子等的凹凸的特征点。即使仅基于向前看的图像成分进行对照，也能够以高精度判断乘员的匹配。另外，监视控制部36也可以不直接比较图像彼此，而比较从各个图像提取的特征点彼此。
127.监视控制部36在存储器35中注册的乘员数据中所含的注册拍摄数据以一定准确性以上匹配的情况下，也可以将乘车的乘员确定为该注册拍摄数据的乘员。
128.在该情况下，监视控制部36将乘车的乘员识别为通过与存储器35中注册的多个乘员数据的对照而确定的乘员。
129.在存储器35中注册的多个乘员数据中没有以一定准确性以上匹配的注册拍摄数据的情况下，监视控制部36也可以识别为没有注册的乘员。
130.在步骤st13中，监视控制部36获取识别的乘员的乘员数据。
131.在步骤st14中，监视控制部36使用获取的乘员数据，执行设定处理。在乘员数据中包含乘员设定的各种设定数据的情况下，监视控制部36基于该设定数据执行设定处理。监视控制部36将设定数据的信息向汽车1的各部输出。由此，执行关于乘员就座的座椅位置、有无驾驶辅助的初始设定、自动驾驶中的行驶嗜好信息、使用的服务器装置的信息、乘员保护的设定、空调的设定等处理。
132.另外，监视控制部36基于获取的最新的拍摄数据，判断例如儿童座椅(
チャイルドバケット
)向副驾驶席的座椅4的装配，在装配有儿童座椅的情况下，执行禁止安全气囊向副驾驶席的座椅4展开的设定。
133.从步骤st15起，监视控制部36开始进行关于识别的乘员的监视处理。监视控制部36首先获取拍摄传感器41的最新的拍摄数据。
134.在步骤st16中，监视控制部36确定最新的拍摄数据中所含的乘员的上半身及头部的图像成分。监视控制部36将关于已经识别的乘员的存储器35的注册拍摄数据的图像成分
用作基准，判断最新的拍摄数据中所含的乘员的上半身及头部的图像成分。在此，监视控制部36也可以基于例如存储器35中注册的从正面对各乘员拍摄到的数据和对向前看的乘员拍摄到的数据的差异(差)，推断由拍摄传感器41拍摄的当前的拍摄数据中所含的从正面对乘员拍摄到的数据，并基于作为从正面对乘员拍摄到的数据而推断的图像成分判断乘坐于汽车1的各乘员的状态。监视控制部36也可以使用例如已经注册到存储器35中的从正面对乘员拍摄到的数据，校正当前的拍摄数据中所含的乘员的图像的透镜失真及方向，并基于当前的拍摄数据推断从正面对乘员拍摄到的数据。此外，在未找到注册拍摄数据的情况下，监视控制部36通过将存储器35的标准的注册拍摄数据的图像成分用作基准，可以判断最新的拍摄数据中所含的乘员的上半身及头部的图像成分。
135.监视控制部36判断例如眼睛的开闭状态、视线的方向、头部的朝向等，作为最新的拍摄数据中的乘员的状态。监视控制部36也可以判断静脉的脉动。而且，例如在作为驾驶员的乘员眼睛闭上的情况、视线不是向前看的情况、头部的朝向不是向前看的情况、脉搏高的情况下，监视控制部36判定为驾驶员未成为适于驾驶的状态。在除此以外的情况下，监视控制部36也可以判定为驾驶员处于适于驾驶的状态。
136.这样监视控制部36作为判断部，将存储器35中记录的注册拍摄数据用作基准数据，判断乘坐于汽车1的各乘员的状态。
137.另外，监视控制部36至少判断驾驶员的眼睛的开闭状态或驾驶员的视线作为乘坐于汽车1的驾驶员的状态。此时，监视控制部36能够将高画质的注册拍摄数据用作基准，因此，能够根据各乘员获取不仅眼睛的开闭状态，还有关于上眼皮和下眼皮之间的黑眼珠的拍摄状态的变化及白眼珠的拍摄状态的变化等信息，能够高精度地判定乘员的视线方向等眼睛的表情。
138.与之相对，当不使用每个乘员的注册拍摄数据要进行同样的判断时，包含眼睛大小等的个体差异在内，判定乘员的视线方向等眼睛的表情。不容易高精度地判定关于各个人的视线方向等眼睛的表情。基于乘员的身体特征会输出过量的警告。对于该乘员来说是不舒适的。
139.在步骤st17中，监视控制部36基于驾驶员等的乘员的状态判定结果，判断是否需要关于汽车1的行驶等的控制。例如在判定为驾驶员未成为适于驾驶的状态的情况下，监视控制部36判断为需要控制，并使处理进入步骤st18。在除此以外的情况下，例如在包含驾驶员在内的全部乘员处于适于移动的状态的情况下，监视控制部36判断为不需要控制，跳过步骤st18，使处理进入步骤st19。
140.在步骤st18中，监视控制部36执行关于汽车1的行驶等的控制。
141.例如在判定为驾驶员的视线不是向前看或头部未朝向前方的情况下，监视控制部36对驾驶员发出警告。对驾驶员的警告也可以是例如液晶设备32的警告显示、来自扬声器设备14的警告声的输出。在即使输出警告，驾驶员也未成为向前看的情况下，即在连续判定为驾驶员的视线不是向前看的情况下，监视控制部36也可以将汽车1的行驶模式切换至自动驾驶，并使汽车1的行驶减速停止。在对汽车1的行驶进行减速停止的情况下，监视控制部36也可以执行未图示的危险灯的点亮、车外通信装置18进行的紧急情况信息的发送。
142.例如在判定为驾驶员瞌睡或为高的脉搏的情况下，监视控制部36执行向驾驶员的警告或汽车1的行驶的减速停止。在对汽车1的行驶进行减速停止的情况下，监视控制部36
也可以执行未图示的危险灯的点亮、车外通信装置18进行的紧急情况信息的发送。
143.此外，在遍及规定期间以上继续进行行驶的情况、眼睛以规定频率开闭的情况、头部的朝向有点下降的情况下，监视控制部36也可以在步骤st17中判断为需要控制，执行促使驾驶员休息等的输出。
144.在步骤st19中，监视控制部36判断是否继续乘员的监视控制。监视控制部36也可以基于例如车门开关传感器11的开关检测、拍摄传感器41的图像，判断乘员的下车。在乘员下车的情况下，监视控制部36判断为不继续乘员的监视控制，使处理进入步骤st20。在除此以外的情况下，监视控制部36判断为继续乘员的监视控制，使处理返回至步骤st15。监视控制部36重复进行从步骤st15到步骤st19的处理，直到判断为不继续乘员的监视控制。
145.在步骤st20中，监视控制部36作为乘员下车时的处理，更新存储器35中注册的乘员数据，作为识别乘员的数据。监视控制部36从汽车1的各部获取乘员下车时的设定信息，更新存储器35中注册的乘员数据。由此，存储器35中注册的乘员数据成为适于乘员嗜好的数据。在下一次的乘车时，自动地进行关于乘员的最新的设定。
146.另外，监视控制部36也可以将关于未注册的乘员的乘员数据暂时记录于存储器35。由此，在其后该乘员进行注册操作的情况下，能够立即关联设定。
147.如上，在本实施方式中，具有：为了可监视乘坐于汽车1的多个乘员的状态而拍摄汽车1的车室的拍摄传感器41、显示供乘坐于汽车1的各乘员辨识的画面的液晶设备32、将由拍摄传感器41对在液晶设备32中显示规定的画面时的各乘员拍摄到的拍摄数据作为各个乘员的注册拍摄数据进行记录的存储器35、使用存储器35中记录的注册拍摄数据作为基准数据来判断乘坐于汽车1的各乘员的状态的判断部。由此，在本实施方式中，能够使用由拍摄传感器41拍摄的当前的拍摄数据与作为基准数据的由拍摄传感器41对在液晶设备32中显示规定的画面时的各乘员拍摄到的注册拍摄数据，判断乘坐于汽车1的各乘员的状态。能够抑制乘坐于汽车1的各乘员在拍摄数据中的视角位置及乘员身体特征等的影响，而更准确地判断乘坐于汽车1的各乘员的状态。
148.与之相对，假设在例如仅基于由拍摄传感器41拍摄的当前的拍摄数据，判断乘坐于汽车1的各乘员的状态的情况下，由于乘坐于汽车1的各乘员在拍摄数据中的视角位置及各乘员身体特征等的影响，可能不能正确地判断各乘员的状态。在本实施方式中，使用由拍摄传感器41对在液晶设备32中显示规定的画面时的各乘员拍摄到的注册拍摄数据作为基准数据，因此，能够抑制这些影响，而更准确地判断各乘员的状态。
149.特别是，在本实施方式中，将拍摄传感器41配置于显示画面的显示操作面板33的背侧，即进一步配置于被设置为在与画面显示区域外接的矩形框33a内侧的非显示部33b的背侧。因此，拍摄传感器41可拍摄与从液晶设备32中显示的画面的背侧进行拍摄的图像同等的图像。拍摄传感器41可从其正面拍摄到观察画面的各乘员的头部。而且，通过使用从正面拍摄到各乘员的头部的注册拍摄数据作为基准数据，能够更准确地判断由拍摄传感器41拍摄的当前的拍摄数据中所含的各乘员的状态。
150.其结果，在本实施方式中，在汽车1的车宽方向的中央部分，将液晶设备32的显示操作面板33、及拍摄传感器41从车宽方向的中央偏置地配置，拍摄传感器41具有在居中配置于汽车1的车宽方向的中央部分的状态下，可拍摄就座于汽车1的前排的多个乘员的头部的视角的拍摄广角镜头42，判断部作为乘坐于汽车1的多个乘员各自的状态，至少判断驾驶
员的眼睛的开闭状态或视线，也能够更准确地判断乘坐于汽车1的包含驾驶员在内的多个乘员各自的状态。
151.特别是，在本实施方式中，在显示液晶设备32的画面的显示操作面板33中，在与画面显示区域外接的矩形框33a的内侧设置非显示部33b。非显示部33b在显示液晶设备32的画面的显示操作面板33中，沿着画面显示区域的上缘作为显示区域上缘的中央部分的缺口部分而形成。此时，非显示部33b在显示液晶设备32的画面的显示操作面板33中，至少遍及从画面显示区域的车宽方向的中央到汽车1的车宽方向的中央的范围而形成，且将画面显示区域的车宽方向的中央设为基准，形成为在汽车1的车宽方向上成左右对称的形状。而且，拍摄传感器41在液晶设备32的显示操作面板33的背侧偏移地配置为，从画面显示区域的车宽方向的中央靠向汽车1的车宽方向的中央，以居于从画面显示区域的车宽方向的中央到汽车1的车宽方向的中央的范围。由此，拍摄传感器41不仅视野不被液晶设备32的显示区域遮挡，而且尽管液晶设备32的显示操作面板33在汽车1的车宽方向的中央部分从车宽方向的中央偏置地配置，也可从汽车1的中央部分拍摄就座于汽车1的前排的多个乘员的头部。无论同一乘员就座于汽车1的车宽方向的右侧的情况，还是就座于左侧的情况，均可在同样的条件下进行拍摄。不管乘员就座位置的差异，均能够提高乘员状态判断的准确度。
152.另外，非显示部33b在显示液晶设备32的画面的显示操作面板33中，将画面显示区域的车宽方向的中央设为基准，形成为在汽车1的车宽方向上成左右对称的形状，由此，能够将显示的画面形状设为左右对称的具有稳定感的形状。
153.以上的实施方式是本发明优选的实施方式的例子，但本发明不限定于此，可在不脱离发明宗旨的范围内进行各种变形或变更。
154.例如，上述的实施方式中，液晶设备32纵长地配置。
155.除此之外，例如液晶设备32也可以横长地配置。
156.图9是关于图6a变形例的具有拍摄传感器41的摄像头模块31的、相对于液晶设备32的显示操作面板33的配置的说明图。
157.即使在该情况下，通过拍摄传感器41的至少中央位置在液晶设备32的显示操作面板33的背侧，将液晶设备32的图像的显示区域向同乘者侧偏移，而位于显示区域的中央位置yd和车身2的车宽方向的中央位置y0之间，也可拍摄与从显示于液晶设备32的画面的背侧进行拍摄的图像同等的图像，可实现与上述的实施方式同等的效果。
158.另外，如果是这种配置，则拍摄传感器41或摄像头模块31被设置为在保持部件61的内侧，以不会向保持液晶设备32的显示操作面板33的周缘部的保持部件61之外突出。另外，摄像头模块31的拍摄传感器41、第一led43、及第二led45被配置为居于图中虚线圆圈所示的图像显示区域的外接圆的内侧。
159.图10是关于图9的又一变形例的具有拍摄传感器41的摄像头模块31的、相对于液晶设备32的显示操作面板33的配置的说明图。
160.图10的液晶设备32具有大致四边形的显示区域。在该情况下，通过摄像头模块31沿着四边形的显示区域的上缘配置，也可实现与上述的实施方式类似的效果。另外，摄像头模块31的拍摄传感器41、第一led43、及第二led45被配置为居于图中虚线圆圈所示的图像显示区域的外接圆的内侧。而且，在将液晶设备32的显示操作面板33向同乘者侧偏移地配置的情况下，通过将拍摄传感器41向驾驶员侧倾斜，将拍摄传感器41的中央位置设置于四
边形的显示区域的中央位置yd和车身2的车宽方向的中央位置y0之间，可实现与上述的实施方式类似的效果。
161.在上述的实施方式中，液晶设备32的显示操作面板33、及拍摄传感器41居中配置于汽车1的车宽方向的中央部分。拍摄传感器41具有在居中配置于汽车1的车宽方向的中央部分的状态下，可拍摄就座于汽车1的前排的多个乘员的头部的视角的拍摄广角镜头42。监视控制部36至少判断乘员眼睛的开闭状态或视线，来作为乘坐于汽车1的乘员的状态。
162.乘员的监视装置也可以不属于这些情况中的任何一种。例如，乘员的监视装置也可以仅将驾驶员设为监视对象。能够期待即使在该情况下，例如通过将拍摄传感器41在液晶设备32的显示操作面板33的背侧配置为居于图像显示区域的外接圆的内侧，或监视控制部36使用存储器35中记录的注册拍摄数据作为基准数据，来判断乘坐于汽车1的乘员的状态，也能够提高该监视判断的准确度。
163.符号说明
[0164]1…
汽车(车辆)，2
…
车身，3
…
车室，4
…
座椅，5
…
仪表板，6
…
中控台，7
…
转向盘，10
…
控制装置，11
…
车门开关传感器，12
…
车速传感器，13
…
驻车传感器，14
…
扬声器设备，15
…
乘员监视装置，16
…
位置设定装置，17
…
驾驶辅助装置，18
…
车外通信装置，19
…
乘员保护装置，20
…
空调装置，21
…
车内网络，31
…
摄像头模块，32
…
液晶设备(显示部件)，33
…
显示操作面板(面板)，33a
…
矩形框，33b
…
非显示部，34
…
输入输出设备，35
…
存储器(记录部件)，36
…
监视控制部(判断部)，41
…
拍摄传感器(拍摄部件)，42
…
拍摄广角镜头，43
…
第一led，44
…
第一投光透镜，45
…
第二led，46
…
第二投光透镜，51
…
第一乘员数据，52
…
第二乘员数据，61
…
保持部件。