乘员监视装置的制作方法

本发明涉及利用设置在车辆内的照相机来监视乘员的乘员监视装置，特别是，涉及测定乘员的规定部位在空间上的位置的技术。

背景技术：

在车辆中，为了根据驾驶者的脸部的位置而进行规定的控制，存在想要检测脸部在空间上的位置的需求。例如，在驾驶者清醒而处于朝向正面的姿势的情况下和在驾驶者打盹而处于低头的姿势的情况下，从基准位置(例如，照相机的位置)到脸部为止的距离不同。因此，以此距离为脸部位置而进行检测，从而能够判别驾驶者是处于清醒状态还是处于打盹状态。另外，在搭载了hud(head-updisplay：平视显示器)系统的车辆中，通过检测驾驶者的脸部位置(特别是，眼睛的位置)，从而能够在驾驶座的前方显示与眼睛的位置对准的最优的影像。

作为检测驾驶者的脸部的手段，周知有驾驶员监视器。驾驶员监视器是根据由照相机所拍摄的驾驶者的脸部图像而监视驾驶者的状态，并在驾驶者打盹、疏忽驾驶的情况下，进行警报等规定的控制的装置。从由驾驶员监视器得到的脸部图像能够得到与脸部的朝向、视线的方向相关的信息，但不能得到与脸部在空间上的位置(自基准位置的距离)相关的信息。

在测定脸部在空间上的位置的方法中，具有利用2台照相机(立体照相机)的方法、向被摄体照射图形(pattern)光的方法、利用超声波传感器的方法等。在利用立体照相机的情况下，需要多个照相机而导致成本上升。在利用图形光的情况下，只要一台照相机即可，但需要专用的光学系统。在使用超声波传感器的情况下，不仅部件增多而导致成本上升，而且难以确定对与被摄体的哪一部位之间的距离进行检测，因此存在难以与由驾驶员监视器得到的检测结果匹配的问题。

在专利文献1中公开了在车辆的方向盘设置照相机，并根据方向盘的转向角而将由该照相机所拍摄的驾驶者的图像校正为竖立图像的驾驶者监视系统。在专利文献2中公开了利用设置在车辆的仪表板的2台照相机而检测驾驶者的脸部的朝向的脸部朝向检测装置。然而，在这些文献中完全未涉及由照相机测定脸部位置的内容，并非是有利于解决上述的问题点的技术文献。

专利文献1：日本特开2007-72774号公报

专利文献2：日本特开2007-257333号公报

技术实现要素：

发明要解决的课题

本发明的课题在于提供一种通过1台照相机而能够测定乘员的规定部位在空间上的位置的乘员监视装置。

用于解决课题的手段

本发明所涉及的乘员监视装置具备：照相机，其对车辆的乘员进行拍摄；图像处理部，其对由该照相机所拍摄的乘员的图像进行规定的处理；以及位置计算部，其根据由该图像处理部所处理的图像而计算乘员的规定部位在空间上的位置。照相机设置在车辆的方向盘的与旋转轴相离的位置而与方向盘一起旋转。图像处理部对伴随着方向盘的旋转而由照相机在两个不同的位置处所拍摄的两个图像进行规定的处理。位置计算部根据由图像处理部所处理的两个图像而计算乘员的规定部位在空间上的位置。

根据这样的乘员监视装置，在方向盘的与旋转轴相离的位置处设置有拍摄乘员的照相机，因此，能够由与方向盘一起旋转的照相机得到在两个不同的位置处所拍摄的两个摄像图像。并且，针对这些摄像图像，由图像处理部进行规定的处理，并根据所处理的两个图像而计算乘员的规定部位在空间上的位置。因此，能够得到无需设置多个照相机或专用的光学系统、且结构简单并低廉价格的乘员监视装置。

在本发明中，图像处理部具有根据由照相机所拍摄的图像检测乘员的脸部的脸部检测部，位置计算部计算从照相机到脸部的特定部分为止的距离作为该脸部在空间上的位置。

在本发明中，所述两个图像例如为照相机在旋转了第一旋转角时的第一位置处所拍摄的第一摄像图像及照相机在旋转了第二旋转角时的第二位置处所拍摄的第二摄像图像。在该情况下，图像处理部生成将第一摄像图像旋转规定量而得的第一旋转图像及将第二摄像图像旋转规定量而得的第二旋转图像。位置计算部根据作为第一位置与第二位置之间的直线距离的基线长度、根据第一旋转图像及第二旋转图像得到的视差及照相机的焦距而计算规定部位在空间上的位置。

具体地，例如以如下方式计算规定部位在空间上的位置。在将从方向盘的旋转轴到照相机为止的距离设为l，将第一旋转角设为θ1，将第二旋转角设为θ2，将基线长度设为b，将视差设为δ，将焦距设为f，将规定部位在空间上的位置设为从照相机到该规定部位为止的距离d时，图像处理部将第一摄像图像向第一方向旋转|θ2-θ1|/2的角度而生成第一旋转图像，并将第二摄像图像向与第一方向相反的第二方向旋转|θ2-θ1|/2的角度而生成第二旋转图像。位置计算部通过b＝2·l·sin(|θ2-θ1|/2)而计算基线长度，并通过d＝b·(f/δ)而计算规定部位在空间上的位置。

在本发明中，也可以设置检测照相机的旋转角的旋转角检测部，该旋转角检测部根据从照相机取得的第一摄像图像及第二摄像图像而检测第一旋转角及第二旋转角。

或者，旋转角检测部根据检测照相机的姿势的姿势传感器的输出而检测第一旋转角及第二旋转角。

或者，旋转角检测部可根据检测方向盘的转向角的转向角传感器的输出而检测第一旋转角及第二旋转角。

在本发明中，当照相机在两个不同的位置之间在规定时间内旋转了规定角度以上的情况下，位置计算部根据两个图像而计算规定部位在空间上的位置。

发明效果

根据本发明，可提供一种能够由1台照相机检测乘员的规定部位在空间上的位置的乘员监视装置。

附图说明

图1是本发明的第一实施方式的乘员监视装置的框图。

图2是设置有照相机的方向盘的俯视图。

图3是对由照相机监视驾驶者的情况进行说明的图。

图4是表示伴随方向盘的旋转而发生的照相机的位置的变化的图。

图5是表示照相机所拍摄的图像的图。

图6是表示第一旋转图像和第二旋转图像的图。

图7是表示摄像图像中的眼睛的区域的图。

图8是对计算基线长度的原理进行说明的图。

图9是基于立体视觉(stereovision)的距离运算的原理图。

图10是表示乘员监视装置的动作的流程图。

图11是本发明的第二实施方式的乘员监视装置的框图。

图12是本发明的第三实施方式的乘员监视装置的框图。

图13是本发明的第四实施方式的乘员监视装置的框图。

标号说明

1：照相机；2：图像处理部；3：位置计算部；13：姿势传感器；22：脸部检测部；25：旋转角检测部；30：转向传感器；40：乘员；41：脸部；50：车辆；51：方向盘；52：旋转轴；100、200、300、400：乘员监视装置；b：基线长度；δ：视差；f：焦距；l：从方向盘的旋转轴到照相机为止的距离；d：从照相机到被摄体为止的距离；θ1：第一旋转角；θ2：第二旋转角；g1：第一摄像图像；g2：第二摄像图像；h1：第一旋转图像；h2：第二旋转图像。

具体实施方式

参照附图，对本发明的乘员监视装置的第一实施方式进行说明。首先，参照图1，对乘员监视装置的结构进行说明。在图1中，乘员监视装置100搭载于车辆，并具备照相机1、图像处理部2、位置计算部3、驾驶者状态判定部4、控制部5及存储部6。

如图2所示，照相机1设置在车辆的方向盘51而与方向盘51一起进行旋转。设置有照相机1的位置与方向盘51的旋转轴52相离。因此，当方向盘51进行旋转时，照相机1以旋转轴52为中心向箭头方向旋转。如图1所示，照相机1中包括cmos图像传感器这样的摄像元件11和包括透镜等的光学部件12。

如图3所示，照相机1对就坐在车辆50的驾驶座的座椅53上的乘员40(驾驶者)的脸部41进行拍摄。虚线表示照相机1的摄像范围。d表示从照相机1到脸部41为止的距离。如后述，当求出距离d时，能够确定脸部41在空间上的位置。车辆50例如为自动四轮车。

图像处理部2具备图像存储器21、脸部检测部22、第一图像旋转部23、第二图像旋转部24及旋转角检测部25。图像存储器21临时保存照相机1所拍摄的图像。脸部检测部22根据照相机1所拍摄的图像检测驾驶者的脸部，并提取脸部上的特征点(例如，眼睛)。脸部的检测方法、特征点的提取方法为公知的方法，因此省略对这些方法的详细说明。

第一图像旋转部23及第二图像旋转部24从图像存储器21读出照相机1所拍摄的摄像图像g1、g2(后述)，并进行使这些图像旋转的处理。旋转角检测部25根据从图像存储器21取得的照相机1的摄像图像而检测照相机1的旋转角θ1、θ2(后述)。由旋转角检测部25检测出的旋转角θ1、θ2被传递到第一图像旋转部23及第二图像旋转部24，各个图像旋转部23、24根据这些旋转角θ1、θ2而使摄像图像g1、g2旋转规定量。关于该图像旋转的具体情况，将后述。

位置计算部3根据由第一图像旋转部23及第二图像旋转部24生成的旋转图像h1、h2(后述)和由脸部检测部22检测的脸部的信息(脸部区域、特征点等)而计算图3中的从照相机1到脸部41为止的距离d即脸部41在空间上的位置。关于其具体情况，也将后述。关于位置计算部3的输出，经由can(controllerareanetwork：控制器局域网络)而发送到搭载于车辆的未图示的ecu(electroniccontrolunit：电子控制单元)。

驾驶者状态判定部4根据从脸部检测部22取得的脸部的信息而检测眼皮的移动、视线的方向等，并根据其结果而判定驾驶者40的状态。例如，在眼皮保持一定时间以上的闭着的状态的情况下，判定为驾驶者40正在打盹，在视线朝向旁边的情况下，判定为驾驶者40在进行疏忽驾驶。驾驶者状态判定部4的输出经由can而被发送到ecu。

控制部5由cpu等构成，对乘员监视装置100的动作进行整体控制。因此，控制部5通过信号线与乘员监视装置100的各部件连接(省略图示)，并与各部件之间进行通信。另外，控制部5经由can而还与ecu进行通信。

存储部6由半导体存储器构成，并储存有用于使控制部5进行动作的程序、控制中所需的参数等。另外，存储部6中设置有用于临时储存各种数据的存储区域。

此外，脸部检测部22、第一图像旋转部23、第二图像旋转部24、旋转角检测部25、位置计算部3及驾驶者状态判定部4的各个功能实际上通过软件而实现，但在图1中为了便于图示，以框图来表示。

接下来，对在上述的乘员监视装置100中测定脸部在空间上的位置的原理进行说明。

图4是表示伴随方向盘51的旋转而发生的照相机1的位置的变化的图。在图4中，(a)表示方向盘51位于基准位置的状态，(b)表示方向盘51从基准位置旋转了角度θ1的状态，(c)表示方向盘51进一步旋转，从基准位置旋转到角度θ2为止的状态。(b)的照相机1的位置相当于本发明中的“第一位置”，(c)的照相机1的位置相当于本发明中的“第二位置”。

图5表示在图4的(a)～(c)的各个状态下通过照相机1而拍摄的图像的一例。在此，为方便起见，仅表示脸部的图像，省略背景图像。

图5的(a)与图4的(a)对应，表示照相机1位于基准位置的情况下的摄像图像。该图像为无倾斜的竖立图像。图5的(b)与图4的(b)对应，伴随着方向盘51旋转θ1，照相机1中的摄像图像g1也从基准位置旋转了θ1。角度θ1相当于本发明中的“第一旋转角”，摄像图像g1相当于本发明中的“第一摄像图像”。图5的(c)对应于图4的(c)，伴随着方向盘51旋转到θ2为止，照相机1上的摄像图像g2也从基准位置旋转到θ2为止。角度θ2相当于本发明中的“第二旋转角”，摄像图像g2相当于本发明中的“第二摄像图像”。

从图5可知，与方向盘51一起旋转的照相机1在不同的位置(旋转角度)所拍摄的图像的倾斜度不同，另外在画面上的位置也不同。

在本发明中，照相机1利用在两个不同的位置处所拍摄的两个图像而计算在图3所示的距离d。照相机1虽然为1台，但通过移动(旋转)照相机1，能够得到不同的位置上的两个图像。因此，可根据与利用2台照相机通过立体视觉来进行距离测定的情况相同的原理(具体情况，将后述)而进行距离d的测定。这样，将移动1台照相机而实现伪立体视觉来进行距离测定的方式称为运动立体方式。

下面，对利用了运动立体方式的本发明的距离测定过程进行说明。首先，如上述，取得照相机1在两个不同的位置处所拍摄的两个图像。在此，作为两个图像，利用由照相机1在图4的(b)的旋转角θ1的位置处所拍摄的图5的(b)的摄像图像g1和在图4的(c)的旋转角θ2的位置处所拍摄的图5的(c)的摄像图像g2。

接下来，将所取得的两个摄像图像g1、g2分别旋转规定量。具体地，如图6的(a)所示，关于摄像图像g1，向顺时针方向旋转|θ2-θ1|/2，由此生成由实线所示的旋转图像h1。另外，如图6的(b)所示，关于摄像图像g2，向逆时针方向旋转|θ2-θ1|/2，从而生成由实线所示的旋转图像h2。旋转图像h1相当于本发明中的“第一旋转图像”，旋转图像h2相当于本发明中的“第二旋转图像”。顺时针方向相当于本发明中的“第一方向”，逆时针方向相当于本发明中的“第二方向”。

旋转图像h1是将摄像图像g1旋转到图像g1、g2的中间的角度为止的图像，旋转图像h2也是将摄像图像g2旋转到图像g1、g2的中间的角度为止的图像。因此，两个旋转图像h1、h2的画面上的倾斜度相等。这样，将摄像图像g1、g2向相反方向旋转|θ2-θ1|/2的角度，从而能够得到与由通常的立体照相机所拍摄的情况相同的、姿势相同的两个图像h1、h2。

此外，在此，将摄像图像g1、g2以原样旋转而生成了旋转图像h1、h2，但如图7所示，也可以从摄像图像g1切出例如眼睛的区域z，仅旋转该区域而生成旋转图像。关于摄像图像g2也同样。

接下来，利用如上述这样取得的旋转图像h1、h2进行基于立体视觉的距离运算，然而，为此首先需要求出作为两个照相机位置之间的直线距离的“基线长度”。对此，利用图8进行说明。

在图8中，o为方向盘51的旋转轴52(图2)的位置，x1为图4的(b)中的照相机1的位置，x2为图4的(c)中的照相机1的位置，l为从旋转轴52到照相机位置x1、x2为止的距离。b为照相机位置x1、x2之间的直线距离，这是基线长度。根据图8而在几何学上通过以下的公式来计算基线长度b。

b＝2·l·sin(|θ2-θ1|/2)…(1)

在此，l是已知的，因此如果能够取得θ1和θ2的值，则能够求出基线长度b。可根据图5的(b)、(c)的摄像图像g1、g2检测θ1和θ2。

当这样求出了基线长度b时，接着按照一般的基于立体视觉的距离测定方法而运算从照相机1到被摄体为止的距离。参照图9，对该距离运算的具体情况进行说明。

图9表示基于立体视觉的距离运算的原理图。在此的运算是基于三角测量的原理而进行的。在图9中，由具有摄像元件11a及透镜12a的第一照相机1a和具有摄像元件11b及透镜12b的第二照相机1b来构成立体照相机。第一照相机1a对应于图8的x1上的照相机1，第二照相机1b对应于图8的x2上的照相机1。此外，图8的照相机位置x1、x2在图9中被表示为各个照相机1a、1b的光学中心(透镜12a、12b的中心)。该光学中心x1、x2之间的距离b为基线长度。

由各个照相机1a、1b拍摄的被摄体y的图像形成在摄像元件11a、11b的摄像面上。在此，在关注被摄体y的特定部分的图像的情况下，在第一照相机1a中该图像形成在摄像面的p1的位置，在第二照相机1b中该图像形成在摄像面的p2的位置。p2的位置从与第一照相机1a中的p1对应的p1’的位置偏移δ，并将该偏移量δ称为“视差”。当将照相机1a、1b的焦距设为f，将从照相机1a、1b到被摄体y为止的距离设为d时，在几何学上成立f/δ＝d/b。因此，通过以下的公式来计算距离d。

d＝b·f/δ…(2)

在上述的公式(2)中，基线长度b可从上述的公式(1)计算，由于焦距f为已知的距离，因此通过求出视差δ，能够计算距离d。可利用公知的立体匹配的手法来求出视差δ。例如，从第二照相机1b的摄像图像搜索与第一照相机1a的摄像图像中的特定区域的亮度分布相同的亮度分布的区域，将两者的区域的偏移量作为视差而求出。

基于图9的原理，在本发明中，根据图6所示的旋转图像h1、h2检测两个图像的视差δ。在该情况下，如上述，两个旋转图像h1、h2的倾斜度(姿势)相同，因此能够容易实现两者之间的立体匹配。并且，通过将进行匹配的区域作为脸部41的特定部分(例如，眼睛)的区域，利用该特定部分的视差δ，并通过所述公式(2)而能够计算照相机1和脸部41的特定部分之间的距离d。在此，照相机1在空间上的位置根据转向部51的旋转角而决定。因此，通过以上述的距离d为从照相机1到脸部41为止的距离，从而能够确定脸部41在空间上的位置。

图10是表示乘员监视装置100的动作的流程图。在控制部5的控制下，按照储存于存储部6的程序来执行该流程图的各个步骤。

在步骤s1中，通过照相机1而进行拍摄。将由照相机1所拍摄的图像保存到图像存储器21。在步骤s2中，旋转角检测部25根据照相机1的摄像图像g1、g2(图5)检测与方向盘51一起旋转的照相机1的旋转角。在步骤s3中，脸部检测部22根据照相机1的摄像图像检测脸部。在步骤s4中，脸部检测部22提取所检测的脸部中的特征点(眼睛等)。在步骤s5中，将在步骤s2～s4中取得的旋转角、脸部图像、特征点等数据保存到存储部6。在该情况下，与旋转角关联地存储脸部图像、特征点。

在步骤s6中，控制部5判定能否利用在步骤s5中保存的数据通过运动立体方式而进行距离测定。为了通过运动立体方式来测定与被摄体之间的距离，需要使由照相机1进行了拍摄的两个位置隔开一定距离以上。另外，在运动立体方式中，以在2次摄像之间被摄体不进行移动为前提，因此当2次拍摄的时间间隔长时，有可能被摄体移动而无法进行准确的距离测定。因此，在步骤s6中，在照相机1在两个不同的位置之间在规定时间内(例如，5秒以内)旋转了规定角度以上(例如，10°以上)的情况下，判定为可进行基于运动立体方式的距离测定，而在规定时间内未旋转规定角度以上的情况下，判定为不能进行基于运动立体方式的距离测定。

在步骤s6中判定的结果，如果可进行距离测定(步骤s6：是)，则进入步骤s7。在步骤s7中，由图像旋转部23、24进行将最新的图像和比其早n秒前(n≤5)的图像旋转|θ2-θ1|/2的角度的处理(|θ2-θ1|≥10°)。例如，图5的(b)的摄像图像g1为比最新图像早n秒前的图像，如图6的(a)所示，由第一图像旋转部23使图5的(b)的摄像图像g1向顺时针方向旋转|θ2-θ1|/2。另外，图5的(c)的摄像图像g2为最新的图像，如图6的(b)所示，由第二图像旋转部24使图5的(c)的摄像图像g2向逆时针方向旋转|θ2-θ1|/2。

在步骤s8中，位置计算部3根据从存储部6取得的旋转角θ1、θ2，通过上述的公式(1)而计算基线长度b。在步骤s9中，位置计算部3根据利用图像旋转部23、24生成的各个旋转图像h1、h2(图6)而计算视差δ。在步骤s10中，利用在步骤s8中计算的基线长度b、在步骤s9中计算的视差δ、照相机1的焦距f(已知)，并通过上述的公式(2)而计算从照相机1到脸部41为止的距离d。在步骤s11中，经由can而将在步骤s10中计算出的距离数据输出到ecu。ecu根据该距离数据而例如执行在开头所述的hud的控制等。

此外，在步骤s6中判定的结果，如果不能进行基于运动立体方式的距离测定(步骤s6：否)，则进入步骤s12。在步骤s12中，根据摄像图像中的脸部的大小的变化，校正与脸部之间的距离d。具体地，在可进行基于运动立体方式的距离测定的情况下(步骤s6：是)，在步骤s10中，在存储所计算的距离d的同时，还存储脸部中的任意的2处的特征点之间的图像上的距离(像素数)。2处的特征点例如为左右眼睛的各个眼睛的中心。并且，在步骤s12中，根据这次的特征点之间的距离与上次的距离的变化量而校正在步骤s10中计算的上次的距离。具体地，在上次的步骤s10中，特征点之间的距离(像素数)为m，与脸部之间的距离被计算为dx的情况下，在这次的步骤s12中，如果特征点之间的距离(像素数)为n，则这次的与脸部之间的距离dy通过dy＝dx·(m/n)而计算，这成为与脸部之间的距离的校正值。作为一例，在设为m＝100像素，dx＝40cm，n＝95像素的情况下，距离的校正值为dy＝40cm×(100/95)＝42.1cm。可知，当脸部远离照相机1而图像上的脸部变小时，与此相应地特征点之间的图像上的距离也变小(n<m)，从照相机1到脸部为止的距离的计算值增加(dy>dx)。

根据上述的实施方式，在方向盘51的与旋转轴52相离的位置处设置有照相机1，因此，能够由与方向盘51一起旋转的照相机1得到在两个不同的位置处所拍摄的两个摄像图像g1、g2。并且，生成将这些摄像图像g1、g2旋转的旋转图像h1、h2，并利用从这些旋转图像h1、h2得到的视差δ，计算从照相机1到脸部41的特定部分(在本例中为眼睛)为止的距离d。因此，能够得到无需设置多个照相机或专用的光学系统、且能够通过简单的结构而测定脸部在空间上的位置的乘员监视装置。

图11表示本发明的第二实施方式的乘员监视装置200。在图11中，对与图1相同的部分赋予相同的标号。

在图1的乘员监视装置100中，旋转角检测部25根据从图像存储器21取得的照相机1的摄像图像(除了脸部的图像之外，还包括背景的图像)而检测了照相机1的旋转角θ1、θ2。相对于此，在图11的乘员监视装置200中，旋转角检测部25根据由脸部检测部22所检测的脸部的图像而检测照相机1的旋转角θ1、θ2。另外，图像旋转部23、24对由脸部检测部22所检测的脸部的图像而进行旋转处理而生成旋转图像h1、h2。在该情况下，在旋转图像h1、h2中反映脸部的信息，因此位置计算部3无需从脸部检测部22取得脸部的信息。

在图11的乘员监视装置200中，也可以根据与图1的情况相同的原理而计算从照相机1到脸部41为止的距离d。

图12表示本发明的第三实施方式的乘员监视装置300。在图12中，对与图1相同的部分赋予相同的标号。

在图1的乘员监视装置100中，旋转角检测部25根据由照相机1所拍摄的图像而检测照相机1的旋转角θ1、θ2。相对于此，在图12的乘员监视装置300中，旋转角检测部25根据设置于照相机1的姿势传感器13的输出而检测照相机1的旋转角θ1、θ2。作为姿势传感器13，可使用陀螺仪传感器等。

图13表示本发明的第四实施方式的乘员监视装置400。在图13中，对与图1相同的部分赋予相同的标号。

在图12的乘员监视装置300中，旋转角检测部25根据姿势传感器13的输出而检测了照相机1的旋转角θ1、θ2。相对于此，在图13的乘员监视装置400中，旋转角检测部25根据检测方向盘51的转向角的转向角传感器30的输出而检测照相机1的旋转角θ1、θ2。作为转向角传感器30，可使用旋转编码器等。

在图12及图13的乘员监视装置300、400中，也可根据与图1的情况相同的原理而计算从照相机1到脸部41为止的距离d。

此外，在图12及图13中，如图11所示，也可以由图像旋转部23、24对从脸部检测部22取得的脸部的图像进行旋转处理而生成旋转图像h1、h2。

在本发明中，除了上述的实施方式以外，还可采用以下的各种实施方式。

在上述的实施方式中，举出了将照相机1设置于方向盘51中的图2的位置的例子，但照相机1只要设置在方向盘51的与旋转轴52相离的位置即可，不限于图2的位置。

在上述的实施方式中，举出了将摄像图像g1向顺时针方向旋转|θ2-θ1|/2的角度，并将摄像图像g2向逆时针方向旋转|θ2-θ1|/2的角度的例子(图6)，但本发明不限于此。例如，也可以将摄像图像g1向顺时针方向旋转|θ2-θ1|而形成与摄像图像g2相同的倾斜度的图像。或者，将摄像图像g2向逆时针方向旋转|θ2-θ1|而形成与摄像图像g1相同的倾斜度的图像。

在上述的实施方式中，在计算从照相机1到脸部41为止的距离d时，作为脸部41的特定部分而举出了眼睛，但特定部分不限于眼睛，也可以是鼻子、嘴、耳朵、眉毛等。另外，特定部分不限于眼睛、鼻子、嘴、耳朵、眉毛等脸部的特征点，也可以是特征点以外的任意点。进而，在本发明中成为距离测定的对象的部位不限于脸部，也可以是头、颈等其他的部位。

在上述的实施方式中，将从照相机1到脸部41为止的距离d作为脸部41在空间上的位置，但空间上的位置不限于距离，也可以由坐标值来表示。

在上述的实施方式中，举出了在乘员监视装置100～400设置有驾驶者状态判定部4的例子，但驾驶者状态判定部4也可以设置在乘员监视装置100～400的外部。