专利名称：图像处理方法、图像处理系统、图像处理装置以及计算机程序的制作方法
技术领域：
本发明涉及使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置的图像处理方法、应用了该图像处理方法的图像处理系统、在该图像处理系统中使用的图像处理装置、以及用于实现该图像处理装置的计算机程序，尤其涉及使对检测对象进行检测的精度提高的图像处理方法、图像处理系统、图像处理装置以及计算机程序。
背景技术：
作为支持汽车等车辆的驾驶的装置，已经提出了这样的图像处理装置利用配置在能够对驾驶者脸部进行摄像的位置的车载照相机，对驾驶者脸部进行摄像，并进行从所得到的图像对驾驶者脸部的轮廓、以及眼睛和鼻孔的位置进行检测的图像处理(例如，参照专利文献1)。通过使用这样的装置，还可以构成这样的系统测知驾驶者的状况，从而进行对应于溜号驾驶、瞌睡驾驶等驾驶者的状况的警告等的驾驶支持。
专利文献1日本特开2004-234367号公报 但是，由于伴随着车辆的移动，太阳光等光线的照度和角度一直变化，并且光线对驾驶者脸部的照射状况也不均一，因此寻求用各种方法对驾驶者脸部进行检测，来综合性地测知驾驶者的状况。另外，现有的系统存在这样的问题在驾驶者脸部倾斜的情况下，检测产生误差的可能性高。
发明内容
本发明是鉴于上述情况而完成的，其主要目的在于提供图像处理方法，从通过摄像等处理而得到的图像，进行成为检测对象的区域的候补的候补区域的适用的区域检测，通过该区域的检测，能够将检测对象的位置作为二维的区域进行捕捉，因此能够提高检测精度；应用了该图像处理方法的图像处理系统；在该图像处理系统中使用的图像处理装置；以及用于实现该图像处理装置的计算机程序。
另外，本发明的另一目的在于提供图像处理方法，通过对检测对象的倾斜度进行检测，能够提高检测精度；应用了该图像处理方法的图像处理系统；在该图像处理系统中使用的图像处理装置；以及用于实现该图像处理装置的计算机程序。
本发明的第一方面的图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，对图像内的检测对象的区域以及图像内的检测对象的倾斜度进行检测。
在本发明中，通过对检测对象的区域以及倾斜度进行检测这种多面的检测方法，能够提高对检测对象进行检测的精度。
本发明的第二方面的图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，在图像内设定多个成为检测对象的区域的候补的候补区域，对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较，根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域。
在本发明中，通过根据象素的特性值对设定的多个候补区域进行验证，能够对检测到与检测对象一致的可能性高的区域，因此能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉，能够提高对检测对象进行检测的精度。
本发明的第三方面的图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，对包含在检测对象中的特定的两点进行检测，对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
在本发明中，对驾驶者的眼睛等包含在检测对象中的特定的两点进行检测，并根据检测到的两点的位置关系，对检测对象的倾斜度进行检测，由此能够进行对驾驶者脸部倾斜的状况进行捕捉的多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的第四方面的图像处理系统，该图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括在图像内设定多个成为检测对象的区域的候补的候补区域的设定单元；对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的比较单元；以及根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域的检测单元。
在本发明中，通过根据象素的特性值对所设定的多个候补区域进行验证，能够检测到与检测对象一致的可能性高的区域，因此能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉，能够提高对检测对象进行检测的精度。
本发明的第五方面的图像处理系统在本发明的第四方面中，其特征在于，上述比较单元构成为作为象素的特性值对平均亮度进行比较。
在本发明中，通过对候补区域内外的平均亮度进行比较，能够判别亮度高的检测对象和亮度低的背景，能够提高对检测对象进行检测的精度。
本发明的第六方面的图像处理系统在本发明的第四或第五方面中，其特征在于，上述检测单元构成为将判定为特性值的差最大的候补区域作为检测对象的区域检测出来。
在本发明中，由于在整个图像中将例如亮度高的象素等奇异点集中的区域判别为与背景不同的检测对象的区域，因此能够提高对检测对象进行检测的精度。
本发明的第七方面的图像处理系统，在本发明的第四至第六方面的任一方面中，其特征在于，上述设定单元构成为将使用中心、以及正交的第一方向和第二方向的长度表示的椭圆区域设定为候补区域。
在本发明中，通过将认为容易与驾驶者脸部的形状一致的椭圆形状作为候补区域，作为检测对象能够高精度地对驾驶者脸部进行检测。
本发明的第八方面的图像处理系统，在本发明的第四至第七方面的任一方面中，其特征在于，上述检测对象具有基准点和基准方向，上述图像处理系统还包括根据与上述检测单元检测到的检测对象相关的象素的亮度的分布，来算出绕基准点的中心力矩的单元；以及根据算出的中心力矩，对图像内的检测对象的基准方向的倾斜度进行检测的单元。
在本发明中，根据中心力矩对检测对象的倾斜度进行检测，由此能够进行例如对作为检测对象的驾驶者脸部倾斜的状况进行捕捉这种多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的第九方面的图像处理系统，在本发明的第七方面中，其特征在于，上述图像处理系统还包括将与适合上述检测单元所检测到的检测对象的区域外接、一边与上述第一方向平行的长方形设定为外接长方形的单元；根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定的单元；在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心力矩的单元；以及根据算出的中心力矩，对图像内的检测对象的第一方向的倾斜度进行检测的单元。
在本发明中，根据中心力矩对检测对象的倾斜度进行检测，由此能够进行例如对作为检测对象的驾驶者脸部倾斜的状况进行捕捉这种多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的第十方面的图像处理系统，在本发明的第四至第九方面的任一方面中，其特征在于，上述图像处理系统还包括生成上述图像的摄像装置，上述检测对象是通过上述摄像装置拍摄到的人物的脸部。
在本发明中，由于能够多面地高精度地对驾驶者等人物的脸部的区域进行检测，因此即使是在太阳光等光线的照度和角度一直变化的状况下进行驾驶的情况，也能够构造错误检测少的值得信赖的系统。
本发明的第十一方面的图像处理系统，该图像处理系统使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括对包含在上述检测对象内的特定的两点进行检测的检测单元；以及对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的单元。
在本发明中，对驾驶者的眼睛等检测对象所包含的特定的两点进行检测，并根据检测到的两点的位置关系，对检测对象的倾斜度进行检测，由此能够进行对驾驶者脸部倾斜的状况进行捕捉的这种多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的第十二方面的图像处理系统，在本发明的第十一方面中，其特征在于，上述图像处理系统还包括生成上述图像的摄像装置，上述检测对象是通过上述摄像装置拍摄到的人物的脸部，上述检测单元构成为作为特定的两点对人物的双眼进行检测。
在本发明中，通过对驾驶者等人物的脸部的倾斜度进行检测，能够多面地高精度地对人物进行检测，因此即使是在太阳光等光线的照度和角度一直变化的状况下进行驾驶的情况下，也能够构造错误检测少的值得信赖的系统。
本发明的第十三方面的图像处理系统，在本发明的第四至第十二方面的任一方面中，其特征在于，上述图像处理系统还包括对原图像进行缩小以生成检测对象检测用的图像的单元。
在本发明中，通过对已缩小的图像进行检测处理，能够减轻处理负荷。
本发明的第十四方面的图像处理装置，其从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括在图像内设定多个成为检测对象的区域的候补的候补区域的单元； 对于设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的单元；以及根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域的单元。
在本发明中，根据象素的特性值对所设定的多个候补区域进行验证，由此能够检测与检测对象一致的可能性高的区域，因此能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉，能够提高对检测对象进行检测的精度。
本发明的第十五方面的图像处理装置，其从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括对包含在检测对象中的特定的两点进行检测的单元；以及对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的单元。
在本发明中，对驾驶者的眼睛等包含在检测对象中的特定的两点进行检测，并根据检测到的两点的位置关系对检测对象的倾斜度进行检测，由此能够进行对驾驶者脸部倾斜的状况进行捕捉这种多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的第十六方面的计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤使计算机在由图像数据表示的图像内设定多个成为检测对象的区域的候补的候补区域的步骤；使计算机对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的步骤；以及使计算机根据比较的结果从所设定的多个候补区域中检测适合检测对象的区域的步骤。
在本发明中，在连接有车载照相机等摄像装置的车载计算机等计算机中执行程序，计算机作为图像处理装置进行动作，根据象素的特性值对所设定的多个候补区域进行验证，由此能够检测与检测对象一致的可能性高的区域，因此能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉，能够提高对检测对象进行检测的精度。
本发明的第十七方面的计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤使计算机对包含在上述检测对象中的特定的两点进行检测的步骤；以及使计算机对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的步骤。
在本发明中，通过在连接有车载照相机等摄像装置的车载计算机等计算机中执行程序，计算机作为图像处理装置进行动作，对驾驶者的眼睛等包含在检测对象中的特定的两点进行检测，并根据检测到的两点的位置关系对检测对象的倾斜度进行检测，由此能够进行对驾驶者脸部倾斜的状况进行捕捉这种多面的检测，因此能够提高对检测对象进行检测的精度。
本发明的图像处理方法、图像处理系统、图像处理装置以及计算机程序，适用于这样的系统从例如由安装于车辆的车载照相机等摄像装置对驾驶者脸部进行摄像而得到的图像中，将驾驶者脸部作为检测对象进行检测，在图像内设定多个成为检测对象的区域的候补的例如椭圆形的候补区域，比较所设定的候补区域内外的象素的亮度的平均值等特性值，并将判定为其差为最大的候补区域作为检测对象的区域检测出来。
通过该结构，由于能够检测与检测对象一致的可能性高的区域，因此达到这样优良的效果能够将检测对象不是作为一维的宽度而是作为二维的区域进行捕捉，能够提高对检测对象进行检测的精度等。另外，通过将认为容易与驾驶者脸部的形状一致的椭圆形状作为候补区域，从而达到如下优良的效果作为检测对象能够高精度地对驾驶者脸部进行检测等。另外，由于将亮度高的象素集中的区域判别为与背景不同的检测对象的区域，因此达到了能够提高对检测对象进行检测的精度等优良的效果。此外，在适用于通过使检测对象的检测精度提高，来测知驾驶者的状况，从而进行对溜号驾驶的警告等驾驶支持的系统的情况下，达到了这样优良的效果即使在外界光的状况一直变化的环境下进行驾驶的情况下，也能够构造错误检测少的值得信赖的驾驶支持系统等。
而且，本发明的图像处理系统等根据在与椭圆形状的检测对象外接的外接长方形内包含的象素的亮度分布设定基准亮度，在外接长方形内根据亮度比基准亮度高的象素的分布，算出绕中心的中心力矩，并根据算出的中心力矩对图像内的检测对象的倾斜度进行检测。
通过该结构，例如能够进行对作为检测对象的驾驶者脸部倾斜的状况进行捕捉这种多面的检测，因此达到这样优良的效果能够提高对检测对象进行检测的精度等。并且通过提高检测对象的检测精度，达到能够构造错误检测少的值得信赖的驾驶支持系统等优良的效果。
并且本发明的图像处理方法、图像处理系统、图像处理装置以及计算机程序，适用于这样的系统从例如由安装于车辆的车载照相机等摄像装置对驾驶者脸部进行摄像而得到的图像中，将驾驶者脸部作为检测对象进行检测，对驾驶者的眼睛等包含在检测对象中的特定的两点进行检测，并对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
通过该结构，由于能够多面地高精度地对驾驶者等人物的脸部的区域进行检测，因此具有这样优良的效果即使在太阳光等光线的照度和角度一直变化的环境下进行驾驶的情况下，也能够构造错误检测少的值得信赖的驾驶支持系统等。
另外，作为前处理，通过在缩小拍摄到的图像之后对检测对象进行检测，从而能够减少处理负荷大的检测处理的处理量，能够减轻处理负荷，因此在应用于进行驾驶支持的系统的情况下，起到了这样优良的效果能够实现高速的处理，能够构造即使在糟糕的情况下也能够反应的驾驶支持系统等。
图1是表示本发明的实施方式1中的图像处理系统的结构例的框图。
图2是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置的主处理的流程图。
图3是示意性地表示本发明的实施方式1中的图像处理系统的检测范围的设定的例子的说明图。
图4是示意性地表示本发明的实施方式1中的图像处理系统的检测对象的倾斜度的检测以及投影处理后的检测对象的检测的例子的说明图。
图5是示意性地表示本发明的实施方式1中的图像处理系统的检测对象的检测的例子的说明图。
图6是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置的区域检测处理的流程图。
图7是示意性地表示通过本发明的实施方式1中的图像处理装置系统设定的候补区域和外接长方形的例子的说明图。
图8是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置的检测对象的倾斜度的检测处理的流程图。
图9是表示本发明的实施方式1中的图像处理系统的投影范围的例子的说明图。
图10是表示本发明的实施方式2中的图像处理系统的结构例的框图。
标号说明 1摄像装置；2图像处理装置；3计算机程序；4记录介质。
具体实施例方式 以下，根据表示其实施方式的附图详细说明本发明。
实施方式1 图1是表示本发明的实施方式1中的图像处理系统的结构例的框图。在图1中，1是安装在车辆上的车载照相机等摄像装置，摄像装置1通过专用电缆等通信线、或者构成为有线或无线构成的车内局域网(LocalArea Network)等通信网与进行图像处理的图像处理装置2连接。摄像装置1配设在车辆内的方向盘、仪表板等驾驶者的前方，将摄像装置调整为可以摄像的状态，使在将驾驶者脸部作为摄像对象并且驾驶者端正地坐在驾驶座上的情况下，驾驶者脸部的横向和纵向成为图像的水平方向和垂直方向。
摄像装置1具有控制整个装置的MPU(Micro Processor Unit微处理机单元)11；记录根据MPU11的控制而执行的各种计算机程序和数据的ROM(Read Only Memory只读存储器)12；对ROM12上记录的计算机程序执行时临时产生的各种数据进行记录的RAM(Random AccessMemory随机存储器)13；使用CCD(Charge Coupled Device电荷耦合器件)等摄像元件构成的摄像部14；将通过摄像部14的摄像得到的模拟图像数据转换为数字数据的A/D转换器15；对通过A/D转换器15转换为数字数据的图像数据临时进行记录的帧存储器16；以及用于与图像处理装置2之间的通信的通信接口17。
在摄像装置1中，通过摄像部14连续地或者断续地进行摄像处理，根据摄像处理生成例如每秒30帧的图像数据(图像帧)，并向A/D转换器15输出，在A/D转换器15中，将构成图像的各象素转换为以256灰度(1字节)等灰度表示的数字图像数据，并记录于帧存储器16中。记录于帧存储器16中的图像数据在预定的定时从通信接口17向图像处理装置2输出。构成图像的各象素呈二维排列，图像数据包括在平面直角坐标系、即所谓的xy坐标系中表示的各象素的位置、以及表示以灰度值表示的各象素的亮度的数据。另外，分别相对于各象素，也可以不通过xy坐标系来表示坐标，而是利用在数据内排列的顺序来表示坐标。并且图像的水平方向与图像数据的x轴方向对应，图像的垂直方向与图像数据的y轴方向对应。
图像处理装置2具有控制整个装置的CPU(Central Processing Unit中央处理器)21；CD-ROM驱动器等辅助记录部22，其从记录了本发明的计算机程序3以及数据等各种信息的CD-ROM等记录介质4中读取信息；对通过辅助记录部22读取到的各种信息进行记录的硬盘(以下称为HD)23；对执行HD23上所记录的计算机程序3时临时产生的各种数据进行记录的RAM24；由挥发性存储器构成的帧存储器25；以及用于与摄像装置1之间的通信的通信接口26。另外，从HD23读取本发明的计算机程序3和数据等各种信息，将其记录于RAM24，并由CPU21执行计算机程序3所包含的各种步骤，由此，车载用计算机作为本发明的图像处理装置2进行动作。作为记录在HD23中的数据，有与计算机程序3的执行有关的数据，例如后述的用于设定检测范围的数值、各种常数、参数等各种数据。另外，所检测到的结果等信息也记录在HD23中。
在图像处理装置2中，通过通信接口26接收从摄像装置1输出的图像数据，并将接收到的图像数据记录到帧存储器25中，读出记录于帧存储器25中的图像数据，以进行各种图像处理。对接收到的图像数据执行的各种图像处理，是从图像数据中对作为检测对象(摄像时的摄像对象)的驾驶者脸部轮廓的检测以及与眼睛和鼻子的位置的特定等的检测对象的检测相关的检测处理。作为具体的处理的例子，可以列举利用模式匹配对眼睛的位置进行检测的眼睛位置检测处理。另外作为其他的处理例子，能够列举这样的轮廓宽度检测处理对排列在图像的垂直方向的亮度进行累计，通过将累计的值与预定的阈值进行比较，来对由比背景的亮度高的象素构成的脸部的轮廓在水平方向的范围进行检测。此外在该处理中，能够列举这样的轮廓宽度检测处理对累计值的水平方向的变化进行微分，确定变化大的位置，对亮度变化大的背景与脸部轮廓的界限进行检测。详细的处理内容记载于例如在由本申请的申请人申请的日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中。另外，这些图像处理不限定于日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报中记载的处理，可以根据其用途、硬件结构、与其他应用程序联合等条件进行适当选择。
下面对在本发明的实施方式1中的图像处理系统中使用的各种装置的处理进行说明。图2是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置2的主处理的流程图。在图像处理装置2中，通过执行记录在RAM24中的计算机程序3的CPU21的控制，从帧存储器25中提取通过摄像装置1的摄像得到的、经由通信接口26接收到的图像数据(S101)，以例如在垂直方向上1/8、在水平方向上1/8的比例缩小由提取出的图像数据表示的图像(S102)，在由缩小了的图像数据表示的图像内设定检测范围(S103)。在步骤S103中设定的检测范围是长方形的区域，其是为了对检测对象进行检测而在图像内设定的，其检测到检测对象的可能性高的一边与图像的水平方向平行，不是从整个图像中对检测对象进行检测，而是缩小了范围，由此能够减轻检测处理的负荷。
在图像处理装置2中，通过CPU21的控制，对是否检测到了作为检测对象的驾驶者脸部的中间的双眼的位置进行判定(S104)。在步骤S104中，例如执行在表示上述的眼睛位置检测处理等的处理的日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中记载的方法，对是否检测到双眼的位置进行判定。
在步骤S104中，在判定为检测到了双眼的位置的情况下(S104YES)，在图像处理装置2中，通过CPU21的控制，对由检测到的双眼确定的图像内的检测对象的倾斜度进行检测(S105)。在驾驶者端正地坐在驾驶座上的情况下，连接作为驾驶者的双眼的两点的直线是水平的，在连接两点的直线从水平倾斜的情况下，在驾驶者倾斜这一前提之上，将连接双眼的直线相对于图像的水平方向(x轴)的倾斜度作为检测对象的倾斜度进行检测。
在步骤S104中，在判定为没有检测到双眼的位置的情况下(S104NO)，在图像处理装置2中，通过CPU21的控制，进行对与作为检测对象的驾驶者脸部相适合的椭圆形状的区域进行检测的区域检测处理(S106)，进行对检测到的区域有关的检测对象在图像内的倾斜度进行检测的检测对象的倾斜度的检测处理(S107)。对于步骤S106的区域检测处理和步骤S107的检测对象的倾斜度的检测处理的具体情况在后面说明。
在通过步骤S105或者步骤S107对检测对象的图像内的倾斜度进行检测后，图像处理装置2通过CPU21的控制，为了根据倾斜度进行检测对象的检测，设定包含检测对象的长方形的投影范围(S108)，在与倾斜垂直的投影方向上，对所设定的投影范围内的图像进行累计亮度的投影处理(S109)。步骤S109的投影处理，是在与检测对象的倾斜度对应的方向上对亮度进行累计的处理。
图像处理装置2通过CPU21的控制，根据投影处理的结果，对检测对象进行检测(S110)，将检测到的检测对象变换为投影处理之前的坐标(S111)，将关于检测对象的位置、宽度以及倾斜度等信息作为检测结果记录在HD23和/或者RAM24中(S112)。在步骤S110中的检测对象的检测，是对作为检测对象的驾驶者脸部的轮廓的位置和宽度、以及眼睛和鼻子的位置等的检测。
并且，在图像处理装置2中，根据在步骤S112中记录在HD23和/或者RAM24中的检测结果，进行进一步的检测等各种图像处理，并进行基于该结果的驾驶支持处理。
对使用图2的流程图说明过的处理更具体地进行说明。图3是示意性地表示本发明的实施方式1中的图像处理系统的检测范围的设定的例子的说明图。在图3中，实线所示的外侧的框是通过步骤S102缩小了的图像的整体，其包含有作为检测对象的驾驶者脸部的图像。单点划线所示的内侧的框是通过步骤S103设定的检测范围。
图4是示意性地表示本发明的实施方式1中的图像处理系统的检测对象的倾斜度的检测以及投影处理后的检测对象的检测的例子的说明图。图4(a)示意性地表示从图3所示的图像中对双眼的位置进行检测、并检测到了检测对象的倾斜度的状态。在图4(a)中，用十字表示的两点表示从作为检测对象的驾驶者脸部的图像所检测到的双眼的位置。步骤S105中所示的检测对象的倾斜度的检测，是根据如图4(a)所示那样连接检测到的两点的线段的倾斜度，来进行检测的。图4(a)中的单点划线所示的长方形表示在步骤S108中设定的投影范围。在检测对象中检测到的双眼之间的距离为L的情况下，设定的投影范围的宽确定为以双眼的中点为中心、与连接两眼的方向平行的3L长的线段。另外，设定的投影范围的高为，从检测到的双眼的中点在上侧(驾驶者的头的方向)向与连接双眼的线段成直角的方向3/4L的位置开始，到在下侧(驾驶者的下巴的方向)向与连接双眼的线段成直角的方向3/2L的位置。另外用于累计象素的亮度的投影方向是如图4(a)中的箭头所示与连接双眼的方向成直角的方向。
图4(b)表示根据步骤S110中的投影处理的结果对检测对象进行检测的处理。图4(b)表示在投影范围内，象素的亮度在检测对象的宽度方向的分布。如图4(b)所示，在驾驶者脸部的中心附近，即对应鼻子的位置的亮度高，越向外侧亮度越低。像这样越接近摄像装置1越高的亮度分布通过在摄像装置1附近设置LED(Light Emitting Diode发光二极管)等照明装置而变得显著。
图5是示意性地表示本发明的实施方式1中的图像处理系统的检测图像的检测的例子的说明图。图5是表示根据如图4(b)所示的亮度的累计值的分布，检测出倾斜着的检测对象的宽度的状况，虚线的两个箭头所示的范围表示检测到的宽度。通过执行例如日本特开2000-163564号公报、日本特开2004-234494号公报和日本特开2004-234367号公报等文献中记载的处理，来进行基于图4(b)所示的亮度的分布的各种检测处理。另外，表示检测对象的宽度等所检测到的结果的信息被记录在HD23和/或者RAM24中。
图6是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置2的区域检测处理的流程图。区域检测处理与用图2进行说明过的主处理中的步骤S106对应。图像处理装置2通过执行记录在RAM24中的计算机程序3的CPU21的控制，在图像内设定成为检测对象的区域的候补的椭圆形状的候补区域，该椭圆形状的短轴方向和长轴方向分别与水平方向(x轴方向)和垂直方向(y轴方向)平行(S201)，将与所设定的候补区域外接，且短边方向和长边方向分别与短轴方向和长轴方向平行的长方形设定为外接长方形(S202)，在所设定的外接长方形内，将所设定的候补区域内的象素的平均亮度与候补区域外的象素的平均亮度进行比较(S203)。在图像处理装置2中，通过CPU21的控制，多次反复进行步骤S201～S203的处理，即设定多个候补区域，将设定的候补区域内的象素的平均亮度与候补区域外的平均亮度进行比较，根据其结果，将判断为象素的平均亮度的差最大的候补区域作为适合检测对象的区域检测出来(S204)。
对使用图6的流程图说明过的处理更具体地进行说明。图7是示意性地表示通过本发明的实施方式1中的图像处理装置系统设定的候补区域和外接长方形的例子的说明图。在图7中，实线表示的椭圆是在步骤S201中设定的候补区域，设定为候补区域的椭圆使用参数设定，所述参数包括中心坐标(x，y)、与图像的水平方向(x轴方向)平行的短半径(cx)和与垂直方向(y轴方向)平行的长半径(cy)。另外为了方便起见，将与x轴方向平行的半径作为短半径、与y轴方向平行的半径作为长半径进行了说明，但是也可以使与x轴方向平行的半径比与y轴方向平行的半径长，或者也可以长度相同。在图7中，与作为候补区域的椭圆外接的长方形是在步骤S202设定的外接长方形。
另外，在步骤S203中的平均亮度的比较通过算出椭圆划线(楕円スコア)来进行，所述椭圆划线通过下述公式(1)定义，其是用图7的从右上向左下的斜线所示的候补区域内的区域所包含的象素的平均亮度、与用从左上向右下的斜线所示的候补区域外的区域所包含的象素的平均亮度的差。
S(x，y，cx，cy) ＝F(E(x，y，cx，cy))-F(N(x，y，cx，cy))…公式1 其中，x椭圆中心的x坐标 y椭圆中心的y坐标 cx与x轴方向平行的短半径 cy与y轴方向平行的长半径 S(x，y，cx，cy)椭圆划线 F(P)象素的平均亮度 E(x，y，cx，cy)候补区域内的区域 N(x，y，cx，cy)候补区域外的区域 但是由于不管候补区域内外都包含表示亮度异常高的象素，所以在计算正确的象素的平均亮度的情况下，需要预先将表示异常值的象素去除。因此，预先对象素的亮度的上限值进行设定，将亮度比上限值高的象素看作是表示异常值，将亮度在上限值以下的象素定义为有效象素，使用下述的公式2仅对有效象素计算象素的亮度的平均值。
F(P)＝∑A(P)/C(P)··公式2 其中，P有效象素 A(P)象素P的亮度值 C(P)象素P的数量 式1中定义的椭圆划线的值越大，候补区域内的象素的平均亮度与候补区域外的象素的平均亮度的差越大，即候补区域内的区域中表示的图像由于与候补区域外的图像不同，所以能够看作为候补区域适合检测对象。另外，用于设定候补区域的中心(x，y)、短半径(cx)以及长半径(cy)等参数，为了防止错误检测、减轻处理负荷以及提高处理速度，根据基于HD23和/或RAM24中记录的上次的检测结果的范围中进行设定。具体而言，在下述的公式3所示的范围进行设定。
S(x’-m1，y’-n1，cx’-m2，cy’-n2) ～S(x’+m1，y’+n1，cx’+m2，cy’+n2)…公式3 其中，x′上次的椭圆中心的x坐标 y′上次的椭圆中心的y坐标 cx′与上次的x轴平行的短半径 cy′与上次的y轴平行的长半径 m1中心的x坐标的范围 n1中心的y坐标的范围 m2短半径的范围 n2长半径的范围 在公式3所示的范围内，对公式1所示的椭圆划线为最大的候补区域进行检测，但是首先在下述公式4所示的范围内求出椭圆划线为最大的椭圆中心的坐标(x，y)。
S(x’-m1，y’-n1，cx’，cy’) ～S(x’+m1，y’+n1，cx’，cy’)…公式4 使用在公式4的范围内求出的椭圆中心的坐标(x，y)，在下述的公式5所示的范围内求出椭圆划线成为最大的短半径(cx)和长半径(cy)。
S(x，y，cx’-m2，cy’-n2) ～S(x，y，cx’+m2，cy’+n2)…公式5 在步骤S204中，将由在公式4的范围内求出的椭圆中心的坐标(x，y)以及在公式5的范围内求出的短半径(cx)和长半径(cy)所示的椭圆形状的候补区域作为适合检测对象的区域检测出来。
图8是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置2的检测对象的倾斜度的检测处理的流程图。检测对象的倾斜度的检测处理与在用图2说明过的主处理中的步骤S107对应。图像处理装置2通过执行在RAM24中记录的计算机程序3的CPU21的控制，将这样的长方形设定为外接长方形与适合在用图6的流程图表示的区域检测处理中检测到的椭圆形状的检测对象的区域外接，且短边方向和长边方向分别与短轴方向和长轴方向平行(S301)。在图像处理装置2中，通过CPU21的控制，根据所设定的外接长方形中包含的象素的亮度的分布，将例如从分布求的亮度的中央值设定为外接长方形内的基准亮度(S302)，根据设定的基准亮度将外接长方形内的亮度二值化(S303)。并且在图像处理装置2中，通过CPU21的控制，根据在外接长方形内亮度比基准亮度高的象素的分布，将椭圆的中心作为基准点，算出绕基准点的中心力矩(S304)，根据所算出的中心力矩，对图像内的检测对象的倾斜度进行检测(S305)。
对使用图8的流程图说明过的处理更具体地进行说明。由于相当于驾驶者脸部的区域的象素比相当于背景的区域的象素的亮度高，因此通过步骤S303所示的二值化，若将基准亮度以上的亮度的象素的值设为“1”，将不到基准亮度的亮度的象素的值设为“0”，则能够作为值为“1”的象素提取相当于驾驶者脸部的检测对象的区域。并且使用象素的坐标将提取出的区域表示为f(x，y)，将作为椭圆的中心的基准点的坐标设为(xo，yo)时，步骤S304所示的中心力矩能够由下述的公式6算出。
数学式1 公式6 其中，Mpq中心力矩 f(x，y)坐标(x，y)所示的检测对象的区域 (x0，y0)基准点的坐标 p，q满足p+q＝2的0以上的整数 并且当检测对象即驾驶者脸部构成为椭圆形状，脸部的纵方向相当于椭圆的长轴的方向时，步骤S305中的检测对象的倾斜度，即检测对象的短轴相对于x轴的倾斜度θ能够通过下述公式7算出。
θ＝(1/2)tan-1{2M11/(M20-M02)}…公式7 其中，θ检测对象的倾斜度 另外，作为检测对象的倾斜度的检测处理，在用中心力矩对检测对象的倾斜度进行检测的情况下，在用图2表示的主处理的步骤S108中设定的长方形的投影范围，根据适合检测对象的椭圆形状的区域和中心力矩设定。图9是表示本发明的实施方式1中的图像处理系统的投影范围的例子的说明图。在图9中，由实线表示的椭圆表示在步骤S204中作为适合检测对象的区域检测到的区域，另外，通过作为驾驶者脸部的检测对象的中心的线段的倾斜度表示所算出的检测对象的短轴相对于x轴的倾斜度θ。另外由与表示倾斜度的线段平行的箭头表示投影方向。当作为适合检测对象的区域检测到的椭圆的中心坐标为(x，y)，与x轴方向平行的短半径为cx，与y轴方向平行的长半径为cy时，设定的投影范围的宽，即坐标系变换后的x轴方向的范围是以坐标(x，y)为中心，与表示倾斜度的线段正交的方向的长度为9/8cx的范围。另外，设定的投影范围的高，即坐标系变换后的y轴方向的范围是以坐标(x，y)为中心，与表示倾斜度的线段平行的方向的长度为7/8cy的范围。
上述实施方式1所示的候补区域的形状、设定步骤、从候补区域对检测对象的检测、倾斜度的检测等处理以及该处理所需的各种条件等只是一个例子，根据系统结构、目的等能够适当地设定。
实施方式2 实施方式2是在实施方式1中利用摄像装置1进行缩小图像的处理的结构。图10是表示本发明的实施方式2中的图像处理系统的结构例的框图。在图10中，1是摄像装置，摄像装置1具有MPU11、ROM12、RAM13、摄像部14、A/D转换器15、帧存储器16、通信接口17以及进行图像的缩小处理的缩小电路18。
并且在摄像装置1中，通过摄像部14进行摄像处理，在缩小电路18中将通过A/D转换器15转换为数字图像数据的图像缩小，并记录于帧存储器16中。并且记录于帧存储器16中的缩小了的图像的图像数据在预定的定时从通信接口17向图像处理装置2输出。
图像处理装置2具有CPU21；辅助记录部22，其从对本发明的计算机程序3和数据等各种信息进行记录的记录介质4中读取信息；HD23；RAM24；帧存储器25；以及通信接口26。
在本发明的实施方式2中的图像处理系统中，通过摄像装置1的缩小电路18进行与实施方式1的步骤S102的缩小处理对应的处理，并向图像处理装置2输出表示进行了缩小处理的图像的图像数据。在图像处理装置2中的处理与实施方式1相同，因此以实施方式1为参照，并省略其说明。但是，在实施方式1的步骤S102中的缩小处理已在摄像装置1中进行，所以当然不再执行。
在上述实施方式2中，表示了通过摄像装置1进行缩小处理的方式，但通过用摄像装置1进行实施方式1的处理一部分或者全部，能够进一步展开成无数种方式。
另外，在上述实施方式1和2中，已表示了将车辆的驾驶者作为检测对象的方式，但本发明不限定于此，也可以是将各种的人物，还有人物以外的生物或者非生物作为检测对象的方式。
此外，在上述实施方式1和2中，已表示了从通过使用车载照相机的摄像装置的摄像而生成的图像对检测对象进行检测的方式，但本发明不限定于此，能够适用于将使用各种装置通过各种方法生成的图像记录在HD中，并从所记录的图像对特定的检测对象进行检测的各种图像处理。
权利要求
1.一种图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，
对图像内的检测对象的区域以及图像内的检测对象的倾斜度进行检测。
2.一种图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，
在图像内设定多个成为检测对象的区域的候补的候补区域，
对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较，
根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域。
3.一种图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，
对包含在检测对象中的特定的两点进行检测，
对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
4.一种图像处理系统，该图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，
上述图像处理系统包括
在图像内设定多个成为检测对象的区域的候补的候补区域的设定单元；
对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的比较单元；以及
根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域的检测单元。
5.根据权利要求4所述的图像处理系统，其特征在于，
上述比较单元构成为作为象素的特性值对平均亮度进行比较。
6.根据权利要求4或5所述的图像处理系统，其特征在于，
上述检测单元构成为将判定为特性值的差最大的候补区域作为检测对象的区域检测出来。
7.根据权利要求4至6中的任一项所述的图像处理系统，其特征在于，
上述设定单元构成为将使用中心、以及正交的第一方向和第二方向的长度表示的椭圆区域设定为候补区域。
8.根据权利要求4至7中的任一项所述的图像处理系统，其特征在于，
上述检测对象具有基准点和基准方向，
上述图像处理系统还包括
根据与上述检测单元检测到的检测对象相关的象素的亮度的分布，来算出绕基准点的中心力矩的单元；以及
根据算出的中心力矩，对图像内的检测对象的基准方向的倾斜度进行检测的单元。
9.根据权利要求7所述的图像处理系统，其特征在于，上述图像处理系统还包括
将与适合上述检测单元所检测到的检测对象的区域外接、一边与上述第一方向平行的长方形设定为外接长方形的单元；
根据包含在设定的外接长方形内的象素的亮度的分布对基准亮度进行设定的单元；
在外接长方形内根据亮度比基准亮度高的象素的分布算出绕中心的中心力矩的单元；以及
根据算出的中心力矩，对图像内的检测对象的第一方向的倾斜度进行检测的单元。
10.根据权利要求4至9中的任一项所述的图像处理系统，其特征在于，
上述图像处理系统还包括生成上述图像的摄像装置，
上述检测对象是通过上述摄像装置拍摄到的人物的脸部。
11.一种图像处理系统，该图像处理系统使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括
对包含在上述检测对象内的特定的两点进行检测的检测单元；以及
对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的单元。
12.根据权利要求11所述的图像处理系统，其特征在于，
上述图像处理系统还包括生成上述图像的摄像装置，
上述检测对象是通过上述摄像装置拍摄到的人物的脸部，
上述检测单元构成为作为特定的两点对人物的双眼进行检测。
13.根据权利要求4至12中的任一项所述的图像处理系统，其特征在于，
上述图像处理系统还包括对原图像进行缩小以生成检测对象检测用的图像的单元。
14.一种图像处理装置，其从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括
在图像内设定多个成为检测对象的区域的候补的候补区域的单元；
对于设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的单元；以及
根据比较的结果，从设定的多个候补区域中检测适合检测对象的区域的检测单元。
15.一种图像处理装置，其从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括
对包含在检测对象中的特定的两点进行检测的单元；以及
对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的单元。
16.一种计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤
使计算机在由图像数据表示的图像内设定多个成为检测对象的区域的候补的候补区域的步骤；
使计算机对于所设定的各候补区域，将候补区域内的象素的特性值与候补区域外的象素的特性值进行比较的步骤；以及
使计算机根据比较的结果从所设定的多个候补区域中检测适合检测对象的区域的步骤。
17.一种计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤
使计算机对包含在上述检测对象中的特定的两点进行检测的步骤；以及
使计算机对由检测到的两点确定的图像内的检测对象的倾斜度进行检测的步骤。
全文摘要
本发明提供一种图像处理方法、图像处理系统、图像处理装置以及计算机程序，例如在使用安装于车辆并对驾驶者脸部进行摄像的车载照相机的系统中，利用各种方法捕捉驾驶者脸部的区域等检测对象，并对驾驶者脸部的倾斜度进行检测，从而能够提高对检测对象进行检测的精度。在图像内设定多个成为检测对象的区域的候补的例如椭圆形的候补区域，将所设定的候补区域内外的象素的亮度的平均值等特性值进行比较，将判定为其差最大的候补区域作为检测对象的区域进行检测。并且算出与检测对象有关的中心力矩，根据所算出的中心力矩对图像内的检测对象的倾斜度检测。此外，对驾驶者的双眼等包含在检测对象内的特定的两点进行检测，并对由检测到的两点确定的图像内的检测对象的倾斜度进行检测。
文档编号G06T7/60GK101120379SQ20058004819
公开日2008年2月6日 申请日期2005年2月17日 优先权日2005年2月17日
发明者马场幸三, 伊藤寿雄, 田福明义, 东野全寿, 片桐卓 申请人:富士通株式会社