图像处理装置、图像处理方法和程序与流程

本技术涉及图像处理装置、图像处理方法和程序，并且使得能够精确地检测滤色器的褪色状态。

背景技术：

对于安装在图像捕获元件的前表面上的滤色器，已知由于长时间曝光而加速褪色并且性能劣化。因此，在专利文献1中，当作为快门打开的时间的总和的累积曝光时间超过图像捕获元件的限制曝光时间时，进行关于这个事实的通知。

引文列表

专利文献

专利文献1：日本专利申请公开号2011-103513

技术实现要素：

本发明要解决的问题

然而，在捕获运动图像时，例如，在捕获暗场景的情况下和在捕获亮场景的情况下，即使图像捕获时间相同，这两种情况下的图像捕获元件的入射光量也不同。因此，通过如专利文献1中所示使用作为快门打开的时间的总和的累积曝光时间，无法精确地判定褪色状态。

因此，本技术的目的是提供能够精确地检测滤色器的褪色状态的图像处理装置、图像处理方法和程序。

问题的解决方案

本技术的第一方面是

一种图像处理装置，包括：

褪色信息生成单元，被配置为基于比较对象信息和褪色判定基准信息来生成指示滤色器的褪色的褪色信息，所述比较对象信息基于由使用所述滤色器的图像捕获单元生成的图像信号。

在本技术中，将从由使用滤色器的图像捕获单元生成的图像信号生成的颜色信息用作比较对象信息。此外，将滤色器没有褪色的情况下的颜色信息用作褪色判定基准信息。将比较对象信息与褪色判定基准信息进行比较，并且基于比较结果来生成褪色信息。在图像处理装置中，例如，基于由图像捕获单元生成的图像信号来将褪色判定物体的图像区域检测为比较区域，并且将从比较区域的图像信号生成的颜色信息用作比较对象信息。此外，比较区域的检测可以根据基于比较结果估计的褪色水平来执行，并且比较区域的检测可以在预先设置的图像区域内执行。

此外，图像捕获单元可以设置有设有滤色器的颜色分量像素以及不发生褪色的参考像素。可以将从在颜色分量像素中生成的图像信号生成的颜色信息用作比较对象信息，并且可以将基于参考像素的信号生成的颜色信息用作褪色判定基准信息。参考像素例如是未设有滤色器的像素，或者是代替滤色器而设有分光滤光器的像素。

对指示比较对象信息与褪色判定基准信息的比较结果的比较信息进行积累，并且基于积累的比较信息生成指示滤色器的褪色水平超过预定水平或者指示滤色器的褪色水平的褪色信息。

此外，对基于图像信号生成的照度信息或者照度信息和生成图像信号时的环境信息进行累积。将累积的照度信息或者照度信息和环境信息用作比较对象信息。将指示滤色器的褪色水平与照度信息或环境信息的累积结果之间的关系的信息用作褪色判定基准信息。基于比较对象信息和褪色判定基准信息来生成指示滤色器的褪色水平超过预定水平或者指示滤色器的褪色水平的褪色信息。

本技术的第二方面是

一种图像处理方法，包括：

由褪色信息生成单元基于比较对象信息和褪色判定基准信息来生成指示滤色器的褪色的褪色信息，所述比较对象信息基于由使用所述滤色器的图像捕获单元生成的图像信号。

本技术的第三方面是

一种用于使计算机执行与在图像捕获单元中使用的滤色器有关的信息的生成的程序，该程序被配置为使所述计算机执行：

基于由使用所述滤色器的所述图像捕获单元生成的图像信号来生成比较对象信息；以及

基于所述比较对象信息和褪色判定基准信息来生成指示所述滤色器的褪色的褪色信息。

注意，本技术的程序例如是可以由以计算机可读格式提供的存储介质、通信介质(例如，诸如光盘、磁盘、半导体存储器的存储介质，或者诸如网络的通信介质)提供到可以执行各种程序代码的通用计算机的程序。通过以计算机可读格式提供这样的程序，可以在计算机上实现根据该程序的处理。

附图说明

图1是示出图像捕获系统的配置的图。

图2是图示第一实施例的配置的图。

图3是图示第一实施例的操作的流程图。

图4是图示第一实施例的操作的流程图。

图5是图示没有褪色的物体的图。

图6是图示生成图像信号和参考信号的图像捕获单元的配置的图。

图7是图示第二实施例的配置的图。

图8是图示第二实施例的操作的流程图。

图9是图示第二实施例的操作的流程图。

图10是图示第三实施例的配置的图。

图11是图示第三实施例的操作的流程图。

图12是图示第三实施例的操作的流程图。

图13是示出车辆控制系统的示意性功能配置示例的框图。

具体实施方式

下面将描述用于实施本技术的模式。注意，将按以下次序进行描述。

1.关于图像捕获系统

2.第一实施例

2-1.第一实施例的配置

2-2.第一实施例的操作

3.第二实施例

3-1.第二实施例的配置

3-2.第二实施例的操作

4.第三实施例

4-1.第三实施例的配置

4-2.第三实施例的操作

5.其他实施例

6.关于褪色信息利用单元

7.应用示例

<1.关于图像捕获系统>

图1示出了使用本技术的图像处理装置的图像捕获系统的配置。图像捕获系统10包括图像捕获单元20(21)和图像处理单元30。此外，图像捕获系统10可以设有环境信息生成单元40、褪色信息利用单元50和图像利用单元60。

图像捕获单元20(21)包括诸如互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)的图像捕获元件。此外，在图像捕获元件的图像捕获表面侧设有滤色器。图像捕获单元20执行被摄体光学图像的光电转换，生成与被摄体光学图像对应的图像信号，并将该图像信号输出到图像处理单元30和褪色信息利用单元50或者图像利用单元60。此外，如后所述，图像捕获单元21生成图像信号和参考信号并输出到图像处理单元30。

图像处理单元30通过使用基于由使用滤色器的图像捕获单元20(21)生成的图像信号的比较对象信息和用于判定滤色器的褪色的褪色判定基准信息来生成指示滤色器的褪色的褪色信息。图像处理单元30例如可以从图像信号生成颜色信息以用作比较对象信息，或者积累基于图像信号生成的照度信息、或积累照度信息和生成图像信号时环境信息以用作比较对象信息。此外，图像处理单元30可以使用没有褪色的颜色信息(例如没有褪色的物体的颜色信息)或者基于在不发生褪色的参考像素中生成的信号的颜色信息作为褪色判定基准信息。图像处理单元30可以使用指示滤色器的褪色水平与照度信息的积累结果或者照度信息和环境信息的积累结果之间的关系的信息作为褪色判定基准信息。图像处理单元30将比较对象信息与褪色判定基准信息进行比较，基于比较结果判定滤色器的褪色，并生成褪色信息。图像处理单元30将生成的褪色信息输出到褪色信息利用单元50。

环境信息生成单元40包括检测图像捕获环境的传感器，检测图像捕获时的环境(例如图像捕获时的温度)，并且将指示检测到的温度的图像捕获环境信息输出到图像处理单元30。

褪色信息利用单元50基于由图像处理单元30生成的褪色信息，发出关于褪色的警告并执行与褪色对应的控制。例如，当褪色信息指示已发生超过预定水平的褪色时，褪色信息利用单元50向用户呈现警告显示或警告声音。此外，在图像捕获系统10中以可切换的方式设置多个图像捕获单元20(21)的情况下，当褪色信息指示已发生超过预定水平的褪色时，可以执行到另一个图像捕获单元的切换。而且，褪色信息利用单元50可以基于褪色信息来校正由图像捕获单元20(21)生成的图像信号的褪色。

图像利用单元60通过使用由图像捕获单元20(21)获取的图像信号或者由褪色信息利用单元50对褪色进行了校正的图像信号，例如执行诸如驾驶控制和监视的应用操作、图像信号的记录等。

<2.第一实施例>

接下来，将描述本技术的第一实施例。第一实施例示出了将从图像信号生成的颜色信息用作比较对象信息并且将没有褪色的物体的颜色信息用作褪色判定基准信息的情况。

<2-1.第一实施例的配置>

图2图示了第一实施例的配置。图像处理单元30-1包括比较区域检测单元31、颜色信息生成单元32a、颜色信息比较单元33a、比较信息积累单元34a以及褪色信息生成单元35a。

比较区域检测单元31通过使用由图像捕获单元20生成的图像信号来识别被摄体，并且检测没有褪色的物体的图像区域作为比较区域。比较区域检测单元31将检测到的比较区域的图像信号输出到颜色信息生成单元32a。此外，如稍后所述，褪色信息生成单元35a可以将褪色水平通知给比较区域检测单元31，并且比较区域检测单元31可以执行与褪色水平对应的识别处理。例如，比较区域检测单元31根据被通知的褪色水平来切换要用于识别处理的词典。如果以这种方式识别被摄体，则无论滤色器的褪色状态如何，都可以精确地检测比较区域。此外，比较区域检测单元31可以根据作为比较区域而检测的物体来设置被摄体识别区域。例如，如稍后参考图5所述，在检测交通信号灯或照明装置作为没有褪色的物体的检测的情况下，由于交通信号灯或照明装置位于捕获的图像的图像中心的上侧，因此，如果在捕获的图像中将图像中心的上侧的区域设置为的被摄体识别区域，则可以有效地检测交通信号灯或照明装置。

颜色信息生成单元32a将颜色信息(例如指示三原色中的每个颜色分量的水平的颜色信息)作为比较对象信息从由比较区域检测单元31检测到的比较区域的图像信号输出到颜色信息比较单元33a。

颜色信息比较单元33a预先存储没有褪色的物体的颜色信息作为褪色判定基准信息。颜色信息比较单元33a将由颜色信息生成单元32a生成的颜色信息(比较对象信息)与由比较区域检测单元31检测到的物体的颜色信息(褪色判定基准信息)进行比较。颜色信息比较单元33a生成指示比较对象信息相对于褪色判定基准信息的比率(褪色水平)或者是否已发生褪色水平超过预定水平的褪色的比较信息。颜色信息比较单元33a将生成的比较信息输出到比较信息积累单元34a。

比较信息积累单元34a积累由颜色信息比较单元33a生成的比较信息。此外，比较信息积累单元34a将作为比较信息的积累结果的积累比较信息输出到褪色信息生成单元35a。

褪色信息生成单元35a对从比较信息积累单元34a供应的积累比较信息执行统计处理等，以计算褪色判定信息。例如，基于积累比较信息，当最近积累的比较信息示出褪色已发生超过预先设置的预定水平时，褪色信息生成单元35a计算指示褪色已发生超过预定水平的比较结果的持续时间和持续次数作为褪色判定信息。此外，褪色信息生成单元35a可以基于积累比较信息来估计当前褪色水平，并且将估计的褪色水平输出到比较区域检测单元31。在指示褪色已发生超过预定水平的比较结果的持续时间和持续次数超过阈值的情况下，褪色信息生成单元35a判定已发生褪色，生成指示已发生褪色的褪色信息，并将褪色信息输出到褪色信息利用单元50。此外，褪色信息生成单元35a不仅可以利用褪色信息来指示已发生褪色，而且还可以在褪色信息中包括褪色水平。

注意，比较信息积累单元34a不是必需的组件，并且由颜色信息比较单元33a生成的比较信息可以被输出到褪色信息生成单元35a。在设置了比较信息积累单元34a的情况下，即使由颜色信息比较单元33a生成的比较信息发生变化，也可以基于积累比较信息生成稳定的褪色信息。此外，在未设置比较信息积累单元34a的情况下，可以简化图像处理单元30-1的配置。

<2-2.第一实施例的操作>

图3和图4是图示第一实施例的操作的流程图，并且在图3中，执行要用于判定褪色的信息的处理操作。此外，图4示出了褪色信息的生成操作。要用于判定褪色的信息的处理操作在图像捕获单元的操作期间执行，并且褪色信息的生成操作以预定的时间间隔执行。

在图3的步骤st1中，图像处理单元获取图像信号。图像处理单元30-1获取由图像捕获单元20生成的图像信号，并且前进到步骤st2。

在步骤st2中，图像处理单元执行比较区域检测处理。图像处理单元30-1在基于步骤st1中获取的图像信号的图像中，检测指示没有褪色的物体的图像区域作为比较区域。图5图示了没有褪色的物体，如图5的(a)所示的颜色清晰的交通信号灯和如图5的(b)所示的发射具有预定波长的照明光的照明装置等是作为比较区域而检测的物体。此外，如图5的(c)中所示，可以将作为路侧单元(roadsideunit，rsu)而设置的预定颜色的标记等用作作为比较区域而检测的物体。图像处理单元30-1执行比较区域检测处理，并且前进到步骤st3。

在步骤st3中，图像处理单元判定是否已检测到比较区域。在步骤st2的比较区域检测处理中检测到比较区域的情况下，图像处理单元30-1前进到步骤st4，或者在未检测到比较区域的情况下返回到步骤st1。

在步骤st4中，图像处理单元执行比较对象信息生成处理。图像处理单元30-1利用通过使用在步骤st2中检测到的比较区域的图像信号而生成的颜色信息作为比较对象信息，前进到步骤st5。

在步骤st5中，图像处理单元执行信息比较处理。图像处理单元30-1将在步骤st4中生成的比较对象信息与预先登记的作为没有褪色的物体的颜色信息的褪色判定基准信息进行比较，基于比较结果生成比较信息，并且前进到步骤st6。

在步骤st6中，图像处理单元执行比较信息积累处理。图像处理单元30-1积累在步骤st5中生成的比较信息，并且返回到步骤st1。

在图4的步骤st11中，图像处理单元获取积累比较信息。图像处理单元30-1获取在图3的步骤st6中利用比较信息积累处理通过对比较信息进行积累而生成的积累比较信息，并且前进到步骤st12。

在步骤st12中，图像处理单元计算褪色判定信息。图像处理单元30-1基于在步骤st11中获取的积累比较信息来计算褪色判定信息。图像处理单元30-1例如计算指示褪色已发生超过预定水平的比较结果的持续时间和持续次数作为褪色判定信息，并且前进到步骤st13。

在步骤st13中，图像处理单元判定是否已发生褪色。图像处理单元30-1判定在步骤st12中计算出的褪色判定信息是否超过预先设置的阈值，在基于褪色判定信息判定已发生超过阈值的褪色的情况下，前进到步骤st14，或者在基于褪色判定信息判定未发生超过阈值的褪色的情况下，前进到步骤st15。

在步骤st14中，图像处理单元生成褪色信息。图像处理单元30-1生成指示在图像捕获单元20中使用的滤色器中已发生超过阈值的褪色等的褪色信息。

在步骤st15中，图像处理单元执行区域检测反馈处理。图像处理单元30-1基于在步骤st11中获取的积累比较信息来估计当前褪色水平，并且将估计的褪色水平反馈给图3的步骤st2中的比较区域的检测处理，从而使得能够精确地检测比较区域，然后返回到步骤st11。

以这种方式，第一实施例使得能够精确地检测褪色状态。此外，能够从图像捕获表面检测没有褪色的物体的图像区域，并且根据检测到的区域的颜色信息和物体的颜色信息来判定褪色。因此，如果预先存储没有褪色的物体的颜色信息，则无需使用由外部装置获取的信息等，就可以检测滤色器的褪色。

<3.第二实施例>

接下来，将描述本技术的第二实施例。第二实施例示出了使用从图像信号生成的颜色信息作为比较对象信息以及使用基于在不发生褪色的参考像素中生成的信号的颜色信息作为褪色判定基准信息的情况。

<3-1.第二实施例的配置>

图6图示了生成图像信号和参考信号的图像捕获单元的配置。图像捕获单元21的图像捕获元件包括设有滤色器的颜色像素以及不发生褪色的参考像素。

图6的(a)图示了参考像素是未设置滤色器的像素的情况。例如，2×2像素的块包括红色像素、绿色像素、蓝色像素和参考像素。

图6的(b)图示了参考像素是设有分光滤光器的像素的情况。作为分光滤光器，例如，使用利用表面等离子体共振的滤光器(在下文中称为“表面等离子体滤光器”)。在表面等离子体滤光器中，形成有具有与透射通过电介质的表面的光的波长对应的周期性的金属薄膜图案。参考像素生成不受滤色器的褪色影响的信号。注意，在将分光滤光器用作参考像素的情况下，分光滤光器(红色、绿色、蓝色)形成为透射具有与滤色器的波长相等的波长的光。注意，在图6的(b)中，例如，2×2像素的块包括红色像素、绿色像素、蓝色像素和参考像素。相邻块的参考像素使用不同颜色的分光滤光器。

图6的(c)图示了参考像素是未设置滤色器的像素的情况，并且在行方向上设置了参考像素。注意，图6中所示的参考像素的布置是示例，并且不限于图6的布置。

图像捕获单元21输出通过从颜色像素读取信号而生成的图像信号以及通过从没有褪色的参考像素读取信号而生成的参考信号。注意，如图6的(a)或图6的(b)中所示，如果对包括多个像素的每个像素块设置了参考像素，则可以不失衡地布置像素。此外，如果如图6的(c)中所示进行布置，则仅通过读取行就可以容易地生成参考信号。

图7图示了第二实施例的配置。图像处理单元30-2包括颜色信息生成单元32b和32c、颜色信息比较单元33b、比较信息积累单元34b以及褪色信息生成单元35b。

颜色信息生成单元32b从由图像捕获单元21生成的图像信号生成颜色信息(例如指示三原色中的每种颜色分量的水平的颜色信息)作为比较对象信息并输出到颜色信息比较单元33b。

颜色信息生成单元32c从由图像捕获单元21生成的参考信号生成颜色信息，并将该颜色信息用作比较对象信息。在参考像素是未设置滤色器的像素的情况下，颜色信息生成单元32c生成指示照度水平的信息作为褪色判定基准信息。此外，在参考像素是设有分光滤光器的像素的情况下，颜色信息生成单元32c生成指示与滤色器相等的每个颜色分量的水平的褪色判定基准信息。颜色信息生成单元32c将生成的褪色判定基准信息输出到颜色信息比较单元33b。

颜色信息比较单元33b将由颜色信息生成单元32b生成的比较对象信息与由颜色信息生成单元32c生成的褪色判定基准信息进行比较。颜色信息比较单元33b生成指示比较对象信息相对于褪色判定基准信息的比率(褪色水平)或者是否已发生褪色水平超过预定水平的褪色的比较信息。

在基准像素是未设置滤色器的像素的情况下，颜色信息比较单元33b根据由颜色信息生成单元32b生成的颜色信息(红色分量r、绿色分量g和蓝色分量b)，如公式(1)所示那样计算指示照度水平的颜色信息lrgb作为比较对象信息。注意，在公式(1)中，系数kr指示红色分量的比例，系数kg指示绿色分量的比例，并且系数kb指示蓝色分量的比例。

lrgb＝krr+kgg+kbb...(1)

颜色信息比较单元33b将未设置滤色器的参考像素的信号电平与褪色判定基准信息lref进行比较，将比较对象信息lrgb与褪色判定基准信息lref进行比较，并将指示比较结果的比较信息输出到比较信息积累单元34b。

在参考像素是设有分光滤光器的像素的情况下，颜色信息比较单元33b针对每个颜色分量比较由颜色信息生成单元32b生成的比较对象信息(红色分量r、绿色分量g和蓝色分量b)与由颜色信息生成单元32c生成的褪色判定基准信息(参考红色分量rref、参考绿色分量gref和参考蓝色分量bref)。颜色信息比较单元33b将指示比较结果的比较信息输出到比较信息积累单元34b。

注意，在如图6的(a)中所示设置参考像素的情况下，颜色信息比较单元33b例如可以针对每个像素块生成比较信息。此外，在如图6的(b)中所示设置参考像素的情况下，可以针对每个像素块或针对包括每种颜色的参考像素的多个像素块中的每个像素块生成比较信息。此外，在如图6的(c)中所示设置参考像素的情况下，例如可以针对以参考像素的行作为基准的具有预定行宽的每个区域生成比较信息。

比较信息积累单元34b积累由颜色信息比较单元33b生成的比较信息。此外，比较信息积累单元34b将作为比较信息的积累结果的积累比较信息输出到褪色信息生成单元35b。

褪色信息生成单元35b对从比较信息积累单元34b供应的积累比较信息执行统计处理等，以计算褪色判定信息。例如，基于积累比较信息，当最近积累的比较信息示出褪色已发生超过预先设置的预定水平时，褪色信息生成单元35b计算指示褪色已发生超过预定水平的比较结果的持续时间和持续次数作为褪色判定信息。在指示褪色已发生超过预定水平的比较结果的持续时间和持续次数超过阈值的情况下，褪色信息生成单元35b判定已发生褪色，生成指示已发生褪色的褪色信息，并将褪色信息输出到褪色信息利用单元50。此外，褪色信息生成单元35b不仅可以利用褪色信息来指示已发生褪色，而且还可以在褪色信息中包括褪色水平。

注意，比较信息积累单元34b不是必需的组件，并且由颜色信息比较单元33b生成的比较信息可以被输出到褪色信息生成单元35b。在设置了比较信息积累单元34b的情况下，即使由颜色信息比较单元33b生成的比较信息发生变化，也可以基于积累比较信息来生成稳定的褪色信息。此外，在未设置比较信息积累单元34b的情况下，可以简化图像处理单元30-2的配置。

<3-2.第二实施例的操作>

图8和图9是图示第二实施例的操作的流程图，图8示出了要用于判定褪色的信息的处理操作，并且图9示出了褪色信息的生成操作。要用于判定褪色的信息的处理操作在图像捕获单元的操作期间执行，并且褪色信息的生成操作以预定的时间间隔执行。

在图8的步骤st21中，图像处理单元获取图像信号。图像处理单元30-2获取由图像捕获单元21生成的图像信号，并且前进到步骤st22。

在步骤st22中，图像处理单元执行比较对象信息生成处理。基于在步骤st21中获取的图像信号，图像处理单元30-2生成指示照度或每个颜色分量的信号电平的颜色信息作为比较对象信息，并且前进到步骤st23。

在步骤st23中，图像处理单元获取参考信号。图像处理单元30-2获取由图像捕获单元21生成的参考信号，并且前进到步骤st24。

在步骤st24中，图像处理单元执行褪色判定基准信息生成处理。基于在步骤st23中获取的参考信号，图像处理单元30-2生成指示照度或每个颜色分量的信号电平的颜色信息作为褪色判定基准信息，并且前进到步骤st25。

在步骤st25中，图像处理单元执行信息比较处理。图像处理单元30-2将在步骤st22中生成的比较对象信息与在步骤st24中生成的褪色判定基准信息进行比较，以基于比较结果生成比较信息，并且前进到步骤st26。

在步骤st26中，图像处理单元执行比较信息积累处理。图像处理单元30-2积累在步骤st25中生成的比较信息，并且返回到步骤st21。

在图9的步骤st31中，图像处理单元获取积累比较信息。图像处理单元30-2获取在图8的步骤st26中利用比较信息积累处理通过对比较信息进行积累而生成的积累比较信息，并且前进到步骤st32。

在步骤st32中，图像处理单元计算褪色判定信息。图像处理单元30-2基于在步骤st31中获取的积累比较信息来计算褪色判定信息。图像处理单元30-2例如计算指示褪色已发生超过预定水平的比较结果的持续时间和持续次数作为褪色判定信息，并且前进到步骤st33。

在步骤st33中，图像处理单元判定是否已发生褪色。图像处理单元30-2判定在步骤st32中计算出的褪色判定信息是否超过预先设置的阈值，在基于褪色判定信息判定已发生褪色超过阈值的情况下，前进到步骤st34，或者在基于褪色判定信息判定未发生超过阈值的褪色的情况下，返回到步骤st31。

在步骤st34中，图像处理单元生成褪色信息。图像处理单元30-2生成指示在图像捕获单元20中使用的滤色器中已发生超过阈值的褪色等的褪色信息。

以这种方式，与第一实施例同样地，第二实施例使得能够精确地检测褪色状态。此外，由于可以基于由图像捕获单元21生成的图像信号和参考信号来判定褪色，因此无需使用由外部装置获取的信息等，就可以检测滤色器的褪色。

<4.第三实施例>

接下来，将描述本技术的第三实施例。第三实施例示出了使用对基于图像信号生成的照度信息进行累积而得到的累积照度信息和对环境信息进行累积而得到的累积环境信息作为比较对象信息以及使用指示滤色器的褪色水平与照度信息和环境信息的累积结果之间的关系的信息作为褪色判定基准信息的情况。

<4-1.第三实施例的配置>

图10图示了第三实施例的配置。图像处理单元30-3包括照度信息累积单元36、环境信息累积单元37和褪色信息生成单元38。

照度信息累积单元36基于从图像捕获单元20供应的图像信号来生成照度信息。照度信息累积单元36例如将捕获的图像中的像素值的平均值作为照度信息来累积，并且将从第一次使用图像捕获单元20的滤色器直到现在为止的照度信息的时间积分值作为累积照度信息输出到褪色信息生成单元38。

环境信息累积单元37对从环境信息生成单元40供应的环境信息(例如温度测量值)进行累积，并且将从第一次使用图像捕获单元20的滤色器直到现在为止的温度测量值的时间积分值作为累积环境信息输出到褪色信息生成单元38。注意，环境信息累积单元不仅可以将温度测量值用作环境信息，而且可以将湿度测量值用作环境信息。

褪色信息生成单元38基于从照度信息累积单元36供应的累积照度信息和从环境信息累积单元37供应的累积温度信息来判定是否已发生超过预先设置的预定水平的褪色。褪色信息生成单元38预先存储指示相对于累积照度信息和累积温度信息的褪色水平的特性(褪色模型等)作为褪色判定基准信息。通过使用该特性，褪色信息生成单元38基于从照度信息累积单元36供应的累积照度信息和从环境信息累积单元37供应的累积温度信息来判定褪色水平。此外，通过单独使用指示相对于累积照度信息的褪色水平的特性和指示相对于累积温度信息的褪色水平的特性，可以判定基于累积照度信息的褪色水平和基于累积温度信息的褪色水平，并且可以将这些褪色水平整合为滤色器的褪色水平。而且，可以通过使用累积照度信息和累积温度信息作为参数来计算评价值，并且可以将计算出的评价值用作褪色水平。褪色信息生成单元38将判定的褪色水平与预先设置的阈值进行比较，并且基于比较结果来生成指示是否已发生超过阈值的褪色的褪色信息，并将褪色信息输出到褪色信息利用单元50。此外，褪色信息生成单元38不仅可以利用褪色信息来指示已发生褪色，而且还可以在褪色信息中包括褪色水平。

<4-2.第三实施例的操作>

图11和图12是图示第三实施例的操作的流程图，图11示出了要用于判定褪色的信息的处理操作，并且图12示出了褪色信息的生成操作。要用于判定褪色的信息的处理操作在图像捕获单元的操作期间执行，并且褪色信息的生成操作以预定的时间间隔执行。

在图11的步骤st41中，图像处理单元获取图像信号。图像处理单元30-3获取由图像捕获单元20生成的图像信号，并且前进到步骤st42。

在步骤st42中，图像处理单元对照度信息进行累积。图像处理单元30-3基于在步骤st41中获取的图像信号来生成照度信息。而且，图像处理单元30-3对照度信息进行累积，并且前进到步骤st43。

在步骤st43中，图像处理单元获取环境信息。图像处理单元30-3获取由环境信息生成单元40生成的环境信息，并且前进到步骤st44。

在步骤st44中，图像处理单元对环境信息进行累积。图像处理单元30-3累积在步骤st43中获取的环境信息，并且返回到步骤st41。

在图12的步骤st51中，图像处理单元获取比较对象信息。图像处理单元30-3获取在图11的步骤st42中累积的照度信息和在步骤st44中累积的环境信息作为比较对象信息，并且前进到步骤st52。

在步骤st52中，图像处理单元进行估计以判定褪色水平。图像处理单元30-3使用指示相对于累积照度信息和累积温度信息的褪色水平的褪色判定基准信息来判定与在步骤st51中获取的比较对象信息对应的褪色水平，并且前进到步骤st53。

在步骤st53中，图像处理单元判定是否已发生褪色。图像处理单元30-3判定在步骤st52中判定的褪色水平是否超过预先设置的阈值，在判定已发生超过阈值的褪色的情况下，前进到步骤st54，或者在判定未发生超过阈值的褪色的情况下，返回到步骤st51。

在步骤st54中，图像处理单元生成褪色信息。图像处理单元30-3生成指示在图像捕获单元20中使用的滤色器中已发生超过阈值的褪色的褪色信息，并输出该褪色信息。

以这种方式，与第一实施例和第二实施例同样地，第三实施例使得能够精确地检测褪色状态。此外，通过使用对基于图像信号生成的照度信息进行累积而得到的累积照度信息或者累积照度信息和对环境信息进行累积而得到的累积环境信息作为比较对象信息，能够基于指示滤色器的褪色水平与照度信息和环境信息的累积结果之间的关系的褪色判定基准信息以及比较对象信息来判定褪色。因此，无需执行识别处理等，就可以容易地检测到滤色器的褪色。

<5.其他实施例>

图像处理单元30可以组合执行第一至第三实施例。例如，如果将第一实施例和第三实施例组合执行，则即使在长时间无法检测到没有褪色的物体的情况下，也可以基于累积照度信息等来检测滤色器的褪色。

此外，在第二实施例中，图像捕获单元21设有不发生褪色的参考像素，并且生成褪色判定基准信息。可以独立于图像捕获单元而设置光谱相机，并且可以由光谱相机生成褪色判定基准信息。

注意，在上述第一至第三实施例以及其他实施例中描述的效果仅仅是示例性而不是限制性的，并且可以产生附加效果。

<6.关于褪色信息利用单元>

接下来，将描述褪色信息利用单元。在由图像处理单元30获得褪色情况的情况下，褪色信息利用单元50对由图像捕获单元20获取的图像信号执行褪色校正。

图像处理单元30使用与滤色器的褪色水平对应的校正系数来执行褪色校正。例如，根据褪色水平来确定红色校正系数cr、绿色校正系数cg和蓝色校正系数cb。而且，对由图像捕获单元20生成的图像信号中的红色分量r、绿色分量g和蓝色分量b执行(2)至(4)的计算，并且计算校正了褪色的红色分量rc、绿色分量gc和蓝色分量bc。

rc＝cr×r...(2)

gc＝cg×g...(3)

bc＝cb×b...(4)

此外，由于可以使用指示相对于累积照度和累积温度的褪色水平的特性(褪色模型等)来估计褪色水平，因此可以通过使用查找表来校正褪色。例如，如公式(5)所示，通过使用与褪色水平对应的红色查找表lutr来计算与红色分量r对应的褪色校正之后的红色分量rc。类似地，如公式(6)所示，通过使用与褪色水平对应的绿色查找表lutg来计算与绿色分量g对应的褪色校正之后的绿色分量gc，并且如公式(7)所示，通过使用与褪色水平对应的蓝色查找表lutb来计算与蓝色分量b对应的褪色校正之后的蓝色分量bc。

rc＝lutr[r]...(5)

gc＝lutg[g]...(6)

bc＝lutb[b]...(7)

而且，不限于针对每个颜色分量执行褪色校正的情况，图像处理单元30可以针对每一对颜色分量r、g和b计算褪色校正之后的各个颜色分量rc、gc和bc，。例如，可以使用与褪色水平对应的校正系数cw来执行公式(8)的计算，以计算各个颜色分量rc、gc和bc。如公式(9)至(11)中所示，可以计算褪色校正之后的每个颜色分量。

[rc,gc,bc]^t＝cw[r,g,b]^t...(8)

rc＝lutr[r,g,b]...(9)

gc＝lutg[r,g,b]...(10)

bc＝lutb[r,g,b]...(11)

此外，可以通过机器学习来执行褪色校正。例如，使用被称为“条件生成对抗网络(conditionalgan)”的方法，学习用于转换图像的规则和褪色的颜色到原始颜色的转换，并且基于学习结果将已发生褪色的图像转换成没有褪色的图像。此外，在机器学习中，可以使用被称为“pix2pix”的方法来预先学习没有褪色的图像与已发生褪色的图像之间的关系，并且可以基于学习到的关系，从由图像捕获单元获取的已发生褪色的图像生成没有褪色的图像。此外，可以通过使用被称为“循环生成对抗网络(cyclegan)”的方法来生成没有褪色的图像。

<7.应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在包括汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等的任何类型的移动体上的装置。

图13是示出作为可以应用本技术的移动体控制系统的一个示例的车辆控制系统100的示意性功能配置示例的框图。

注意，在下文中，在区分设有车辆控制系统100的车辆与其他车辆的情况下，将该车辆称为自身车辆或本车辆。

车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内装置104、输出控制单元105、输出单元106、驱动关联(drive-affiliated)控制单元107、驱动关联系统108、车身关联(body-affiliated)控制单元109、车身关联系统110、存储单元111以及自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动关联控制单元107、车身关联控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121例如包括符合诸如控制器局域网(can)、本地互连网络(lin)、局域网(lan)或者flexray(注册商标)的任意标准的车载通信网络、总线等。注意，车辆控制系统100的每个单元可以不通过通信网络121而直接连接。

注意，在下文中，在车辆控制系统100的每个单元经由通信网络121执行通信的情况下，将省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，简单地描述为输入单元101和自动驾驶控制单元112彼此通信。

输入单元101包括供乘员使用以输入各种数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆这样的操作装置，以及使得能够通过除手动操作以外的方法(诸如语音和手势)进行输入的操作装置等。此外，例如，输入单元101可以是使用红外线或其他无线电波的远程控制装置，或者可以是包括移动装置、可穿戴装置等的支持车辆控制系统100的操作的外部连接装置。输入单元101基于由乘员输入的数据、指令等生成输入信号，并将该输入信号供应给车辆控制系统100的每个单元。

数据获取单元102包括获取用于车辆控制系统100的处理的数据的各种传感器等，并将获取的数据供应给车辆控制系统100的每个单元。

例如，数据获取单元102包括用于检测自身车辆的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(imu)，以及用于检测加速踏板操作量、制动踏板操作量、方向盘转向角、发动机转数、马达转数、车轮转速等的传感器等。

此外，例如，数据获取单元102包括用于检测自身车辆外部的信息的各种传感器。具体而言，例如，数据获取单元102包括诸如飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机这样的图像捕获装置。此外，例如，数据获取单元102包括用于检测天气、气象等的环境传感器以及用于检测自身车辆周围的物体的周围信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器例如包括超声波传感器、雷达、光检测和测距、激光成像检测和测距(lidar)、声纳等。

而且，例如，数据获取单元102包括用于检测自身车辆的当前位置的各种传感器。具体而言，例如，数据获取单元102包括接收来自全球导航卫星系统(gnss)卫星的gnss信号的gnss接收器等。

此外，例如，数据获取单元102包括用于检测车内信息的各种传感器。具体而言，例如，数据获取单元102包括捕获驾驶员图像的图像捕获装置、检测驾驶员的生物特征信息的生物特征传感器、收集车辆内部的声音的麦克风等。生物特征传感器例如设置于座椅表面、方向盘等，并且检测坐在座椅上的乘员或手握方向盘的驾驶员的生物特征信息。

通信单元103与车内装置104以及车辆外部的各种装置、服务器、基站等进行通信。通信单元103发送从车辆控制系统100的每个单元供应的数据，并将接收到的数据供应给车辆控制系统100的每个单元。注意，通信单元103所支持的通信协议没有特别限制，此外，通信单元103可以支持多种类型的通信协议。

例如，通信单元103通过无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等与车内装置104进行无线通信。此外，例如，通信单元103通过通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链接(mhl)经由连接端子(未示出)(以及必要时的线缆)与车内装置104进行有线通信。

而且，例如，通信单元103经由基站或接入点与存在于外部网络(例如互联网、云网络或者业务运营商特有的网络)上的装置(例如应用服务器或者控制服务器)进行通信。此外，例如，通信单元103通过使用对等(p2p)技术与存在于自身车辆附近的终端(例如行人终端或商店终端，或者机器类型通信(mtc)终端)进行通信。而且，例如，通信单元103执行包括车辆对车辆通信、车辆对基础设施通信、车辆对住宅通信、车辆对行人通信等的v2x通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取包括当前位置、交通拥堵、交通管制、所需时间等的信息。

车内装置104例如包括乘员所拥有的移动装置或可穿戴装置、自身车辆中携带或附接到自身车辆的信息装置、用于搜索到任意目的地的路线的导航装置等。

输出控制单元105控制各种信息到自身车辆的乘员或车辆外部的输出。例如，输出控制单元105生成包括视觉信息(例如图像数据)或听觉信息(例如语音数据)中的至少一个的输出信号，并将输出信号供应给输出单元106，从而控制视觉信息和听觉信息从输出单元106的输出。具体而言，例如，输出控制单元105合成由数据获取单元102的不同图像捕获装置捕获的图像数据以生成鸟瞰图像、全景图像等，并将包括所生成的图像的输出信号供应给输出单元106。此外，例如，输出控制单元105生成包括针对包括碰撞、刮擦、进入危险地带等的危险的警告声音、警告消息等的语音数据，并将包括所生成的语音数据的输出信号供应给输出单元106。

输出单元106包括可以将视觉信息或听觉信息输出到自身车辆的乘员或车辆外部的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、耳机、包括乘员等穿戴的眼镜型显示器的可穿戴装置、投影仪、灯等。除了具有常规显示器的装置以外，输出单元106中包括的显示装置例如还可以是在驾驶员的视野内显示视觉信息的装置，包括平视显示器、透射式显示器、具有增强现实(ar)显示功能的装置等。

驱动关联控制单元107生成各种控制信号，并将控制信号供应给驱动关联系统108，从而控制驱动关联系统108。此外，驱动关联控制单元107根据需要将控制信号供应给除驱动关联系统108以外的每个单元，并且执行驱动关联系统108的控制状态的通知等。

驱动关联系统108包括自身车辆的驱动关联的各种装置。例如，驱动关联系统108包括：用于生成驱动力的驱动力生成装置，包括内燃发动机、驱动马达等；用于将驱动力传递至车轮的驱动力传递机构；用于调整转向角的转向机构；生成制动力的制动装置；防抱死制动系统(abs)；电子稳定控制系统(esc)；电动助力转向装置等。

车身关联控制单元109生成各种控制信号，并将控制信号供应给车身关联系统110，从而控制车身关联系统110。此外，车身关联控制单元109根据需要将控制信号供应给除车身关联系统110以外的每个单元，并且执行车身关联系统110的控制状态的通知等。

车身关联系统110包括配备在车身中的车身关联的各种装置。例如，车身关联系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调、各种灯(例如前灯、后灯、停车灯、方向指示灯、雾灯等)等。

存储单元111例如包括诸如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器(hdd)的磁存储装置、半导体存储装置、光学存储装置、光学磁存储装置等。存储单元111存储由车辆控制系统100的每个单元使用的各种程序、数据等。例如，存储单元111存储包括三维高精度地图(诸如动态地图)、精度低于高精度地图且覆盖大区域的全局地图、包括自身车辆周围的信息的局部地图等的地图数据。

自动驾驶控制单元112控制包括自主行驶、驾驶辅助等的自动驾驶。具体而言，例如，自动驾驶控制单元112执行旨在实现高级驾驶辅助系统(adas)的功能的协作控制，高级驾驶辅助系统包括自身车辆的碰撞避免或撞击减轻、基于车辆之间的距离的跟随行驶、在维持车速的同时行驶、自身车辆的碰撞警告、自身车辆的车道偏离警告等。此外，例如，自动驾驶控制单元112执行旨在车辆不依赖于驾驶员的操作而自主行驶的自动驾驶等的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134以及操作控制单元135。

检测单元131检测控制自动驾驶所需的各种类型的信息。检测单元131包括车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143。

车外信息检测单元141基于来自车辆控制系统100的每个单元的数据或信号，执行自身车辆外部的信息的检测处理。例如，车外信息检测单元141执行自身车辆周围的物体的检测处理、识别处理和跟踪处理以及到物体的距离的检测处理。要检测的物体例如包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。此外，例如，车外信息检测单元141执行自身车辆周围的环境的检测处理。要检测的周围环境例如包括天气、温度、湿度、亮度、路面状况等。车外信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153、操作控制单元135的紧急情况避免单元171等。

车内信息检测单元142基于来自车辆控制系统100的每个单元的数据或信号，执行车辆内部的信息的检测处理。例如，车内信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车内环境检测处理等。要检测的驾驶员状态例如包括身体状况、唤醒程度、注意力、疲劳、视线方向等。要检测的车内环境例如包括温度、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

车辆状态检测单元143基于来自车辆控制系统100的每个单元的数据或信号，执行自身车辆的状态的检测处理。要检测的自身车辆的状态例如包括速度、加速度、转向角、是否存在异常以及异常的细节、驾驶操作状态、电动座椅位置和倾斜、门锁状态、其他车载装置的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

自身位置估计单元132基于来自车辆控制系统100的每个单元(诸如车外信息检测单元141以及状况分析单元133的状况识别单元153)的数据或信号，执行自身车辆的位置、朝向等的估计处理。此外，自身位置估计单元132根据需要生成用于自身位置估计的局部地图(下文中称为自身位置估计地图)。自身位置估计地图例如是使用诸如同时定位和地图构建(slam)的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132将自身位置估计地图存储在存储单元111中。

状况分析单元133执行自身车辆和周围状况的分析处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153以及状况预测单元154。

地图分析单元151在必要时使用来自车辆控制系统100的每个单元(诸如自身位置估计单元132和车外信息检测单元141)的数据或信号，执行存储在存储单元111中的各种地图的分析处理，并且构造包括自动驾驶处理所需的信息的地图。地图分析单元151将构造的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、行为计划单元162和操作计划单元163等。

交通规则识别单元152基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、车外信息检测单元141和地图分析单元151)的数据或信号，执行自身车辆周围的交通规则的识别处理。通过识别处理，例如，识别出自身车辆周围的交通信号灯的位置和状态、自身车辆周围的详细交通规则、可行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应给状况预测单元154等。

状况识别单元153基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号，执行关于自身车辆的状况的识别处理。例如，状况识别单元153执行自身车辆的状况、自身车辆周围的状况、自身车辆的驾驶员的状况等的识别处理。此外，状况识别单元153根据需要生成用于识别自身车辆周围的状况的局部地图(下文中称为状况识别地图)。状况识别地图例如是占用栅格地图。

要识别的自身车辆的状况例如包括自身车辆的位置、朝向、移动(例如速度、加速度、移动方向等)、是否存在异常以及异常的细节等。要识别的自身车辆周围的状况例如包括周围静止物体的类型和位置，周围移动物体的类型、位置和移动(例如速度、加速度水平、移动方向等)，周围道路的构造和路面状况，周围天气、温度、湿度、亮度等。要识别的驾驶员状态例如包括身体状况、觉醒程度、注意力、疲劳、视线的移动、驾驶操作等。

状况识别单元153将指示识别处理的结果的数据(必要时包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。此外，状况识别单元153将状况识别地图存储在存储单元111中。

状况预测单元154基于来自车辆控制系统100的每个单元(诸如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号，执行关于自身车辆的状况的预测处理。例如，状况预测单元154执行自身车辆的状况、自身车辆周围的状况、驾驶员的状况等的预测处理。

要预测的自身车辆的状况例如包括自身车辆的动作、异常的发生、可行驶距离等。要预测的自身车辆周围的状况例如包括自身车辆周围的移动物体的动作、交通信号灯状态的改变、诸如天气的环境的改变等。要预测的驾驶员的状况例如包括驾驶员的动作和身体状况等。

状况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给计划单元134的路线计划单元161、行为计划单元162和操作计划单元163等。

路线计划单元161基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于交通拥堵、事故、交通管制、施工等的状况、驾驶员的身体状况等适当地改变路线。路线计划单元161将指示计划的路线的数据供应给行为计划单元162等。

行为计划单元162基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划用于在计划的时间内在由路线计划单元161计划的路线上安全地行驶的自身车辆的行为。例如，行为计划单元162计划出发、停止、行驶方向(例如向前、向后、向左转、向右转、转弯等)、行驶车道、行驶速度、超车等。行为计划单元162将指示计划的自身车辆的行为的数据供应给操作计划单元163等。

操作计划单元163基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划用于实现由行为计划单元162计划的行为的自身车辆的操作。例如，操作计划单元163计划加速、减速、行驶轨迹等。操作计划单元163将指示计划的自身车辆的操作的数据供应给操作控制单元135的加速减速控制单元172、方向控制单元173等。

操作控制单元135控制自身车辆的操作。操作控制单元135包括紧急情况避免单元171、加速减速控制单元172和方向控制单元173。

紧急情况避免单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果，执行诸如碰撞、刮擦、进入危险地带、驾驶员异常和车辆异常的紧急情况的检测处理。在检测到发生紧急情况的情况下，紧急情况避免单元171计划用于避免诸如突然停止或快速转弯的紧急情况的自身车辆的操作。紧急情况避免单元171将指示计划的自身车辆的操作的数据供应给加速减速控制单元172、方向控制单元173等。

加速减速控制单元172执行用于实现由操作计划单元163或紧急情况避免单元171计划的自身车辆的操作的加速减速控制。例如，加速减速控制单元172计算用于实现计划的加速、减速或突然停止的驱动力生成装置或制动装置的控制目标值，并将指示计算出的控制目标值的控制命令供应给驱动关联控制单元107。

方向控制单元173执行用于实现由操作计划单元163或紧急情况避免单元171计划的自身车辆的操作的方向控制。例如，方向控制单元173计算用于实现由操作计划单元163或紧急情况避免单元171计划的行驶轨迹或快速转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制命令供应给驱动关联控制单元107。

在上述车辆控制系统100中，本实施例中所示的图像捕获单元20(21)与数据获取单元102对应，并且图像处理单元30-1(30-2、30-3)与车外信息检测单元141对应。在将图像捕获单元20(21)和图像处理单元30-1(30-2、30-3)设置在车辆控制系统100中并且在驾驶车辆的同时由图像捕获单元20(21)捕获周围环境的情况下，由于图像捕获单元20(21)长时间执行图像捕获操作，因此与便携式图像捕获装置相比，更容易发生滤色器的褪色。然而，由于可以使用由图像处理单元30-1(30-2、30-3)生成的褪色信息来执行褪色校正等，因此可以减小滤色器的褪色的影响。例如，在通过使用由图像捕获单元生成的图像信号进行诸如交通信号灯、道路标记、汽车牌照等的识别处理等场景中颜色重要的情况下，或者在诸如路面检测、周围物体识别或行驶车道识别处理的场景中通过使用颜色可以改善精度的情况下，与第一实施例的比较区域检测单元同样地，通过基于褪色信息来切换用于识别处理的词典，可以精确地执行识别处理。

此外，本技术不仅可以应用于移动体控制系统，而且可以应用于执行长时间的图像捕获操作的监视系统等，以减少滤色器褪色的影响，并使得能够进行监视操作等。

说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的组合配置来执行。在执行通过软件进行的处理的情况下，将记录有处理序列的程序安装在内置于专用硬件中的计算机内的存储器中并执行。可替代地，可以在可执行各种处理的通用计算机中安装并执行程序。

例如，可以将程序预先记录在用作记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)中。可替代地，可以将程序临时或永久地存储(记录)在可移动记录介质中，包括软盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、蓝光盘(bd)(注册商标)、磁盘、半导体存储卡等。可以将这样的可移动记录介质提供为所谓的软件包(packagesoftware)。

此外，除了从可移动记录介质安装到计算机之外，程序还可以经由局域网(lan)或互联网等以无线方式或有线方式从下载站点传送到计算机。计算机可以接收以这种方式传送的程序，并将程序安装在诸如内置硬盘的记录介质中。

注意，本说明书中描述的效果仅仅是说明性而不是限制性的，并且可以产生未描述的附加效果。此外，本技术不应当被解释为限于上述技术的实施例。这种技术的实施例以例示说明的形式公开了本技术。显然，本领域技术人员可以在不脱离本技术的精神的情况下修改或替换实施例。即，为了判断本技术的精神，应当考虑权利要求书。

此外，本技术的图像处理装置还可以具有以下配置。

(1)一种图像处理装置，包括褪色信息生成单元，该褪色信息生成单元被配置为基于比较对象信息和褪色判定基准信息来生成指示滤色器的褪色的褪色信息，所述比较对象信息基于由使用所述滤色器的图像捕获单元生成的图像信号。

(2)根据(1)所述的图像处理装置，还包括：

颜色信息生成单元，被配置为从所述图像信号生成颜色信息，并将该颜色信息用作所述比较对象信息；以及

颜色信息比较单元，被配置为将所述滤色器没有褪色的情况下的颜色信息用作所述褪色判定基准信息，并将所述比较对象信息与所述褪色判定基准信息进行比较，

其中，所述褪色信息生成单元基于所述颜色信息比较单元的比较结果来生成所述褪色信息。

(3)根据(2)所述的图像处理装置，还包括比较区域检测单元，该比较区域检测单元被配置为基于所述图像信号来检测指示褪色判定物体的图像区域的比较区域，

其中，所述颜色信息生成单元从由所述比较区域检测单元检测到的比较区域的图像信号来生成所述颜色信息，并将所述颜色信息用作所述比较对象信息；并且

所述颜色信息比较单元将所述褪色判定物体的颜色信息用作所述褪色判定基准信息。

(4)根据(3)所述的图像处理装置，其中，所述褪色信息生成单元基于所述颜色信息比较单元的比较结果来估计褪色水平，并且

所述比较区域检测单元根据由所述褪色信息生成单元估计的褪色水平来检测所述比较区域。

(5)根据(3)所述的图像处理装置，其中，所述比较区域检测单元在预先设置的图像区域内检测所述比较区域。

(6)根据(2)所述的图像处理装置，其中，所述图像捕获单元设置有设有滤色器的颜色分量像素和不发生褪色的参考像素，

所述颜色信息生成单元从在所述颜色分量像素中生成的所述图像信号生成颜色信息，并将该颜色信息用作所述比较对象信息，并且

所述颜色信息比较单元将基于所述参考像素的信号生成的颜色信息用作所述褪色判定基准信息。

(7)根据(6)所述的图像处理装置，其中，所述参考像素包括未设有滤色器的像素。

(8)根据(6)所述的图像处理装置，其中，所述参考像素包括代替所述滤色器而设有分光滤光器的像素。

(9)根据(6)至(8)中的任一项所述的图像处理装置，还包括图像捕获单元，该图像捕获单元设有所述颜色分量像素和所述参考像素。

(10)根据(2)至(9)中的任一项所述的图像处理装置，还包括比较信息积累单元，该比较信息积累单元被配置为对指示所述颜色信息比较单元的比较结果的比较信息进行积累，

其中，所述褪色信息生成单元基于由所述比较信息积累单元积累的比较信息来生成所述褪色信息。

(11)根据(1)至(10)中的任一项所述的图像处理装置，还包括照度信息累积单元，该照度信息累积单元被配置为对基于所述图像信号生成的照度信息进行累积，

其中，所述褪色信息生成单元将由所述照度信息累积单元累积的照度信息用作所述比较对象信息，并且将指示所述滤色器的褪色水平与照度信息的累积结果之间的关系的信息用作所述褪色判定基准信息。

(12)根据(11)所述的图像处理装置，还包括环境信息累积单元，该环境信息累积单元被配置为对生成所述图像信号时的环境信息进行累积，并将环境信息包括在所述比较对象信息中，

其中，所述褪色信息生成单元将由所述环境信息累积单元累积的环境信息包括在所述比较对象信息中，并且将指示所述滤色器的褪色水平与照度信息和环境信息的累积结果之间的关系的信息用作所述褪色判定基准信息。

(13)根据(1)至(12)中的任一项所述的图像处理装置，其中，所述褪色信息指示所述滤色器的褪色水平超过预定水平，或者指示所述滤色器的褪色水平。

附图标记列表

10图像捕获系统

20、21图像捕获单元

30、30-1、30-2、30-3图像处理单元

31比较区域检测单元

32a、32b、32c颜色信息生成单元

33a、33b颜色信息比较单元

34a、34b比较信息积累单元

35a、35b、38褪色信息生成单元

36照度信息累积单元

37环境信息累积单元

40环境信息生成单元

50褪色信息利用单元

60图像利用单元