摄像装置、摄像系统、非暂时性存储介质和控制方法与流程

本发明涉及一种摄像装置及其控制方法。

背景技术：

在用于进行监视等的摄像装置中，即使在诸如夜间等的低照度时也需要获取清晰的被摄体图像。作为即使在低照度时也能够获取清晰的被摄体图像的摄像装置，提出了如下的摄像装置，该摄像装置除了包括具有针对可见光的感光度的摄像元件之外，还包括具有针对红外光的感光度的摄像元件，并且对使用这两个摄像元件获取的图像进行合成并显示合成图像。

日本特开2013-247492描述了：根据针对周围环境的检测结果来改变用于对可见图像与远红外图像进行合成的合成参数，使用改变后的参数来对可见图像与远红外图像进行合成，并且生成合成图像。

此外，在用于进行监视等的摄像装置中，即使在明部和暗部一起存在的场景中也需要获取清晰的被摄体图像。日本特开2000-138868提出了通过获取具有不同累积时间的多个帧的图像并对多个帧的图像进行合成来增大图像的动态范围的摄像装置。

然而，在日本特开2013-247492中，由于动态范围窄，因此可能发生曝光过度和曝光不足。另一方面，由于日本特开2000-138868描述了针对这种问题的对策，但未包括具有针对红外光的感光度的摄像元件，因此难以在低照度时获取被摄体图像。

技术实现要素：

由此，本发明的目的是提供能够在使低照度下进行摄像的情况下的图像质量的降低最小化的同时增大图像的动态范围的摄像装置。

一种摄像装置，包括：第一摄像元件，其具有针对可见光的感光度，并且被配置为输出第一图像信号；第二摄像元件，其具有针对红外光的感光度，并且被配置为以比所述第一摄像元件的第一帧频高的第二帧频来输出第二图像信号和在与所述第二图像信号的曝光条件不同的曝光条件下所获取到的第三图像信号；以及合成处理器，其被配置为生成包括从所述第一摄像元件输出的所述第一图像信号以及从所述第二摄像元件输出的所述第二图像信号和所述第三图像信号的合成，并且生成第四图像信号。

一种摄像系统，包括：摄像装置；以及信息处理装置，其通过网络连接至所述摄像装置，其中，所述摄像装置包括：第一摄像元件，其具有针对可见光的感光度，并且被配置为输出第一图像信号；第二摄像元件，其具有针对红外光的感光度，并且被配置为以比所述第一摄像元件的第一帧频高的第二帧频来输出第二图像信号和在与所述第二图像信号的曝光条件不同的曝光条件下所获取到的第三图像信号；以及合成处理器，其被配置为生成包括从所述第一摄像元件输出的所述第一图像信号以及从所述第二摄像元件输出的所述第二图像信号和所述第三图像信号的合成，并且生成第四图像信号。

一种非暂时性存储介质，其上存储有用于使计算机执行摄像装置的方法的计算机程序，所述摄像装置至少包括：第一摄像元件，其具有针对可见光的感光度，并且被配置为输出第一图像信号；以及第二摄像元件，其具有针对红外光的感光度，并且被配置为输出第二图像信号和在与所述第二图像信号的曝光条件不同的曝光条件下所获取到的第三图像信号，所述方法包括：将所述第二摄像元件的第二帧频设置得高于所述第一摄像元件的第一帧频；以及生成包括从所述第一摄像元件输出的所述第一图像信号以及从所述第二摄像元件输出的所述第二图像信号和所述第三图像信号的合成，以生成第四图像信号。

一种摄像装置的控制方法，所述摄像装置至少包括：第一摄像元件，其具有针对可见光的感光度，并且被配置为输出第一图像信号；以及第二摄像元件，其具有针对红外光的感光度，并且被配置为输出第二图像信号和在与所述第二图像信号的曝光条件不同的曝光条件下所获取到的第三图像信号，所述控制方法包括：将所述第二摄像元件的第二帧频设置得高于所述第一摄像元件的第一帧频；以及生成包括从所述第一摄像元件输出的所述第一图像信号以及从所述第二摄像元件输出的所述第二图像信号和所述第三图像信号的合成，以生成第四图像信号。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的摄像装置的结构的示意图。

图2是波长选择棱镜的谱图分布图。

图3是用于说明增大动态范围的方法的示例的图。

图4是第一实施例和比较例的摄像装置的驱动时序图。

图5是用于描述第一实施例中的操作的流程图。

图6是示出根据第二实施例的摄像装置的结构的示意图。

图7a和7b是示出第二实施例中的摄像装置的驱动时序图的示例的图。

图8a和8b是示出第二实施例中的摄像装置的驱动时序图的另一示例的图。

图9是示出用于改变驱动模式的基准的示例的图。

图10是用于描述模式设置处理的示例的流程图。

图11是使用摄像装置的监视系统的结构图。

具体实施方式

以下将参考附图描述本发明的实施例中的摄像装置。此时，将使用相同的附图标记来表示在所有图中具有相同功能的构成要素，并且将省略对这些构成要素的重复描述。

(第一实施例)

图1示出第一实施例中的摄像装置。图1是示出根据第一实施例的摄像装置100的结构的示意图。摄像装置100包括摄像光学系统101、光分离单元102、第一摄像元件103、第二摄像元件104、合成处理器105和控制器106。

光分离单元102对通过摄像光学系统101的光进行分离，以使光入射在第一摄像元件103和第二摄像元件104上。具体地说，光分离单元102由波长选择棱镜构成，并且被配置为使得具有比预定阈值的波长短的波长的光(可见光)透射通过波长选择棱镜并且具有比预定阈值的波长长的波长的光(红外光)被波长选择棱镜反射。这里，术语“透射/反射”意味着80％以上的光被透射/反射。

也就是说，提供了可见光入射在第一摄像元件103上并且红外光入射在第二摄像元件104上的结构。这里，预定阈值是600nm以上且750nm以下。也就是说，可见光和红外光之间的边界被定义为600nm以上且750nm以下。此外，红外光意味着具有从预定阈值到2500nm的波长的光。图2是示出波长选择棱镜的光谱透射谱图和光谱反射谱图的示例的图。实线指示透射并且虚线指示反射。

第一摄像元件103具有针对至少可见光的感光度，并且第二摄像元件104具有针对至少红外光的感光度。例如，如果使用硅(si)作为光电转换单元的材料，则可以实现具有针对具有380nm以上的波长且1100nm以下的波长的光的感光度的摄像元件。因此，在第一摄像元件103和第二摄像元件104中，光电转换单元可以用硅来制作。作为第一摄像元件103和第二摄像元件104，例如可以使用ccd或cmos类型摄像元件。

第一摄像元件103中的像素包括rgb拜耳阵列的片上(on-chip)滤色器，并且从第一摄像元件103输出的rgb格式的图像信号具有亮度信息和颜色信息这两者。另一方面，从第二摄像元件104输出的图像信号仅具有亮度信息。第一摄像元件103只需具有主要针对可见光的感光度分布，并且也可以具有针对除可见光之外的光的感光度分布。此外，第二摄像元件104只需具有主要针对红外光的感光度分布，并且也可以具有针对除红外光之外的光的感光度分布。

控制器106对第一摄像元件103和第二摄像元件104的驱动以及图像信号的读出进行控制。也就是说，控制器106还设置第一摄像元件103和第二摄像元件104中的帧频和累积时间等。控制器106包括诸如中央处理单元(cpu)等的计算机和存储器。存储器存储用于使cpu执行与稍后将描述的流程图相关联的操作的计算机程序。此外，控制器106具有内置驱动电路，该内置驱动电路被配置为基于来自cpu的指示来控制各种电路的操作。

合成处理器105对从第一摄像元件103输出的第一图像信号107与从第二摄像元件104输出的第二图像信号108a和第三图像信号108b进行合成并生成第四图像信号109。在下文中，从第二摄像元件104输出的具有不同曝光条件的多个图像信号统称为图像信号108。从第二摄像元件104输出的第二图像信号108a和第三图像信号108b是在不同曝光条件下获取的图像信号。这里，例如，针对第二图像信号108a的累积时间长于针对第三图像信号108b的累积时间。

例如，合成处理对应于以下处理。首先，以rgb格式读取并以不同帧获取的第二图像信号108a和第三图像信号108b被显像并转换为yuv格式的图像信号。(实际上，第二图像信号108a和第三图像信号108b不具有颜色信息，并且u和v的值为零。)图3是用于解释用于增大动态范围的方法的示例的图。然后，使用针对暗部的第三图像信号108b和针对明部的第二图像信号108a来生成具有宽动态范围的y信号。此时具有宽动态范围的y信号被定义为y2。同样地，以rgb格式读取的第一图像信号107被去马赛克、显像并转换为yuv格式的图像信号。此时从第一图像信号107获取的yuv信号被定义为y1、u1和v1。

随后，通过对y1信号与y2信号进行合成来生成第四图像信号109。具体地说，在第四图像信号109的yuv信号被定义为y3、u3和v3的情况下，使用以下表达式来生成第四图像信号109：

y3＝y2(表达式1)

u3＝u1(表达式2)

v3＝v1(表达式3).

也就是说，通过对第一图像信号107中的颜色信号(u1，v1)与第二图像信号108a和第三图像信号108b中的亮度信号(y2)进行合成来生成第四图像信号109。

图4的(a)、(b)、(c)和(d)是用于描述第一实施例中的摄像装置100的第一摄像元件103和第二摄像元件104的驱动时序图以及比较例的驱动时序图的图。图4的(a)示出比较例1，图4的(b)示出比较例2，以及图4的(c)示出比较例3。比较例1是在用于可见光的图像和用于红外光的图像中的任意图像中动态范围都不增大的情况的示例。比较例2和比较例3是动态范围增大的情况的示例。比较例2和比较例3之间的不同在于：比较例2具有与比较例1相同的帧频，而比较例3具有与比较例1相同的用于可见光的摄像元件的最大累积时间。图4的(d)是实施例中的摄像装置100的时序图。

通过图4的(a)和(b)之间的比较可以看出，如果与比较例1相比在不减小帧频的情况下增大图像的动态范围，则用于可见光的摄像元件的最大累积时间减少。

由于当入射在图像上的光量降低时，图像信号的s/n比减小，因此如果用于可见光的摄像元件的最大累积时间减少，则在低照度时的第一图像信号(y1、u1和v1)的s/n比减小。结果，如从(表达式1)～(表达式3)可以看出，合成后的第四图像的色差信号(u3、v3)之间的s/n比减小。也就是说，较低照度下的图像质量降低。

通过图4的(a)和(c)之间的比较可以看出，如果与比较例1相比在不减少最大累积时间的情况下增大图像的动态范围，则帧频减小。结果，当拍摄快速移动的被摄体时的图像质量劣化。

以这种方式，在增大动态范围的技术与比较例1相组合的情况下，当在低照度下拍摄快速移动的被摄体时，图像质量劣化。

另一方面，在实施例中的摄像装置100中，在第一摄像元件103中维持最大累积时间的同时，使用第二摄像元件104中的多个帧来增大动态范围。由此，可以在使在低照度下拍摄快速移动的被摄体的情况下的图像质量的降低最小化的同时增大图像的动态范围。以下将提供详细说明。

这里，将描述根据实施例的摄像装置100的驱动。图4的(d)是用于实施例中的摄像装置100的驱动时序图。如从图4的(d)中可以看出，在实施例中的摄像装置100中，针对第一摄像元件103和第二摄像元件104使用不同的驱动模式。

以与比较例1相同的帧频和相同的最大累积时间来驱动用于可见光的第一摄像元件103。如上所述，使用第一摄像元件103的最大累积时间来确定合成后的第四图像信号109的色差信号(u3，v3)的s/n比。因此，与图4的(a)所示的比较例1相比，图4的(d)中所示的实施例中的摄像装置100不导致色差信号的s/n比的减小。此外，图4的(d)所示的实施例中的摄像装置100可以以与图4的(a)所示的比较例1中的摄像装置相同的帧频来获取色差信号(u3，v3)。

另一方面，用于红外光的第二摄像元件104将一个帧的信号分为两个帧，并且驱动第二摄像元件104使得针对各帧获取具有不同累积时间的第二图像信号108a和第三图像信号108b。此外，当对这些信号进行合成时，针对图4的(a)中的各帧生成具有宽动态范围的y信号(y2)。如从(表达式1)可以看出，由于合成后的第四图像信号109的亮度信号(y3)与y2一致，因此可以针对图4的(a)中的各帧获取具有宽动态范围的亮度信号(y3)。

如上所述，图4的(d)所示的实施例中的摄像装置100，可以以与图4的(a)所示的比较例1中的摄像装置相同的帧频，来获取具有宽动态范围的亮度信号(y3)和色差信号(u3，v3)。也就是说，与图4的(a)所示的比较例1中的摄像装置相比，图4的(d)所示的实施例中的摄像装置100可以使帧频的减小最小化。

图5是用于描述第一实施例中的操作的流程图。可以使用控制器106进行流程图所示的各操作(步骤)。首先，在s301中，控制器106设置当从第一摄像元件103获取图像信号时的帧频(第一帧频)以及当从第二摄像元件104获取图像信号时的帧频(第二帧频)。将第二帧频设置为高于第一帧频。这里，如上所述，针对第一帧频的一个帧设置两个帧，即，将第二帧频设置为第一帧频的两倍。

随后，在s302中，控制器106设置针对第一图像信号107、第二图像信号108a和第三图像信号108b各自的曝光条件。这里，设置不同的累积时间。如上所述，如果针对可见光的摄像元件的最大累积时间减少，则合成后的第四图像的色差信号(u3，v3)的s/n比减小。为此，这里，将第一图像信号107的最大累积时间设置得更长。关于第二图像信号108a和第三图像信号108b，将第二图像信号108a的累积时间设置得比第三图像信号108b的累积时间长。

为了不导致色差信号的s/n的减小，期望第一摄像元件103的最大累积时间与图4的(a)所示的比较例1中的摄像装置的一个帧相对应。然而，为了使色差信号的s/n比的减小最小化，第一摄像元件103的最大累积时间可以短于比较例1中的摄像装置的一个帧。具体地说，如通过图4的(b)和图4的(d)之间的比较可以看出，为了与图4的(b)所示的摄像装置相比提高色差信号的s/n比，仅需要使第一摄像元件103的最大累积时间长于第二帧频的倒数。

再次参考图5，此后，在s303中，从第一摄像元件103输出第一图像信号107。此外，与这个步骤并行地，在s304中，从第二摄像元件104输出具有不同累积时间的第二图像信号108a和第三图像信号108b。

在s305中，合成处理器105对从第一摄像元件103输出的第一图像信号107与从第二摄像元件104输出的第二图像信号108a和第三图像信号108b进行合成。由此，生成具有宽动态范围的第四图像信号109。

以这种方式，实施例中的摄像装置100可以在使低照度下拍摄快速移动的被摄体情况下的图像质量的降低最小化的同时增大图像的动态范围。

在第二摄像元件104中，尽管实施例中使用具有不同累积时间的两个帧(两个种类)的图像信号，但是可以使用具有不同累积时间的三个帧(三个种类)以上的图像信号。当用于合成的图像信号的种类的数量增加时，可以增大动态范围。由此，期望增加用于合成的图像信号的种类的数量。在针对一个合成图像使用从第二摄像元件104输出的图像信号中的与整数(n)个帧相对应的图像信号的情况下，第二摄像元件104的帧频是第一摄像元件103的帧频的整数(n)倍。此外，在第二摄像元件104中，使用整数(n)个种类的累积时间。此外，从第二摄像元件104中获取整数(n)个种类的图像信号。换言之，第二摄像元件104经由第一摄像元件103的一个帧，获取包括第二图像信号108a和第三图像信号108b的多个图像信号。

(第二实施例)

第二实施例中的摄像装置200和第一实施例所示的摄像装置100的不同之处在于，摄像装置200包括照射红外光的红外照明单元210。图6是示出根据第二实施例的摄像装置200的结构的示意图。摄像装置200包括摄像光学系统101、光分离单元102、第一摄像元件103、第二摄像元件104、合成处理器105、控制器106和红外照明单元210。红外照明单元210是被配置为照射红外光的光源，并且例如是由诸如algaas等的化合物半导体制成的发光二极管(led)。可以通过使用红外照明单元210照射红外光来提高低照度环境中的图像质量。

此外，在第一实施例的摄像装置100中，作为用于使第二摄像元件104的多个帧之间的曝光条件彼此不同的方法，尽管控制累积时间的长度，但是摄像装置200使用不同方法来使曝光条件彼此不同。在摄像装置200中，通过在第二摄像元件104的多个帧之间控制红外照明单元210的输出的大小来使曝光条件彼此不同。

图7a和7b是示出第二实施例中的摄像装置200的第一摄像元件103、第二摄像元件104和红外照明单元210的驱动时序图的示例的图。在图7a中，在第二摄像元件104中的多个帧之间改变红外照明单元210的输出。也就是说，使在第二图像信号108a的累积时间期间的红外照明单元210的输出与在第三图像信号108b的累积时间期间的红外照明单元210的输出不同。这里，例如，使在第二图像信号108a的累积时间期间的红外照明单元210的输出小于在第三图像信号108b的累积时间期间的红外照明单元210的输出。此外，在明部中，第二摄像元件104使用在红外照明单元210的输出相对小的帧中所获取的第二图像信号108a。在暗部中，使用在红外照明单元210的输出相对大的帧中所获取的第三图像信号108b。

以这种方式，获取从第二摄像元件104输出的具有宽动态范围的图像信号(第二图像信号108a和第三图像信号108b)。此外，可以通过对第二图像信号108a和第三图像信号108b与使用第一摄像元件103获取的第一图像信号107进行合成，来生成具有宽动态范围的第四图像信号109。

当红外照明单元210的输出关闭时，可以被解释为输出已变为0。由此，可以通过控制红外照明单元210的输出的打开/关闭，来改变多个帧之间的曝光条件。

此外，在图7a中，尽管各帧的开始和结束与改变红外照明单元210的输出大小的定时重叠，但是各帧的开始和结束与改变红外照明单元210的输出大小的定时可以不重叠，并且可以在第二摄像元件104的各帧中改变红外照明单元210的输出。这里，为了使闪光带(flashband)的发生最小化，期望红外照明单元210的输出在第二摄像元件104的累积时间期间恒定。这里，输出恒定的事实意味着输出的波动相对于原始输出是rms的50％以下。

图7b示出具体的驱动时序图。在图7b中，改变红外照明单元210的输出的定时与累积时间的开始和结束相匹配。期望在累积时间期间红外照明单元210的输出恒定。为此，在第二摄像元件104中，期望在从帧的累积时间的结束时间起到下一帧的累积时间的开始时间为止的时间段t1～t3内改变红外照明单元210的输出。具体地说，首先，在第二摄像元件104中，在从帧1的累积时间(第二图像信号108a的累积时间)的结束时间起到作为下一帧的帧2的累积时间(第三图像信号108b的累积时间)的开始时间为止的时间段t1内改变红外照明单元210的输出。随后，在从帧2的累积时间(第三图像信号108b的累积时间)的结束时间起到作为下一帧的帧3的累积时间(第二图像信号108a的累积时间)的开始时间为止的时间段t2内改变红外照明单元210的输出。此外，在从帧3的累积时间(第二图像信号108a的累积时间)的结束时间起到作为下一帧的帧4的累积时间(第三图像信号108b的累积时间)的开始时间为止的时间段t3内再次改变红外照明单元210的输出。

在使用红外照明单元210的输出改变曝光条件的情况下，期望的是，当红外照明单元210的输出相对大时不向第一摄像元件103中累积电荷，并且仅当红外照明单元210的输出相对小时向第一摄像元件103中累积电荷。下面将描述原因。

如从图2可以看出，通过了光分离单元102的红外光的大部分被反射，但是红外光的一部分被透射。透射通过光分离单元102的红外光入射在第一摄像元件103的各像素上。也就是说，当在红外照明单元210的输出大的状态下向第一摄像元件103中累积电荷时，从红外照明单元210发出的光的一部分可能入射在第一摄像元件103的各像素上。

这里，尽管针对第一摄像元件103的各颜色的像素，存在关于对可见光的感光度的要求，但是不存在关于对红外光的感光度的要求。为此，通常，在用于获取可见光的固态摄像装置的感光度中，在红外光的波长带中，红色像素、绿色像素和蓝色像素大致相同。为此，当从红外照明单元发出的光的一部分入射在第一摄像元件103中的各像素上时，绿色像素的输出相对小，红色像素和蓝色像素的输出相对高，并且在第一图像信号107中品红色强。如(表达式1)～(表达式3)所示，第四图像信号109的色差信号(u3，v3)与第一图像信号107的色差信号(u1，v1)一致。结果，在第四图像信号109中，品红色强。

如上所述，当在红外照明单元210的输出大的状态下向第一摄像元件103中累积电荷时，生成的第四图像信号109的品红色相对强。为此，期望仅在红外照明单元210的输出相对小的情况下向第一摄像元件103中累积电荷。

将描述具体的驱动时序图。图8a和8b是示出摄像装置200中的第一摄像元件103、第二摄像元件104和红外照明单元210的驱动时序图的另一示例的图。在图8a中，当红外照明单元210的输出相对小时，向第一摄像元件103中累积电荷。这里，在图8a中，红外照明单元210的输出相对小的定时对应于与第二摄像元件104中的帧1和帧3相对应的定时。另一方面，当红外照明单元210的输出相对大时，第一摄像元件103中的所有像素保持重置使得电荷不被累积。这里，在图8a中，红外照明单元210的输出相对大的定时对应于与第二摄像元件104中的帧2和帧4相对应的定时。

例如，当第二摄像元件104中使用红外照明单元210的输出彼此不同的三个帧(三个种类)以上的图像信号时，可以设置针对红外照明单元210的输出的阈值。仅在红外照明单元210的输出小于阈值的情况下，可以向第一摄像元件103累积电荷。

此外，图8a示出当红外照明单元210的输出相对小时第一摄像元件103的累积时间等于第二摄像元件104的累积时间的情况。然而，此时，第一摄像元件103的累积时间可以与第二摄像元件104的累积时间不同。

图8b示出示例。在图8b中，当红外照明单元210的输出相对小时(与第二摄像元件104中的帧1和帧3相对应的定时)，第二摄像元件104的累积时间短于第一摄像元件103的累积时间。以这种方式，当在相同帧中获取不同累积时间的图像并且对图像进行比较时，可以获取被摄体的运动信息。

如图8a和8b所示，在仅当红外照明单元210的输出相对小时向第一摄像元件103中累积电荷的情况下，可以防止第四图像信号109的品红色变强。另一方面，如图7a和7b所示，在当红外照明单元210的输出大和小时都向第一摄像元件103和第二摄像元件104这两者中累积电荷的情况下，第一摄像元件103的电荷累积时间长。由此，提高色差信号的s/n比。因此，当使用红外照明单元210时，可以根据颜色平衡的维持和色差信号的s/n比中的哪个更重要，来改变与是选择图7a和7b中的驱动模式还是选择图8a和8b中的驱动模式有关的选择。

图9是示出用于改变驱动模式的基准的示例的图。在图9中，控制器106根据被摄体的照度来切换驱动模式。可以从第一图像信号107的亮度值(y1)和第一摄像元件的曝光条件(所谓的ev值)中获得被摄体的照度。

首先，当照度等于或大于第一阈值111时，第一图像的亮度信号(y1)的s/n比足够高。因此，可以通过以图4的(b)的驱动模式仅驱动第一摄像元件103，并且对具有不同曝光条件的多个帧中的第一图像信号进行合成，来生成具有宽动态范围的图像。这对应于图9中的模式a。在模式a中，不需要驱动第二摄像元件104。此外，不需要对从第一摄像元件103输出的图像信号(第一图像信号107)与从第二摄像元件104输出的图像信号(第二图像信号108a或第三图像信号108b)进行合成。也就是说，在模式a中，通过仅驱动第一摄像元件103并且对具有不同曝光条件的多个种类的第一图像信号进行合成来增大动态范围。

将描述照度降低到小于第一阈值111并且从第一摄像元件103输出的亮度信号(y1)的s/n比不足的情况。在这种情况下，从第二摄像元件104输出的亮度信号(y2)与从第一摄像元件103输出的色差信号(u1，v1)进行合成。由此，期望提高亮度信号的s/n比。这里，如果使用红外照明单元210，则在一些情况下可能存在维持颜色平衡和色差信号的s/n比之间的权衡。为此，如果在不使用红外照明单元210的情况下可以从第二摄像元件104获得具有足够s/n比的亮度信号(y2)，则期望不使用红外照明单元210。

因此，当照度等于或大于比第一阈值111小的第二阈值112时，使用图4的(d)中的驱动模式。这对应于图9中的模式b。在模式b中，在不使用红外照明单元210的情况下，从第二摄像元件104获取在具有不同累积时间的曝光条件下所获取到的图像信号(这里，第二图像信号108a和第三图像信号108b)。

如果照度降低到小于第二阈值112并且未使用红外照明单元210，则当未从第二摄像元件104获得具有足够s/n比的图像的亮度信号(y2)时，使用红外照明单元210。这里，由于当红外照明单元210的输出增加时容易发生品红色更强的问题，因此期望将红外照明单元210的输出最小化为必要的最小值。

因此，当照度等于或大于比第二阈值112小的第三阈值113时，在着重色差信号的s/n比的情况下使用图7a和7b中的驱动模式。这对应于图9中的模式c。在模式c中，使用红外照明单元210的输出大小来控制曝光条件，并且在红外照明单元210的输出相对大以及在红外照明单元210的输出相对小这两种情况下，都向第一摄像元件103中累积电荷。

当照度小于第三阈值113时，为了从第二摄像元件104获得具有足够s/n比的亮度信号(y2)，需要处于品红色强并且颜色平衡的破坏显著的水平的红外照明单元210的输出。为此，使用图8a和8b中的驱动模式。这对应于图9中的模式d。在模式d中，使用红外照明单元210的输出大小来控制曝光条件。在模式d中，当红外照明单元210的输出相对大时，不向第一摄像元件103中累积电荷，并且仅当红外照明单元210的输出相对小时，向第一摄像元件103中累积电荷。

图10是用于描述模式设置处理的示例的流程图。可以使用控制器106进行流程图中的各操作(步骤)。首先，在s401中，控制器106判断照度是否等于或大于第一阈值。当判断为照度等于或大于第一阈值时(是)，在s402中控制器106设置模式a。当判断为照度小于第一阈值时(s401，否)，在s403中，控制器106判断照度是否等于或大于比第一阈值小的第二阈值。当判断为照度等于或大于第二阈值时(是)，在s404中控制器106设置模式b。当判断为照度小于第二阈值时(s403，否)，在s405中，控制器106判断照度是否等于或大于比第二阈值小的第三阈值。当判断为照度等于或大于第三阈值时(是)，在s406中，控制器106设置模式c。当判断为照度小于第三阈值时(s405，否)，在s407中，控制器106设置模式d。

根据上述流程，可以根据照度选择适当的模式。当照度高时，可以获取具有高图像质量的图像，并且可以在使低照度下拍摄快速移动的被摄体的情况下的图像质量的降低最小化的同时增大图像的动态范围。

在模式c和模式d中，可以将红外照明单元210的输出大小的控制和第二摄像元件104的累积时间长度的控制相组合。例如，在第二摄像元件104中，使针对红外照明单元210的输出相对大的帧的累积时间长于针对红外照明单元210的输出相对小的帧的累积时间。由此，与仅控制红外照明单元210的输出大小的情况相比，可以进一步增大动态范围。

此外，尽管实施例中描述了摄像装置200根据被摄体的照度自动切换驱动模式的情况，但是用户可以选择驱动模式。可替代地，用户可以控制红外照明单元210的输出大小并且根据红外照明单元210的输出来切换驱动模式。在这种情况下，可以提供用户设置红外照明单元210的输出大小的接口，可以当红外照明单元210的输出等于或大于预定输出时选择模式c，并且可以在红外照明单元210的输出小于预定输出时选择模式d。

<摄像系统的实施例>

在该实施例中，将描述使用第一实施例中所示的摄像装置的监视系统(摄像系统)。图11是使用摄像装置503的监视系统500的结构图。作为用于监视系统500的摄像装置503，可以使用根据第一实施例和第二实施例的任意摄像装置。

摄像装置503和客户端装置501可以通过网络502以摄像装置503可以与客户端装置501通信的状态彼此连接。客户端装置501(信息处理装置)发送用于控制摄像装置503的各种命令。摄像装置503接收各种命令并且将对命令的响应和拍摄图像的数据发送至客户端装置501。用户可以使用客户端装置501来选择摄像装置503的摄像参数。

客户端装置501例如是诸如个人计算机(pc)和智能电话等的外部装置，并且网络502可以由有线lan或无线lan等构成。此外，可以提供通过网络502向摄像装置503供给电力的结构。

(其它实施例)

尽管上述实施例中提供了使用光分离单元102将具有不同光谱特性的光引导至第一摄像元件和第二摄像元件的结构，但是例如可以在第一摄像元件和第二摄像元件各自的前方布置具有不同光谱特性的滤波器。此外，第一摄像元件和第二摄像元件可以是接收独立地通过分离的光学系统而不通过光分离单元102的光的双透镜类型的摄像元件。此外，在第一摄像元件和第二摄像元件中，例如，可以提供如下的元件，在该元件中，在一个摄像元件中交替布置了布置有用于第一摄像元件的光谱特性滤波器的像素以及布置有用于第二摄像元件的光谱特性滤波器的像素。另外，尽管图2中使用了透射可见光并且反射红外光的光分离单元，但是可以使用反射可见光并且透射红外光的光分离单元。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附的权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

本申请要求2019年4月18日提交的日本专利申请2019-079524的权益，通过引用其整体并入本文。