专利名称：具有红外校正功能的彩色成像系统的制作方法
技术领域：
本发明一般来说涉及例如和数字相机、扫描器、和类似物一起使用的成像系统。
基于硅技术的成像传感器在光路中通常使用一种红外遮光元件。红外遮光元件的作用是防止红外辐射(IR)或光(一般认为是波长大于780纳米的光)进入成像阵列。
基于硅的器件在通常的情况下对于波长最大约为1200纳米的光是灵敏的。如果允许红外辐射(IR)进入成像阵列，成像阵列就要响应IR，并且产生一个输出图像信号。由于成像系统的一个目的是产生表示可见光的图像，所以IR引入一个虚假的响应并使成像系统产生的图像失真。在单色(黑白)成像系统中，这一结果可能表现为一个有明显失真的图像。例如，树叶和人的皮肤的色调可能异常地亮。在彩色成像系统中，IR的引入使颜色失真，产生颜色不正确的图像。
防止成像系统中基于IR的异常的通用方法是使用离子彩色玻璃或在玻璃上的薄膜光涂层以产生一种光学元件，这种光学元件可通过可见光(一般从380纳米到780纳米)而遮挡IR。可将这种光学元件放在透镜系统的前方、定位在透镜系统内、或者可以将这种光学元件结合在整个成像系统中。这种方法的主要缺点是成本高和增加了系统的复杂性。实施薄膜涂层的成本可能略低，但其附加的缺点是光谱移位是角度的函数。于是，在一个成像系统中，这些元件不能提供从各像中心到边缘的均匀透光特性。这两种滤波器类型因为要增加一个额外的但又必需组装进成像系统中的部件，而加大了系统的复杂性。
数字式成像系统一般来说都可校正所谓的暗电流。暗电流是由成像系统在实际上没有接收到任何输入图像时探测到的。一般来说，暗电流或者是在相机的校准过程期间隔离和扣除的，或者是在相机正在进行操作时隔离和扣除的。可以使用机械式快门在各帧之间遮挡光学系统，以提供暗电流噪声的连续指示。这可能是有益的，因为暗电流随温度强烈变化。因此，希望有暗电流存在状态的连续指示。连续确定暗电流的另一种方法是提供屏蔽掉光的某些像素，从而可以提供连续的暗电流状态的指示。
于是，提供减小复杂性和成本的成像系统是人们一直需要的。尤其是需要对可见光谱中的光敏感、对红外光谱中的光不敏感、但又不需要红外滤波器的一种成像系统。进一步，需要一种能够连续校正暗电流和红外噪声这两者的影响的系统。
按照本发明的一个实施例，一种成像系统包括一个快门，这个快门可选择地调节在第一状态，以通过可见光谱中的辐射。这个快门在第二状态基本上可遮挡可见光谱中的光，但可通过红外辐射。一个减法器可使表示在第一和第二状态通过的辐射的信号相减。
附图的简要说明
图1表示传统的红、绿、蓝CFA滤波器的透光特性。
图2表示包括红和蓝CFA滤波器的一种IR通带滤波器的透光特性。
图3是具有淀积在像素回路上的红和蓝CFA滤波器的一个像素回路的简化剖面图。
图4是用于校正图像信号中的IR信号的一个简化高级回路。
图5-7表示用于彩色传感器阵列的矩形图案。
图8表示用于单色传感器阵列的矩形图案。
图9是使用彩色快门的相机的示意图。
图10是表示形成如图9所示的红外扣除回路的部件的方块图。
图11是一个流程图，表示例如使用如图9和10所示的硬件导出红外和三原色信息的过程。
在本发明的实施例中，通过从响应IR和可见光这两者的像素传感器产生的信号中用电的方法扣除IR像素传感器产生的信号，基本上减小了IR对图像信号的影响。IR像素传感器对于射在包括传感器的阵列上的IR是敏感的，这提供与彩色通道(比如说RGB)分开的图像的IR分量。
使用当前市场上可以得到的彩色滤波器阵列(CFA)材料，并取其对于IR辐射是透明的事实，可以产生IR传感器。通过简单地叠加两个CFA的颜色(如红、蓝)，它们在光谱的可见光段上基本上没有重叠的透光性，就可以产生一个复合滤波器元件，这个复合滤波器元件基本上可遮挡可见光，只能透过IR。如果使用两个滤波器形成这个复合滤波器元件，而这两个滤波器中的每一个滤波器都有一个与另一个滤波器的可见光辐射通带光谱分开的可见光辐射通带光谱，这样，基本上没有任何可见光透过由两个滤波器的组合形成的最终的复合滤波器。如果使用的滤波器的数目超过2个，而每个滤波器都有一个可见光辐射通带光谱，因此，最终的复合滤波器对于可见光基本上是不透明的。于是这样一种复合滤波器就是一种IR通带滤波器，因为形成复合滤波器的每一个分滤波器对于IR基本上都是透明的。
作为一个实例，图1表示的是常规的红、绿、蓝CFA(加有染料的丙烯酸酯)滤波器。要说明的是，每一个滤波器对于IR基本上都是透明的。在图2中表示通过叠加红和蓝CFA滤波器得到的复合IR带通滤波器的透光性，从图2可以看出基本上遮盖了可见光谱。
使用IR滤波器产生IR灵敏的像素，或IR像素传感器，其方法是淀积各个组分滤波器，在一个像素回路上构成IR带通滤波器。这种淀积可以通过对半导体工业是众所周知的光刻技术实现。像素回路是可吸收辐射并且提供代表吸收的辐射的信号的任何一个回路。例如，像素回路可以包括一个光电二极管，光电二极管吸收的光子产生电子-空穴对，它与附加电路一起提供代表光电二极管吸收的光子数的电信号，电压信号或电流信号。
在一个实施例中，图3表示一个IR像素传感器300的简化剖面图，所说的像素传感器300包括像素回路310，在像素回路310上淀积有红CFA320和蓝CFA330。在像素回路上入射的可见光范围的光子，由方向340示意表示，基本上全被挡住或防止由像素回路310吸收。
一个实施例使用的是具有4种类型像素传感器的成像阵列3种彩色(如RGB)类型和一种IR类型，所有这4种类型的像素传感器全是由在市场上可以得到的CFA材料制成的。这就产生了4个通道，或者说4种类型的信号，如表1所示，表1表示的是对于每个通道或像素类型测得的光谱。
表1:4个输出通道的光谱输出通道 光谱通道1 红+IR通道2 绿+IR通道3 蓝+IR通道4 有IR一旦知道图像信号的IR分量，就可从图像中扣除这个IR分量，以给出经IR校正的彩色输出。这由图4的高级电路表示，其中通过多路合成器(MUX)410和减法电路420；从通道1-3上的每个信号减去通道4上的IR信号。显然，如果利用3个减法电路完成每个彩色通道的IR信号扣除，就可以省去MUX410。
在图5-7中表示出彩色图像的可能的矩形图案，图8表示单色图像的矩形图案，其中W表示对整个可见光光谱敏感的像素传感器。可以认为图5-8中表示的每个图案都是一个单元。在整个成像阵列中以规则的方式重复这些单元。
在图5-7中，标为R、G、B的像素传感器表示分别利用红、绿、蓝CFA滤波器的像素传感器。在图5-8中，标为IR(R+B)的像素传感器是IR像素传感器，其中的IR复合通带滤波器包括红和蓝CFA滤波器。
像素传感器不需要实际上的相互物理接触。构成像素传感器的像素回路一般来说是与另外的像素回路相互电隔离的。所说的第一个像素传感器与第二个像素传感器是邻接的，被理解为在并且只在第一和第二像素之间不存在任何一个居中的像素传感器。例如，在图7中，左上的像素传感器R和下左的像素传感器G、上面的像素传感器G、以及像素传感器B都是邻接的，但和右下的像素传感器G以及IR像素传感器不是邻接的。两个像素传感器在不进行实际上的物理相互接触的条件下可以是邻接的。
由于在成像透镜系统中存在色差，所以成像的景物的IR分量可以不处在准确的焦点上。这对于这里公开的实施例实际上是有益处的，因为这表明，不必以高的空间频率对于IR分量进行采样。这种情况对于彩色图像和单色图像分别反映在图7和8表示的矩形图案中。
按第二种方式可以使用具有IR像素传感器，不论单色或者彩色，的成像阵列，使之成为一个IR成像阵列，这里只利用来自于IR像素传感器的信号形成IR图像。因而，按照这里公开的实施例制成的成像阵列可以配置成双模式的成像阵列，或者提供经过IR校正的可见光图像，或者提供IR图像。
可以构成具有其它颜色的系统的实施例，例如青、品红、和黄(CMY)系统和品红、白、黄(MWY)系统。对于CMY彩色系统，可能必须叠加所有的3种颜色以遮挡可见光。这种处理方法还能推广到MWY彩色系统，但需要进行附加处理，增加第三种颜色(如蓝或品红)。可以要求这个颜色能够完成遮挡在IR检测像素中的可见光。
图9所示的数字式成像系统910可以和一个数字像机一起使用，数字式像机可以提供静止的和移动的视频画面。此外，成像系统910也可以用在使用数字式图像传感器的其它应用中，如扫描仪等。
在透镜系统914和图像传感器916的前方设有一个液晶彩色快门912。图像传感器916可以是一种互补型金属氧化物半导体(CMOS)的图象传感器，其使用一个有源像素传感器(APS)、一个无源像素传感器(PPS)或者其他技术。可选地，还可以使用电荷耦合器件(CCD)。
彩色快门912在不同的彩色频段，如红、绿、蓝(RGB)和青、品红、黄(CMY)三原色频段，可以提供电可改变的发射光谱，一个典型的彩色快门KALA滤波器，可以从科罗拉多州80301的博德的ColorLink公司得到。快门912同步地切换以连续地在每一个期望的频段提供色彩信息。KALA滤波器在一个加原色(RGB)和一个互补的减原色(CMY)之间进行切换。将输入的白光转换成正交地极化了的补色。
彩色快门可以在多个发射光频段之间切换，这些频段对准在多层加色平面的每一点上，如红、绿、蓝原色平面。彩色快门可顺序的切换，以提供三个颜色的平面，其组合建立起一个图象的三色表示。
在图象系统中，使用彩色快门可以有好处地允许每个像素传感器顺序地对三个颜色的频段作出反应。否则，分开的像素传感器为了每个所需要的颜色的频段必须在阵列中散开。然后，对每个像素点中所失去的信息用留下的两个彩色平面由插值技术推导出来。利用彩色快门，每个像素都可以检测到3个彩色频段中的每个频段，不用插值可增加彩色的清晰度。
图像传感器916耦合到图像处理器918，图像处理器918处理来自图像传感器916的信息，并且提供期望形式的输出。图像处理器918包括一个红外减法电路920。电路920利用一个减法过程消除来自彩色快门912同步提供的每个彩色频段信号的红外分量。具体来说，彩色快门912在每个期望的彩色平面里提供一系列光图像，这些图像激励传感器916中的像素，提供传递给图像处理器918的强度信号。
这个减法过程也可以用软件实施。例如，这个减法可以在一个单独的计算机(未示出)中完成。可以将这个计算机链接到相机。
参照附图10，将来自传感器916的信息分离成4个信号。传感器916提供的强度信号包括一个红外分量的每个彩色频段信号。在使用RGB彩色频段的例子中，产生红色信号1024、绿色信号1026、蓝色信号1028，每个信号都具有相关的红外分量。此外，快门912产生一个黑色信号1030，黑色信号1030基本上不含任何彩色信息，只含红外辐射信息。
于是，可以在减法器1032中从每个信号1024至1028减去黑色信号1030(只包含出现在快门12上的有关红外辐射的信息)，产生没有任何红外分量的信号1034-1038。可以在线1040上得到红外分量。这个红外分量可以用在一系列暗光条件下，包括夜间相机、侦察行动、和三维成像的应用。
以此方式，在不使用红外滤波器的条件下，可以产生不存在红外辐射噪声的期望的彩色平面。而且，利用本发明的技术，可以得到在一系列应用中有用的红外信号。在使用红外滤波器时，得不到有用的红外信号。
参照附图11，在图像处理器918中俘获彩色信息的过程开始于方块1144。开始时，将彩色快门912设置成黑色，获得一个画面(如方块1146所示)以提供红外基准信号。接下去，将快门设置成红色(如方块1148所示)，并且获得一个画面，其中包括红色信息和红外分量(如方块1150所示)。类似地，获得绿色和蓝色信息，如方块1152至1158所示。
在方块1160、1162、1164中，从在方块1150、1154、1158中获得的红、绿、蓝色画面扣除在方块1146获得的红外基准信号，导出红、绿、蓝色平面。结果，可以输出(如方块1166所示)其中不含红外分量的RGB彩色平面信息。
以上所述的实施例对暗电流补偿也是有用的。每个实施例都将产生基本上不含基准IR辐射效应和暗电流这两者的彩色波段。IR基准信号1146(在没有彩色信息的情况下)只包括暗电流噪声。于是，当扣除了IR基准信号或黑色画面时，就可完全消除IR和暗电流噪声这两者。这种消除是和IR噪声消除同时完成的，其中不需要机械式快门或者屏幕的像素。由于暗电流是被连续扣除的，所以当前温度对暗电流的影响总是考虑在内的。
虽然参照有限数目的实施例描述了本发明，但是本领域的普遍技术人员将能实现许多改进和变化。我们的期望是所附的权利要求书将覆盖所有的落在本发明的真正构思和范围内的这种改进和变化。
权利要求
1.一种成像系统，包括第一传感器，用于产生代表入射的红外辐射并且不存在入射的可见光辐射的第一输出；第二传感器，用于产生代表包括可见光和红外光谱这两者的入射辐射的第二输出；和一个减法器，该减法器设置为使所说的第一和第二输出相减。
2.权利要求1的成像系统，其特征在于所说的减法器使所说的第一和第二输出连续相减。
3.权利要求1的系统，其特征在于包括一对滤波器，它们的可见光透光性本质上不重叠，形成本质上不存在可见光的第一输出。
4.权利要求1的方法，其特征在于包括一个液晶彩色快门，用于形成本质上没有可见光信息的第一输出。
5.权利要求1的成像系统，其特征在于包括一个减法器，所说的减法器使代表在所说的第一和第二状态下通过的辐射的信号相减。
6.权利要求5的系统，其特征在于所说的快门是液晶彩色快门。
7.权利要求6的系统，其特征在于包括一个图像传感器，所说的图像传感器在多层彩色平面中接收从快门来的光信息，所说的系统进一步包括一个图像处理器，所说的图像处理器和所说的图像传感器相连，用于处理从图像传感器接收的信息。
8.权利要求7的系统，其特征在于所说图像传感器提供代表至少3个彩色平面和红外辐射的信号，彩色快门对它们曝光。
9.一种成像方法，包括有产生代表入射的红外辐射并且不存在入射的可见光的第一输出；产生代表包括可见光和红外光谱这两者的入射辐射的第二输出；和使所说的第一和第二输出相减。
10.权利要求9的成像方法，其特征在于使所说的第一和第二输出连续相减。
11.权利要求9的方法，其特征在于以可见光透光性基本上不重叠来使用一对滤波器形成所说的第一输出。
12.权利要求10的方法，其特征在于使用一个液晶彩色快门形成所说的第一输出。
13.权利要求11的方法，其特征在于包括依次滤波每个彩色平面。
14.权利要求9的方法，其特征在于产生针对红外和暗电流噪声进行过校正的输出。
全文摘要
一种使用彩色快门的成像系统,它接收在多层平面里的带有红外信息的彩色信息和只代表红外辐射的信号。可以从和彩色平面有关的信号中扣除红外辐射信号,获得对于每一个期望的彩色平面都没有红外辐射影响的信号。此外,可以得到在某些情况下可能有有益应用的红外信号。以此方式,可以获得彩色信息的彩色波段而不需要使用红外滤波器,并且如果期望,可以保存红外信息留待别用。另外,可以得到红外和暗电流信息,用于暗电流校正。
文档编号H04N5/361GK1310915SQ99808946
公开日2001年8月29日 申请日期1999年6月17日 优先权日1998年7月30日
发明者爱德华·鲍尔莱克, 琼－查尔斯·科尔塔, 瓦尔特·麦克, 廷库·阿查里雅, 蔡平星, 格里高利·斯塔尔 申请人:英特尔公司