专利名称：图象摄取元件的制作方法
技术领域：
本发明涉及一个输出一个任意图象区域的图象摄取元件和一个内插一个任意图象区域的图象摄取装置。
在一个图象摄取装置，为了从一个单个图象摄取元件获得一个彩色图象，光线经过彩色滤波器阵列射入到该图象摄取元件。彩色滤波器阵列粗略地被分为一个基本彩色滤波器阵列和一个互补彩色滤波器阵列。在一个基本彩色滤波器阵列中，三个滤波器，即一个仅透射可见光区域中红光的R滤波器，一个仅透射可见光区域中绿光的G滤波器，和一个仅透射可见光区域中蓝光的B滤波器，被组织在例如一个矩阵中。在一个互补彩色滤波器阵列，一个仅阻挡可见光区域中红光的蓝绿(以后称作“Cy”)滤波器，一个仅阻挡可见光区域中绿光的深红(以后称作“Mg”)滤波器，和一个仅阻挡可见光区域中蓝光的黄(以后称作“Ye”)滤波器，被组织在例如一个矩阵中。这里有各种彩色滤波器阵列图案。
图1示出了该基本彩色滤波器阵列的一个示例。这称作一个贝尔(Bayer)矩阵。
现在将描述贝尔矩阵。2×2彩色滤波器阵列图案的基本单元中，仅左上点能够直接从作为图象摄取元件的一个检测单元的光电转换元件输出一个红色信号。仅右上和左下点能够输出一个绿色信号，和仅右下点能够输出一个蓝色信号。为了从这些点中获得相应彩色信号，需要内插处理。在内插技术中，根据相邻点的值来通过信号处理或者计算而获得内插点上的值。
图2A至2C是与图2所示的贝尔矩阵相应的内插技术示例。符号O表示从一个光电转换元件获得的一个原始点。符号△表示经过内插所获得的内插点。一个箭头表示一个内插点和它的原始点之间的关系。
图3是一个传统的单板彩色图象摄取装置的框图。参考图3，该装置包括一个CCD图象摄取元件901，一个A/D转换器(ADC)902，一个存储器903，一个内插电路904，一个信号处理电路905，和一个D/A转换器(DAC)906。所需存的储器903的容量与至少(两个行+两个点)×ADC的比特数目对应。该存储器903可以由例如一个在其中间点有一个输出端的FIFO组成。
在CCD图象摄取元件901中，每一光电转换元件所获得的光电检测信号首先被一个CCD在垂直方向上转移，然后被一个CCD在水平方向上转移。尤其是，当一个特定行的所有光电检测信号被该垂直CCD转移至到达该水平CCD时，该水平CCD依次将所有光电信号在水平方向上转移并且从一个输出端输出。该操作是对所有行依次进行。所以，光电信号(原始信号)以扫描线的顺序从该CCD图象摄取元件输出，如图3中该CCD图象摄取元件901所示。
从该CCD图象摄取元件901中输出的每一原始点被ADC902进行A/D转换并且被保存在存储器903中。从存储器903中输出的第一，第二和第三线中每一线上的多个原始点输入至内插电路904。根据这些原始点，内插电路904如图2A-2C所示进行内插，并且输出内插点上内插出的RGB信号。信号处理电路905通过颜色增益调节或者边缘增强来处理该RGB信号。该DAC906将被处理的RGB信号进行D/A转换并且输出模拟RGB信号。
在上述现有技术中，必须根据以扫描线顺序从CCD图象摄取元件901输出的原始点来获得内插点。为了这个目标，除了内插电路904和信号处理电路905以外，还需要ADC902，存储器903，和DAC906，从而引起电路规模的增加。
本发明的一个目的是提供一个能够从一个任意基本块中的一点输出一个信号的图象摄取元件。
本发明的另一目的是提供一个能够从一个任意基本块中的一点输出一个适合于内插点计算的信号的图象摄取元件。
本发明的另一目的是提供一个能够减少电路规模的图象摄取元件。
本发明的另一目的是提供一个不需要任何A/D转换器，多个线上的存储器，和D/A转换器而能够获得内插点的图象摄取元件。
为了达到这些目标，根据本发明的一个方面，提供了一个图象摄取元件，它包括多个光电检测器(其中每一个有一个彩色滤波器阵列)，在垂直方向上选择任意一个具有多个光电检测器中至少两个的基本块的垂直方向选择装置，在水平方向上选择任意基本块的水平方向选择装置，和将来自该垂直方向选择装置和该水平方向选择装置所选择的任意基本块中的光电检测器的输出并行输出的输出装置。
根据本发明的另一方面，提供了一个图象摄取元件，包括(A)一个图象摄取元件包括(a)多个光电检测器，其中每一个有一个彩色滤波器阵列；(b)垂直方向选择装置，在垂直方向上选择任意一个具有多个光电检测器中至少两个的基本块；(c)水平方向选择装置，在水平方向上选择任意基本块；和(d)输出装置，将来自该垂直方向选择装置和该水平方向选择装置所选择的任意基本块中的光电检测器的输出并行输出；(B)块保存装置，以基本块为单位保存来自图象摄取元件的多个输出；和(C)内插装置，根据来自块保存装置的一个输出来计算一个内插点。
通过具有以上装置的图象摄取元件，就方便了输出侧的处理。
另外，通过上述图象摄取元件，可以减少电路规模。
通过下面的描述和附图，就会清楚本发明的其它目标，特征和优点。
图1是贝尔矩阵中一个彩色滤波器阵列的基本图案示例；图2A,2B和2C是说明内插与贝尔矩阵相应的RGB信号的一个示例；图3是一个传统单板彩色图象摄取装置的结构框图；图4是根据本发明的单板彩色图象摄取装置的结构框图；图5是说明根据本发明的实施方式1的内插处理的第一视图；图6是说明根据本发明的实施方式1的内插处理的第二视图；图7是一个互补彩色滤波器阵列的基本图案的示例；图8是说明根据本发明的实施方式2的内插处理的第一视图；图9是说明根据本发明的实施方式2的内插处理的第二视图；图10是说明根据本发明的实施方式2的内插处理的第三视图；图11是根据本发明的实施方式3的一个图象摄取元件的结构框图；和图12是根据本发明的实施方式4的一个图象摄取元件的结构框图。
在下面描述的实施方式中，使用了这样一种图象摄取元件，例如能够在任意一个部分随机读取一个点的所谓CMOS图象摄取元件。
图4是根据本发明的实施方式1的一个图象摄取元件的结构框图。参考图4，该图象摄取装置包括一个图象摄取元件101，一个块存储器102，一个内插电路103，和一个信号处理电路104。
原始点被从该图象摄取元件101以一个贝尔矩阵的2×2基本(最小)块为单位读取。该块存储器102保存读取的多个基本块原始点。在该实施方式中，该块存储器102保存三个水平方向上的基本块和三个垂直方向上的基本块，即总共9个基本块。该内插电路103根据保存在存储器102中的原始点，按照图2A至2C所示进行内插，并且输出内插RGB信号。信号处理电路104通过颜色增益调节，低频滤波，或者边缘增强来处理该内插RGB信号，并且输出处理过的RGB信号。从图象摄取元件101获得的信号和从信号处理电路104输出的信号是模拟信号。
块存储器102，内插电路103，和信号处理电路104与图象摄取元件101一起形成在一个芯片上。例如，当图象摄取元件是一个CMOS图象摄取元件时，通过相同的CMOS工艺处理，图象摄取元件101，块存储器102，内插电路103，和信号处理电路104形成在一个芯片上。
图5是一个显示保存在块存储器102中的原始点阵列图。参考图5，符号A,B,C,D,E,F,G,H,I,J,K,L,M,N,P，和Q表示基本块。该块存储器102同时保存3×3个基本块，如图5中标号20所示。
图6是说明内插电路103的内插处理的图。根据下述以基本块F为例子的方程，在如图5中标号20所示、保存在存储器102中的原始点的基础上，内插电路103产生如图6中箭头所指的内插点，下述方程是RF2=(RF1+RG1)/2RF3=(RF1+RJ1)/2RF4=(RF1+RK1)/2GF1=(GE2+GF2)/2GF4=(GF3+GG3)/2
BF1=(BA4+BF4)/2BF2=(BB4+BF4)/2BF3=(BE4+BF4)/2当完成了基本块F的内插时，从图象摄取元件101读取基本块D,H，和L并且将其写入块存储器102。将基本块A,E，和I从块存储器102中擦去。根据基本块B,C,D,F,G,H,J,K，和L上的原始点，该内插电路103以上述相同的方式产生基本块G的内插点。
通过重复该块读取和内插过程，内插电路103可以以这样一种顺序，例如基本块F,G,H,…,J,K,L,…,N,P,Q,…，输出内插RGB信号。但是，基本块的输出顺序可以不局限于此。例如，当在信号处理电路的输出侧执行块处理，例如8×8点阵的离散余弦变换(DCT)时，可以以基本块F,G,J,K,…的顺序来读取信号，以连续输出8×8点数据。该基本块的尺寸可以等于块处理尺寸。
根据实施方式2的图象摄取装置的结构与图4所示根据实施方式1的图象摄取装置的结构相同。在实施方式2中，使用一个互补彩色滤波器阵列来作为一个彩色滤波器阵列。根据实施方式2的图象摄取装置的结构与图4所示根据实施方式1的图象摄取装置的结构相同，并且省略其详细描述。
图7是该实施方式中互补彩色滤波器阵列的基本图案。参考图7，该基本图案的尺寸是4行×2点。
该实施方式中块读取的基本块尺寸与实施方式1中的相同，即2×2点。该彩色滤波器阵列的基本图案与块读取中的基本块不同。
图8是保存在一个块存储器102中的原始点阵列的示例图。参考图8，符号A,B,C,D,E,F,G,H,I,J,K,L,M,N,P，和Q表示基本块。该块存储器102同时保存3×3基本块，如图8中标号40或者50所示。
图9和图10是说明内插电路103的内插处理的图。图9是图7所示基本图案的上半部分201处的基本块内插处理图。图10是图7所示基本图案的下半部分202处的基本块内插处理图。参考图8，基本块A,B,C,D,I,J,K，和L相应于上半部分201，和基本块E,F,G,H,M,N,P，和Q相应于下半部分202。
对于上半部分201处的基本块，根据下述以基本块J为例子的方程，在如图8中标号40所示、保存在存储器102中的原始点的基础上，内插电路103产生如图9中箭头所指的内插点，下述方程是CyJ2=(CyJ1+CyK1)/2CyJ3=(CyJ1+CyN1)/2CyJ4=(CyJ1+CyP1)/2YeJ1=(YeI2+YeJ2)/2YeJ3=(YeJ2+YeM2)/2YeJ4=(YeJ2+YeN2)/2MgJ3=(MgI4+MgJ4)/2MgJ1=(MgF3+MgJ3)/2MgJ2=(MgG3+MgJ3)/2GJ4=(GJ3+GK3)/2GJ1=(GE4+GJ4)/2GJ2=(GF4+GJ4)/2对于下半部分202处的基本块，根据下述以基本块F为例子的方程，在如图8中标号50所示、保存在存储器102中的原始点的基础上，内插电路103产生如图10中箭头所指的内插点，下述方程是CyF2=(CyF1+CyG1)/2CyF3=(CyF1+CyI1)/2CyF4=(CyF1+CyK1)/2YeF1=(YeE2+YeF2)/2YeF3=(YeF2+YeI2)/2YeF4=(YeF2+YeJ2)/2MgF4=(MgF3+MgG3)/2MgF1=(MgA4+MgF4)/2MgF2=(MgB4+MgF4)/2GF3=(GE4+GF4)/2GF1=(GB3+GF3)/2
GF2=(GC3+GF3)/2内插电路103根据基本块的类型来切换两个内插模式。原始点被使用与实施方式1相同的方式从一个图象摄取元件101读取并且被写入块存储器。
通过重复该块读取和内插过程，内插电路103可以以这样一种顺序，例如基本块F,G,H,…,J,K,L,…,N,P,Q,…，输出内插CyMgYe信号。但是，基本块的输出顺序可以不局限于此。例如，当在信号处理电路的输出侧执行块处理，例如8×8点阵的DCT时，可以以基本块F,G,J,K,…的顺序来读取信号，以连续输出8×8点数据。
下面将描述图象摄取元件101的结构。图11是实施方式3中一个图象摄取元件101的结构框图。
参考图11，图象摄取元件包括光电检测器301例如光电二极管，一个垂直方向(行方向)读取块选择电路302，一个水平方向(列方向)读取块选择电路303，转移开关304，垂直方向块选择线305，水平方向块选择线306，和输出线307。输出线与一个输出端相连。
因为垂直方向块选择线305在数目上与垂直方向中的基本块相等，所以该垂直方向读取块选择电路302仅激活所选块的线。类似地，因为水平方向块选择线306在数目上与水平方向中的基本块相同，所以水平方向读取块选择线303仅激活所选块中的线。仅当激活了垂直方向块选择线305和水平方向块选择线306时，每一个光电检测器301才输出一个检测信号。当转移开关304所属于的一个线中的任何一个基本块301输出一个检测信号时，在数目上等于水平方向上的基本块的每一个转移开关304接收该检测信号。从该转移开关304出来的输出与该输出端相连并且被送至该输出端。因为水平方向块选择线306选择了输出中的一个，仅有来自被垂直方向块选择线305和水平方向块选择线306选择的基本块的检测信号被输出至该输出端。
当垂直方向读取块选择电路302和水平方向读取块选择电路303同时工作时，从一个任意基本块来的该检测信号被从该输出端输出。
图12是根据实施方式4的一个图象摄取元件101的结构框图。
参考图12，该装置包括光电检测器401例如光电二极管，一个垂直方向(行方向)读取块选择电路302，一个水平方向(列方向)读取块选择电路303，一个两线存储器402，垂直方向光电检测器选择线403，水平方向块选择线306，和输出线307。输出线与一个输出端相连。该垂直方向读取块选择电路302，水平方向读取块选择电路303，垂直方向块选择线305，和水平方向块选择线306与实施方式3中的那些相同。
因为垂直方向光电检测器选择线403在数目上与垂直方向中的光电检测器相等，所以该垂直方向读取块选择电路302仅激活所选块的线。因为来自一个线上的光电检测器的输出被输出至相同线，这些线被依次激活。因为水平方向块选择线306在数目上与水平方向中的基本块相同，所以水平方向读取块选择线303仅激活所选块中的线。仅当激活了一个相应垂直方向光电检测器选择线403时，每一个光电检测器401才输出一个检测信号。该两线存储器402依次接收来自垂直方向选择的基本块的输出。该两线存储器402输出一个水平方向块选择线306选择的一个基本块的信号。所以，仅有来自被垂直方向读取块选择电路302选择的垂直方向光电检测器选择线403，和水平方向块选择线306所选择的基本块的检测信号被从该输出端输出。
当垂直方向读取块选择电路302和水平方向读取块选择电路303同时工作时，从一个任意基本块来的该检测信号被从该输出端输出。
如上所述，根据实施方式1至4，因为光电检测信号被以基本块为单位从图象摄取元件读取，内插处理所需的基本块被保存在块存储器，和根据保存在该块存储器的光电检测信号来获得相应颜色的内插点，这样可以随机地获得一个任意区域中每一颜色的一个内插信号。
另外，因为所有信号处理操作均可以以模拟处理的方式进行，所以可以省略A/D和D/A转换器。所以，可以减少电路规模。
进一步，因为可以使用相同的处理工艺，将图象摄取元件，块存储器，内插电路，和信号处理电路形成在同一个芯片上，所以可以实现一个单芯片的图象摄取装置。
可以有许多不偏离本发明的精神和范围的不同实施方式。应该理解，除了后附权利要求书所定义的以外，本发明不局限于这里所描述的特定实施方式。
权利要求
1．一个图象摄取元件，包括多个光电检测器，其中每一个具有一个彩色滤波器阵列；垂直方向选择装置，用于选择垂直方向上一个具有所述多个光电检测器中至少两个的任意基本块；水平方向选择装置，用于选择水平方向上该任意基本块；和输出装置，用于并行输出来自所述垂直方向选择装置和所述水平方向选择装置所选择的该任意基本块中的所述光电检测器的输出。
2．如权利要求1的一个元件，其中该基本块的一个区域等于该彩色滤波器阵列的重复图案的一个基本图案的一个区域。
3．如权利要求1的一个元件，其中该基本块的一个区域等于将该彩色滤波器阵列的重复图案的一个基本图案进行等分所获得的一个区域。
4．如权利要求1的一个元件，其中所述输出装置包括用于选择水平方向上的该基本块的选择装置，以输出来自该基本块中所述光电检测器的输出。
5．如权利要求2的一个元件，其中所述输出装置包括用于选择水平方向上的该基本块的选择装置，以输出来自该基本块中所述光电检测器的输出。
6．如权利要求3的一个元件，其中所述输出装置包括用于选择水平方向上的该基本块的选择装置，以输出来自该基本块中所述光电检测器的输出。
7．如权利要求1的一个元件，其中所述垂直方向选择装置以线为单位选择所选择的基本块中所述光电检测器，并且有一个时延，和所述输出装置包括保存装置，该保存装置用于保存所述垂直方向选择装置在一时延后所选择的来自所述光电检测器的输出，并且还用于并行输出来自该基本块中所述光电检测器的输出信号。
8．如权利要求2的一个元件，其中所述垂直方向选择装置以线为单位选择所选择的基本块中所述光电检测器，并且有一个时延，和所述输出装置包括保存装置，该保存装置用于保存所述垂直方向选择装置在一时延后所选择的来自所述光电检测器的输出，并且还用于并行输出来自该基本块中所述光电检测器的输出信号。
9．如权利要求3的一个元件，其中所述垂直方向选择装置以线为单位选择所选择的基本块中所述光电检测器，并且有一个时延，和所述输出装置包括保存装置，该保存装置用于保存所述垂直方向选择装置在一时延后所选择的来自所述光电检测器的输出，并且还用于并行输出来自该基本块中所述光电检测器的输出信号。
10．如权利要求1的一个元件，其中该彩色滤波器阵列包括一个仅透射可见光区域中红光的滤波器，一个仅透射可见光区域中绿光的滤波器，和一个仅透射可见光区域中蓝光的滤波器。
11．如权利要求2的一个元件，其中该彩色滤波器阵列包括一个仅透射可见光区域中红光的滤波器，一个仅透射可见光区域中绿光的滤波器，和一个仅透射可见光区域中蓝光的滤波器。
12．如权利要求3的一个元件，其中该彩色滤波器阵列包括一个仅透射可见光区域中红光的滤波器，一个仅透射可见光区域中绿光的滤波器，和一个仅透射可见光区域中蓝光的滤波器。
13．如权利要求1的一个元件，其中该彩色滤波器阵列包括一个仅阻挡可见光区域中红光的滤波器，一个仅阻挡可见光区域中绿光的滤波器，和一个仅阻挡可见光区域中蓝光的滤波器。
14．如权利要求2的一个元件，其中该彩色滤波器阵列包括一个仅阻挡可见光区域中红光的滤波器，一个仅阻挡可见光区域中绿光的滤波器，和一个仅阻挡可见光区域中蓝光的滤波器。
15．如权利要求3的一个元件，其中该彩色滤波器阵列包括一个仅阻挡可见光区域中红光的滤波器，一个仅阻挡可见光区域中绿光的滤波器，和一个仅阻挡可见光区域中蓝光的滤波器。
16．一个图象摄取装置，包括(A)一个图象摄取元件包括(a)多个光电检测器，其中每一个有一个彩色滤波器阵列；(b)垂直方向选择装置，在垂直方向上选择任意一个具有多个光电检测器中至少两个的基本块；(c)水平方向选择装置，在水平方向上选择该任意基本块；和(d)输出装置，将来自该垂直方向选择装置和该水平方向选择装置所选择的任意基本块中的所述光电检测器的输出并行输出；(B)块保存装置，以基本块为单位保存来自所述图象摄取元件的多个输出；和(C)内插装置，根据来自所述块保存装置的一个输出来计算一个内插点。
17．如权利要求16的一个装置，其中所述块保存装置和所述内插装置与所述图象摄取元件形成在同一个半导体芯片上。
18．如权利要求16的一个装置，进一步包括一个信号处理装置，用于执行颜色增益调节，低频滤波和边缘增强中至少一个处理。
19．如权利要求18的一个装置，其中所述块保存装置，所述内插装置，和所述信号处理装置与所述图象摄取元件形成在同一个半导体芯片上。
全文摘要
为了输出一个任意基本块的一个彩色图象信号和在输出侧实现处理,提供了一个图象摄取元件,它包括:多个光电检测器,其中每一个具有一个彩色滤波器阵列;一个垂直方向选择电路,用于选择垂直方向上一个具有所述多个光电检测器中至少一个的任意基本块;一个水平方向选择电路,选择水平方向上该任意基本块;和一个输出电路,并行输出来自所述垂直方向选择电路和所述水平方向选择电路所选择的该任意基本块中的所述光电检测器的输出。
文档编号H04N9/07GK1226783SQ98126329
公开日1999年8月25日 申请日期1998年12月25日 优先权日1997年12月26日
发明者小川胜久, 须川成利, 新井秀雪, 上野勇武, 小泉彻, 光地哲伸, 桵井克仁, 樋山拓己 申请人:佳能株式会社