专利名称：噪声去除装置的制作方法
技术领域：
本发明涉及去除数码相机或移动电话机等所使用的摄像元件的噪声的装置。
背景技术：
数码相机或移动电话机所使用的CCD或CMOS传感器等的摄像元件，即使在没有光入射的状态下，由于在构成像素的摄像元件上流动的暗电流的影响也产生某一程度确定模式的噪声(暗电流噪声)。
专利文献1中公开了用于去除该暗电流噪声的装置。该装置将在关闭快门的状态下由摄像元件所摄像的图像即暗电流噪声成分，预先通过正交变换及量化来进行压缩后储存到存储器，在实际进行图像摄像时，通过从该图像信号减去由正交逆变换进行译码后的暗电流噪声成分，而去除暗电流噪声。
该专利文献1所公开的用于压缩暗电流噪声的方法即正交变换及量化使用了图像压缩中广泛公知的方法。该方法利用了在对图像信号进行正交变换时信息偏于低频成分这样的图像的一般性质，即使通过量化来切割(cut)高频成分的信息，也不会给画质带来太大的影响。
专利文献1日本特开平11-298762号公报发明内容(第一课题)暗电流噪声成分含有很多高频成分，因此若对该高频成分的信息进行切割，则不能对暗电流噪声成分准确地进行译码。从而存在以下问题在通过正交变换及量化对暗电流噪声成分进行压缩时，不能将该高频成分的信息进行切割，从而不能提高压缩率。
本发明是鉴于上述问题而提出的，其目的在于，提供一种用于削减暗电流噪声的装置，其中保持高频成分多的特性且对暗电流成分进行高压缩并储存。
(第二课题)暗电流噪声成分随着摄像的时刻的摄像元件的温度、曝光时间、及从摄像元件的输出取出图像信号作为模拟信号之际所乘的增益等而变化得较大，因此预先摄像的暗电流噪声成分的大小、和在实际摄像状态下所摄像的图像成分中含有的暗电流噪声成分的大小不同。但是，专利文献1所公开的暗电流噪声去除装置虽然进行压缩·扩张的处理，但是从图像信号原封不动地减去预先储存的暗电流噪声成分，因此存在不能从图像信号准确地去除暗电流噪声成分的问题。
该发明是为了解决上述问题而提出的，其目的在于，提供一种能高精度地去除图像信号中含有的暗电流噪声成分的噪声去除装置。
(第三课题)从数码相机或移动电话机所使用的CCD或CMOS传感器等的摄像元件输出的信号，除了图像信号以外包括基于暗电流成分的固定模式噪声、由于强烈的入射光而产生的尾斑(smear)噪声、基于CCD的制造时的缺陷的固定缺陷噪声、由设备的热变动引起的随机噪声。从而，需要从摄像元件输出的信号去除这些噪声成分。特开2004-172925号公报中公开了从由摄像元件摄像的信号首先去除尾斑噪声后，去除基于暗电流的固定模式噪声的装置。
但是，在由电路去除该尾斑噪声时，为了推定尾斑噪声的大小，需要推定入射到摄像元件的光量，该入射光量的推定根据从摄像元件输出的信号来进行。从而，在考虑尾斑噪声的推定精度时，推定所使用的信号中最好不要包含噪声。
但是如上所述，从摄像元件输出的信号中除了尾斑噪声以外还包含各种噪声。尤其固定模式噪声，其所引起的暗电流具有较高的温度依赖性，若摄像元件的温度上升7度，则固体模式噪声的大小变为2倍。另外，固定模式噪声与曝光时间成比例地增大。从而，从摄像元件输出的信号随着摄像元件的温度和曝光时间而其固定模式噪声变化较大，因此特开2004-172925号公报中记载的装置中存在以下问题在推定尾斑噪声时，受该固定模式噪声的影响较大，尾斑噪声的去除精度变差。
本发明是为了解决上述问题而提出的，其目的在于，提供一种可分别高精度地去除摄像元件所输出的信号中含有的多个噪声成分的噪声去除装置。
(第一技术方案)第一方案的本发明的方式是一种噪声去除装置。该装置具备噪声分布分析部，对于在光遮断的状态下由摄像元件所摄像的第一图像信号，求出构成所述摄像元件的一部分或全部的像素的所述第一图像信号的大小的分布，并根据该分布特定含有所述第一图像信号可取大小的峰值的范围，且在该范围内设定阈值；量化部，对于在光遮断的状态下由所述摄像元件所摄像的第二图像信号，根据所述阈值进行量化；逆量化部，对所述量化后的第二图像信号进行逆量化；减法部，从在光入射的状态下由摄像元件所摄像的第三图像信号减去所述逆量化后的第二图像信号。在此“光遮断的状态”是指关闭设置在摄像元件的前面的快门，而没有光到达摄像元件的状态，也包含未完全遮断而漏出的光入射到摄像元件那样的“实质上光遮断的状态”。
在光遮断的状态下所摄像的第一及第二图像信号，其大部分是摄像元件的暗电流所引起的噪声成分。从而，根据该方式，通过对该噪声成分进行量化而能削减噪声成分的信息量，能使储存噪声成分所需的存储器的容量变小，且在进行量化之际，求出噪声成分的大小的分布，根据该分布特定噪声成分的大小集中的范围，在该范围内进行量化压缩，因此能具有高频成分多的噪声的特性并且高压缩地储存噪声成分。
在该方式中，所述第一图像信号和所述第二图像信号是在不同的时刻所摄像的信号。由此使用在不同的时刻所摄像的两个图像信号，进行量化阈值的设定和量化，因此无需暂时储存所摄像的图像信号，能削减其量的存储器容量。
在该方式中，所述第一图像信号和所述第二图像信号是相同的图像信号，所述噪声分布分析部，将所述第一图像信号分割为多个区域，按该分割后的每个区域求出所述第一图像信号的大小的分布，并根据该分布特定含有所述第一图像信号可取大小的峰值的范围，且在该范围内设定阈值。由此，为了储存所摄像的图像信号即噪声成分，在光遮断的状态下对图像信号进行摄像的次数为一次就完成，因此暗电流噪声成分的量化简单并且在短时间内进行。
在该方式中，还具备频带分离部，将所述第一图像信号及所述第二图像信号分割为低频成分和高频成分；针对所述高频成分，具备所述噪声分布分析部、所述量化部及所述逆量化部；并且在所述低频成分和由所述逆量化部所逆量化的所述高频成分相加的基础上，将其输入到所述减法部。噪声成分按每个像素不同而高频成分具有支配性，但是由于装置的特性或电源而存在所取得的噪声信息中混入低频成分。在这种情况下，将暗电流噪声分为低频成分和高频成分，通过对该高频成分进行本发明的压缩处理，而能高精度地恢复噪声成分。
另外，还具备压缩部，将所述低频成分以与所述高频成分独立的方法进行压缩；和扩张部，将所述压缩后的低频成分扩张；在所述扩张后的低频成分和由所述逆量化部所逆量化的所述高频成分相加的基础上，将其输入到所述减法部。由此，通过以与低频成分和高频成分独立的方法进行压缩，而以各个成分的特性所具有的方法来进行压缩，因此能高精度地恢复噪声成分。
第二方案的本发明的另一方式为噪声去除方法。该方法包括对于在光遮断的状态下由摄像元件所摄像的图像信号，求出暗电流噪声成分的大小的分布的步骤；特定含有所述暗电流噪声成分的大小的峰值的范围的步骤；在所述范围内设定用于量化的阈值的步骤；基于所述阈值对所述暗电流噪声成分进行量化的步骤；对所述量化后的暗电流噪声成分进行逆量子化的步骤；和从实际进行被摄体摄像时的图像信号，减去所述逆量子化后的暗电流噪声成分的步骤。
根据该方法，通过对暗电流噪声成分进行量化而能削减暗电流噪声成分的信息量，能使储存暗电流噪声成分所需的存储器的容量变小。另外，进行量化之际，求出暗电流噪声成分的大小的分布，根据其分布特定暗电流噪声成分的大小集中的范围，由于在其范围内进行量化压缩，因此能具有高频成分多的暗电流噪声的特性并且以高压缩储存暗电流噪声成分。
(第二方案)第二方案的本发明的方式为噪声去除装置。该装置具备压缩部，对在光遮断的状态下由摄像元件所得到的第一图像信号进行压缩；扩张部，将所述压缩后的第一图像信号扩张；噪声成分预测部，基于由所述压缩部压缩前的第一图像信号的状态和在光入射的状态下由摄像元件所得到的第二图像信号的状态之间的比较，根据所述扩张后的第一图像信号预测所述第二图像信号所含有的噪声成分；和减法部，从所述第二图像信号减去所预测的噪声成分。
在此“光遮断的状态”是指关闭设置在摄像元件的前面的快门，而没有光到达摄像元件的状态，也包含未完全遮断而漏出的光入射到摄像元件那样的“实质上光遮断的状态”。另外，该第一图像信号与摄像它时的暗电流引起的噪声成分大致相等。
根据该方式，通过将预先摄像的第一图像信号的状态和第二图像信号的状态相比较，而能判断由摄像第一图像信号的条件所得到的图像信号的大小和由摄像第二图像信号的条件所得到的图像信号的大小之间的关系，因此基于该关系从第一图像信号能预测第二图像信号中含有的噪声成分。从而，通过从第二图像减去该预测后的噪声成分，而能高精度地去除噪声成分。
所述第一图像信号的状态是所述被压缩前的第一图像信号中含有的从遮光区域输出的信号的大小；所述第二图像信号的状态是该第二图像信号中含有的从遮光区域输出的信号的大小。另外，所述噪声成分预测部，求出所述第二图像信号所含有的从遮光区域输出的信号的大小和所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的大小之间的比率，并且对所述扩张后的第一图像信号乘以所述比率，来预测所述第二图像信号所含有的噪声成分。
第二图像信号所含有的从没有光入射的区域输出的信号与摄像第二图像信号的条件下产生的暗电流引起的噪声成分大致相等。另外，第一图像信号所含有的从没有光入射的区域输出的信号与摄像第一图像信号的条件下产生的暗电流引起的噪声成分大致相等。从而，求出与这些信号的大小的比率，对第一图像信号乘以该比率，而能预测第二图像信号所含有的噪声成分，因此从第二图像减去该预测后的噪声成分，而能高精度地去除噪声成分。
该方式中，还具备前处理部，对所述压缩后的第一图像信号进行用于预测所述第二图像信号所含有的噪声成分的前处理，所述扩张部将该前处理后的第一图像信号进行扩张也可。由此，在一度压缩的第一图像信号扩张后的状态下不进行用于预测第二图像信号所含有的噪声成分的前处理，而在被压缩后的状态下直接进行前处理。被压缩后的图像信号与扩张后的图像信号相比数据量小，因此能削减运算量。
在该方式中，所述前处理部将所述压缩后的第一图像信号分离为低频成分和高频成分，所述扩张部分别将所述低频成分和高频成分进行扩张，所述噪声成分预测部，在根据所述扩张后的高频成分预测所述第二图像信号所含有的噪声成分的高频成分的基础上，与所述扩张后的低频成分相加，来预测所述第二图像信号所含有的噪声成分。一般图像信号所含有的暗电流噪声含有很多高频成分，受温度或曝光时间等摄像条件影响较大。另一方面，低频成分的基于电源或装置的特性的噪声具有支配性，受温度或曝光时间的摄像条件的影响较少。由此，去除摄像条件的影响少的低频成分，对摄像条件的影响大的高频成分进行预测处理，因此能进一步预测准确的噪声成分。从而，能高精度地去除图像含有的噪声成分。
在该方式中，所述第一图像信号的状态是所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的高频成分的大小；所述第二图像信号的状态是该第二图像信号所含有的从遮光区域输出的信号的高频成分的大小，所述噪声成分预测部，求出所述第二图像信号所含有的从遮光区域输出的信号的高频成分的大小和所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的高频成分的大小之间的比率，并且对所述扩张后的第一图像信号的高频成分乘以所述比率，由此预测所述第二图像信号所含有的噪声成分的高频成分。由此，分别对第一图像信号及第二图像信号使用没有光入射的区域所属的一部分或全部的像素，对高频成分彼此进行比较，算出其比率，进一步对第一图像信号的高频成分乘以算出的比率，而能高精度地预测第二图像信号所含有的噪声成分，由此能进行高精度的噪声去除。
在该方式中，所述压缩部具备噪声分布分析部，针对所述第一图像信号，求出一部分或全部的像素具有的所述第一图像信号的大小的分布，根据该分布特定含有所述第一图像信号可取大小的峰值的范围，在该范围内设定量化的阈值；和量化部，对所述第一图像信号基于所述阈值进行量化。由此，储存第一图像信号之际，在含有第一图像信号可取大小的峰值的范围内进行量化压缩，因此具有高频成分多的噪声的特性并且使第一图像信号压缩而储存。
(第三方案)第三方案的本发明的某一方式为噪声去除装置。该装置具备固定模式噪声去除部，从摄像元件所输出的图像信号去除摄像元件的暗电流所引起的固定模式噪声；和尾斑噪声去除部，从去除所述固定模式噪声的图像信号去除入射光所引起的尾斑噪声。
根据该方式，具有温度依赖性且与曝光时间成比例地增大的固定模式噪声在去除尾斑噪声之前从图像信号消除。从而使用去除该固定模式噪声的图像信号来推定尾斑，能高精度地去除尾斑噪声。
在该方式中，作为所述固定模式噪声去除部，利用上述的第一方案或第二方案所述的噪声去除装置。根据该方式，能有效地去除固定模式噪声。
在该方式中，尾斑噪声去除部，通过从固定模式噪声去除后的图像信号减去累加值来去除尾斑噪声，该累加值是依次累加每次摄像元件的各受光比特所蓄积的信息电荷沿垂直方向逐行被传送时从各受光比特混入的尾斑电荷的量而得到的值。根据该方式，能有效地去除尾斑噪声。
在该方式中，还具备固定缺陷噪声去除部，从尾斑噪声去除后的图像信号，去除摄像元件制造时的缺陷所引起的固定缺陷噪声。根据该方式，在去除固定缺陷噪声之前去除尾斑噪声，因此不会由尾斑噪声而影响到饱和后的信号电平，能进行缺陷像素的判断。进一步，在去除固定缺陷噪声之际，从噪声电平大的固定模式噪声或尾斑噪声去除后的图像信号生成插补图像信号，因此能更自然地去除固定缺陷噪声。
在该方式中，固定缺陷噪声去除部，对摄像元件的每个像素是否是固定缺陷进行判断，在判断为固定缺陷时，从周边的像素算出内插值并且置换为该值。根据该方式，能有效地去除固定缺陷噪声。
在该方式中，还具备随机噪声去除部，从所述固定缺陷噪声去除后的图像信号，去除摄像元件的热变动所引起的随机噪声。
根据该方式，在其他噪声成分被去除，且各像素具有的图像信号成为接近真实值的状态的阶段，使用从周边像素的特征进行推定插补的方法来去除随机噪声，因此能高精度地去除随机噪声。
在该方式中，还具备偏置去除部，去除图像信号所含有的偏置成分，输入到偏置去除部的图像信号是由固定模式噪声去除部去除固定模式噪声后的信号。
根据该方式，去除固定模式噪声之后算出偏置成分，因此不会给偏置成分的算出带来固定模式噪声的影响，能高精度地去除偏置成分。
偏置去除部具备偏置计算部，提取输入到该偏置去除部的图像信号中的、摄像元件的遮光区域所属的像素的图像信号，算出该提取后的图像信号的大小的平均值作为偏置成分；和减法部，从输入到该偏置去除部的图像信号减去偏置成分。根据该方式，能有效地去除偏置成分。
此外，以上的构成要素的任意的组合、将本发明的表现在方法、装置、系统、计算机程序、数据结构、记录介质等之间进行变换的组合也作为本发明的方式有效。
在噪声去除装置中，能提高噪声去除性能。
图1是实施方式1的数码相机100的构成图。
图2是表示暗电流噪声成分的大小的分布的图。
图3是用于说明特定含有暗电流噪声成分可取大小的峰值的范围，在其范围内算出量化的阈值及代表值的图。
图4是实施方式2的数码相机110的构成图。
图5是用于说明将暗电流噪声成分分割为多个线路的图。
图6是实施方式3的数码相机120的构成图。
图7是实施方式4的数码相机1100的构成图。
图8是表示暗电流噪声成分的大小的分布的图。
图9是用于说明特定含有暗电流噪声成分可取大小的峰值的范围，在其范围内算出量化阈值及代表值的图。
图10是实施方式5的数码相机2100的构成图。
图11是实施方式5的固定模式噪声去除部2010的构成图。
图12是实施方式5的尾斑噪声去除部2011的构成图。
图13是实施方式5的固定缺陷噪声去除部2012的构成图。
图14是用于说明固定缺陷的判定方法的图。
图15是实施方式6的数码相机2110的构成图。
图16是实施方式6的偏置去除部2014的构成图。
1、7、8、1001-暗电流噪声去除装置；2、1002-透镜；3、1003-快门；4、1004、2002-摄像元件；5、1005-A/D变换部；6、1006、2005-记录介质；10、20、1010-噪声分布分析部；12、1012-量化部；14、30、1014、2020、2051-存储器；16-逆量化部；18、1030、2021、2030、2052-减法部；22、2032、2040-线路存储器；23-频带分离部；28-压缩部；32-扩张部；34、1028、2031-加法部；100、110、120、1100、2100、2110-数码相机；1016-低频·高频分离部；1080-第一逆量化部；1020-第二逆量化部；1022-高频提取部；1024-乘法系数设定部；1026、2034-乘法部；2001、2006-噪声去除装置；2003-模拟前端处理器(analogue front end)(AFE)；2004-图像压缩装置；2010-固定模式噪声去除部；2011-尾斑噪声去除部；2012-固定缺陷噪声去除部；2013-随机噪声去除部；2014-偏置去除部；2033-系数产生部；2041-固定缺陷判定部；2042-内插值计算部；2043-内插值置换部；2050-偏置计算部。
具体实施例方式
(第一组)(实施方式1)图1是表示具备本发明的最佳实施方式1的暗电流噪声去除装置1的数码相机100的构成图。该构成对于硬件而言可由任意的计算机的CPU、存储器、其他LSI来实现，对于软件而言可由载入存储器中的具有编码功能的程序等来实现，但是在此描述由这些结合所实现的功能块。从而，这些功能块或仅由硬件、或仅由软件、或由这些组合以各种形式来实现，对于本领域技术人员来说是很容易理解的。
数码相机100除了暗电流噪声去除装置1以外还具备透镜2、快门3、摄像元件4、A/D变换部5和记录介质6。由被摄体所反射的光通过透镜2、快门3入射到摄像元件4。摄像元件4将所入射的光变换为电信号并将其作为图像信号输出。作为该摄像元件4的一例有CCD和CMOS传感器等。从摄像元件4输出的图像信号由A/D变换部5变换为例如10位的数字信号后，由暗电流噪声去除装置1去除暗电流噪声，被记录到记录介质6。
暗电流噪声去除装置1在预先关闭快门3的状态下由摄像元件4摄像且由A/D变换部5变换为数字信号后的图像信号作为暗电流噪声成分进行储存，从实际摄像时所摄像的图像信号减去该暗电流噪声成分，来去除暗电流噪声。在储存该暗电流噪声成分之际，求出用于图像构成的全体像素的暗电流噪声成分的大小的分布，从该分布调查含有暗电流噪声成分的峰值的范围，在该范围内进行量化压缩。此外，在此所说的暗电流噪声成分的大小是由A/D变换部5所得到的数字信号表示的值。
下面说明暗电流噪声去除装置1的构成。暗电流噪声去除装置1具备噪声分布分析部10、量化部12、存储器14、逆量化部16、减法部18。噪声分布分析部10在关闭快门3进行摄像时所得到的暗电流噪声成分中，针对整个像素计数在整个像素中在其可取值上各出现何像素，求出其分布。
例如，假设由10像素构成的图像的暗电流噪声成分在每个像素上具有以下值。
{1、3、2、5、3、3、4、5、3、2}在暗电流噪声成分可具有0～7的值时，噪声分布分析部10如下求出各个值的出现像素数。
值00像素、值11像素、值22像素、值34像素、值41像素、值52像素、值60像素、值70像素。
实际从摄像元件4得到的图像的像素数是从几十万到几百万像素。另外，暗电流噪声成分可取的值由A/D变换部5的分辨能力所决定。例如，A/D变换部5具有10位的分辨能力时，暗电流噪声成分可取的值为0～1023。此时，噪声分布分析部10对由摄像元件4所得到的整个像素的暗电流噪声成分求出该可取的值0～1023各自的出现像素数。其结果，能得到图2的分布。
噪声分布分析部10求出暗电流噪声成分的分布后，如图3所示特定暗电流噪声成分集中的范围A～B。例如，该范围的下限A假设是在求出分布时所使用的像素的数目设为x时，从像素值较小的像素起计数到第x/512像素编号的像素所具有的暗电流噪声成分的值。另外，上限B设为从像素值较大的像素起计数到第x/512像素编号的像素所具有的暗电流噪声成分的值。此外，该除数并不限于512也可以是任意的值。另外，在下限A和上限B中也可以使用不同的除数。进一步，也可以除数按可变方式由外部设定。
另外，作为求出该范围的下限A和上限B的另一方法，按照特定暗电流噪声成分的分布峰值的位置，且从下限A到该峰值为止所存在的像素的数目和从上限B到该峰值为止所存在的像素的数目成为某一恒定的像素数目的方式，确定下限A和上限B。
噪声分布分析部10除了特定范围A～B之外，按照在该范围内设置阈值并进行量化压缩的方式算出量化的阈值和代表值。例如，考虑如图3所示将暗电流噪声成分量化为N级的情况。而且，从暗电流噪声成分的值为零一侧起设为量化电平0、量化电平1、量化电平2，并将暗电流噪声成分的值为最大的位置设为量化电平(N-1)。另外，将它们统一表记为量化电平n(n＝0、1、2、…、N-1)。噪声分布分析部10由以下式求出量化电平n和量化电平(n+1)之间的阈值THn及量化电平n的代表值Vn。将这些值送到量化部12。
THn＝DA+(2n+1)·(DB-DA)/(2·(N-1))…(1)Vn＝DA+2n·(DB-DA)/(2·(N-1))…(2)在此，DA、DB表示下限A及上限B中的暗电流噪声成分的值。在这些值中，阈值THn被送到量化部12，而代表值Vn被送到逆量化部16。
量化部12对于在关闭快门3摄像时所得到的暗电流噪声成分，参照由噪声分布分析部10求出的量化的阈值来进行量化。例如，在将暗电流噪声成分的大小设为a时，参照由(1)式求出的阈值THn并通过以下说明的方法来进行量化，得到量化后数据α。
如果，在暗电流噪声成分a低于阈值TH0时，量化数据α设为0。另外，在暗电流噪声成分a为阈值TH(N-2)以上时，量化数据α设为(N-1)。并且，暗电流噪声成分a为阈值TH(n-1)以上并且低于THn时，量化数据α设为n。此外，噪声分布分析部10和量化部12为本发明的“用于噪声成分的量化的部件”的一例。
通过该方法，由量化部12所量化的数据α被储存到存储器14。此时，存储器14所需的容量可以比未对暗电流噪声成分进行量化时少。例如，在将N设为16时，量化数据α取得0～15的值。即，1像素原来由10位表示的暗电流成分在量化之后可由4位表示。从而，若将100万像素的暗电流噪声成分储存到存储器14时，相对于在未量化时需要1000万位的容量，而在进行量化后只要400万位即可。
逆量化部16与将实际摄像时在打开快门3的状态下所摄像的图像信号从A/D变换部5输出的定时一致，从存储器14读出量化后的暗电流噪声成分，参照噪声分布分析部10所输入的代表值而进行逆量化且进行译码。逆量化方法将从存储器14读出的量化数据α原封不动地替换为量化电平n(即n＝α)，将与该量化电平n对应的代表值Vn输出到减法部18。减法部18从实际摄像时所摄像的图像信号减去由逆量化部16所逆量化的暗电流噪声成分。
基于涉及的构成，对图1所示的数码相机的动作进行说明。首先，摄像元件4在关闭快门3的状态下进行图像摄像。此时，由于没有光入射到摄像元件4，因此从摄像元件4输出的信号为暗电流噪声成分。
该暗电流噪声成分由A/D变换部5变换为数字信号后，输入到噪声分布分析部10。在噪声分布分析部10中，根据整个像素的暗电流噪声成分求出其大小的分布，根据该分布特定含有暗电流噪声成分的峰值的范围，在该范围内算出量化的阈值THn和代表值Vn。
接着，在再次关闭快门3的状态下由摄像元件4对暗电流噪声成分进行摄像。该暗电流噪声成分由A/D变换部5变换为数字信号后，再次输入到量化部12。量化部12基于由噪声分布分析部10求出的阈值对暗电流噪声成分进行量化，在存储器14中储存该量化后的暗电流噪声成分。
以上为止的动作是至实际上进行被摄体摄像前的阶段为止的动作。此前的动作即在存储器14中储存被量化的暗电流噪声成分，也可以在每次的摄像时进行，也可以在数码相机的电源接通时进行。在每次摄像时进行的情况下，也可以构成为，设置未图示的摄像时检测部，若在摄像时检测出，就向暗电流噪声去除装置1指示进行暗电流噪声成分量化并且进行储存。暗电流噪声容易受到摄像元件的周边的温度环境的影响，在刚要摄像前进行储存时能高精度地取得暗电流噪声成分之值。在电源接通时进行的情况下，也可以构成为，设置未图示的电源接通时检测部，若检测出电源接通，就向暗电流噪声去除装置1指示进行暗电流噪声成分量化并进行储存。
另外，在存储器14中储存被量化后的暗电流噪声成分也可以在制造数码相机时进行。另外，也可以构成为，在数码相机上设置未图示的定时器，按每一定期间向暗电流噪声去除装置1指示进行暗电流噪声成分量化并进行储存。
接着对实际进行被摄体摄像时的动作进行说明。这次在打开快门的状态下由摄像元件4进行图像摄像。从摄像元件4输出的图像信号由A/D变换部5变换为数字信号后送到减法部18。另一方面，逆量化部16与从A/D变换部5输出图像信号的定时一致，读出存储器14所储存的被量化的暗电流噪声成分，并且参照由噪声分布分析部10算出的代表值，对暗电流噪声成分进行逆量化。该逆量化后的暗电流噪声成分被输入到减法部18，由减法部18从图像信号减去逆量化后的暗电流噪声成分。由此，从图像信号能去除暗电流噪声成分。并且，去除了暗电流噪声成分的图像信号被记录到记录介质6。
以上，根据本发明的最佳实施方式1，具有以下的作用效果。
(1)通过使暗电流噪声成分量化而大幅度减少暗电流噪声成分的信息量，由此能减少为了储存暗电流噪声成分所需的存储器的容量。
(2)进行量化之际，求出暗电流噪声成分的大小的分布，根据其分布特定含有暗电流噪声成分可取大小的峰值的范围，在其范围内进行量化压缩，因此能保持高频成分多的噪声的特性，并且能对暗电流噪声成分进行压缩。
(3)如以往例那样，除了将暗电流噪声成分分割为块后进行正交变换以外还进行量化的情况下，在每块上其量化的参数不同，因此在其逆量化后，在块边界上产生噪声。与此相对，本实施方式中，对暗电流噪声成分整体使用相同的阈值来进行量化，因此在量化后的暗电流噪声成分进行逆量化时，不产生上述的噪声。
(4)使用在不同的时刻所摄像的两个暗电流噪声成分，进行量化阈值的设定和量化，因此无需暂时储存所摄像的暗电流噪声成分，能减少存储器容量。也就是，使用最初取得的暗电流噪声成分进行量化阈值的设定，只要在其量化阈值设定的瞬间保持暗电流噪声成分即可，也可以之后消除暗电流噪声成分的数据。另外，使用下一次取得的暗电流噪声成分进行量化，只要在其量化的瞬间保持暗电流噪声成分即可，也可以之后消除暗电流噪声成分的数据。无需在量化阈值设定处理和量化处理之间保持暗电流噪声成分，因此能减少存储器容量。
(实施方式2)图4是表示具备本发明的最佳实施方式2的暗电流噪声去除装置7的数码相机110的构成的图。该数码相机110是配置有与实施方式1的数码相机100的噪声分布分析部10不同的功能的噪声分布分析部20，进一步附加了线路存储器22的构成。对于与实施方式1相同的构成赋予相同的符号，省略说明。
实施方式2的噪声分布分析部20与实施方式1的噪声分布分析部10不同的点在于，不在整个像素上进行暗电流噪声成分的大小的分布，如图5所示将暗电流噪声成分分割为多个线路的每个区域，在其分割后的范围内求出暗电流噪声成分的大小的分布，算出量化的阈值和代表值。另外，噪声分布分析部20将算出量化的阈值及代表值的多个线路的暗电流噪声成分储存到线路存储器22。
基于涉及的构成，对图4所示的数码相机的动作进行说明。首先，在关闭快门3的状态下摄像元件4进行暗电流噪声成分摄像。该暗电流噪声成分由A/D变换部5变换为数字信号后，输入到噪声分布分析部20。噪声分布分析部20根据最初的多个线路中存在的像素的暗电流噪声成分求出其大小的分布，基于其分布算出量化的阈值和代表值。另外，噪声分布分析部20求出分布，将算出量化的阈值和代表值的多个线路的暗电流噪声成分储存到线路存储器22。
接着，量化部12读出储存在线路存储器22的暗电流噪声成分，参照由噪声分布分析部20算出的阈值并且进行量化，将该量化后的暗电流噪声成分储存到存储器14。此时，噪声分布分析部20对于下一个多个线路中存在的像素求出暗电流噪声成分的大小的分布，根据该分布算出量化的阈值和代表值，并且将该多个线路的暗电流噪声成分重写入线路存储器22。以后，噪声分布分析部20和量化部12及线路存储器22对多个线路的每一个反复进行上述动作，对暗电流噪声成分的整个像素进行量化压缩，并且将量化后的暗电流噪声成分储存到存储器14。
以上为止的动作是至实际进行被摄体摄像前的阶段为止的动作。实际进行被摄体摄像时的动作与实施方式1中记载的动作相同，因此省略。
以上，根据本实施方式2，除了享受保持高频成分多的特性并且将暗电流噪声成分高压缩后储存的作用效果以外还享受以下的作用效果。即，本实施方式2中，将暗电流噪声成分分割多个区域，按每个区域求出暗电流噪声成分的大小的分布，算出量化的阈值和代表值，并且将算出该阈值和代表值的区域的暗电流噪声成分暂时存储到线路存储器，对存储到该线路存储器的暗电流噪声成分进行量化，因此一次就能完成暗电流噪声成分的摄像，暗电流噪声成分的量化简单并且在短时间内进行。
(实施方式3)图6是表示具备本发明的最佳实施方式3的暗电流噪声去除装置8的数码相机120的构成的图。该数码相机120是在实施方式1的数码相机100中附加了频带分离部24、压缩部28、存储器30、扩张部32及加法部34的构成。对于与实施方式1相同的构成赋予相同的符号，省略说明。
频带分离部24将暗电流噪声成分分离为低频成分和高频成分。压缩部28对由频带分离部24所分离的低频成分进行压缩处理。作为压缩方法具有在压缩对象的像素及其相邻的像素中取出低频成分彼此之间的差分的方法、或由规定的量化系数除低频成分进行量化的方法等。或者以规定的像素间隔提取低频成分，也可以删除除此之外的像素的低频成分，也可以是这些方法的组合。存储器30储存由压缩部28压缩后的低频成分。
扩张部32读出储存到存储器30的压缩后的低频成分，进行扩张处理。例如，低频成分由压缩部28通过取得与压缩对象的相邻的像素之间的低频成分彼此之间的差分的方法进行压缩时，通过将与存储器30所储存的值相邻的像素的低频成分相加而进行扩张处理。另外，通过除以规定的量化系数进行量化的方法来进行压缩时，向储存到存储器30的值乘以量化系数而进行扩张处理。另外，通过以规定的像素间隔提取低频成分并删除其以外的像素的低频成分的方法来进行压缩时，对存储到存储器30的像素的低频成分进行滤波处理，来求出全部的像素的低频成分，从而进行扩张处理。
此外，噪声分布分析部10、量化部12、存储器14及逆量化部16具有与实施方式1的数码相机中具备的元件相同的功能，但是这些针对频带分离部24所分离的暗电流噪声的高频成分起作用。
加法部34将由扩张部32扩张后的暗电流噪声的低频成分和由逆量化部16逆量化后的暗电流噪声的高频成分相加，并且对暗电流噪声进行译码。
基于涉及的构成，对图6所示的数码相机的动作进行说明。首先，在关闭快门3的状态下所摄像的暗电流噪声成分由A/D变换部5变换为数字信号后，由频带分离部24分离为低频成分和高频成分。并且，噪声分布分析部10对整个像素求出高频成分的大小的分布，基于该分布算出针对高频成分的量化的阈值和代表值。
接着，在再次关闭快门3的状态下由摄像元件4进行暗电流噪声成分摄像，由A/D变换部5变换为数字信号后，由频带分离部24分离为低频成分和高频成分。并且，低频成分由压缩部28所压缩，在存储部30中储存该压缩后的低频成分。另外，高频成分被输入到量化部12，根据由噪声分布分析部10求出的阈值进行量化，在存储器14中储存该量化后的高频成分。
以上的动作是至实际进行被摄体摄像前的阶段为止的动作。接着，对实际进行被摄体摄像时的动作进行说明。这次在打开快门3的状态下由摄像元件4进行图像摄像。从摄像元件4输出的图像信号由A/D变换部5变换为数字信号后送到减法部18。另一方面，扩张部32与从A/D变换部5输出图像信号的定时一致，读出储存到存储器30的量化后的暗电流噪声低频成分，并且对暗电流噪声的低频成分进行扩张。
同样，逆量化部16与从A/D变换部5输出图像信号的定时一致，读出储存在存储部14的量化后的暗电流噪声的高频成分，并且参照由噪声分布分析部10算出的代表值，将暗电流噪声的高频成分进行逆量化。因而，通过将这些逆量化后的低频成分及高频成分由加法部34相加，而对暗电流噪声成分进行译码。并且，该暗电流噪声成分被输入到减法部18，由减法部18从图像信号减去逆量化后的暗电流噪声成分，由此从图像信号去除暗电流噪声成分。
暗电流噪声自身按每像素而不同，因此高频成分具有支配性，由于装置的特性或电源而存在低频成分混入到所取得的噪声信息的情况。根据本实施方式3，能享受以下的作用效果。
(1)通过将暗电流噪声分离为低频成分和高频成分，在暗电流噪声中对于支配性的高频成分，求出其大小的分布，根据其分布特定暗电流噪声的高频成分可取大小的峰值的范围，在其范围内进行量化压缩，而能高精度地恢复暗电流噪声。
(2)由于分别对低频成分及高频成分适用独立的压缩方法，所以可与各个成分的特性一致地进行压缩，能高精度地恢复暗电流噪声。
以上，根据实施方式1～3说明了本发明。实施方式是例示，本领域技术人员能够理解可对这些各构成要素或各处理工序的组合进行各种变形，并且这些变形处于本发明的范围内。这种变形例如下所示。
上述的实施方式中，示出了数码相机的例子，但是并不限于此，只要是具备摄像元件的装置，就能具备本发明的实施方式的暗电流噪声去除装置。
上述的实施方式2中，示出了设置线路存储器来将暗电流噪声成分分割为多个区域，并在该分割的范围内确定量化的阈值，进行量化的例子，但是如上述实施方式1记载那样，根据在不同的时间所摄像的两个暗电流噪声成分中的、一方的暗电流噪声成分确定量化的阈值，而对另一方的暗电流噪声成分施加量化的处理也可，也可以选择使用哪一个量化方法。
通过选择这些量化方法，根据搭载暗电流噪声去除装置的系统的性能、摄像的图像的像素数、或者使用者所设定的摄影模式等，可选择最佳量化方法。
在上述实施方式3中，将线路存储器如上述实施方式2那样附加在噪声分布分析部10和量化部12之间，在这些线路存储器中也可以储存在噪声分布分析部10及26中使用的多个线路的低频成分和高频成分。由此，在上述实施方式3中，将暗电流噪声成分分割为多个线路，在该分割后的范围内能进行暗电流噪声成分的量化阈值的设定及量化，从而能享受与上述实施方式2相同的作用效果。
(第二组)(实施方式4)图7是表示具备本发明的最佳实施方式4的暗电流噪声去除装置1001的数码相机1100的构成的图。该构成对于硬件而言可由任意的计算机的CPU、存储器、其他LSI来实现，对于软件而言可由具有载入存储器中的编码化功能的程序等来实现，在此描述由这些组合来实现的功能块。从而，本领域技术人员应该理解为这些功能块或仅由硬件、或仅由软件、或者由这些组合以各种形式来实现。
数码相机1100除了暗电流噪声去除装置1001以外，还具备透镜1002、快门1003、摄像元件1004、A/D变换部1005和记录介质1006。由被摄体反射的光通过透镜1002、快门1003入射到摄像元件1004。摄像元件1004将入射后的光变换为电信号，并且将其作为图像信号输出。作为该摄像元件1004的一例，有CCD和CMOS传感器等。从摄像元件1004输出的图像信号由A/D变换部1005变换为例如10位的数字信号。由该数字信号表示的值相当于本发明的“图像信号的大小”。另外，将变换为数字信号的图像信号分离为低频成分和高频成分的情况下，由数字信号表示的各个成分的值也包含在“图像信号的大小”中。
由A/D变换部变换为数字信号的图像信号由暗电流噪声去除装置1001去除暗电流噪声，被记录到记录介质1006。
暗电流噪声去除装置1001，将在预先关闭快门1003的状态下由摄像元件1004所摄像、且由A/D变换部1005变换为数字信号的图像信号储存为暗电流噪声成分，从实际摄像时所摄像的图像信号减去暗电流噪声成分，去除暗电流噪声。在储存该暗电流噪声成分之际，求出构成图像的整个像素的暗电流噪声成分的大小的分布，根据该分布特定含有暗电流噪声成分的峰值的范围，在其范围内进行量化压缩。此外，在此所说的暗电流噪声成分的大小是由A/D变换部1005所得到的数字信号表示的值。
另外，暗电流噪声去除装置1001，在从图像信号减去暗电流噪声成分之际，将预先进行暗电流噪声成分摄像时的状态与进行图像信号摄像时的状态相比较，基于该比较根据预先摄像后的暗电流噪声成分，预测图像信号中含有的暗电流噪声成分。例如，在摄像元件1004中始终存在没有光入射的区域，因此从该区域输出的图像信号可看成为该像素中的暗电流噪声成分。因而，求出在光入射的状态下所摄像的图像信号中的、从始终没有光入射的区域(遮光区域)所属的像素输出的图像信号、和在预先所摄像的暗电流噪声成分中的、从相同的像素输出的暗电流噪声成分之间的比率，将该比率乘以预先所摄像的暗电流噪声成分整体，从而高精度地预测图像信号中含有的暗电流噪声成分。
进一步，暗电流噪声去除装置1001将预先所摄像的暗电流噪声及从遮光区域输出的图像信号分离为低频成分和高频成分，对这些高频成分彼此进行比较，利用预先所摄像的暗电流高频成分，进行所述的预测。这是因为暗电流噪声按每像素产生离散偏差而含有很多高频成分，并且不受部位所引起的影响，另一方面在低频成分中受到电源或装置的特性等部位所引起的影响的噪声变为具有支配性，因此若在含有低频成分的状态下进行预测处理，则不能准确地预测暗电流噪声。
以下说明暗电流噪声去除装置1001的构成。暗电流噪声去除装置1001具备噪声分布分析部1010、量化部1012、存储器1014、第一逆量化部1018、第二逆量化部1020、高频提取部1022、乘法系数设定部1024、乘法部1026、加法部1028及减法部1030。噪声分布分析部1010，在关闭快门1003进行摄像时所得到的暗电流噪声成分中，针对整个像素计数在其每个可取值上各出现何像素，求出其分布。
例如，假设由10像素构成的图像的暗电流噪声成分在每个像素上具有以下值。
{1，3，2，5，3，3，4，5，3，2}在暗电流噪声成分可具有0～7的值时，噪声分布分析部1010如下求出各个值的出现像素数。
值00像素，值11像素，值22像素，值34像素，值41像素，值52像素，值60像素，值70像素。
实际上从摄像元件1004得到的图像的像素数是从几十万到几百万像素。另外，暗电流噪声成分可取的值由A/D变换部1005的分辨能力所决定。例如，A/D变换部1005具有10位的分辨能力时，暗电流噪声成分可取的值是0～1023。此时，噪声分布分析部1010对于由摄像元件1004所得到的整个像素的暗电流噪声成分求出其可取值0～1023各自的出现像素数。其结果，能取得图8所示的分布。
噪声分布分析部1010求出暗电流噪声成分的分布后，如图9所示那样特定含有暗电流噪声成分的峰值的范围A～B。例如，该范围的下限A在用于求出分布时所使用的像素的数设为x的情况下，设为从像素值小的一方起计数第x/512像素编号的像素具有的暗电流噪声成分的值。另外，上限B设为从像素值大的一方起计数第x/512像素编号的像素具有的暗电流噪声成分的值。此外，该除数并不限于512也可以是任意值。另外，在下限A和上限B中也可以使用不同的除数。进一步，也可以除数以可变方式由外部设定。
另外，作为求出该范围的下限A和上限B的另一方法，按照特定暗电流噪声成分的分布峰值的位置，从下限A至该峰值为止所存在的像素数目和从上限B至该峰值为止所存在的像素数目成为某一恒定的像素数目的方式，确定下限A和上限B也可。
噪声分布分析部1010在特定范围A～B的基础上，按照在该范围内设置阈值而进行量化压缩的方式算出量化的阈值和代表值。例如，如图9所示考虑将暗电流噪声成分量化为N级的情况。并且，从暗电流噪声成分值的零的一方起设为量化电平0、量化电平1、量化电平2，暗电流噪声成分值最大的位置设为量化电平(N-1)。另外，将这些集中而表记为量化电平n(n＝0，1，2，…，N-1)。噪声分布分析部1010通过以下公式求出量化电平n和量化电平(n+1)之间的阈值THn及量化电平n的代表值Vn。
THn＝DA+(2n+1)·(DB-DA)/(2·(N-1))…(3)Vn＝DA+2n·(DB-DA)/(2·(N-1))…(4)在此，DA、DB表示下限A及上限B中的暗电流噪声成分的值。阈值THn被送到量化部1012。另外，阈值THn、代表值Vn及下限A中的暗电流噪声成分DA被送到第一逆量化部1018及第二逆量化部1020。
量化部1012对于在关闭快门1003进行摄像时所得到的暗电流噪声成分，参照由噪声分布分析部1010求出的量化的阈值来进行量化。例如，将暗电流噪声成分的大小设为a时，参照由公式(3)求出的阈值THn通过以下说明的方法来进行量化，量化后得到数据α。
另外，暗电流噪声成分a小于阈值TH0时，量化数据α为0。暗电流噪声成分a为阈值TH(N-2)以上时，量化数据α为(N-1)。并且，暗电流噪声成分a为阈值TH(n-1)以上且小于THn时，量化数据α为n。
通过该方法，由量化部1012所量化的数据α被储存到存储器1014。此时，存储器1014所需的容量也可以比未使暗电流噪声成分量化时少。例如，将N设为16时，量化数据α取得0～15的值。即，1像素原来由10位表示的暗电流噪声成分在量化之后可由4位来表示。从而，若将暗电流噪声成分储存到存储器1014时，相对于在没有量化时，需要1000万位的容量，在量化时400万位即可。
低频·高频分离部1016，与在实际摄像时快门1003打开的状态下所摄像的图像信号从A/D变换部1005输出的定时一致，从存储器1014读出量化后的暗电流噪声成分，将其分离为低频成分和高平成分。例如，低频·高频分离部1016将某一像素X的量化后的暗电流噪声成分Qx根据以下公式分离为低频成分Lx和高频成分Hx。
Hx＝min2(Qx，Qx+1，Qx+2，…，Qx+15)…(5)Hx＝Qx-Lx…(6)在此，Qx+1～Qx+15表示与像素X的左横相邻而存在的15像素各自的量化后的暗电流噪声成分的大小。另外，函数min2是在括号内列举的值中输出第二号较小的值的函数。即，基于(5)公式、(6)公式的低频·高频分离方法，在分离对象的像素和与该像素的左横相邻而存在的15像素合计16像素具有的暗电流噪声成分中，将第二号较小的值作为低频成分，并将从分离对象的像素的暗电流噪声成分减去低频成分的值作为高频成分。在此，未将低频成分设为16像素的暗电流噪声成分中的最小值是为了不将由缺陷像素输出的低电平信号作为低频成分。
第一逆量化部1018对于由低频·高频分离部1016分离后的高频成分Hx，参照由噪声分布分析部1010输入的阈值THn和代表值Vn，通过以下公式进行逆量化。
IHx＝Hx×(Vn-THn)…(7)在此IHx是逆量化后的暗电流噪声的高频成分，该IHx被送到乘法部1026。
另外，第二逆量化部1020对于由低频·高频分离部1016所分离的低频成分Lx，参照从噪声分布分析部1010输入的阈值THn和代表值Vn进行逆量化并且进行扩张。
ILx＝Lx×(Vn-THn)…(8)在此，ILx是逆量化后的暗电流噪声的低频成分。第二逆量化部1020将该ILx与从噪声分布分析部1010输入的下限A中的暗电流噪声成分的值DA相加后的值送到加法部1028。
高频提取部1022对于在关闭快门1003的状态及打开快门1003的状态下所摄像的图像信号，从由设置在摄像元件1004的端部的遮光区域所输出的图像信号提取高频成分，求出该高频成分的平均值，向乘法系数设定部1024输出。高频成分与低频·高频分离部1016相同地利用公式(5)·公式(6)来计算。
乘法系数设定部1024根据在预先关闭快门1003的状态下所摄像的暗电流噪声成分取得由高频提取部1022算出的遮光区域的高频成分的平均值，并且进行储存。另外，从高频提取部1022得到在打开快门1003的状态下所摄像的图像信号中的遮光区域的高频成分的平均值。在状态下所摄像的图像信号中的从遮光区域的像素输出的图像信号，是在进行图像摄像时刻的该像素的暗电流噪声成分。从而，求出与预先储存的暗电流噪声成分的遮光区域的高频成分的平均值的比率，将该比率作为乘法系数与逆量化后的暗电流噪声成分相乘，从而能预测所摄像的图像信号中含有的暗电流噪声的高频成分。
乘法部1026，对由第一逆量化部所扩张的暗电流噪声成分的高频成分乘以从乘法系数设定部1024输出的乘法系数，由此预测图像信号中含有的暗电流噪声成分的高频成分。加法部1028，对该预测后的高频成分加上从第二逆量化部输出的值，由此生成暗电流噪声成分。并且，通过减法部1030从实际的摄像状态下所摄像的图像信号减去加法部1028所生成的暗电流噪声成分，由此从图像信号去除暗电流噪声。
基于涉及的构成，说明图7所示的数码相机的动作。首先，在关闭快门1003的状态下摄像元件1004进行图像摄像。此时，没有光入射到摄像元件1004，因此从摄像元件1004输出的图像信号为暗电流噪声成分(A)。
该暗电流噪声成分(A)由A/D变换部1005变换为数字信号后，被输入到噪声分布分析部1010。在噪声分布分析部1010中，根据整个像素的暗电流噪声成分求出其大小的分布，基于该分布算出量化的阈值THn和代表值Vn。
接着，在再次关闭快门1003的状态下由摄像元件1004对暗电流噪声成分(B)进行摄像。该暗电流噪声成分(B)由A/D变换部1005变换为数字信号后，再次被输入到量化部1012。量化部1012根据由噪声分布分析部1010求出的阈值Vn来对暗电流噪声成分(B)进行量化。在存储器1014中储存该量化后的暗电流噪声成分(B)。
另外，此时所摄像的暗电流噪声成分(B)也被输入到高频提取部1022。高频提取部1022从摄像元件1004的遮光区域中含有的暗电流噪声成分(B)提取高频成分，求出其平均值。该平均值被送到乘法系数设定部1024，并且被储存。
以上为止的动作是至实际进行被摄体摄像之前的阶段为止的动作。至此的动作也可以在每次的摄像时进行，也可以在数码相机的电源接通时进行。在每次摄像时进行的情况下，可以构成为，设置未图示的摄像时检测部，在摄像时检测出后向暗电流噪声去除装置1001指示进行到该阶段为止的动作。暗电流噪声容易受到摄像元件周边的温度环境的影响，因此在刚要摄像之前进行储存的情况下能高精度地取得暗电流噪声成分的值。在电源接通时进行的情况下，可以构成为，设置未图示的电源接通时检测部，检测出电源接通后向暗电流噪声去除装置1001指示进行到该阶段为止的动作。
另外，在该实际进行被摄体摄像之前的阶段为止的动作也可以在数码相机的制造时进行。另外，也可以构成为，在数码相机上设置未图示的定时器，按每恒定期间向暗电流噪声去除装置1001指示进行到该阶段为止的动作。
接着说明实际进行被摄体摄像时的动作。再次在打开快门1003的状态下由摄像元件1004对图像(C)进行摄像。从摄像元件1004输出的图像信号(C)由A/D变换部1005变换为数字信号后，被送到减法部1030，并且也被送到高频提取部1022。高频提取部1022从摄像元件1004的遮光区域中含有的图像信号(C)提取高频成分，求出其平均值，将它送到乘法系数设定部1024。乘法系数设定部1024算出从高频提取部送来的、在遮光区域中含有的图像信号(C)的高频成分的平均值和储存的暗电流噪声成分(B)的高频成分的平均值之间的比率，将它送到乘法部1026作为乘法系数。
另一方面，低频·高频分离部1016，与图像信号(C)从A/D变换部1005输出的定时一致，读出储存到存储器1014的量化后的暗电流噪声成分(B)，将它分离为低频成分(BL)和高频成分(BH)。所分离的高频成分(BH)由第一逆量化部1018逆量化后，由乘法部1026乘以由乘法系数设定部1024求出的乘法系数，来预测图像信号中含有的暗电流噪声成分的高频成分，并被送到加法部1028。另外，所分离的低频成分(BL)由第二逆量化部1020逆量化后，被送到加法部1028。
加法部1028，将逆量化后的暗电流噪声的低频成分(BL)和预测后的暗电流噪声的高频成分(BH)相加，而恢复暗电流噪声(BD)。并且，该恢复后的暗电流噪声成分(BD)被输入到减法部1030，由减法部1030从图像信号(C)减去恢复后的暗电流噪声成分(BD)。由此，能从图像信号(C)去除暗电流噪声成分(BD)。并且，暗电流噪声成分(BD)被去除后的图像信号(CD)记录到记录介质1006。
以上，根据本实施方式4，具有以下的作用效果。
(1)将从遮光区域所属的像素输出的图像信号与预先所储存的相同的像素的暗电流噪声成分相比较，由此算出乘法系数，并与预先所储存的暗电流噪声成分相乘，而能高精度地预测图像信号中含有的暗电流噪声成分。能高精度地去除图像信号中含有的暗电流噪声成分。
(2)暗电流噪声的高频成分具有支配性，因此如本实施方式4所示，在算出乘法系数之际，图像信号及预先所储存的暗电流噪声成分均分别提取多个像素的高频成分，对高频成分彼此进行比较来算出乘法系数，同时仅对暗电流噪声的高频成分进行预测，而能高精度地预测暗电流噪声成分。
(3)预测暗电流噪声成分之际，使一部分处理(在本实施方式4中用于将暗电流噪声成分分离为低频成分和高频成分的处理)在逆量化并扩张之前进行，而能在数据量小的压缩后的状态下执行处理，能减少预测所需的运算量。
以上根据实施方式4说明了本发明。实施方式是例示，本领域技术人员可理解可对这些各构成要素或各处理工序的组合进行各种变形，并且这些变形也在本发明的范围内。
或者在上述的实施方式4中，例示出了数码相机，但是并不限于此，只要是具备摄像元件的装置，就能具备本发明的实施方式的暗电流噪声去除装置。
此外，上述实施方式4中，例示出了在高频提取部1022中，从由遮光区域所输出的图像信号提取多个像素的高频成分，求出该高频成分的平均值的例子，但是并不限于此，也可以求出多个像素的高频成分的中央值或均方根平均值。
另外，在上述实施方式4中，用高频提取部1022求出从暗电流噪声及图像信号提取的多个像素的高频成分的平均值，用乘法系数设定部1024求出这些平均值的比率，算出乘法系数，但是也可以对由高频提取部1022提取的暗电流噪声成分及图像信号的高频成分按每个像素求出各个比率，将这些比率的平均值或中央值或均方根平均值作为乘法系数。
(第三组)
(实施方式5)图10是表示具备本发明的最佳实施方式5的噪声去除装置2001的数码相机2100的构成的图。该构成对于硬件而言可由任意的计算机的CPU、存储器、其他LSI来实现，对于软件而言可由具有载入存储器中的编码化功能的程序等来实现，在此描述由这些组合来实现的功能块。从而，本领域技术人员应该理解这些功能块或仅由硬件、或仅由软件、或者由这些组合以各种形式来实现。
数码相机2100除了暗电流噪声去除装置2001以外，还具备摄像元件2002、模拟前端处理器(AFEAnalog Front End)2003、图像压缩装置2004、记录介质2005。该数码相机2100将由摄像元件2002入射的光变换为电信号，由AFE2003从摄像元件2002的输出信号取出图像信号并进行放大之后，变换为数字信号。其中，由AFE2003取出的图像信号中含有各种噪声成分，由后述的噪声去除装置2001去除这些噪声成分。并且，由图像压缩装置2004对噪声去除后的图像信号进行压缩，记录到记录介质2005。
噪声去除装置2001具备固定模式噪声去除部2010、尾斑噪声去除部2011、固定缺陷噪声去除部2012、随机噪声去除部2013。图11是表示固定模式噪声去除部2010的构成的图。固定模式噪声去除部2010具备存储器2020和减法部2021。在存储器2020中储存预先由摄像元件2002在没有光入射的状态下摄像后的图像信号。或者也可以将该图像信号压缩而储存到存储器2020，也可以储存与该图像信号相关联的信息。在没有光入射的状态下所摄像的图像信号相当于由暗电流引起的固定模式噪声。
实际的摄像状态即在光入射的状态下由摄像元件2002摄像的图像信号经由AFE2003输入到固定模式噪声去除部2010，则与该定时一致，从存储器2020读出构成图像信号的各像素的固定模式噪声，将其送到减法部2021。当储存在存储器2020中的为被压缩的图像信号或者与图像信息相关联的信息时，也可以与上述定时一致，从存储器2020读出按每个像素压缩后的图像信号或者与图像信号相关联的信息，从这些信号或信息恢复固定模式噪声，并且将恢复后的固定模式噪声送到减法部2021也可。并且，由减法部2021从在光入射的状态下所摄像的图像信号减去固定模式噪声，从而去除固定模式噪声。
该固定模式噪声去除部2010也可以采用在上述的实施方式1～4中说明的暗电流噪声去除装置1、7、8、1001那样的构成。本实施方式中的固定模式相当于实施方式1～4的暗电流噪声。
图12是表示尾斑噪声去除部2011的构成的图。尾斑噪声去除部2011具备减法部2030、加法部2031、线路存储器2032、系数产生部2033和乘法部2034。减法部2030从以1行单位连续输入的图像信号S1(n)减去第一尾斑噪声成分D1(n)，并且作为不包含尾斑成分的图像信号S2(n)输出。加法部2031将减法部2030所输出的图像信号S2(n)和从线路存储器2032读出的累加值数据T(n)相加，该相加数据供给到线路存储器2032。线路存储器2032在每次1画面量的图像信号S1(n)的输入完成时复位，并且逐行储存从加法部2031输入的相加数据。由此通过加法部2031将1画面的图像信号S2(n)以各列进行累加，并且在线路存储器2032中储存累加值数据T(n)。
系数产生部2033根据表示摄像元件2002的曝光状态的曝光数据L(m)，产生与摄像元件2002的各受光位(bit比特)中的曝光期间对应的系数k，供给到乘法部2034。乘法部2034对从线路存储器2032读出的累加数据T(n)乘以系数k并且生成尾斑噪声成分D1(n)。
根据这样的尾斑噪声去除部2011，依次累加每次摄像元件的各受光比特所蓄积的信息电荷沿垂直方向逐行被传送时从各受光比特混入的尾斑电荷的量。并且由该累加值表示在信息电荷被传送的过程中混入的尾斑噪声成分，因此从图像信号S1(n)减去该值，而去除尾斑噪声。
固定缺陷噪声去除部2012对每个像素是否为固定缺陷进行判断，判断为固定缺陷时，从周边的像素算出内插值并且置换为该值。图13是表示固定缺陷噪声去除部2012的构成的图。固定缺陷噪声去除部2012具备线路存储器2040、固定缺陷判定部2041、内插值算出部2042、内插值置换部2043。
线路存储器2040按每个行储存以1行单位连续输入的图像信号。线路存储器2040能储存7行量的图像信号。7行量的图像信号被储存之处，新输入图像信号时，将在最久的时间内储存的行的图像信号由新输入的图像信号重写入，而更新线路存储器2040的内容。
固定缺陷判定部2041对每个像素是否为固定缺陷进行判断。例如，对于图14所示的像素F7是否为固定缺陷进行判定时，从线路存储器2040读出周边像素D5、D7、D9、F5、F9、H5、H7、H9的图像信号。并且求出这些周边像素的图像信号的最大值和最小值，并且与像素F7的图像信号的大小进行比较。其结果，当像素F7的图像信号的大小比周边像素的图像信号的最大值异常地大或比最小值异常地小时，判断像素F7为固定缺陷。其以外的情况下，判断为没有固定缺陷。固定缺陷判定部2041对构成像素的全部的像素进行该判断。
内插值计算部2042对于由固定缺陷判定部2041判断是否为固定缺陷的像素，根据周边像素的值算出内插值。内插值置换部2043在固定缺陷判定部2041的判断结果为固定缺陷时，将其像素的图像信号置换为由内插值计算部2042算出的内插值并且输出到外部，其以外的情况下，通过将其像素的图像信号原封不动地输出，而去除固定缺陷噪声。
随机噪声去除部2013与图13所示的固定缺陷噪声去除部2012的构成大致相同，但是在判断随机噪声的有无之际，将周边像素的图像信号的最大值设为上限阈值，将周边像素的图像信号的最小值设为下限阈值，判断对象的像素的图像信号的大小从由该上限阈值和下限阈值表示的范围偏离时，判断为存在随机噪声。并且，在判断为存在随机噪声时，置换为从周边像素的像素值算出的内插值，在判断为不存在随机噪声时，将其像素的图像信号原封不动地输出。
基于涉及的构成，说明图10的数码相机2100的动作。首先数码相机2100在没有光入射的状态下由摄像元件2002对图像进行摄像。此时所摄像的图像表示暗电流引起的固定模式噪声成分。该图像经由AFE2003被送到噪声去除装置2001的固定模式噪声去除部2010，并且被储存。
至此的动作是至实际进行被摄体摄像之前的阶段为止的动作。上述的动作也可以在每次的摄像时进行，也可以在数码相机的电源接通时进行。在每次摄像时进行的情况下，可以构成为，设置未图示的摄像时检测部，摄像时检测出后向固定模式噪声去除部2010指示进行到该阶段为止的动作。暗电流噪声容易受到摄像元件周边的温度环境的影响，因此在刚要摄像之前进行储存的情况下能高精度地取得暗电流噪声成分的值。在电源接通时进行的情况下，可以构成为，设置未图示的电源接通时检测部，检测出电源接通后向固定模式噪声去除部2010指示进行到该阶段为止的动作。
另外，该实际进行被摄体摄像之前的阶段为止的动作也可以在数码相机的制造时进行。另外，具有构成为，在数码相机上设置未图示的定时器，按每恒定期间向固定模式噪声去除部2010指示进行到该阶段为止的动作。
接着说明实际进行被摄体摄像时的动作。这次数码相机2100在光入射的状态下由摄像元件2002进行图像摄像，该图像信号经由AFE2003被送到噪声去除装置2001。在噪声去除装置2001中，对该图像信号首先由固定模式噪声去除部2010去除固定模式噪声，接着由尾斑噪声去除部2011去除尾斑噪声。接着，由固定缺陷噪声去除部2012去除固定缺陷噪声，进一步由随机噪声去除部2013去除随机噪声。通过该顺序去除多个噪声的图像信号由图像压缩装置2004进行图像压缩，并且记录到记录介质2005。
本实施方式5中，其特征在于，由噪声去除装置2001按照固定模式噪声、尾斑噪声、固定缺陷噪声、随机噪声的顺序去除多个噪声，能通过该顺序根据以下的理由高精度地去除各个噪声。例如，对尾斑噪声而言，如上述所述需要对入射光量进行推定，根据所摄像的图像信号来进行该推定，因此若在该图像信号中噪声多，则入射光量的推定精度变差，作为结果应去除的尾斑的计算精度变差。尤其在具有温度依赖性并且与曝光时间成比例地增大的固定模式噪声包含在推定所使用的图像信号中的情况下，很难高精度地推定尾斑噪声。于是，固定模式噪声优选在去除尾斑噪声之前从图像信号中消除。
接着，对固定缺陷噪声而言，为了将用于缺陷像素的判定和置换的插补像素根据周边像素进行，而希望针对去除某一程度噪声的图像进行。另外，存在尾斑噪声通过入射光量达到使信号电平饱和的电平的情况，固定缺陷噪声相反被埋入。因此，尾斑噪声去除希望在固定缺陷噪声去除以前进行。
进一步，随机噪声与其他噪声相比较，作为信号电平非常小，对尾斑噪声去除或固定缺陷噪声去除带来的影响较少。但是，也有图像的粗糙显著的情况。该随机噪声去除使用根据周边像素的特征推定插补的方法，因此优选配置在去除其他噪声成分，作为接近真实的像素值的像素的噪声去除的最终段上。此外，如上所述，随机噪声与其他噪声相比非常小，因此也可以从噪声去除装置2001省略随机噪声去除部。
如上所述，根据本实施方式5，作为去除噪声的顺序，最初去除固定模式噪声，接着去除尾斑，接着去除固定缺陷噪声，从而能高精度地去除各个噪声。另外，在去除随机噪声时，通过去除其他噪声成分之后进行消除，而能高精度地消除含有随机噪声的各个噪声。
(实施方式6)图15是表示具备本发明的最佳实施方式6的噪声去除装置2006的数码相机2110的构成的图。该噪声去除装置2006相对图10的噪声去除装置2001构成为，在随机噪声去除部2013的后段附加了偏置去除部2014。对于与实施方式5相同的构成赋予相同的符号，省略说明。
从摄像元件2002输出的图像信号即使是黑电平的图像信号也不会完全变为零，含有恒定的偏置成分。偏置去除部2014从该图像信号去除该偏置成分。
图16是表示偏置去除部2014的构成的图。偏置去除部2014具备偏置计算部2050、存储器2051及减法部2052。偏置计算部2050从摄像元件2002输出的图像信号中提取设置在摄像元件2002的端部的、没有光入射的区域(遮光区域)所属的一部分的像素的图像信号。为了使从该遮光区域输出的图像信号的大小成为摄像元件2002的黑电平的大小，偏置计算部2050将该图像信号的大小的平均值设为偏置成分，并且将该值储存到存储器2051。因而，通过减法部2052从图像信号减去储存到存储器2051的偏置成分，从而去除偏置成分。
基于涉及的构成，说明图15所示的数码相机2110的动作。首先与图10所示的数码相机2100相同，数码相机2110在没有光入射的状态下由摄像元件2002进行图像摄像，该图像经由AFE2003被送到噪声去除装置2006的固定模式噪声去除部2010，作为固定模式噪声被储存。
至此的动作是至实际进行被摄体摄像前的阶段为止的动作。接着，说明实际进行被摄体摄像时的动作。这次数码相机2110在光入射的状态下由摄像元件2002进行图像摄像，该图像信号经由AFE2003被送到噪声去除装置2006。在噪声去除装置2006中，对于该图像信号首先由固定模式噪声去除部2010去除固定模式噪声，接着由尾斑噪声去除部2011去除尾斑噪声。接着，由固定缺陷噪声去除部2012去除固定缺陷噪声，进一步由随机噪声去除部2013去除随机噪声。并且，由偏置去除部2014去除偏置成分。由该顺序去除多个噪声后的图像信号由图像压缩装置2004进行图像压缩，并且记录到记录介质2005。
本实施方式6中，其特征在于，由噪声去除装置2006去除固定模式噪声之后去除偏置成分，根据以下的理由可高精度地去除偏置成分。即，计算偏置成分之际，使用摄像元件2002的遮光区域所属的像素的图像信号，但是在该图像信号中含有较多暗电流所引起的固定模式噪声。如后所述，固定模式噪声具有温度依赖性，并且与曝光时间成比例地增大，因此若在含有该固定模式噪声的状态下直接算出偏置成分，则其计算精度变差。在此，固定模式噪声的去除希望在偏置成分的去除之前进行。由此，偏置成分的去除的精度变高，能改善画质。
此外，本实施方式6中，示出了将偏置去除部2014配置在随机噪声去除部2013的后段的例子，但是并不限于此，若偏置去除部2014配置在比固定模式去除部2010更靠向后段，则也含在本发明的范畴中。
以上，根据实施方式5及6说明了本发明。本领域技术人员应理解可对这些各构成要素或各处理工序的组合进行各种变形、并且这些变形也在本发明的范围内。
另外，上述的实施方式中，示出了数码相机的例子，但是并不限于此，只要是具备摄像元件的装置，就能具备本发明的实施方式的噪声去除装置。
产业上的可利用性本发明可利用于去除摄像元件的噪声的装置中。
权利要求
1.一种噪声去除装置，具备噪声分布分析部，对于在光遮断的状态下由摄像元件所摄像的第一图像信号，求出构成所述摄像元件的一部分或全部的像素的所述第一图像信号的大小的分布，并根据该分布特定含有所述第一图像信号可取大小的峰值的范围，且在该范围内设定阈值；量化部，对于在光遮断的状态下由所述摄像元件所摄像的第二图像信号，根据所述阈值进行量化；逆量化部，对所述量化后的第二图像信号进行逆量化；减法部，从在光入射的状态下由摄像元件所摄像的第三图像信号减去所述逆量化后的第二图像信号。
2.根据权利要求1所述的噪声去除装置，其中，所述第一图像信号和所述第二图像信号是在不同的时刻所摄像的信号。
3.根据权利要求1所述的噪声去除装置，其中，所述第一图像信号和所述第二图像信号是相同的图像信号，所述噪声分布分析部，将所述第一图像信号分割为多个区域，按该分割后的每个区域求出所述第一图像信号的大小的分布，并根据该分布特定含有所述第一图像信号可取大小的峰值的范围，且在该范围内设定阈值。
4.根据权利要求1～3任一项所述的噪声去除装置，其中，还具备频带分离部，将所述第一图像信号及所述第二图像信号分割为低频成分和高频成分；针对所述高频成分，具备所述噪声分布分析部、所述量化部及所述逆量化部；并且在所述低频成分和由所述逆量化部所逆量化的所述高频成分相加的基础上，将其输入到所述减法部。
5.根据权利要求4所述的噪声去除装置，其中，还具备压缩部，将所述低频成分以与所述高频成分独立的方法进行压缩；和扩张部，将所述压缩后的低频成分扩张；在所述扩张后的低频成分和由所述逆量化部所逆量化的所述高频成分相加的基础上，将其输入到所述减法部。
6.一种噪声去除方法，其中，包括对于在光遮断的状态下由摄像元件所摄像的图像信号，求出暗电流噪声成分的大小的分布的步骤；特定含有所述暗电流噪声成分的大小的峰值的范围的步骤；在所述范围内设定用于量化的阈值的步骤；基于所述阈值对所述暗电流噪声成分进行量化的步骤；对所述量子化后的暗电流噪声成分进行逆量化的步骤；和从实际摄像被摄体时的图像信号，减去所述逆量化后的暗电流噪声成分的步骤。
7.一种噪声去除装置，其中，具备压缩部，对在光遮断的状态下由摄像元件所得到的第一图像信号进行压缩；扩张部，将所述压缩后的第一图像信号扩张；噪声成分预测部，基于由所述压缩部压缩前的第一图像信号的状态和在光入射的状态下由摄像元件所得到的第二图像信号的状态之间的比较，根据所述扩张后的第一图像信号预测所述第二图像信号所含有的噪声成分；和减法部，从所述第二图像信号减去所预测的噪声成分。
8.根据权利要求7所述的噪声去除装置，其中，所述第一图像信号的状态是所述被压缩前的第一图像信号中含有的从遮光区域输出的信号的大小；所述第二图像信号的状态是该第二图像信号中含有的从遮光区域输出的信号的大小。
9.根据权利要求8所述的噪声去除装置，其中，所述噪声成分预测部，通过求出所述第二图像信号所含有的从遮光区域输出的信号的大小和所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的大小之间的比率，并且对所述扩张后的第一图像信号乘以所述比率，来预测所述第二图像信号所含有的噪声成分。
10.根据权利要求7～9中任一项所述的噪声去除装置，其中，还具备前处理部，对所述压缩后的第一图像信号进行用于预测所述第二图像信号所含有的噪声成分的前处理，所述扩张部将该前处理后的第一图像信号进行扩张。
11.根据权利要求10所述的噪声去除装置，其中，所述前处理部将所述压缩后的第一图像信号分离为低频成分和高频成分，所述扩张部分别将所述低频成分和高频成分进行扩张，所述噪声成分预测部，在根据所述扩张后的高频成分预测所述第二图像信号所含有的噪声成分的高频成分的基础上，与所述扩张后的低频成分相加，来预测所述第二图像信号所含有的噪声成分。
12.根据权利要求11所述的噪声去除装置，其中，所述第一图像信号的状态是所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的高频成分的大小；所述第二图像信号的状态是该第二图像信号所含有的从遮光区域输出的信号的高频成分的大小，所述噪声成分预测部，求出所述第二图像信号所含有的从遮光区域输出的信号的高频成分的大小和所述被压缩前的第一图像信号所含有的从遮光区域输出的信号的高频成分的大小之间的比率，并且对所述扩张后的第一图像信号的高频成分乘以所述比率，由此预测所述第二图像信号所含有的噪声成分的高频成分。
13.根据权利要求7～12中任一项所述的噪声去除装置，其中，所述压缩部具备噪声分布分析部，针对所述第一图像信号，求出一部分或全部的像素具有的所述第一图像信号的大小的分布，根据该分布特定含有所述第一图像信号可取大小的峰值的范围，在该范围内设定量化的阈值；和量化部，对所述第一图像信号基于所述阈值进行量化。
14.一种噪声去除装置，其中，具备固定模式噪声去除部，从摄像元件所输出的图像信号去除摄像元件的暗电流所引起的固定模式噪声；和尾斑噪声去除部，从去除所述固定模式噪声的图像信号去除入射光所引起的尾斑噪声。
15.根据权利要求14所述的噪声去除装置，其中，作为所述固定模式噪声去除部，利用权利要求1～5以及权利要求7～13的任一项所述的噪声去除装置。
16.根据权利要求14或15所述的噪声去除装置，其中，所述尾斑噪声去除部，通过从所述固定模式噪声去除后的图像信号减去累加值来去除尾斑噪声，该累加值是依次累加每次所述摄像元件的各受光比特所蓄积的信息电荷沿垂直方向逐行被传送时从各受光比特混入的尾斑电荷的量而得到的值。
17.根据权利要求14～16中任一项所述的噪声去除装置，其中，还具备固定缺陷噪声去除部，从所述尾斑噪声去除后的图像信号，去除摄像元件制造时的缺陷所引起的固定缺陷噪声。
18.根据权利要求17所述的噪声去除装置，其中，所述固定缺陷噪声去除部，对所述摄像元件的每个像素是否是固定缺陷进行判断，在判断为固定缺陷时，从周边的像素算出内插值并且置换为该值。
19.根据权利要求17或18所述的噪声去除装置，其中，还具备随机噪声去除部，从所述固定缺陷噪声去除后的图像信号，去除摄像元件的热变动所引起的随机噪声。
20.根据权利要求14～19中任一项所述的噪声去除装置，其中，还具备偏置去除部，去除所述图像信号所含有的偏置成分，输入到所述偏置去除部的图像信号是由所述固定模式噪声去除部去除固定模式噪声后的信号。
21.根据权利要求20所述的噪声去除装置，其中，所述偏置去除部具备偏置计算部，提取输入到该偏置去除部的图像信号中的、所述摄像元件的遮光区域所属的像素的图像信号，算出该提取后的图像信号的大小的平均值作为偏置成分；和减法部，从输入到该偏置去除部的图像信号减去所述偏置成分。
全文摘要
提供一种具有高频成分多的特性且将暗电流噪声成分高压缩地储存的噪声去除装置，噪声分布分析部(10)根据至少一部分的像素的暗电流噪声成分求出其大小的分布，基于该分布算出量化的阈值和代表值。量化部(12)基于所算出的阈值对暗电流噪声成分进行量化，在存储器(14)中储存该量化后的暗电流噪声成分。逆量化部(16)对于储存到存储器(14)的量化后的暗电流噪声成分，参照由噪声分布分析部(10)所算出的代表值，对暗电流噪声成分进行逆量化。该逆量化后的暗电流噪声成分被输入到减法部(18)，由减法部(18)从图像信号减去逆量化后的暗电流噪声成分。
文档编号H04N5/217GK101049013SQ20058003607
公开日2007年10月3日 申请日期2005年10月18日 优先权日2004年10月22日
发明者铃木和博, 加藤桂史 申请人:三洋电机株式会社