专利名称：能够快速且容易地进行校正处理的图像处理设备和方法
技术领域：
本发明涉及能够对包括由固态摄像装置的制造所引起的缺陷像素的图像数据进行校正的图像处理设备和图像处理方法。
背景技术：
由于固态摄像装置的制造工艺，该摄像装置有时包括不能对入射光作出适当反应的缺陷元件。难以制造出完全不存在这种缺陷元件的固态摄像装置。为了克服使用固态摄像装置的传统设备的该问题，已提出如下单元，其中，该单元用于使用一维或二维滤波器对从固态摄像装置的缺陷元件输出的缺陷像素的数据(缺陷像素数据)进行校正(例如，参见日本特开2006-3M908)。被配置为使用滤波器校正缺陷像素数据的该单元使用从缺陷像素周围的、具有关于与缺陷像素数据的颜色相同的颜色的信息的正常像素(参考像素)所获得的像素数据来进行校正。然而，在使用滤波器进行校正的单元中，出现以下问题当要对整个图像数据进行校正时，如果缺陷像素位于该图像数据的端部，则应当围绕该缺陷像素的参考像素中的一部分丢失，从而使得无法校正该缺陷像素。为了解决该问题，已提出如下单元当滤波用的一些参考像素丢失时，将位于端部的数据外插至丢失的参考像素应当存在的位置，由此生成伪参考像素，以使得能够使用滤波器(例如，参见日本特开2006-094160)。然而，在滤波用的一些参考像素丢失时所使用的传统校正单元中，需要通过复制图像数据的端部处的有效像素数据来生成伪参考像素，从而补偿丢失的参考像素。必须通过停止图像数据的输入来进行复制有效像素数据以生成针对丢失的参考像素的伪参考像素的操作。这使图像处理设备的吞吐量下降。此外，该校正单元需要用于停止图像数据输入的流程控制和与该流程控制相关联的控制电路，因此电路变得复杂。
发明内容
本发明提供以下的图像处理设备和图像处理方法能够使用与校正对象像素周围的有效参考像素有关的数据迅速和容易地通过滤波进行校正处理。在本发明的第一方面中，提供一种图像处理设备，包括获取单元，用于取入包括有效区域数据和用于对所述有效区域数据的像素的值进行校正的无效区域数据的图像数据，其中，所述有效区域数据是从摄像装置的预设范围内的像素输出元件读出的，所述无效区域数据是从所述摄像装置的所述预设范围外的像素输出元件读出的，所述摄像装置包括缺陷像素输出元件；信号生成单元，用于将第一信号和第二信号叠加，由此生成表示缺陷判定像素的位置的缺陷像素判断信号，其中，所述第一信号表示所述摄像装置的所述缺陷像素输出元件的位置，所述第二信号表示在所述摄像装置的所述预设范围外的各个像素的位置；以及校正单元，用于当基于所述缺陷像素判断信号将所述图像数据中的对象像素判断为所述缺陷判定像素时，使用与位于所述对象像素周围的像素中的如下像素相关联的图像数据的值对所述图像数据中的所述对象像素的值进行校正该像素均是基于所述缺陷像素判断信号未被判断为所述缺陷判定像素的像素。在本发明的第二方面中，提供一种图像处理方法，用于处理从包括缺陷像素输出元件的摄像装置所输出的图像，所述图像处理方法包括以下步骤取入包括有效区域数据和用于对所述有效区域数据的像素的值进行校正的无效区域数据的图像数据，其中，所述有效区域数据是从所述摄像装置的预设范围内的像素输出元件读出的，所述无效区域数据是从所述摄像装置的所述预设范围外的像素输出元件读出的；将第一信号和第二信号叠力口，由此生成表示缺陷判定像素的位置的缺陷像素判断信号，其中，所述第一信号表示所述摄像装置的所述缺陷像素输出元件的位置，所述第二信号表示在所述摄像装置的所述预设范围外的各个像素的位置；以及当基于所述缺陷像素判断信号将所述图像数据中的对象像素判断为所述缺陷判定像素时，使用与位于所述对象像素周围的像素中的如下像素相关联的图像数据的值对所述图像数据中的所述对象像素的值进行校正该像素均是基于所述缺陷像素判断信号未被判断为所述缺陷判定像素的像素。根据本发明，可以使用与校正对象像素周围的有效参考像素有关的数据迅速和容易地通过滤波对缺陷像素进行校正。通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。
图1是根据本发明第一实施例的摄像设备的主要部分的示意框图。图2是根据第一实施例的摄像设备所执行的拍摄处理的流程图。图3AJB和3C是用于说明无效区域数据和周围参考区域的概念图。图4是根据第一实施例的摄像设备的缺陷像素校正电路的框图。图5A、5B和5C是用于说明缺陷判定像素的概念图。图6是根据第一实施例的摄像设备的缺陷像素校正部的框图。图7的(a) (η)是用于说明由根据第一实施例的摄像设备的校正方法确定部所确定的缺陷像素的位置图案的示意图。图8是用于说明来自根据本发明第二实施例的摄像设备的数字信号处理器内的各个块的输出的概念图，其中，这些输出各自用传感器映射来表示。图9是根据第二实施例的摄像设备所使用的示出传感器映射上的二维滤波器的位置的传感器映射。图10是根据第二实施例的摄像设备所使用的示出另一类型的二维滤波器的位置的传感器映射。
具体实施例方式以下将参考示出本发明实施例的附图来详细说明本发明。首先，将说明根据本发明第一实施例的图像处理设备。注意，将省略对该图像处理设备中与本发明不直接相关的组成元件和部分的例示和说明。图1是摄像设备的框图。附图标记100表示该摄像设备的主单元。摄像设备100 具有对在从摄像装置102输出的二维图像数据中所生成的缺陷像素进行适当校正、从而输出良好图像的功能。如图1所示，摄像设备100使已穿过光学镜头101的光在摄像装置102上形成图像。在摄像设备100中，数字信号处理器114的摄像数据输入接口 111将用于驱动摄像装置102的同步信号输出至时序发生器(TG) 105。时序发生器105驱动摄像装置102以将在摄像装置102上形成的二维图像输出至模拟处理电路103。模拟处理电路103对该二维图像进行包括非线性放大处理的处理并将处理后的图像输出至模数转换器104。模数转换器104将来自模拟处理电路103的模拟信号转换成数字信号，然后将该数字信号输出至数字信号处理器114的摄像数据输入接口 111。数字信号处理器114从DRAM(存储部)109读出缺陷像素数据，并对数字信号进行缺陷像素校正处理、同步处理和降噪处理。然后，数字信号处理器114将处理后的数字信号转换成例如通过JPEG压缩后的文件。将转换得到的数字信号输出至操作显示部106或可移除介质107。此外，摄像设备100设置有CPU 108，其中，CPU 108不仅进行各种计算操作还控制设备的整体操作。ROM 110连接至CPU 108。ROM 110存储CPU 108要预取的数据，并在启动摄像设备100时将该数据输出至CPU 108。此外，ROM 110还存储关于与摄像装置102未示出的像素输出元件中有缺陷的像素输出元件相对应的缺陷像素的数据，并将该数据(缺陷像素数据)经由CPU 108输出至DRAM(存储部)109。摄像设备100所使用的摄像装置102由二维图像传感器构成。摄像装置102包括 感光部，其中，用于在画面上形成图像的像素输出元件以二维方式排列，即以与画面的水平方向和垂直方向相关联的方式排列；以及输出放大器，用于将各个像素输出元件所生成的电荷转换成电信号并将该电信号作为模拟电信号输出。摄像装置102的各个像素输出元件设置有原色滤波器，并且例如，将这些像素输出元件分类成用于分别传送红色(R)像素的像素输出元件、用于分别传送绿色(G)像素的像素输出元件以及用于分别传送蓝色(B)像素的像素输出元件。在本实施例中，假定对于原色滤波器，采用拜耳阵列。在摄像装置102中，存在具有在制造工艺期间发生的结构缺陷的像素输出元件。这里使用的术语“缺陷像素输出元件”是指不会像正常像素输出元件那样对入射光作出反应的像素输出元件、或者在不存在任何入射光的情况下生成异常大量的暗电流的像素输出元件。此外，术语“缺陷像素”表示这种缺陷像素输出元件所输出的像素。存储在ROM 110中的、用于指定要从各个缺陷像素输出元件输出的缺陷像素的位置的缺陷像素数据是从摄像装置102的制造商供给的。可选地，在摄像装置102的制造工艺期间判别这些缺陷像素，并且准备作为指定这些缺陷像素的位置的数据的缺陷像素数据。将从摄像装置102输出的模拟电信号输入至模拟处理电路103。模拟处理电路103 包括用于去除由传输线路等所引起的噪声的未示出的CDS (相关双采样)电路、以及未示出的非线性放大电路。模拟处理电路103将该CDS电路和该非线性放大电路对所输入的模拟电信号进行处理的结果输出至模数转换器104。模数转换器104将从摄像装置102输出并由模拟处理电路103处理后的模拟电信号转换成数字电信号(图像信号)，然后将该数字电信号输出至数字信号处理器114。接着，将参考图2来说明根据本实施例的摄像设备100的CPU 108所执行的拍摄处理。当用户例如通过接通摄像设备100的电源开关进行拍摄开始操作时，拍摄处理开始。然后，CPU 108从ROM 110读出缺陷像素数据并将该缺陷像素数据输出至DRAM(存储部)109。同时，CPU 108从ROM 110读出曝光时间和其它设置，并且配置摄像设备100的相关块所要进行的操作(步骤S201)。这些相关块与图1所示的摄像设备100的所有块相对应。接着，CPU 108驱动光学镜头101以使被摄体聚焦(步骤S202)。然后，CPU 108判断拍摄是否已开始(步骤S203)。如果拍摄未开始(步骤S203 中为“否”)，则CPU 108等待直到拍摄开始为止。如果拍摄已开始(步骤S203中为“是”)， 则处理进入步骤S204。作为开始拍摄的方法，可以采用检测用于开始拍摄控制的开关操作的方法、或者例如在使用自拍器等时检测预定时间的经过的方法。然后，CPU 108控制时序发生器105以初始化摄像装置102。同时，CPU 108控制摄像数据输入接口 111设置从摄像装置102输出的图像信号以使得能够进行信号累积(步骤 S204)。然后，CPU 108打开配置在光学镜头101前方的未示出的快门，并进行控制以使得摄像装置102的曝光开始(步骤S205)。此时，摄像数据输入接口 111将VD/HD同步信号等输出至时序发生器105。然后，CPU 108判断在打开快门之后所经过的曝光时间是否已达到在步骤S201中设置的预定时间段(步骤S206)。如果曝光时间未达到所设置的预定时间段(步骤S206中为“否”)，则CPU 108等待，直到曝光时间达到所设置的预定时间段为止。如果判断为曝光时间已达到所设置的预定时间段(步骤S206中为“是”)，则CPU 108关闭快门以由此终止摄像装置102的曝光(步骤S207)。然后，将从摄像装置102输出的模拟数据信号输入至模拟处理电路103并对其进行信号处理。然后，将处理后的模拟数据信号输出至模数转换器 104，在模数转换器104中，将该模拟数据信号转换成数字电信号(像素信号)，然后将该数字电信号输出至数字信号处理器114(步骤S208)。然后，CPU 108控制数字信号处理器114以进行图像处理(步骤S209)。之后，CPU 108将数字信号处理器114处理后的图像显示在操作显示部106上，或者将该图像的数据记录在介质107中(步骤S210)，之后终止本拍摄处理。接着，将说明作为本实施例的摄像设备100的数字信号处理电路的数字信号处理器 114。数字信号处理器114包括摄像数据输入接口 111、缺陷像素校正电路112和信号处理电路113。摄像数据输入接口 111根据来自摄像装置102的输出取入图像数据，将表示获取到的图像数据是有效区域数据还是无效区域数据的信号(区域判别数据)添加至该获取到的图像数据，并将图像传送数据传送至缺陷像素校正电路112。缺陷像素校正电路112对包含在来自摄像装置102的输出中的缺陷像素进行校正。信号处理电路113对来自缺陷像素校正电路112的输出进行信号处理。在该信号处理中，进行同步、降噪和例如通过JPEG的压缩。
6
接着，将参考图3AJB和3C来说明利用缺陷像素校正电路112的处理的详细内容。图3A示出从摄像数据输入接口 111输出的图像数据。图3A所示的图像数据303 是二维图像数据。有效区域数据300是从对摄像装置102预先设置的预设范围的像素输出元件读出的，并且用作要写入介质107的图像数据的源。在图3A中出现的无效区域数据302是从摄像数据输入接口 111输出的图像数据 303中除有效区域数据以外的图像数据部分。通常，无效区域数据302是诸如光学黑区域等的不写入介质107的区域中的图像数据。无效区域数据302是从摄像数据输入接口 111输出、以用于生成对由摄像装置102的特性而引起的有效区域数据300的像素值的误差进行校正用的数据。在图3A中出现的周围参考区域301与在图:3B中出现的、用于对校正对象像素304 进行校正的周围参考像素305的范围相对应。在第一实施例中，将以校正对象像素304为中心的包含3X3个像素的区域定义为周围参考区域301。校正对象像素304是要基于在图:3B中出现的周围参考像素305进行校正的缺陷像素。周围参考像素305的原色信息与位于下文所述的周围参考区域301中的校正对象像素304的原色信息相同。具体地，在用于校正缺陷像素的操作中，在图像数据303的范围内扫描来自摄像数据输入接口 111的输出。此时，利用缺陷像素校正电路112对被判断为缺陷像素的各校正对象像素304进行校正。接着，将参考图4来详细说明缺陷像素校正电路112。缺陷像素校正电路112包括缺陷像素判断部401、无效图像数据检测部402和缺陷像素校正部400。缺陷像素校正电路112的无效图像数据检测部402基于从摄像数据输入接口 111 输出的未示出的同步信号和由附图标记404表示的区域判别数据，检测图像数据303的像素相关图像数据项是否属于无效区域数据302。更具体地，区域判别数据404是表示与无效区域数据302相对应的各个像素的地址的数据，并且无效图像数据检测部402对同步信号计数，由此识别图像数据303的像素相关图像数据项是从哪个地址读出的。当识别出的地址和与无效区域数据302相对应的像素的地址一致时，无效图像数据检测部402判断为图像数据303的像素相关图像数据项属于无效区域数据302，由此检测无效区域数据302的像素相关项。然后，当检测到无效区域数据302的像素相关项时，无效图像数据检测部402向 OR( “或”)电路408输出表示图像数据303的像素相关项属于无效数据区域302的二值无效图像数据检测信号406。与无效图像数据检测信号406相关联的像素(无效图像数据)在传感器映射上的具体位置如图3C所示。缺陷像素校正电路112的缺陷像素判断部401基于从摄像数据输入接口 111输出的未示出的同步信号和从DRAM(存储部)109读出的缺陷像素数据403，判断图像数据(像素相关图像数据项)是否是从缺陷像素输出元件生成的。缺陷像素数据403存储缺陷像素的地址，并且缺陷像素判断部401对这些同步信号计数，由此识别图像数据303的像素相关图像数据项是从哪个地址读出的。当识别出的地址与包括在缺陷像素数据403中的像素地址一致时，缺陷像素判断部401判断为图像数据303的像素相关图像数据项是从缺陷像素输出元件输出的。然后，当判断为图像数据303的像素相关图像数据项是从缺陷像素输出元件输出的时，缺陷像素判断部401向OR电路408输出表示图像数据303的像素相关图像数据项是从缺陷像素输出元件输出的二值缺陷像素检测信号407。OR电路408用作以下的信号生成部当将缺陷像素检测信号407和无效图像数据检测信号406中的至少一个输入至该信号生成部时，该信号生成部将缺陷像素判断信号 405传送至缺陷像素校正部400。更具体地，OR电路408输出缺陷像素检测信号407和无效图像数据检测信号406的逻辑和。生成缺陷像素判断信号405作为如下的缺陷像素判断数据(缺陷像素判断用的数据)，其中，该缺陷像素判断数据是通过将作为第一信号的缺陷像素检测信号407和作为第二信号的无效图像数据检测信号406叠加所获得的。以下，将基于缺陷像素判断信号405被判断为与摄像装置102的缺陷像素输出元件相关联的像素或者在与摄像装置102相关联地设置的范围(与有效区域数据300相关联的有效区域)以外的像素称为缺陷判定像素。将该缺陷判定像素的图像数据转换成缺陷像素判断信号405的值。可选地，可以向生成缺陷像素判断信号405所依据的像素相关图像数据项添加标志以表示该情况。现在，将参考图5A、5B和5C来说明转换成缺陷像素判断信号405的像素相关图像数据项(以下还简称为像素)在传感器映射上的位置。图5A是示出各自与缺陷像素检测信号407相关联的像素在传感器映射上如何配置的概念图。图5B是示出各自与无效图像数据检测信号406相关联的像素在传感器映射上如何配置的概念图。图5C示出通过将图 5A所示的像素叠加在图5B所示的像素上所获得的、各自与缺陷像素判断信号405相关联的像素。换言之，图5C总体示出在图5A中出现的各自与缺陷像素检测信号407相关联的像素的各个位置、以及在图5B中出现的与无效图像数据检测信号406相关联的像素的各个位置。缺陷像素校正电路112的缺陷像素校正部400基于如上生成的缺陷像素判断信号 405对图像数据303进行校正，并输出校正后的图像数据303。缺陷像素校正部400如图6所示配置。缺陷像素校正部400包括缓冲器601、数据校正部600和校正方法确定部602。缓冲器601是用于存储图像数据303和基于缺陷像素判断信号405所获得的如下数据的电路，其中，该数据由数据校正部600或校正方法确定部602用于二维滤波器。缺陷像素校正部400的校正方法确定部602是用于确定数据校正部600要采用的校正方法的块。将参考图7的(a) (η)来说明校正方法确定部602用于确定校正方法的操作。图7的(a) (η)中的各标记“X”表示被转换成缺陷像素判断信号的缺陷判定像素500。各缺陷判定像素500表示从缓冲器601输出的缺陷像素判断信号405在二维滤波器上位于何处。图7的(a) (η)示出在周围参考像素305中缺陷判定像素500发生的位置的可能图案。特别地，缺陷判定像素500在图7的(e)的上侧、图7的(f)的右侧、图7的(g) 的下侧、图7的(h)的左侧、图7的(k)的左侧和上侧、图7的(1)的上侧和右侧、图7的 (m)的右侧和下侧以及图7(n)的下侧和左侧发生。更具体地，这些图案与在周围参考像素305是无效区域数据302的像素的情况下被校正方法确定部602判断为缺陷判定像素500 的各周围参考像素305的图案相对应。图7的(e) (h)所示的图案与如下情况相对应 缺陷判定像素500分别与有效区域数据300的上侧、右侧、下侧和左侧的外部的无效区域数据302的一部分相对应，而图7的(k) (η)所示的图案与如下情况相对应缺陷判定像素 500与有效区域数据300的各个左上角、右上角、右下角和左下角外侧的无效区域数据302 的一部分相对应。校正方法确定部602确定各缺陷判定像素500在图7的(a) (η)其中之一中的位置，并且使数据校正部600进行校正对象像素304的数据校正。注意，对于图像数据303 中未被判断为缺陷像素的数据、因而未被设置为校正对象像素304的数据的各像素相关数据项，不进行数据校正。在进行数据校正的情况下，当缺陷判定像素500位于周围参考像素305的位置时， 校正方法确定部602向数据校正部600通知仅使用不是缺陷判定像素500的周围参考像素 305来进行缺陷像素校正的校正方法。当接收到该通知时，数据校正部600基于来自校正方法确定部602的通知确定二维滤波器，然后进行数据校正以传送校正后的数据。因而，在校正方法确定部602中，数据校正部600使用既非缺陷像素的数据也非无效区域数据的像素的数据来进行校正。如上所述，在根据本实施例的摄像设备100的缺陷像素校正电路112中，与缺陷像素的图像数据相同，将无效区域数据302作为缺陷判定像素的图像数据进行处理。这使得缺陷像素校正电路112能够在例如不通过复制图像区域端部数据生成伪参考像素的情况下进行适当的缺陷像素校正。注意，尽管在本实施例中、缺陷像素判断部401基于从DRAM(存储部)109读出的缺陷像素数据403生成缺陷像素检测信号407，但这不是限制性的，而且缺陷像素判断部 401可被配置为基于对象像素的水平和该对象像素周围的像素的水平之间的比较结果来判断该对象像素是否是缺陷像素。简言之，在第一实施例中，缺陷像素判断部401输出用于指定由包括在摄像装置 102中的缺陷像素输出元件所引起的缺陷像素的位置的缺陷像素检测信号407。同时，无效图像数据检测部402基于区域判别数据404检测无效区域数据302的像素相关图像数据项，并输出表示检测到的数据项是无效区域数据302的数据项的无效图像数据检测信号406。在本第一实施例中，与无效图像数据检测信号406相关联的像素在传感器映射上的具体位置与如图3C所示位于整个图像数据303最外周(四个边)的像素阵列相对应(该像素阵列可以是单个像素阵列)。注意，无效区域数据302的像素的区域位于作为图像数据的有效区域数据300的像素的区域的范围之外。然后，将缺陷像素检测信号407和无效图像数据检测信号406彼此叠加，由此生成缺陷像素判断信号405。在缺陷像素校正部400中，利用数据校正部600对从摄像装置输出的图像数据的像素中、由校正方法确定部602基于缺陷像素判断信号405所识别出的缺陷判定像素500 进行数据校正。在进行数据校正的情况下，缺陷像素校正部400的校正方法确定部602检测在周围参考像素305的位置中是否存在缺陷判定像素500。然后，当在周围参考像素305的位置中检测到缺陷判定像素500时，校正方法确定部602向数据校正部600通知仅使用不是缺陷判定像素500的周围参考像素305的数据来进行缺陷像素校正的校正方法。数据校正部600根据来自校正方法确定部602的通知，执行诸如二维滤波处理等的信号处理。仅当包括在摄像装置102中的缺陷像素输出元件位于与有效区域数据300的像素的区域相对应的范围内时，才执行包括二维滤波处理的信号处理。此外，仅使用位于有效区域数据300的像素范围内的周围参考像素305来进行包括二维滤波处理的信号处理。在包括二维滤波处理的信号处理中，如果多个周围参考像素 305位于有效区域数据300的像素范围内，则可以使用周围参考像素305的平均值，而如果仅单个周围参考像素305存在于该像素范围内，则可以使用该单个周围参考像素305的值。 可选地，当多个周围参考像素305位于有效区域数据300的像素范围内时，可以分别确定以校正对象像素304作为中心的像素在多个方向上的相关性，并且优选使用位于相关性最高的方向上的像素对校正对象像素304的值进行校正。尽管在本实施例中、二维滤波器由 3X3个像素构成，但这不是限制性的，而且可以采用众所周知的各种二维滤波器。例如，可以使用5X5像素的滤波器或7X7像素的滤波器、即滤波器的抽头数量增加的滤波器。可选地，代替使用同种颜色的像素，可以根据二维滤波器上的区域的图像数据的色度将从颜色相同的像素和颜色不同的像素所获得的校正值混合。尽管在以上例子中基于绿色(G)像素的例子进行了说明，但众所周知，还可以利用相同的方法对蓝色(B)像素或红色(R)像素进行针对校正对象像素的值的校正。此外，代替二维滤波器，可以使用被配置为参考位于相对于对象像素的垂直或水平方向上的像素值的一维滤波器。如上所执行的滤波处理不需要用于将图像区域端部数据外插至丢失的参考像素应当存在的位置从而生成伪参考像素的麻烦处理。因此，根据第一实施例，可以迅速和容易地进行基于滤波器的校正处理。接着，将参考附图来说明根据本发明第二实施例的摄像设备。同样，在第二实施例的摄像设备中，缺陷像素校正电路112将缺陷像素检测信号407和无效图像数据检测信号 406彼此叠加，由此生成缺陷像素判断信号405，并且缺陷像素校正部400基于缺陷像素判断信号405对输入图像数据进行校正。在以下对第二实施例的摄像设备的说明中，省略了对与第一实施例的摄像设备的组成部分相同的组成部分的说明，并且将主要说明与第一实施例的不同之处。将参考图8来详细说明从包括在本摄像设备的数字信号处理器114中的各块所输出的数据。图8通过关注从数字信号处理器114的摄像数据输入接口 111、缺陷像素校正电路 112和信号处理电路113各自输出的数据的区域来示出传感器映射。图8的(a)示出来自根据第二实施例的摄像设备的数字信号处理器114的输出数据。如图8的(a)所示，图像数据803包括有效区域数据800和额外像素数据A 801。有效区域数据800是要记录在介质中的图像数据。此外，本实施例中的额外像素数据A801与第一实施例中被称为无效区域数据的图像数据相对应，并且在本实施例中，额外像素数据A 801提供了在对位于有效区域数据800的像素的图像区域的端部处的像素进行算术运算时所使用的参考像素。额外像素数据A 801是在对有效区域数据800进行缺陷像素校正处理期间所参考的额外数据用的区域。在本数字信号处理器114中，缺陷像素校正电路112所使用的二维滤波器包括 3 X 3个像素。在数字信号处理器114中，将额外像素数据A形成为相对于有效区域数据800 垂直地和水平地延伸1个像素的区域。基于从摄像数据输入接口 111输出的区域判别数据来进行针对额外像素数据A的判断。接着，将详细说明根据第二实施例的摄像设备的数字信号处理器114的操作。假定第二实施例的摄像设备被配置为对图像数据进行光栅读取。更具体地，在一条线中的最后像素的图像数据之后，该摄像设备继续读出下一条线的开头像素的图像数据。在数字信号处理器114中，将图像数据303从摄像数据输入接口 111输出至缺陷像素校正电路112。然后，缺陷像素校正电路112将所输入的图像数据303的额外像素数据A 801的像素相关图像数据项作为缺陷判定像素进行处理，由此在无需用于复制图像区域的端部处的像素的电路的情况下，使用二维滤波器来进行缺陷像素校正处理。然后，缺陷像素校正电路112将通过该缺陷像素校正处理所生成的有效区域数据802输出至信号处理电路113。图9示出如下状态在利用缺陷像素校正电路112的处理期间，二维滤波器的周围参考像素805的位置(参考区域)位于图像数据的端部。位于校正对象像素804周围的同种颜色像素GO G3是周围参考像素805。在图9中，附图标记811表示二维滤波器的像素的如下状态校正对象像素804存在于有效区域数据800的范围内，并且周围参考像素805 的一部分存在于额外像素数据A801的区域中。在这种状态下，周围参考像素805的像素GO 和G2位于额外像素数据A 801的区域中，因此缺陷像素校正电路112将周围参考像素GO 和G2的数据视为缺陷判定像素的数据，并基于周围参考像素Gl和G3的数据对校正对象像素804进行校正。当然，当周围参考像素Gl和G3中的一个是缺陷像素并被作为缺陷判定像素进行处理时，不利用该像素的数据进行对校正对象像素804的校正。在图9中，附图标记812表示二维滤波器的像素的如下状态当从图9观看时，校正对象像素804存在于额外像素数据A 901的区域中，并且一部分的周围参考像素805明显存在于图像数据803的输出范围之外。如上所述，在第二实施例中，摄像设备被配置为对图像数据进行光栅读取。由于该原因，滤波器812的周围参考像素G2与包含校正对象像素804的线中的最后像素相对应， 并且周围参考像素GO与包含周围参考像素Gl的线的紧前(上一)线中的最后像素相对应。 由于周围参考像素805的像素GO和G2位于额外像素数据A 801的区域中，因此缺陷像素校正电路112将周围参考像素GO和G2视为缺陷判定像素，并将校正对象像素804的值转换成周围参考像素Gl和G3的平均值。在第二实施例中，使用二维滤波器使得可以将存在于额外像素数据A 801的区域中的任意像素的值转换成仅根据存在于有效区域数据800的范围中的图像数据计算出的值。这使得能够生成可被视为使整个额外像素数据A 801转换成有效区域数据的图像数据。因而，如图8的(a)所示，从缺陷像素校正电路112输出最终使有效区域数据二维延伸一个像素的图像数据814，并将该图像数据814输入至信号处理电路113。在例如使用二维滤波器进行降噪处理的情况下，信号处理电路113可以使用有效区域数据相对于图像数据 803的有效区域数据延伸了的图像数据814。更具体地，信号处理电路113可以将图像数据814视为有效区域数据800的外侧添加有伪参考像素的图像数据，由此生成经过了降噪处理的图像数据。信号处理电路113从进行了用于信号处理的多个处理的图像数据切出与有效区域数据800相对应的区域，并且输出该区域作为图像数据815。参考图8的(b)，图像数据903包括有效区域数据900、额外像素数据A 901和额外像素数据B 902。有效区域数据900和额外像素数据A 901分别与图8的(a)的有效区域数据800 和额外像素数据A 801相同。额外像素数据B902由分别添加至额外像素数据A 901的垂直侧和水平侧的额外像素阵列构成。在以下参考图10和图8的(b)所述的例子中，假定缺陷像素校正电路112所使用的二维滤波器由5X5个像素构成。在数字信号处理器114中，通过将额外像素数据A 901 和额外像素数据B902彼此叠加所获得的区域相对于有效区域数据800垂直地和水平地延伸了两个像素。这些像素是基于从摄像数据输入接口 111所输出的区域判别数据来判断的。接着，将详细说明根据第二实施例的摄像设备的数字信号处理器114的操作。在数字信号处理器114中，摄像数据输入接口 111将图像数据903输出至缺陷像素校正电路112。然后，缺陷像素校正电路112在将额外像素数据A 901和额外像素数据B 902作为缺陷判定像素进行处理的情况下进行缺陷像素校正，并将通过该缺陷像素校正所生成的图像数据914输出至信号处理电路113。图10示出在利用缺陷像素校正电路112的处理期间、二维滤波器的周围参考像素 905的位置(参考区域)位于图像数据的端部的状态。位于校正对象像素904周围的同种颜色像素是周围参考像素905 (GO Gll)。在图10中，附图标记911表示二维滤波器的像素的如下状态校正对象像素904存在于有效区域数据900的范围内，并且周围参考像素 905的一部分存在于额外像素数据A 901或额外像素数据B 902的区域中。在这种状态下， 周围参考像素GO、G2、G4、G7和G9是额外像素数据A 901或额外像素数据B 902的像素， 因此缺陷像素校正电路112将周围参考像素G0、G2、G4、G7和G9的数据视为缺陷判定像素的数据，并基于其它的周围参考像素Gl、G3、G5、G6、G8、GlO和Gll对校正对象像素904进行校正。例如，可以通过在对离校正对象像素904较近的周围参考像素分配较大的权重的情况下对这些周围参考像素的值进行加权平均来计算校正对象像素904的校正值。在图10中，附图标记912表示二维滤波器的像素的如下状态当从图10观看时， 校正对象像素904存在于额外像素数据A901的区域中，并且一部分的周围参考像素905明显存在于图像数据903的输出范围外。在第二实施例中，由于摄像设备被配置为对图像数据903进行光栅读取，因此周围参考像素G4、G7和G9各自与分别包括周围参考像素G6、G8 和Gll的线的紧前线中的相关线的最后像素相对应。在这种状态下，缺陷像素校正电路112 将校正对象像素904的值转换成与额外像素数据A 901或额外像素数据B 902不相关联的周围参考像素G1、G3、G6、G8和Gll的平均值。在图10中，附图标记913表示二维滤波器的像素的如下状态当从图10观看时， 校正对象像素904存在于额外像素数据B902的区域中，并且周围参考像素905中的一部分明显存在于图像数据903的输出范围外。在这种状态下，缺陷像素校正电路112将校正对象像素904的值转换成与额外像素数据A 901或额外像素数据B 902不相关联的周围参考像素G6、G8和Gll的平均值。如上所述，在第二实施例中，通过使用二维滤波器，无论校正对象像素904是否与额外像素数据A 901或额外像素数据B902相关联，都可以将校正对象像素904的值转换成仅根据有效区域数据900的像素相关图像数据项计算出的值。这使得能够生成可被视为使整个额外像素数据A 901和额外像素数据B 902转换成有效区域数据的图像数据。因而， 从缺陷像素校正电路112输出最终使有效区域数据二维延伸两个像素的图像数据914，并且将该图像数据914输入至信号处理电路113。这使得信号处理电路113能够通过使用有效区域数据相对于图像数据903的有效区域数据延伸了的图像数据914来进行降噪处理。 信号处理电路113从进行了用于信号处理的多个处理的图像数据切出与有效区域数据900 相对应的区域，并输出该区域作为图像数据915。如上所述，在第二实施例中，数字信号处理器114的缺陷像素校正电路112能够生成有效区域延伸了的图像数据并将该图像数据输出至后级的信号处理电路113。如根据图 9和10的比较所能理解的那样，随着缺陷像素校正电路112所使用的二维滤波器的参考区域延伸得更多，可以生成将更大区域的额外像素数据转换成有效区域数据的图像数据。换言之，随着缺陷像素校正电路112所使用的二维滤波器的参考区域延伸得更多，可以使后级的信号处理电路113利用更大的参考区域进行滤波处理。简言之，在第二实施例中，从摄像数据输入接口 111输出的图像数据903包括有效区域数据900和额外像素数据。有效区域数据900是记录在介质中的图像区域的数据。在第二实施例的数字信号处理器114中，额外像素数据的区域以相对于有效区域数据900向外二维延伸一个或两个像素的方式形成，并且基于从摄像数据输入接口 111所输出的区域判别数据来判断像素是否与额外像素数据的数据项相关联。在第二实施例的缺陷像素校正电路112中，与第一实施例相同，将缺陷像素检测信号407和无效图像数据检测信号406彼此叠加，由此生成缺陷像素判断信号405。响应于缺陷像素判断信号405，缺陷像素校正电路112对由校正方法确定部识别出的缺陷判定像素进行数据校正。在该数据校正处理中，当周围参考像素存在于额外像素数据的区域中时，缺陷像素校正电路112将这些周围参考像素作为缺陷判定像素进行处理。此外，在数据校正处理中，即使当校正对象像素位于额外像素数据的区域中时，也仅利用根据位于有效区域数据的范围内的周围参考像素305所获得的值，通过二维滤波处理对该校正对象像素的值进行校正。在这种情况下，随着二维滤波器所参考的区域被扩展， 可以进一步扩展将额外像素的值校正为根据有效区域数据的像素相关数据项所获得的值的范围。当然，代替二维滤波器，可以使用参考位于垂直方向和水平方向其中之一方向上的像素值的一维滤波器。因而，后级的信号处理电路113接收到有效区域增大的图像数据并对该图像数据进行信号处理，以使得不再需要进行诸如降噪处理等的信号处理以在有效区域数据的区域端部处生成伪参考像素。尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。本申请要求2010年10月20日提交的日本专利申请2010-235649的优先权，在此通过引用包含其全部内容。
权利要求
1.一种图像处理设备，包括获取单元，用于取入包括有效区域数据和用于对所述有效区域数据的像素的值进行校正的无效区域数据的图像数据，其中，所述有效区域数据是从摄像装置的预设范围内的像素输出元件读出的，所述无效区域数据是从所述摄像装置的所述预设范围外的像素输出元件读出的，所述摄像装置包括缺陷像素输出元件；信号生成单元，用于将第一信号和第二信号叠加，由此生成表示缺陷判定像素的位置的缺陷像素判断信号，其中，所述第一信号表示所述摄像装置的所述缺陷像素输出元件的位置，所述第二信号表示在所述摄像装置的所述预设范围外的各个像素的位置；以及校正单元，用于当基于所述缺陷像素判断信号将所述图像数据中的对象像素判断为所述缺陷判定像素时，使用与位于所述对象像素周围的像素中的如下像素相关联的图像数据的值对所述图像数据中的所述对象像素的值进行校正该像素均是基于所述缺陷像素判断信号未被判断为所述缺陷判定像素的像素。
2.根据权利要求1所述的图像处理设备，其特征在于，当被判断为所述缺陷判定像素的对象像素是在所述摄像装置的所述预设范围外的像素之一时，所述校正单元使用与位于所述对象像素周围且在所述摄像装置的所述预设范围内的像素中的如下像素相关联的图像数据的值对所述图像数据中的所述对象像素的值进行校正该像素均是基于所述缺陷像素判断信号未被判断为所述缺陷判定像素的像素。
3.根据权利要求2所述的图像处理设备，其特征在于，还包括信号处理单元，所述信号处理单元用于对所述校正单元校正后的图像数据进行降噪用的滤波处理。
4.根据权利要求1所述的图像处理设备，其特征在于，所述信号生成单元以像素为单位判断各像素是否是与所述摄像装置的所述缺陷像素输出元件相关联的像素，由此生成所述第一信号，以像素为单位判断各像素是否是所述摄像装置的所述预设范围外的像素之一，由此生成所述第二信号，并且计算所述第一信号和所述第二信号的逻辑和，由此生成所述缺陷像素判断信号。
5.一种图像处理方法，用于处理从包括缺陷像素输出元件的摄像装置所输出的图像， 所述图像处理方法包括以下步骤取入包括有效区域数据和用于对所述有效区域数据的像素的值进行校正的无效区域数据的图像数据，其中，所述有效区域数据是从所述摄像装置的预设范围内的像素输出元件读出的，所述无效区域数据是从所述摄像装置的所述预设范围外的像素输出元件读出的；将第一信号和第二信号叠加，由此生成表示缺陷判定像素的位置的缺陷像素判断信号，其中，所述第一信号表示所述摄像装置的所述缺陷像素输出元件的位置，所述第二信号表示在所述摄像装置的所述预设范围外的各个像素的位置；以及当基于所述缺陷像素判断信号将所述图像数据中的对象像素判断为所述缺陷判定像素时，使用与位于所述对象像素周围的像素中的如下像素相关联的图像数据的值对所述图像数据中的所述对象像素的值进行校正该像素均是基于所述缺陷像素判断信号未被判断为所述缺陷判定像素的像素。
全文摘要
本发明涉及一种能够快速且容易地进行校正处理的图像处理设备和方法。该图像处理设备能够迅速和容易地通过滤波进行校正处理。数字信号处理器取入包括来自摄像装置的预设范围内的有效区域数据和来自该摄像装置的预设范围外的无效区域数据的图像数据。该数字信号处理器将缺陷像素检测信号和无效图像数据检测信号叠加，由此生成缺陷像素判断信号。当基于该缺陷像素判断信号将图像数据中的对象像素判断为缺陷判定像素时，数字信号处理器使用与该目标像素周围的像素中、与基于缺陷像素判断信号未被判断为缺陷判定像素的一部分像素相关联的图像数据的值来对该目标像素的值进行校正。
文档编号H04N5/367GK102572318SQ20111032420
公开日2012年7月11日 申请日期2011年10月20日 优先权日2010年10月20日
发明者君岛裕一郎, 堀川洋平 申请人:佳能株式会社