专利名称：用于输出具有附加数据的像素数据的方法和装置的制作方法
技术领域：
本发明涉及像素数据输出，更具体地说，涉及用于输出具有附加数 据的像素数据的方法和装置。
背景技术：
通过将小型或薄型成像装置安装在诸如便携式电话或PDA (个人数 字助理)的小型或薄型便携式终端上，该便携式终端现在也能够充当成 像装置。由于这一新的进展，诸如便携式电话的便携式终端不但能够发 送音频信息，而且能够发送可视信息。成像装置除了己经安装在便携式 电话和PDA上以外，还已经安装在诸如MP3播放器的便携式终端上。结 果，多种便携式终端现在都能够用作成像装置，用于拍摄外部图像并将 该图像保存为电数据。
通常，成像装置使用诸如电荷耦合器件(CCD)图像传感器或者互补 金属氧化物半导体(CMOS)图像传感器的固态成像器件。
图1例示了典型的成像装置的简单结构，图2例示了通用的拜耳镶 嵌滤波器模式(Bayer mosaic filter pattern)。
如图1所示，将外部图像转换为电数据并将该电数据显示在显示单 元150上的成像装置包括图像传感器110、图像信号处理器(ISP) 120、 后端芯片(back-end chip) 130、基带芯片140和显示单元150。此外， 该成像装置还具有用于存储转换后的电数据的存储器和用于将模拟信号 转换为数字信号的AD转换器。
具有拜耳模式的图像传感器110针对每个单位像素输出与通过镜头 输入的光量相应的电信号。为了检测图像传感器110上的图像的颜色， 由滤色器覆盖图像传感器110的像素，该滤色器吸收除了该滤色器的颜 色以外的所有颜色的光波长。通过在图像传感器110的像素上安置滤色器阵列来统一地提取颜色信息。图2例示了作为最常用类型滤色器阵列 的拜耳镶嵌滤波器。该拜耳镶嵌滤波器具有类似棋盘的形状并由交替的
红色(R)、绿色(G)和蓝色(B)滤波器行组成。红色和绿色滤波器彼
此错幵，使得两个绿色滤波器不能共享相邻的行和列之间的边缘区域。
需要基于周围像素的颜色强度的插值来取得每个像素的完整的颜色信息。
图像信号处理器120将从图像传感器110输入的原数据转换为YUV 值并将转换后的YUV值输出到后端芯片130。基于人眼对于亮度比对于色 度反应更敏感这一事实，YUV方法将颜色划分为作为亮度的Y分量以及作 为色度的U和V分量。由于Y分量对于误差更敏感，在Y分量中比在U 和V分量中编码了更多比特。典型的Y:U:V比为4:2.'2。
通过顺序地将转换后的YUV值存储在FIFO中，图像信号处理器120 使得后端芯片130接收相应的信息。
后端芯片130通过预定的编码方法将输入的YUV值转换为JPEG或 BMP并将YUV值存储在存储器中，或者对存储在该存储器中的编码图像进 行解码以显示在显示单元150上。后端芯片130还能对该图像进行放大、 缩小或者旋转。当然，如图1所示，基带芯片140还可以从后端芯片130 接收解码后的数据并将其显示在显示单元上。
基带芯片140控制成像装置的总体操作。例如， 一旦通过键盘输入 单元(未示出)从用户接收到要捕获图像的命令，基带芯片140就能够 通过向后端芯片130发送图像生成命令而使得后端芯片130生成与输入 的外部图像相对应的编码数据。
通过后端芯片130或者基带芯片140的控制，显示单元150显示所 述编码数据。
随着当今图像传感器110的像素数量的增加和尺寸的减小，捕获并 输出的原数据变得不足以对图像进行处理。
艮P，由于最近的图像处理技术包括诸如7X7插值的各种方法，在左、 右、上和下区域中需要大量附加数据以将处理后的原数据正确输出到显 示单元150。这是为了防止真正要处理和显示的数据的损失。常规的图像处理技术执行不考虑附加数据的图像处理。因此，图像 未能正确地显示在显示单元上，丢失了像画框一样的左、右、上和下边 沿。这可能是由于缺省的附加数据小于诸如插值的图像处理所需的数据 大小。
发明内容
因此，本发明提供了通过在进行图像处理之前添加附加数据而防止 待显示图像数据的损失的用于输出具有附加数据的像素数据的方法和装 置。
本发明还提供了通过向从图像传感器输入的原数据的左、右、上和 下区域添加附加数据而完全重现处理后数据的用于输出具有附加数据的 像素数据的方法和装置。
本发明的其他目的将通过下述实施方式而变得更加清楚。
为了实现上述目的，本发明一个方面的特征在于用于将具有附加数 据的原数据输入到图像信号处理器中的图像处理器芯片和/或包含该图 像处理器芯片的成像装置。根据本发明的一个实施方式，该成像装置具 有图像传感器，其输出与外部图像相对应的原数据；存储器，其存储 从所述图像传感器输入的所述原数据；输出控制单元，其将附加数据添 加到存储在所述存储器中的所述原数据，并输出所述添加后的原数据； 以及图像信号处理器，其对所述原数据或者对添加了所述附加数据的所 述原数据执行与滤波和插值中的至少一项对应的图像处理。
所述输出控制单元以行为单位将数量为一帧的像素数量的所述原数 据输入到所述图像信号处理器中，而在添加到所述原数据上的所述附加 数据之前添加k个该行的第一像素数据，并在所述附加数据之后添加m 个最末像素数据，其中，k和m均为自然数。
所述输出控制单元以行为单位将数量为一帧的像素数量的所述原数 据输入到所述图像信号处理器中，而在添加到所述原数据上的所述附加 数据之前交替地添加该行的前两个像素数据共k个，并且在所述附加数 据之后交替地添加m个最末像素数据共m个，其中k和m均为自然数。所述输出控制单元以行为单位将数量为一帧的行数的所述原数据输 入到所述图像信号处理器中，而在添加到所述原数据上的所述附加数据
之前添加k个该行的第一像素数据，并在所述附加数据之后添加m个最 末像素数据，其中，k和m均为自然数。
所述输出控制单元以行为单位将数量为一帧的行数的所述原数据输 入到所述图像信号处理器中，而在添加到所述原数据上的所述附加数据 之前交替地添加该行的前两个像素数据共k个，并且在所述附加数据之 后交替地添加m个最末像素数据共m个，其中k和m均为自然数。
根据本发明的另一实施方式， 一种成像装置包括存储器，其存储 从图像传感器输入的原数据；输出控制单元，其将附加数据添加到存储 在所述存储器中的所述原数据，并输出所述添加后的原数据；以及图像 信号处理器，其对所述原数据或者对添加了所述附加数据的所述原数据 执行与滤波和插值中的至少一项对应的图像处理。
所述输出控制单元以行为单位将数量为一帧的像素数量的所述原数 据输入到所述图像信号处理器中，而在添加到所述原数据上的所述附加 数据之前添加k个该行的第一像素数据，并在所述附加数据之后添加m 个最末像素数据，其中，k和m均为自然数。
所述输出控制单元以行为单位将数量为一帧的像素数量的所述原数 据输入到所述图像信号处理器中，而在添加到所述原数据上的所述附加 数据之前交替地添加该行的前两个像素数据共k个，并且在所述附加数 据之后交替地添加m个最末像素数据共m个，其中k和m均为自然数。
所述输出控制单元以行为单位将数量为一帧的行数的所述原数据输 入到所述图像信号处理器中，而在添加到所述原数据上的所述附加数据 之前添加k个该行的第一像素数据，并在所述附加数据之后添加m个最 末像素数据，其中，k和m均为自然数。
所述输出控制单元以行为单位将数量为一帧的行数的所述原数据输 入到所述图像信号处理器中，而在添加到所述原数据上的所述附加数据 之前交替地添加该行的前两个像素数据共k个，并且在所述附加数据之 后交替地添加m个最末像素数据共m个，其中k和m均为自然数。根据本发明的另一实施方式，用于成像装置的图像处理器芯片包括:
存储器，其存储从图像传感器输出的原数据；输出控制单元，其将附加 数据添加到存储在所述存储器中的所述原数据，并输出所述添加后的原 数据；以及图像信号处理器，其对所述原数据或者对添加了所述附加数 据的所述原数据执行与滤波和插值中的至少一项对应的图像处理，其中， 当以行为单位将所述原数据输入到所述图像处理单元中时，所述输出控 制单元在所述原数据之前输入第一附加数据并在所述原数据之后输入第 二附加数据。
图1例示了典型成像装置的简单结构； 图2例示了通用拜耳镶嵌滤波器模式；
图3是例示根据本发明一个实施方式的图像处理单元的简单结构的
框图4例示了从根据本发明一个实施方式的图像传感器输入的水平输 入信号的信号类型；
图5和图6例示了输入到根据本发明一个实施方式的图像信号处理 器中的水平输入信号的信号类型；
图7例示了从根据本发明一个实施方式的图像传感器输入的垂直输 入信号的信号类型；以及
图8和图9例示了输入到根据本发明一个实施方式的图像信号处理 器中的垂直输入信号的信号类型。
具体实施例方式
下面，将参照附图描述用于输出带有附加数据的像素数据的方法和 装置的一些实施方式，其示例在附图中加以例示，其中相同的附图标记 指示相同的元件。将省略多余的描述。
图3是例示根据本发明一个实施方式的图像处理单元的简单结构的 框图，图4例示了从根据本发明该实施方式的图像传感器输入的水平输
9入信号的信号类型。图5和图6例示了输入到根据本发明该实施方式的 图像信号处理器中的水平输入信号的信号类型。图7例示了从根据本发
明该实施方式的图像传感器输入的垂直输入信号的信号类型。图8和图9 例示了输入到根据本发明该实施方式的图像信号处理器中的垂直输入信 号的信号类型。
如图3所示，根据本发明的图像处理单元310包括图像信号处理器 120、存储器320和输出控制单元330。图像处理单元310可构成为单个
心片o
图像信号处理器120接收并处理从图像传感器110输入并存储在存 储器320中的原数据，并将处理后的图像数据传送到后端芯片130。图像 信号处理器120例如可以将从图像传感器输入的原数据转换为YUV数据 以输出经转换的YUV数据。
在图像信号处理器120还具有编码单元(例如JPEG编码器)的情况 下，图像信号处理器120可以将经JPEG编码的数据输出到后端芯片130。
存储器320累积从图像传感器110输入的原数据。存储器320可以 由n个行存储器组成，n为自然数(例如在1和一帧的行数之间，包括一 帧的行数)。例如，在包括两个行存储器的情况下特定帧的奇数行的原数 据可以连续地累积在第一行存储器中，该帧的偶数行的原数据可以连续 地累积在第二行存储器中。此时，可以用新的一行原数据覆盖先前存储 的数据。在这种情况下，应该在改写新的原数据之前由输出控制单元330 读取先前写入的数据并输入到图像信号处理器120。
图4例示了从图像传感器110输入的水平输入信号的信号类型，图 7例示了从图像传感器110输入的垂直输入信号的信号类型。
在图4中，P—CLK代表时钟信号；FLREF代表有效水平行信号，DATA 示出了原数据的输出状态。每个P一CLK周期输入一个像素的原数据。在 H一REF信号为高电平(或者根据实施方式类型是低电平)期间，输入与一 帧的一行对应的像素数的原数据。例如，假设输入原数据为A、 B、 C、 E 和F。
在图7中，H—REF代表有效垂直行信号；V一SYNC代表有效垂直行信号，DATA (行)示出了每个行单位的原数据的输出状态。每个H一REF周 期(或者每个H一REF信号为高电平的区间)输入一行的原数据。在V一SYNC 信号为低电平(或者根据实施方式类型为高电平)期间，输入与一帧的 行数对应的原数据。例如，假设输入原数据的行为l、 2、 3、 4和5。
输出控制单元330针对每行或每像素读取写入到存储器320中的原 数据，并将读取的具有添加了附加数据后的格式的原数据输入到图像信 号处理器120。输出控制单元330可以包括在图像信号处理器120中。
如图5所示，当输出控制单元330将对应于一行的原数据输入到图 像信号处理器120中时，输出控制单元330可以将k个第一像素数据(k 为自然数)添加到该原数据之前，并将m个最末像素数据(m为自然数) 添加到该原数据之后。这里，k和m可以彼此相同或不同，并且可以是预 设的或者由用户设定。例如，在从图像传感器110输入原数据A、 B、 C、 E和F并且k和m分别被设置为3的情况下，输出控制单元330可以将原 数据A、 A、 A、 A、 B、 C、 E、 F、 F、 F和F连续地输入到图像信号处理器 120中。
或者，如图6所示，当输出控制单元330将对应于一行的原数据输 入到图像信号处理器120中时，输出控制单元330可以使第一像素数据 和第二像素数据在该原数据之前交替地添加k (k为自然数)个，并使最 末的两个像素数据在该原数据之后交替地添加m (m为自然数)个。这里， k和m可以彼此相同或不同，并且可以是预设的或者由用户设定。例如， 在从图像传感器110输入原数据A、 B、 C、 E和F并且k和m分别被设置 为3的情况下，输出控制单元330可以将原数据B、 A、 B、 A、 B、 C、 E、 F、 E、 F和E连续地输入到图像信号处理器120中。
上述两种类型的水平输入信号的输出模式可以由图像信号处理器 120能够处理的输入信号的模式来确定。例如，第二类型适用于处理拜耳 模式原数据的图像信号处理器。当然，显而易见的是可以考虑其他的数 据输出方法。
如图8所示，当输出控制单元330将数量与行数一样多的原数据输 入到图像信号处理器120中时，输出控制单元330可以将p(p为自然数)个像素数据添加到该原数据之前，并将q (q为自然数)个像素数据添加 到该原数据之后。这里，P和q可以彼此相同或不同，并且可以是预设的 或者由用户设定。例如，在从图像传感器110输入原数据1、 2、 3、 4和 5并且p和q分别被设置为3的情况下，输出控制单元330可以将原数据 1、 1、 1、 1、 2、 3、 4、 5、 5、 5和5连续地输入到图像信号处理器120 中。
如图9所示，当输出控制单元330将数量与行数一样多的原数据输 入到图像信号处理器120中时，输出控制单元330可以通过使最后两行 的像素数据交替而使前两个像素数据在该原数据之前交替地添加P (P为 自然数)个，并使最后两个像素数据在该原数据之后交替地添加q (q为 自然数)个。这里，P和q可以彼此相同或不同，并且可以是预设的或者 由用户设定。例如，在从图像传感器110输入原数据1、 2、 3、 4和5并 且P和q分别被设置为3的情况下，输出控制单元330可以将原数据2、 1、 2、 1、 2、 3、 4、 5、 4、 5和4连续地输入到图像信号处理器120中。
上述两种类型的垂直输入信号的输出模式可以由图像信号处理器 120能够处理的输入信号的模式来确定。例如，第二类型适于处理拜耳模 式原数据的图像信号处理器120。当然，显而易见的是可以考虑其他的数 据输出方法。
在上述实施方式的每一个中，作为在原数据之前添加的k或p个像 素数据和在原数据之后添加的m或q个像素数据的原数据用作附加数据， 用于防止当处理要显示的数据时不适当地移除必需的数据而导致的图像 失真。这里，k、 m、 p和q可以具有相同的值。
因此，假设一帧的大小为aXb，则向图像信号处理器120中输入大 小为(a+k+m) X (b+p+q)的原数据。
这样，通过将附加数据重复或者交替添加到原数据的左、右、上和 下方区域，可以正确地显示经处理的图像。
如上所述，根据本发明的用于输出具有附加数据的像素数据的装置 通过在进行图像处理之前添加附加数据而能够防止待显示图像数据的损 失。通过将附加数据添加到从图像传感器输入的原数据的左、右、上和 下方区域，本发明还能够完全重现经处理的数据。
至此，尽管已经示出并描述了本发明的一些实施方式，本领域普通 技术人员将会理解，在不脱离本发明的原理和实旨的情况下，可以有大 量的变换和其他等同的实施方式，本发明的范围由所附权利要求限定。
权利要求
1、一种成像装置，该成像装置包括图像传感器，其输出与外部图像相对应的原数据；存储器，其存储从所述图像传感器输入的所述原数据；输出控制单元，其将附加数据添加到存储在所述存储器中的所述原数据，并输出所述添加后的原数据；以及图像信号处理器，其对所述原数据或者对添加了所述附加数据的所述原数据执行与滤波和插值中的至少一项对应的图像处理。
2、 根据权利要求1所述的装置，其中所述输出控制单元以行为单位 将数量为一帧的像素数量的所述原数据输入到所述图像信号处理器中， 而在添加到所述原数据上的所述附加数据之前添加k个该行的第一像素 数据，并在所述附加数据之后添加m个最末像素数据，其中，k和m均为 自然数。
3、 根据权利要求l所述的装置，其中所述输出控制单元以行为单位 将数量为一帧的像素数量的所述原数据输入到所述图像信号处理器中， 而在添加到所述原数据上的所述附加数据之前交替地添加该行的前两个 像素数据共k个，并且在所述附加数据之后交替地添加m个最末像素数 据共m个，其中k和m均为自然数。
4、 根据权利要求l所述的装置，其中所述输出控制单元以行为单位 将数量为一帧的行数的所述原数据输入到所述图像信号处理器中，而在 添加到所述原数据上的所述附加数据之前添加k个该行的第一像素数据， 并在所述附加数据之后添加m个最末像素数据，其中，k和m均为自然数。
5、 根据权利要求l所述的装置，其中所述输出控制单元以行为单位 将数量为一帧的行数的所述原数据输入到所述图像信号处理器中，而在 添加到所述原数据上的所述附加数据之前交替地添加该行的前两个像素 数据共k个，并且在所述附加数据之后交替地添加m个最末像素数据共m 个，其中k和m均为自然数。
6、 一种用于成像装置的图像处理器芯片，该图像处理器芯片包括存储器，其存储从图像传感器输入的原数据；输出控制单元，其将附加数据添加到存储在所述存储器中的所述原 数据，并输出所述添加后的原数据；以及图像信号处理器，其对所述原数据或者对添加了所述附加数据的所 述原数据执行与滤波和插值中的至少一项对应的图像处理。
7、 根据权利要求6所述的芯片，其中所述输出控制单元以行为单位将数量为一帧的像素数量的所述原数据输入到所述图像信号处理器中， 而在添加到所述原数据上的所述附加数据之前添加k个该行的第一像素数据，并在所述附加数据之后添加m个最末像素数据，其中，k和m均为 自然数。
8、 根据权利要求6所述的芯片，其中所述输出控制单元以行为单位 将数量为一帧的像素数量的所述原数据输入到所述图像信号处理器中， 而在添加到所述原数据上的所述附加数据之前交替地添加该行的前两个 像素数据共k个，并且在所述附加数据之后交替地添加m个最末像素数 据共m个，其中k和m均为自然数。
9、 根据权利要求6所述的芯片，其中所述输出控制单元以行为单位 将数量为一帧的行数的所述原数据输入到所述图像信号处理器中，而在 添加到所述原数据上的所述附加数据之前添加k个该行的第一像素数据， 并在所述附加数据之后添加m个最末像素数据，其中，k和m均为自然数。
10、 根据权利要求6所述的芯片，其中所述输出控制单元以行为单 位将数量为一帧的行数的所述原数据输入到所述图像信号处理器中，而 在添加到所述原数据上的所述附加数据之前交替地添加该行的前两个像 素数据共k个，并且在所述附加数据之后交替地添加m个最末像素数据 共in个，其中k和m均为自然数。
11、 一种用于成像装置的图像处理器芯片，该图像处理器芯片包括 存储器，其存储从图像传感器输出的原数据；输出控制单元，其将附加数据添加到存储在所述存储器中的所述原数据，并输出所述添加后的原数据；以及图像信号处理器，其对所述原数据或者对添加了所述附加数据的所述原数据执行与滤波和插值中的至少一项对应的图像处理，其中，当以行为单位将所述原数据输入到所述图像处理单元中时， 所述输出控制单元在所述原数据之前输入第一附加数据并在所述原数据 之后输入第二附加数据。
全文摘要
本发明公开了用于输出具有附加数据的像素数据的方法和装置。根据本发明的一个实施方式的成像装置包括图像传感器，其输出与外部图像相对应的原数据；存储器，其存储从所述图像传感器输入的所述原数据；输出控制单元，其将附加数据添加到存储在所述存储器中的所述原数据，并输出所述添加后的原数据；以及图像信号处理器，其对所述原数据或者对添加了所述附加数据的所述原数据执行与滤波和插值中的至少一项对应的图像处理。利用本发明，可以防止待显示图像数据的损失。
文档编号H04N5/225GK101322395SQ200680045046
公开日2008年12月10日 申请日期2006年11月27日 优先权日2005年11月30日
发明者李廷银 申请人:安泰科技有限公司