专利名称：电视和静止双模工作的数字相机的制作方法
技术领域：
本发明属电子成像技术领域，具体地说，与数字相机有关。
近来，数字相机已发展成为一种能以电子形式获取和存储数字静止图像的便携式系统。这些图像可以许多不同方式加以利用，例如组成电子相册或美化计算机屏幕。数字相机具有与传统的胶片相机非常相像的用户接口，但图像的获取和存储完全利用固态电子电路和图像处理技术。
典型的数字相机具有一个电子图像传感器，它通过一个光学接口接收从对象或景物反射的入射光。光学接口可以包括一个透镜系统和一个光圈机构，或许还有一个滤光镜。传感器通常可以用一个电荷耦合器件(CCD)阵列或互补金属氧化物半导体(CMOS)检光电路来实现，产生与入射光相应的感光信号。传感器得到的模拟信号由模数(A/D)变换器变换成数字格式后，再经逻辑电路和/或程序控制的处理器处理，得到所捕获的对象或景物的数字图像。于是，这图像可存入装在相机上的本机存储器。此外，也可以将图像传送给与数字相机链接的计算机，存为一个电子文件和/或进一步加以图形和图像处理，改善图像质量或与图形软件配合使用。
大多数数字相机的购买者都可接入桌面计算机来观看这些静止图像。因此，像这样的购买者可能还乐意用他们的数字相机与其他人员通信，例如用桌面计算机参加电视会议，既能听到又能看到其他人员。然而，多数数字相机通常只能提供静止图像。类似，可用于电视会议的摄像头也不能脱开计算机而用作拍摄静止图像的相机。因此，有必要开发一种数字相机和所配合的图像处理体系结构，使得数字相机既可与桌面计算机链接摄取电视图像也可捕获静止图像，“双模”使用。
本发明的目的是提供一种配置信号处理系统的方法，使得这种信号处理系统可以工作在至少得出电视图像和静止图像数据的两种模式在第一模式，按照信号处理操作的第一选择处理图像传感器信号，得到静止图像数据；而在第二模式，按照信号处理操作的第二选择处理同样的图像传感器信号，得到电视图像数据。
在本发明的一个具体实施例中，信号处理操作包括依次执行的图像缩放、去相关和熵编码，以便从同样的原始图像数据得到电视图像或静止图像数据。缩放、去相关和熵编码的第一选择设计成提供电视图像数据，而第二选择设计成通常比电视图像尺寸大而更为细致的静止图像的数据。在一个优选实施例中，系统根据装在一些查找表(LOT)内的参数配置执行图像去相关和熵编码，得到电视图像或静止图像数据。
本发明这些不同的实施例的这些和其他一些特性和优点从以下结合附图所作的详细说明和权利要求书可以清楚地看出。在这些附图中
图1为按本发明的一个实施例设计的数字图像捕获设备的逻辑方框图；图2示出了按本发明的另一个实施例设计的信号和图像处理系统的体系结构；以及图3为按本发明另一个实施例执行的信号处理步骤的逻辑流程图。
如上面简要概述的那样，本发明的目的是提供一种在一个能在至少两种模式工作的系统和设备中进行信号处理的方法，通过同一个信号处理系统提供静止图像和电视图像，从而减轻了消费者必需分别购买静止图像相机和电视图像摄像头的经济负担。在一个实施例中，信号处理系统通过执行链接的一些数字图像处理操作从同样细致的原始图像传感器信号得出电视图像数据和静止图像数据。原始图像传感器信号经数字化和尺寸缩放后去相关，再编码成压缩数据。不同的图像处理操作在通过计算机总线可接入的可重编程逻辑电路内实现，也可以通过对高性能的数据处理器进行编程以软件方式执行这些操作。
为了说明清晰起见，下面提出一些具体的实施例，以便对本发明有更深刻的理解。然而，正如熟悉本技术领域的人员从本说明中可看到的那样，本发明的实施不必按这些具体细节。此外，为了突出本发明，一些众所周知的器件、处理步骤等就不加详细说明。
图1为按本发明的一个实施例设计的诸如一个具有电视和静止图像处理块110的数字相机那样的数字图像捕获设备100的逻辑方框图。设备110包括一个光学接口，它有一个透镜系统104和一个光圈108，以接收从需捕获图像的对象102反射的入射光。设备100还可以包括一个频闪或电子闪光灯112，在设备100在低照度环境下工作时为对象102提供辅助照明。
透镜系统104最好具有对于电视和静止图像操作都能接受的固定焦长，因为光学接口的调制传递函数(MTF)对于近距离对象(例如电视会议期间的用户脸部)虽然要下降(因此图像质量变差)，但在电视模式是可以容忍的。光学接口有一个光圈机构108，用来控制投射到传感器上的光量和焦深，对于电视和静止图像操作来说都可以像下面将要说明的那样只用两个设置值加以配置。
光学接口将入射光投射到一个电子图像传感器114。图像传感器114具有大量对入射光的强度和颜色有电反应的像素。传感器114产生的信号将表示被捕获的图像，分辨率高到作为静止图像可接受的程度。接收光生模拟传感器信号的A/D变换器(未示出)可以包括在传感器114内，用来产生给定所摄对象102和周围景物的数字图像的数字传感器信号。或者，也可以是传感器114将模拟信号送至块110，由它先对这些信号进行模拟信号处理再变换成数字格式。无论是哪种情况，数字化后的传感器信号就给定了原始图像数据，然后由电视和静止图像处理块110根据所选的工作模式是静止还是电视模式按图像处理操作进行处理，形成所摄对象或景物的一些静止图像或一个活动电视图像序列。
模式选择可由设备100的用户通过对设备100的机械控制(未示出)进行。机械钮的设置情况由本机用户接口158检测，转换成控制信号和数据，交给系统控制器160处理。或者，也可是将设备100通过一个主机/PC通信接口154接至一个诸如个人计算机(PC)那样的主机，而用户通过在主机上运行的软件进行模式选择，主机再通过主机/PC接口154将适当的控制信号和数据传送给系统控制器160。
系统控制器160按照如以上概述的那样作出的模式选择安排捕获电视和静止图像。系统控制器160将电视和静止图像处理块110配置成提供静止图像数据，或者表现一个电视图像帧序列的电视图像数据。这些图像存储在设备100内和/或传送给主机/PC，进行解压缩(如果图像是已压缩的)、变换和/或显示。
图像捕获设备100包括一个接收和存储静止图像数据的本机存储装置122。存储装置122可以包括一个FLASH半导体存储器和/或一个旋转媒体装置。FLASH存储器可以是可拆装的，例如Intel公司的微型卡。旋转媒体可以是可拆装的，也可以是固定的，可以是磁盘，也可以是其他适合存储图像数据文件的。
图像数据也可以通过主机/PC通信接口154传送到设备100外。通信接口154可以配置成按照计算机外围设备总线标准将静止和电视图像数据传送给主机/PC。所用的总线标准例如可以是RS-232串行接口、通用串行总线(USB)，或者是较高性能的电气和电子工程师协会(IEEE)标准1394-1995。
如上所述，设备100可以在光学和电子上配置成工作在若干种模式，包括诸如电视会议期间采用的电视模式和诸如在类似于用传统的便携相机拍摄相片时采用的静止模式。在用于电视会议或捕获运动情况的高帧率应用的电视模式，可以选择f/2左右的光圈108。对于这样的光圈设置，主焦点最好是离对象102 1米左右，景深为2米。
在静止工作模式，可以捕获质量可接受的室外和室内景物的静止图像。对于室内景物，光强度可能不足，需要由频闪或电子闪光灯112产生辅助光。通常可以将光圈108选择在f/2至f/8之间。在这个光圈范围内，主焦点在离主体2米左右处，景深为4米。对于自然光的室外景物，主焦点最好离主体2至3米左右，景深扩展到无限。通常，为了实现这个焦点，对于室外景物可选择f/8左右的光圈。
图像捕获设备100也可以以电子方式加以配置以适合双模工作，通过这样配置电视和静止图像处理块110提供静止图像数据或电视图像序列。在一个实施例中，块110像逻辑电路和/或程控数据处理器那样实施数字信号和图像处理，根据从传感器114接收到的细致的原始图像数据产生具有预定分辨力和压缩比的压缩图像数据。这样的块110示于图2，这是一个按本发明的另一个实施例设计的数字相机(或其他图像捕获设备)的图像处理系统200部分的逻辑方框图。
图2示出了本发明的一个实施例在电视和静止工作模式图像数据所经过的数据流程图。处理块110包括以校正块210开始的一系列成像功能。校正块210每当从传感器114接收的原始图像数据的质量保证在对图像进行缩放和压缩前的某种预处理时使用。在一定情况下，校正块210对从图像传感器接收的原始图像数据进行像素替换、压扩和伽玛校正。原始图像数据应足够细致(例如最好是765×576个像素以上)，以得到质量可接受的静止图像。
像素替代可以在块210内执行，用有效数据替换无效数据，以便为以后的成像操作提供更为确定的输入。可以通过执行压扩降低每个像素的分辨力(每像素比特数)。例如，原始图像数据可以每像素10比特形式到达，而对于逻辑电路来说所推荐的像素分辨力可能是8比特(1字节)。还可以执行传统的伽玛校正使图像的信息内容适合最终显示图像的主计算机所期望的。
在块210内对每个所接收的图像帧可以执行的其他操作包括通常需在图像压缩前执行的降低固定模式噪声操作。同样，块210是否执行任何校正操作取决于从传感器114接收的原始图像的质量和接着执行的图像处理，例如使图像数据准备好可存储或传输给主计算机前需执行的缩放或压缩。
原始图像数据由校正块210校正或者处理成所需尺寸或格式后，如果需要的话可以加以缩放和压缩，以满足如图1所示的主机/PC通信接口154和本机存储装置122的传输和存储要求。为了满足这些要求，处理块110可以包括缩放和压缩逻辑212，执行传输和/或存储前的任何必需的图像缩放和压缩。
例如，缩放和压缩逻辑212可以配置成减小图像尺寸和分辨力，得到与比较大和比较细致的静止图像相比为比较小也比较粗的电视图像。可能要求图像数据比较小和比较粗，以便发送高速的电视图像序列，在主机/PC内解压缩后观看。然而，如果设备100与主机/PC之间的传输链路具有足够的带宽，允许以所需的速率发送细致的原始图像数据至主机/PC，那么无论对于静止图像还是电视图像处理来说，缩放和压缩逻辑212都可以简化，甚至可以省略。
在图2中示出了若干可设想的压缩逻辑212的数字图像处理功能。这些和其他一些类似的功能可以如下面所说明的那样由熟悉本技术领域的人员按照希望在给定设备100中所用的光学接口情况下系统200要保证的性能(提供压缩图像数据的速度)和图像质量配置。这些成像功能已在一个实施例中以一些分立的逻辑电路单元实现，如图2所示，说明如下。
缩放逻辑214对经校正的图像数据进行2维空间缩放，得出便于存储或发送的较小图像。缩放按照所选的缩放比利用传统的已知技术执行。缩放比可以是整数或分数。2维缩放例如能用两个独立的1维缩放过程来实现。
缩放逻辑214可以通过选择适当的缩放比直接用于电视图像和静止图像两者的获取。例如，在电视模式可以对经校正的图像进行4∶1的二次抽样，将经校正的图像数据中的16个像素取平均，得出经缩放的图像数据中的1个像素。根据标准的抽样定理，在噪声源不相关的假设下，这样的二次抽样还可以使信噪比的改善因子达到 ，即4。也可以采用较小的缩放比，例如为2∶1，此时4个像素平均后产生经缩放的图像数据中的1个像素，从而信噪比(SNR)的改善因子为2。在电视模式进行工作期间，通过以这种方式缩放较细致的经校正的图像数据，系统200对由于诸如电视会议期间进行电视操作通常所遇到的光平较低而导致的较大噪声作了补偿。
在图2中的成像功能块的链内，下一个就是去相关和编码逻辑222。从缩放逻辑214接收到的经缩放的图像数据按照从若干去相关方法中选出的一种方法去相关，为通常是一种图像压缩的熵编码作好准备。同样，用户可以选择一种适合得到通常尺寸比较小的电视图像的具体去相关方法。
去相关操作可以产生作为相邻像素之差的误差图像数据。一种能用于图像去相关的具体方法是数字脉冲编码调制(DPCM)。为了得到对图像数据更大的压缩，如果需要的话，例如在发送大量电视图像帧的情况下，采用DPCM可以引入“量化”(将一个第一数据集映射到一个较小的值集)误差形式的“损失”。
在成像功能块的链内，下一阶段是块222执行的熵编码，利用可变长度编码技术压缩经去相关的图像数据。例如，一种可利用的众所周知的熵编码方法是Huffman编码。熵编码涉及将经去相关的图像数据内的各码元用一些二进制串来代替，使得不同的码元用不同可变长度二进制串表示，最常出现的码元用最短的二进制串表示。这样，熵编码逻辑222就提供经压缩的图像数据，例如如图2中所示，经缩放的8比特数据被编码成3-16比特的长度可变数据。
同样，为得到电视图像和静止图像的编码方法可以是不同的，能按照工作模式加以选择。例如，与电视图像数据相比，对于静止图像数据可以用一个比较大的码元集(具有可变二进制串长度)加以编码。这是因为在主机/PC内可以有比较多的时间对静止图像解压缩。相反，对于对电视图像的编码来说，应该采用具有相同二进制串长度的较为有限的码元集以使电视图像帧序列较快地解压缩。此外，各码元具有相同二进制串长度允许利用固定的带宽发送图像数据，这对于诸如USB那样的主机/PC接口特别合适。
图像处理系统200包括有利于上述双模工作的附加逻辑。具体地说，块210和212内的逻辑电路利用一些可编程查找表(LUT)和随机存取存储器(RAM)灵活地执行它们各自的成像操作。每个LUT或RAM为各自的成像功能逻辑提供如所选方法为具体工作模式规定的信息。例如，缩放逻辑214利用一个RAM存储区存储一些中间的缩放运算。同样，去相关和编码逻辑的LUT234按照所需的是静止图像还是电视图像装有如在该技术领域内所周知的不同的执行去相关和编码所需的规则和数据。在一个具体实施例中，LUT234用了两个查找表(LUT)，一个列有字符(所谓“码簿”)，另一个列有串长度。
可以用不同的技术确定需装入RAM和LUT的适当值。例如，可用摄像机控制单元160执行图像计量，确定光照和其他影响去相关和熵编码的因素。此外，如前面所提到的那样，传输和存储的限制可以决定需要采用较大的压缩，特别是在电视图像操作期间，要产生大量的图像帧，因此去相关和熵编码的LUT将包括一个较小的压缩图像数据的码簿。
虽然上述各LUT和RAM可以作为单个物理RAM的一部分实现，也可以通过合并成为一个或多个RAM单元，但最好每个LUT和RAM各用一个物理上独立的单元实现，以获得较快的成像功能特性。
图像数据由压缩逻辑212按照所需模式压缩后，所得到的新的可变长度数据送至数据打包单元226，打包成一系列等长的因此较容易管理的数据段，以便更为有效地存储和通过计算机总线传输。同样，如果来自传感器114的图像数据是充分可接受的，并且对于这样的数据没有更多的传输或存储限制，那么数据打包单元就是多余的，因为传感器图像数据具有恒定的长度，可以方便地存储或经很少的处理传输到设备100外。
在数据打包单元226内，接收到的不同长度的数据块打包成具有预定的恒定长度的数据块。例如，在图2所示的系统200中，数据打包单元将可变长度的经压缩图像数据打包成16比特数据块。这些16比特数据块送至诸如直接存储器存取(DMA)控制器那样的数据流控制器238，由它为每个数据块加上地址信息后送至总线242。存储器控制器246接收到总线242上的16比特数据块后，将它们暂存在诸如设备100的动态RAM(DRAM)之类的存储器(未示出)内。
静止图像数据经打包后可以加到总线242上通过与总线242连接的本机存储器接口122传送给本机存储器122(见图1)。例如，本机存储器122可以是一个可拆卸的FLASH存储器卡，接收编制成一个“文件”的图像数据，除了图像数据还附有压缩表、标题、时间和日期标记和度量信息。这个卡可以从设备100上拆下插入一个PC机，将静止图像数据传送给这个PC机，由它进行解压缩、显示和/或进一步处理。
作为可替代采用可拆卸存储装置的一个实施例，主机/PC通信控制器154可以用来不仅将电视图像而且也将静止图像传送到设备100外。这可以通过将静止图像数据编制成一个适合用通信接口154的特定总线接口标准传输的磁盘文件来实现的，以便将静止图像数据传送给主计算机存储和由主处理器(未示出)接入。电视图像数据可以按已知技术通过一个诸如USB那样的控制器接口注入主计算机。
以上结合图2所示的基于总线的体系结构对图像获取设备100和处理系统200的双模工作情况作了说明。为了进一步便于在这种体系结构内对不同的工作模式进行软件控制，可以将若干个存储器映射的控制寄存器(未示出)接到总线242上，使系统控制器160能以所需工作模式配置设备100和系统200。可以提供一些指令由系统控制器执行，通过总242访问各LUT、RAM和控制寄存器，以便设置在所选工作模式适合各图像处理操作的参数。例如，在制造期间可以将对于各工作模式的缩放、去相关和熵编码处理的不同规则和参数作为设备100的控制器指令存储在设备内，为每种工作模式指定一组不同的处理方法。可以根据用户通过本机用户接口158或主机/PC通信接口154作出的模式选择将适当的一组处理方法装入电视和静止图像处理块110。
虽然电视和静止图像处理块110的这个优选实施例是以逻辑电路实现的，但图像处理系统200也可以配备一个程控的高性能处理器，用来执行实现块110的数字成像功能的指令。图3示出了这样一个处理器所执行的典型操作步骤，这些操作步骤在读了以上对图2所示的电视和静止图像处理块110的实施例中的校正块210和压缩逻辑212的说明后是很容易理解的。图3中的这些步骤可以由系统控制器160执行，也可以由一个也接到总线242上的独立的专用处理器(未示出)执行。
总而言之，以上所说明的本发明的实施例可用于诸如便携式数字相机之类的设备，使这种设备既可以工作在静止模式(作为便携式相机摄取静止图像)也可以工作在电视模式(数字相机通过计算机外围设备总线接口接至一个主计算机或其他图像观看系统)。这各相机具有一个图像传感器和一个电视和静止图像处理块110。在静止模式，相机配置成获取室内和室外景物的细致图像。在电视模式，相机可以配置成利用同一个处理块110压缩一个细致图像序列(如果要满足传输和存储需要的话)，以便获取可以通过计算机外围设备总线接口发送给主计算机进行观看的电视图像序列。
当然，上面所说明的本发明的这些实施例无论在结构上还是实现方式上都可以有一些变化。例如，虽然在处理块110内的图像数据通路示为开始是8比特宽而在压缩后增大到16比特，但熟悉本技术领域的人员可以理解，本发明也能用其他宽度的数据通路实现。此外，系统控制器160可以与数据流控制器238合并入一个诸如微控制器那样的集成电路单元。因此，本发明的专利保护范围不是由这些实施例限制，而应由所附权利要求及其法定界限确定。
权利要求
1．一种图像处理系统，包括将所接收的图像传感器信号变换成数字图像数据的信号处理电路，所述系统是可配置的，从而能在多种模式之一工作，在第一模式，通过将处理电路配置成按照多个图像处理操作中的第一组处理操作处理所述传感器信号，提供电视图像数据，以及在第二模式，通过将处理电路配置成按照所述多个图像处理操作中的第二组处理操作处理所述传感器信号，提供静止图像数据。
2．一种如在权利要求1中所述的图像处理系统，其中所述多个图像处理操作包括空间缩放、去相关和熵编码。
3．一种如在权利要求1中所述的图像处理系统，其中所述处理电路包括将与传感器信号有关的图像数据空间缩放成经缩放的图像数据的缩放逻辑；将经缩放的图像数据去相关成经去相关的图像数据的去相关逻辑；以及将经去相关的图像数据压缩成经可变长度压缩的图像数据的熵编码逻辑。
4．一种如在权利要求3中所述的图像处理系统，其中所述多个图像处理操作中的第一组处理操作包括一个第一缩放操作；一个第一去相关操作；以及一个第一编码操作，其中，在第一模式，去相关逻辑按照第一去相关操作进行去相关，缩放逻辑按照第一缩放操作进行缩放，以及编码逻辑按照第一编码操作进行压缩。
5．一种如在权利要求4中所述的图像处理系统，所述系统还包括一个编码查找表(LUT)，用来为编码逻辑提供由第一编码操作规定的信息。
6．一种如在权利要求1中所述的图像处理系统，其中所述数字图像数据呈经压缩的可变长度类型，而所述系统还包括一个将数字图像数据打包成具有预定的恒定长度的经打包的图像数据的数据打包单元。
7．一种如在权利要求5中所述的图像处理系统，所述系统还包括一个计算机总线，所述编码LUT接到这个计算机总线上；以及一个接到所述计算机总线上的控制单元，所述控制单元配置成通过执行多个指令将第一编码操作规定的信息装入编码LUT。
8．一种获取数字图像的设备，包括接受从需获取其图像的对象反射的入射光的光学接口；与光学接口连接的图像传感器，对入射光作出响应，产生传感器信号；对接收的传感器信号作出响应、产生经压缩的图像数据的数字信号和图像处理(DSIP)装置，所述DSIP装置具有将接收的图像数据压缩成经可变长度压缩的图像数据的压缩逻辑，以及将经可变长度压缩的图像数据打包成经恒定长度打包的图像数据的数据打包单元，所述DSIP装置是可配置的，从而能在多种模式之一工作，在第一模式按照第一组压缩操作提供作为电视图像数据的经打包的图像数据，而在第二模式按照第二组压缩操作提供作为静止图像数据的经打包的图像数据；接收和存储静止图像数据的本机存储装置；以及配置成将电视图像数据传送给一个与所述设备分离的电子图像观看系统的通信接口。
9．一种如在权利要求8中所述的设备，其中所述设备在第一模式还配置成通过通信接口传送磁盘文件格式的静止图像数据。
10．一种如在权利要求8中所述的设备，其中所述本机存储装置包括一个可拆卸存储器。
11．一种如在权利要求8中所述的设备，其中所述通信接口配置成按一个串行总线标准传送经打包的图像数据。
12．一种如在权利要求9中所述的设备，所述设备还包括一个在所述设备工作在第一模式时产生辅助光进一步照射对象的闪光灯。
13．一种如在权利要求8中所述的设备，其中所述光学接口包括一个具有固定有效焦长的透镜系统。
14．一种方法，包括下列步骤将一个信号和图像处理系统配置成能在至少能出电视图像和静止图像数据两种模式之一工作；在第一模式，按照多个图像处理操作的第一选择压缩图像数据，得出经压缩的静止图像数据；以及在第二模式，按照多个图像处理操作的第二选择压缩所述图像数据，得出经压缩的电视图像数据。
15．一种如在权利要求14中所述的方法，其中所述多个图像处理操作包括缩放和熵编码。
16．一种如在权利要求14中所述的方法，其中所述配置的步骤包括执行多个压缩所述图像数据的指令，得出静止图像数据。
17．一种如在权利要求14中所述的方法，所述方法还包括将经压缩的电视图像数据打包以得出具有恒定长度的电视图像数据的步骤。
18．一种如在权利要求14中所述的方法，所述方法还包括下列步骤将经压缩的静止图像数据打包，得出具有恒定长度的经打包的静止图像数据；以及将经打包的静止图像数据存储在一个可拆卸存储器内。
全文摘要
本发明所开发的像数字相机那样经济的数字图像获取设备(100)可以利用同一个可编程图像处理链和固定光学装置工作在静止和电视两种模式。在静止模式,设备可以利用图像传感器(114,用来获取原始图像数据)的全部分辨力,用环境光或由闪光灯(112)提供辅助光达到足够的信噪比(SNR)。在电视模式,设备可以配置成获取电视图像数据,按照编排在查找表(LUT)内诸如缩放、去相关和编码之类的图像处理参数在必要情况下配置逻辑电路对原始图像数据进行空间缩放和压缩,以符合对电视图像的存储和传输带宽的限制。在电视模式,即使例如在电视会议期间遇到光照条件较差的情况,通过缩放期间的像素平均也能保证足够的SNR。
文档编号H04N1/00GK1297644SQ98812887
公开日2001年5月30日 申请日期1998年9月15日 优先权日1997年11月3日
发明者R·R·敦顿, W·梅茨, C·A·科鲁姆, 小L·A·波斯, T·阿查亚, T·C·琼斯 申请人:英特尔公司