专利名称：改进型移动相机电话的制作方法
技术领域：
本发明的实施例涉及移动相机电话。也就是一种移动设备其可用作数字相机以及用作移动无线电通信设备。
背景技术：
图1为传统移动相机电话10的示意性图解。电话10包括，作为不同部件的，光学系统和图像传感器12，相机协处理器14以及应用处理器16。光学系统和图像传感器12摄取图像并且产生代表图像的数字输出11。相机协处理器14是一个芯片，其使用一个专用优化图像处理硬件加速器处理数字数据11，以产生图像数据13。应用处理器16是电话的中央处理单元(CPU)。其控制着电话的操作以及，特别地，输入、输出以及电话上可用的用户应用。应用处理器16，例如，控制着存储设备例如SDRAM 2和多媒体存储卡4，其中可以存储图像数据13。应用处理器可以控制数字基带电路(DSP)6，该数字基带电路可被用以处理由电话10进行的通信。在另一个实现中，电话10具有另外的处理器，专用于控制数字基带电路6。
移动电话功能和移动相机功能由分离的部件执行。光学系统和图像传感器12以及相机协处理器芯片14提供移动相机功能，并且可以作为整合到电话10主体上的单独模块或芯片18被提供。应用处理器16是另一模块或芯片，其提供了移动电话功能，并且可以提供图像储存以及回放功能。
希望能够改进移动相机电话的体系结构。
发明内容
根据本发明的一个方面，提供了一种移动相机电话，包括相机模块，用于摄取图像并且提供RAW格式的数字数据；以及应用处理器，包括用于控制电话操作的CPU以及安排用于对从相机模块接收到的RAW格式的数字数据执行相机图像处理的硬件。
根据本发明的另一个方面，提供了一种利用移动相机电话记录图像的方法，包括以下步骤在移动相机电话的第一相机部件摄取图像；将RAW格式的数字数据从移动相机电话的第一相机部件发送到第二应用处理部件；并且，在第二应用处理部件，对RAW格式的数字数据进行图像处理以产生用于查看的图像，并且控制该图像在电话中的储存。
“RAW”格式意味着将从图像传感器，例如CMOS传感器或是CCD传感器中输出的模拟数据进行数字化而获得的数据格式。
用于查看或是储存的图像通常为RGB格式、YUV格式，或是压缩格式诸如JPEG或是TIFF。
因此本发明的实施例具有数目减少的用于相机模块的部件。现有技术的相机模块的成像协处理器的功能已经被作为硬件或是软件整合到了应用处理器中。因此减少了相机模块的尺寸和成本。
根据本发明的一些实施例，相机模块包括缩减装置，用于缩减所提供的数字数据的尺寸。这就避免了对于相机模块和应用处理器之间昂贵的宽带宽接口的需要。
为了更好地理解本发明，现仅参考附图作为例子，其中图1为传统移动相机电话10的示意性图解；图2和图3为根据本发明第一实施例的移动相机电话20的示意性图解；图4表示了本发明一个可选实施例；以及图5表示了本发明的又一个可选实施例。
具体实施例方式
附图表示了一种移动相机电话20，包括相机模块28，用于摄取图像并提供RAW格式的数字数据11；以及应用处理器26，包括用于控制电话操作的CPU 26a，以及安排用于对从相机模块接收到的RAW格式的数字数据执行相机图像处理以产生图像数据13的硬件26b，该图像数据适于在数字显示器上进行查看。图像数据13在CPU 26a的控制下进行储存。
RAW格式意味着将从图像传感器，例如CMOS传感器或是CCD传感器中输出的模拟数据进行数字化而获得的数据格式。
用于查看或是储存的数据图像可以为RGB格式、YUV格式，或是压缩格式，例如JPEG或是TIFF格式。
图2和图3是根据本发明第一实施例的移动相机电话20的示意性图解。电话20包括，作为不同部件的，光学系统和图像传感器12以及应用处理器26。该应用处理器26是一个单独芯片。其具有一个用作电话20的CPU的CPU块26a，一个用作相机图像处理器的相机图像处理块26b，以及到存储装置SDRAM 2和存储卡4的接口26c。该应用处理器26可以是一个片上系统(SOC)。
光学系统和图像传感器12是相机模块28的一部分。光学系统和图像传感器12包括镜头12a、图像传感器块12b以及模数转换器(ADC)块12c。其摄取图像并产生代表图像的数字输出11。该数字输出11为Bayer数据，其为对应于使用在图像传感器12上的色彩滤镜的RGB色彩数据。“原始的”数字输出11通过经相机模块28以及应用处理器26之间的接口27。
应用处理器26利用相机图像处理块26b提供的专用的图像处理能力处理数字数据11，以产生图像数据13。应用处理器26包括电话的中央处理单元(CPU)块26a，其控制着电话的操作以及，特别是，输入、输出以及电话上可用的用户应用。应用处理器26，例如，控制着诸如SDRAM 2和多媒体存储卡4的存储设备，其中可以存储图像数据13。应用处理器还提供对数字基带电路6的某些控制，该数字基带电路可用来处理经由电话10进行的通信。
移动电话功能和移动相机功能实质上由同一个部件执行，即位于相机图像处理块26b内的应用处理器26(在另外的实施例中某些移动电话功能可以由另一处理器执行)。光学系统和图像传感器12作为简单的小而廉的模块28被提供用以整合到电话20的主体。在本实施例中，提供了移动相机图像摄取功能以及A/D转换，但是没有提供进一步的图像处理功能以构建用以在显示器上查看或是在存储器中储存的最终图像。应用处理器26提供移动相机数据处理功能以及移动电话控制功能。
应用处理器26的相机图像处理功能可以在应用处理器26内，由专用的与CPU处理器相分离的硬连接流水线(hard-wired pipeline)处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。可编程硬件加速器的优势在于，其可以通过编程而适于与不同的图像传感器模块28一起工作。可编程硬件加速器的一种类型是SIMD(单一指令多数据)处理加速器，其适宜相机图像处理。
图像处理可以包括缺陷修正、增益控制、黑电平偏移匹配、白平衡、伽玛控制、CFA内插以及色彩空间转换、边界加强以及数据压缩。不必按照上面的次序执行操作。
应用处理器26的相机图像处理模块26b在图像处理操作时可以涉及CPU块26a和/或数字基带电路(DSP)6。
图4表示本发明的另一个实施例。在经过接口27被发送之前将数字数据11缩减尺寸，使得接口27的带宽变得较小。在图4的例子中，数字数据11的位深度(bit depth)从ADC 12c的输出处的10比特，减小到其通过接口27时的8比特。本例中，比特缩减是作为伽玛修正的部分由伽玛修正块30执行的。伽玛修正的图像处理功能在相机模块28中由伽玛修正块30执行，而不是由应用处理器26的相机图像处理块26b执行。
模块28执行一些有限的图像处理，然而大部分的图像处理是由应用处理器26的相机图像处理块26b完成的。模块28仍为简单且小而廉的模块并且能轻易整合到电话20的主体中。模块28提供移动相机图像摄取功能、A/D转换、数据带宽缩减，并且可以提供某些有限的图像处理功能(伽玛修正)。应用处理器26提供大部分的相机数据处理功能以构建最终图像数据以及移动电话控制功能。并且，本实施例中接口27的带宽可以小于图3所示的在前实施例中的接口的带宽。
应用处理器26的相机图像处理功能可以在应用处理器26内，由与CPU处理器相分离的专用硬连接流水线处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。
应用处理器26的相机图像处理块26b在图像处理操作中可以涉及CPU块26a和/或DSP 6。
图5表示对参照图4所描述的本发明的可选实施例的修改。数字数据11在通过接口11发送之前先被无损压缩块32进行无损压缩。在图5的例子中，数字数据的位深度首先从ADC 12c的输出处的10比特，通过伽玛修正块30减小到8比特。之后，经过伽玛修正后的数字数据在被作为数字数据11通过接口27发送之前由压缩块32进行无损压缩。在本例中，接口27的带宽可以小于图4所示实施例中的接口的带宽。
由应用处理器26的相机图像处理块26b执行的相机图像处理还包括在图像处理发生之前由解压缩块34在接口27处进行的无损解压缩。
模块28执行数据压缩，并且可能执行一些有限的图像处理，但是大部分的处理都由应用处理器26的相机图像处理块26b完成。模块28仍为简单且小而廉的模块，并且能轻易整合到电话20的主体中。模块28提供移动相机图像摄取功能，由无损压缩实现的数据带宽缩减，以及可以提供某些有限的图像处理功能(伽玛修正)。应用处理器26提供无损解压缩，以及至少大部分的移动相机数据处理功能，以及移动电话控制功能。
应用处理器26的相机图像处理功能可以在应用处理器26内，由与CPU处理器相分离的专用硬连接流水线处理器提供，或者由可以是CPU扩展的专用可编程硬件加速器提供。
应用处理器26的相机图像处理模块26b在图像处理操作中可以涉及CPU块26a和/或DSP 6。
模块可以被整合到电话的主体上或可以是用户可装/卸于电话主体上的。
虽然在之前的段落里参照各种例子对本发明的实施例进行了描述，但是应当理解的是，对于所给出的例子可以作出修改而不背离本发明的精神或范围。
尽管在上述的说明书中将注意力集中到了这些确信具有特殊重要性的发明特征上，然而应当理解的是，无论是否作出了特别的强调，申请人意欲对之前所提到的和/或是显示在附图中的，任何具有专利性的特征或是特征的组合寻求保护。
权利要求
1.一种移动相机电话，包括相机模块，用于摄取图像并且提供RAW格式的数字数据；以及应用处理器，包括用于控制所述电话操作的CPU以及安排用于对从所述相机模块接收到的RAW格式的所述数字数据执行相机图像处理的硬件。
2.如权利要求1所述的移动相机电话，其中所述相机模块仅包括光学系统、图像传感器以及模数转换器，并且没有图像处理设施。
3.根据权利要求1或2的移动相机电话，其中所述数字数据为图像传感器的数字化输出。
4.根据权利要求1的移动相机电话，其中所述相机模块包括用于缩减所提供的数字数据的尺寸的缩减装置。
5.根据权利要求4的移动相机电话，其中所述缩减装置涉及位深度缩减。
6.根据权利要求4或5的移动相机电话，其中所述缩减装置涉及无损压缩，且所述应用处理器包括用于图像处理前的无损解压缩的装置。
7.根据权利要求1以及4到6的任一项的移动相机电话，其中所述相机模块进一步包括用于预定的并有限的图像处理的装置。
8.根据权利要求1以及4到7的任一项的移动相机电话，其中所述相机模块进一步包括用于在数字数据被提供给所述应用处理器之前对其进行伽玛修正的伽玛修正装置。
9.根据权利要求1以及4到8的任一项的移动相机电话，其中所述应用处理器执行除了伽玛修正之外的相机图像处理。
10.根据权利要求1以及4到6的任一项的移动相机电话，其中所述应用处理器为一个片上系统。
11.根据前述权利要求的任一项的移动相机电话，其中所述应用处理器包括用于相机图像处理的硬连接流水线处理器。
12.根据前述权利要求的任一项的移动相机电话，其中所述应用处理器包括可编程硬件加速器。
13.根据权利要求12的移动相机电话，其中所述可编程的硬件加速器是SIMD处理加速器，其被优化用于相机图像处理。
14.一种利用移动相机电话记录图像的方法，包括以下步骤在所述移动相机电话的第一相机部件中摄取图像；将RAW格式的数字数据从所述移动相机电话的所述第一相机部件发送到第二应用处理部件；并且，在所述第二应用处理部件中，对RAW格式的所述数字数据进行图像处理以产生用于查看的图像，并且控制该图像在所述电话中的储存。
全文摘要
一种移动相机电话，包括相机模块，用于摄取图像并且提供RGB格式的数字数据；以及应用处理器，包括用于控制电话操作的CPU以及安排用于对从相机模块接收到的RGB格式的数字数据执行相机图像处理的硬件。一种利用移动相机电话记录图像的方法，包括以下步骤在移动相机电话的第一相机部件摄取图像；将RGB格式的数字数据从移动相机电话的第一部件发送到第二应用处理部件；以及，在应用处理部件中，对RGB格式的数字数据进行图像处理以产生用于查看的图像，并且控制该图像在电话中的储存。
文档编号H04N5/228GK1765122SQ03826308
公开日2006年4月26日 申请日期2003年4月17日 优先权日2003年4月17日
发明者阿米特·达特塔, 进一畅 申请人:诺基亚公司