专利名称：图像选择与组合的方法与装置的制作方法
技术领域：
本发明大体来说涉及图像选择及组合。
背景技术：
技术的进步已产生更小且更强大的计算装置。举例来说，当前存在包括无线计算装置的多种便携型个人计算装置，例如体积小、重量轻且易于由用户携带的便携型无线电话、个人数字助理(PDA)及寻呼装置。更具体来说，例如蜂窝式电话及因特网协议(IP)电话的便携型无线电话可经由无线网络传达语音及数据包。另外，许多这些无线电话包括并入于其中的其它类型的装置。举例来说，无线电话还可包括数字照相机、数字摄像机、数字记录器及音频文件播放器。又，这些无线电话可处理包括软件应用程序的可执行指令，例如可用以接入因特网的网络浏览器应用程序。因而，这些无线电话可包括相当大的计算能力。数字信号处理器(DSP)、图像处理器及其它处理装置被频繁地用于包括数字相机或显示由数字相机捕捉的图像或视频数据的便携型个人计算装置中。这些处理装置可用以提供视频及音频功能、处理所接收的数据(例如，图像数据)或执行其它功能。一种类型的图像处理涉及改良数字图像的信噪比(SNI )。减少噪声(例如，暗电流、光子噪声及串扰)可得出更好的照片。弱光摄影的信噪比(SNR)可能为特别低的。减少图像中的噪声的一种方式为对图像执行低通滤波，同时使用边缘检测器来保护边缘边界。 然而，即使边缘受到保护，所述滤波还是会影响场景中的纹理，因为可能难以分清纹理与噪声。减少噪声的另一方式为组合两个或两个以上图像，但此可能导致重像(ghosting)。减少噪声的又一方式为组合两个或两个以上图像的部分以便最小化重像。然而，此可能在计算上为成本高昂的且较不可能减少在移动对象周围的噪声，因为可使用较少宏块。
发明内容
相机能够在“连续拍摄模式”中一次性拍摄许多照片。举例来说，相机可能能够每秒拍摄高达60张六百万像素(6MP)的照片。可利用此技术以减少数字摄影中常见的噪声 (不仅针对弱光条件或手抖动减少，而是针对所有照片)。可逐帧地追踪例如一双眼睛的对象，且仅组合选定对象似乎在帧间固定的那些帧。在将照片合并在一起时，仅组合那些帧会提供改良的结果。在一特定实施例中，揭示一种包括接收由图像捕捉装置捕捉的多个顺序图像的方法。所述方法包括选择彼此对准的多个顺序图像的子集。所述方法进一步包括将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。在另一实施例中，揭示一种包括图像处理系统的设备，所述图像处理系统经配置以选择彼此对准的多个顺序图像的子集。所述图像处理系统还经配置以将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。在另一实施例中，揭示一种包括经配置以处理多个顺序图像的图像处理电路的集成电路。所述图像处理电路经配置以选择彼此对准的多个顺序图像的子集。所述图像处理
5电路还经配置以将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。在另一实施例中，揭示一种包括用于选择彼此对准的多个顺序图像的子集的装置的设备。所述设备进一步包括用于将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像的装置。在另一实施例中，揭示一种存储计算机可执行代码的计算机可读媒体。所述计算机可读媒体包括用于接收由图像捕捉装置捕捉的多个顺序图像的代码。所述计算机可读媒体还包括用于选择彼此对准的多个顺序图像的子集的代码。所述计算机可读媒体进一步包括用于将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像的代码。由所揭示的实施例提供的一个特定优点为改良快照(snapshot)的信噪比(SNR) 而在焦点图表(focus chart)上无清晰度的可感知损失的能力。举例来说，可跨越所有通道 (例如，红色(R)通道、绿色(G)通道及蓝色(B)通道)显著减少绿色斑块(green patch) 标准偏差(STD)。由所揭示的实施例提供的另一优点为系统可经由单一参数调谐以使得用户可在所要噪声减少(要组合的图像多到何种程度)与清晰度(要组合的图像少到何种程度)之间作出取舍。系统可使用显著性检测(saliency detection)以便不会为了整体噪声减少而牺牲关键区域(例如，面部及眼睛)的清晰度。系统可通过利用根据相机预览进行的面部检测而具有减少的中央处理单元(CPU)复杂性。在审阅完整申请案之后，本发明的其它方面、优点及特征将变得显而易见，完整申请案包括以下部分“
”、“具体实施方式
”及“权利要求书”。
图1为图像选择及组合系统的特定说明性实施例的框图；图2为彼此对准的多个顺序图像的子集的第一实施例的说明性图；图3为彼此对准的多个顺序图像的子集的第二实施例的说明性图；图4为彼此对准的多个顺序图像的子集的第三实施例的说明性图；图5为图像选择及组合的方法的第一说明性实施例的流程图；图6为图像选择及组合的方法的第二说明性实施例的流程图；图7为包括图像选择及组合模块的装置的特定实施例的框图；及图8为包括图像选择及组合模块的便携型通信装置的特定实施例的框图。
具体实施例方式参看图1，展示图像选择及组合系统100的特定说明性实施例的框图。图像选择及组合系统100包括耦合到图像处理系统130的图像捕捉装置101。图像处理系统130耦合到图像存储装置150。图像存储装置150可为随机存取存储器(RAM)装置或例如只读存储器(ROM)或闪存的非易失性存储器装置。图像捕捉装置101包括传感器108、自动对焦控制器104，及自动曝光控制器106。自动对焦控制器104及自动曝光控制器106各自耦合到透镜系统102。大体来说，图像选择及组合系统100包括图像处理系统130以使得可选择在由单一图像捕捉命令引起的图像“连续拍摄”中捕捉的图像103的多个顺序图像107的子集 141，且使得可组合子集141以产生经组合的图像143。图像捕捉装置101可经配置以在由单一图像捕捉命令引起的图像连续拍摄中捕捉图像103的多个顺序图像107。举例来说，图像捕捉装置101可经配置以在约一秒的连续拍摄中捕捉高达约六十张顺序图像(各自具有高达约六百万像素(MP))。图像处理系统130可经配置以使用图像选择模块140选择彼此对准的多个顺序图像107的子集141。图像选择模块140可利用根据图像预览操作的面部检测以选择彼此对准的多个顺序图像107的子集141。或者，图像选择模块140可利用根据图像预览操作的皮肤检测以选择彼此对准的多个顺序图像107的子集141。图像处理系统130还可经配置以使用图像组合模块142将来自多个顺序图像107的子集141中的每一图像的像素值求平均值以产生经组合的图像143。图像处理系统130可经进一步配置以在使用图像组合模块 142将来自多个顺序图像107的子集141中的每一图像的像素值求平均值以产生经组合的图像143之前，使用清晰化模块145将彼此对准的多个顺序图像107的子集141清晰化。在操作期间，图像103的多个顺序图像是经由透镜系统102自动对焦且自动曝光且由传感器108感测。包括多个顺序图像107的图像数据被从传感器108输出(如由箭头 109所示)，且在到图像处理管线的入口 131处输入到图像处理系统130。图像数据在成为到色彩转换装置118的输入117之前由白平衡装置110、色彩校正装置112、伽玛校正装置 114及明度调适装置116依次处理。在色彩转换装置118中的色彩转换之后，经处理的图像数据被输入到图像选择模块140。图像选择模块140选择彼此对准的多个顺序图像107的子集141。图像选择模块 140耦合到图像组合模块142，图像组合模块142将来自多个顺序图像107的子集141中的每一图像的像素值求平均值以产生经组合的图像143。经组合的图像143可具有相对于用以产生经组合的图像143的多个顺序图像107的子集141中的每一图像的减少的随机噪声。经组合的图像143为到图像压缩装置120的输入144及来自图像处理系统130的在从图像处理管线的出口 132处的输出(如由箭头121所示)，及到图像存储装置150的输入。在替代实施例中，在图像处理系统130的图像处理管线的图像选择模块140处执行对彼此对准的多个顺序图像107的子集141的选择，而在将子集141存储于图像存储装置150中之后执行将来自多个顺序图像107的子集141中的每一图像的像素值求平均值以产生经组合的图像。在另一替代实施例中，在将多个顺序图像107存储于图像存储装置150 中之后执行对彼此对准的多个顺序图像107的子集的选择以及将来自多个顺序图像107的子集中的每一图像的像素值求平均值以产生经组合的图像。图像选择模块140与图像组合模块142 —起可能使得可改良快照的信噪比(SNR) 而在焦点图表上仅有很少或无清晰度的可感知损失。举例来说，可跨越所有通道(例如，红色(R)通道、绿色(G)通道及蓝色(B)通道)减少绿色斑块标准偏差(STD)。具有图像选择模块140连同图像组合模块142的图像处理系统130可经由单一参数调谐以便用户可在所要噪声减少量(要组合的图像多到何种程度)与清晰度(要组合的图像少到何种程度) 之间作出取舍。单一参数可为要组合的图像的数目。显著性检测(例如，图像中的显著特征的检测)可用以确保不会为了整体噪声减少而牺牲关键区域(例如，面部及眼睛)的清晰度。具有图像选择模块140连同图像组合模块142的图像处理系统130可通过(例如)
7利用根据相机预览操作的面部检测而实现减少的中央处理单元(CPU)复杂性。参看图2，展示彼此对准的多个顺序图像200的子集的第一实施例的说明性图。在说明性实施例中，多个顺序图像200类似于图1的多个顺序图像107。多个顺序图像中的每一者可被称作帧。可逐帧地追踪所关注区域224中的对象222。可选择所关注区域224中的对象222呈现为固定的帧以组合或合并在一起。在对象222处于两个帧中的相同所关注区域2M中时，所述两个帧可彼此对准。举例来说，帧202与204可彼此对准，因为对象222 处于两个帧中的所关注区域2M中。如图2所示，可将每一图像的像素值求平均值以产生经组合的图像226。在说明性实施例中，经组合的图像2 类似于图1的经组合的图像143。在一些帧中，由于握持图像选择及组合系统100的手的移动，对象222可能不处于所关注区域224中。深色帧202、204、206、208及214可形成彼此对准的多个顺序图像200 的子集。浅色帧210、212、216、218及220可能不与深色帧202、204、206、208及214对准。 组合彼此未对准的帧可导致“重像”，其中对象222呈现为处于经组合的图像中的两处。举例来说，图2的深色帧202、204、206、208及214的子集在经组合时可能具有最小化或减少在左上角中的所关注区域224中的重像的最佳机会。在特定实施例中，选择彼此对准的多个顺序图像200的子集包括实时检测具有至少一个固定的所关注区域的第一组图像(例如，深色帧202、204、206、208及214)，其中对象222处于所关注区域224中；及移除不具有至少一个固定的所关注区域的第二组图像(例如，浅色帧210、212、216、218及220)，其中对象222不处于所关注区域224中。参看图3，展示彼此对准的多个顺序图像300的子集的第二实施例的说明性图。在说明性实施例中，多个顺序图像300类似于图1的多个顺序图像107且类似于图2的多个顺序图像200。多个顺序图像的选定子集可包括非相邻的或非顺序的帧。举例来说，由于相应帧之间的固定的所关注区域的相互对准，深色帧302可与深色帧308、310、314、316及 318组合。浅色帧304、306、312及320由于所述相应帧之间的固定的所关注区域未相互对准而可能不组合。如下文更详细描述，可基于在固定的所关注区域中的像素的至少一个通道(例如，红色(R)、绿色(G)或蓝色(B))中相应图像之间的像素值的绝对差的和(SAD，sum of absolute differences)选择图像。举例来说，深色帧308、310、314、316及318可各自具有相对于在所关注区域(ROI)中的深色帧302的小于或等于阈值t的绝对差的和(SAD)。类似地，浅色帧304、306、312及320可各自具有相对于在所关注区域(ROI)中的深色帧302 的大于阈值t的绝对差的和(SAD)。可基于相对于在所关注区域(ROI)中的深色帧302的绝对差的和(SAD)而向深色帧302、308、310、314、316及318指派用以组合帧的不透明度值 (如下文更详细描述)。参看图4，展示彼此对准的多个顺序图像400的子集的第三实施例的说明性图。 在说明性实施例中，多个顺序图像400类似于图1的多个顺序图像107、图2的多个顺序图像200，及图3的多个顺序图像300。多个顺序图像的选定子集可包括未处于帧序列的开始处的帧。举例来说，可组合深色帧408、410、412、414、416及418，因为归因于按压图1的图像选择及组合系统100的快照按钮的手运动可能已使浅色帧402、404及406未良好对齐 (register)或未与深色帧 408、410、412、414、416 及 418 对准。如下文更详细描述，可基于在固定的所关注区域中的像素的至少一个通道(例如，明度(Y)、蓝色色度(Cb)或红色色度(Cr))中相应图像之间的像素值的差的平方的和 (SSD，sum of squares of differences)选择图像。举例来说，深色帧 408、410、414、416 及 418可各自具有相对于在所关注区域(ROI)中的深色帧412的小于或等于阈值T的差的平方的和(SSD)。类似地，浅色帧402、404、406及420可各自具有相对于在所关注区域(ROI) 中的深色帧412的大于阈值T的差的平方的和(SSD)。可基于相对于在所关注区域(ROI) 中的深色帧412的差的平方的和(SSD)而向深色帧408、410、412、414、416及418指派用以组合帧的不透明度值(如下文更详细描述)。在特定实施例中，多个顺序图像的子集包括具有至少一个固定的所关注区域的图像。举例来说，图2的帧202、204、206、208及214可具有处于左上角的至少一个固定的所关注区域224。在一些图像中，至少一个固定的所关注区域可包括至少一双眼睛。在特定实施例中，至少部分地基于在至少一个固定的所关注区域中的像素的至少一个通道中相应图像之间的像素值的绝对差的和(SAD)而选择具有至少一个固定的所关注区域的图像。举例来说，在至少一个固定的所关注区域(ROI)中的像素i的红色(R)通道中第一图像(其被称作图像1)与第二图像(其被称作图像幻之间的像素值的绝对差的和
(SAD)可由x4z^12= Σ定义，其中Ril为图像1中的像素i的红色值，且Ri2为图像2
itzROI
中的像素i的红色值。大体来说，在至少一个固定的所关注区域(ROI)中的像素i的α通道中图像j与图像k之间的像素值的绝对差的和(SAD)可由Σ N/—定义，其中
i <zR01
(例如)α =R，G，B或α =Y，Cb，Cr。如果在至少一个固定的所关注区域(ROI)中的像素 i的α通道中图像j与图像k相同，则SADajk = 0。对所有通道求和得出^^ν^Σ^Α^、
Ja
其为在至少一个固定的所关注区域(ROI)中的像素i的所有通道中图像j与图像k之间的像素值的绝对差的和(SAD)，为就至少一个固定的所关注区域(ROI)中的像素i来说图像j 与图像k之间的差异量的测量结果。在特定实施例中，至少部分地基于绝对差的和(SAD)处于阈值或低于阈值而选择具有至少一个固定的所关注区域的图像。举例来说，对于为200像素乘80像素的固定的所关注区域来说，可使用阈值t = 500，使得当像素值的绝对差的和(SAD)SADjkS t = 500时， 可选择图像j与图像k以组合。在特定实施例中，至少部分地基于绝对差的和(SAD)向具有至少一个固定的所关注区域的图像各自指派不透明度值，其中不透明度值是用于将来自多个顺序图像的子集的像素值求平均值以产生经组合的图像。举例来说，使用图像j作为参考图像，在像素值的绝对差的和(SAD)O ^ SADjk ^ 200时，可向图像k指派50 %的不透明度值；在 201 ( SADjk ^ 300时，可向图像k指派40%的不透明度值；在301 ( SADjk ^ 400时，可向图像k指派30%的不透明度值；及在401 ^ SADjkS 500时，可向图像k指派20%的不透明度值。在组合选定图像时，不透明度值可用以产生用以施加到像素值的权重。举例来说， 在四个图像具有相对于基础或参考图像的低的绝对差的和(SAD)时，所述四个图像的不透明度值可分别为50^^50^^40%及20%。可向基础或参考图像指派具有最低的绝对差的和(SAD)的图像的不透明度值，在此状况下其为50%的不透明度值。用以施加于每一图像
9的像素值的权重可能等于所述图像的不透明度值除以待组合的图像的所有不透明度值的和。此处，待组合的图像的所有不透明度值的和为50+50+50+40+20 = 210。举例来说，基础或参考图像的红色、绿色及蓝色像素值均可乘以50/210 ；具有50%的不透明度值的其它图像中的每一者的红色、绿色及蓝色像素值还可乘以50/210 ；具有40%的不透明度值的图像的红色、绿色及蓝色像素值可乘以40/210 ；且具有20%的不透明度值的图像的红色、绿色及蓝色像素值可乘以20/210。可将五个图像的加权像素值求平均值以产生经组合的图像。在特定实施例中，至少部分地基于在至少一个固定的所关注区域中的像素的至少一个通道中相应图像之间的像素值的差的平方的和(SSD)而选择具有至少一个固定的所关注区域的图像。举例来说，在至少一个固定的所关注区域(ROI)中的像素i的红色(R)通道中第一图像(其被称作图像1)与第二图像(其被称作图像幻之间的像素值的差的平方
的和(SSD)可由5^Am = Σ (Rn - Ra P定义，其中Ril为图像1中的像素i的红色值，且Ri2为
iczROI
图像2中的像素i的红色值。大体来说，在至少一个固定的所关注区域(ROI)中的像素i的 α通道中图像j与图像k之间的像素值的差的平方的和(SSD)可由Σ (^- )2
icROI
定义，其中(例如)α =R，G，B或α =Y, Cb，Cr。如果在至少一个固定的所关注区域 (ROI)中的像素i的α通道中图像j与图像k相同，则SSD”k = 0。对所有通道求和得出
SSDjk=^SSDajk ,其为在至少一个固定的所关注区域(R0I)中的像素i的所有通道中图像
a
j与图像k之间的像素值的差的平方的和(SSD)，为就至少一个固定的所关注区域(ROI)中的像素i来说图像j与图像k之间的差异量的测量结果。在特定实施例中，至少部分地基于差的平方的和(SSD)处于阈值或低于阈值而选择具有至少一个固定的所关注区域的图像。举例来说，对于为200像素乘80像素的固定的所关注区域来说，可使用阈值T = 500，使得当像素值的差的平方的和(SSD) SSDjkS T = 500 时，可选择图像j与图像k以组合。在特定实施例中，至少部分地基于差的平方的和(SSD)向具有至少一个固定的所关注区域的图像各自指派不透明度值，其中不透明度值是用于将来自多个顺序图像的子集的像素值求平均值以产生经组合的图像。举例来说，使用图像j作为参考图像，在像素值的差的平方的和(SSD)O ( SSDjk ( 200时，可向图像k指派50%的不透明度值；在 201 ( SSDjk ^ 300时，可向图像k指派40%的不透明度值；在301 ( SSDjk ^ 400时，可向图像k指派30%的不透明度值；及在401 ^ SSDjkS 500时，可向图像k指派20%的不透明度值。在组合选定图像时，不透明度值可用以产生用以施加于像素值的权重。举例来说， 在三个图像具有相对于基础或参考图像的低的差的平方的和(SSD)时，所述三个图像的不透明度值可分别为50%、40%及20%。可向基础或参考图像指派具有最低的差的平方的和(SSD)的图像的不透明度值，在此状况下其为50%的不透明度值。用以施加于每一图像的像素值的权重可等于所述图像的不透明度值除以待组合的图像的所有不透明度值的和。 此处，待组合的图像的所有不透明度值的和为50+50+40+20 = 160。举例来说，基础或参考图像的红色、绿色及蓝色像素值均可乘以50/160 ；具有50%的不透明度值的其它图像的红色、绿色及蓝色像素值还可乘以50/160 ；具有40%的不透明度值的图像的红色、绿色及蓝色像素值可乘以40/160 ；且具有20%的不透明度值的图像的红色、绿色及蓝色像素值可乘以20/160。可将四个图像的加权像素值求平均值以产生经组合的图像。可选择产生绝对差的和(SAD)的最低集合或产生差的平方的和(SSD)的最低集合的基础或参考图像。举例来说，对于η个图像来说，每一图像可依次被选择为基础或参考图像，且可计算所有其它(η-1)个图像的相对于所述基础或参考图像的绝对差的和(SAD)或差的平方的和(SSD)。可预定要组合的图像的数目m，且接着可选择基础或参考图像。以此方式，可找出提供绝对差的和(SAD)或差的平方的和(SSD)的最低群组(m个图像)的基础或参考图像。举例来说，m可能等于三或四。在相机不能存储所有η个图像且一旦存在彼此适当对准的m个图像就将停止处理由单一捕捉命令引起的图像连续拍摄的图像时，所述搜索方法可为有用的。可在运作中(on-the-fly)在图像处理系统130中的硬件中或之后在图像存储装置150中执行图像处理。在此搜索方法中，可使用不同于一的增量。举例来说，可将每第五个图像作为基础或参考图像来进行评估。可在图像间使握持图像捕捉装置的手的运动与被拍摄物的运动相关。如果给定图像在用作基础或参考图像时产生超出阈值的绝对差的和(SAD)或差的平方的和(SSD)的群组，则在给定图像附近的图像可能同样如此。可使用二进制搜索方法。举例来说，如果存在 100个图像，则可将图像25、50及75选择为基础或参考图像。视哪一基础图像产生绝对差的和(SAD)或差的平方的和(SSD)的最低群组而定，可将搜索间隔减半。举例来说，如果作为基础或参考图像的图像75产生绝对差的和(SAD)或差的平方的和(SSD)的最低群组，则可使用为12的搜索间隔而非为25的间隔，以使得图像63及87可用作基础或参考图像。如果作为基础或参考图像的图像63产生绝对差的和(SAD)或差的平方的和(SSD)的最低群组，则可使用为6的搜索间隔而非为12的间隔，以使得图像57及69可用作基础或参考图像。二进制搜索可继续直到搜索间隔为一个图像为止。在特定实施例中，在将来自多个顺序图像的子集中的每一图像的像素值求平均值之前将所述多个顺序图像的子集清晰化。举例来说，图1的多个顺序图像107的子集141 在于图像组合模块142中经组合之前可在清晰化模块145中经清晰化。在特定实施例中， 选择彼此对准的多个顺序图像200的子集包括实时检测具有至少一个固定的所关注区域的第一组图像(例如，深色帧202、204、206、208及214)，其中对象222处于所关注区域2M 中；及移除不具有至少一个固定的所关注区域的第二组图像(例如，浅色帧210、212、216、 218及220)，其中对象222不处于所关注区域224中。在特定实施例中，在选择彼此对准的多个顺序图像的子集之前接收由图1的图像捕捉装置101捕捉的高达六十个顺序图像。参看图5，在500处展示选择并组合彼此对准的多个顺序图像的方法的第一说明性实施例的流程图。举例来说，可由图1的图像选择及组合系统100执行方法500。方法 500包括在连续拍摄中捕捉η个顺序图像(在502处)。举例来说，可在约一秒的连续拍摄中捕捉高达约六十个顺序图像，其各自具有六百万像素(MP)。方法500还包括确定η个顺序图像中的第一图像中的所关注区域(在504处)。举例来说，所关注区域可为一双眼睛。 如图2所示，所关注区域2 可具有固定对象222。方法500进一步包括确定各自具有所关注区域的小于阈值的绝对差的和(SAD)的 m个顺序图像(在506处)。举例来说，m可在约二至约十的范围中。在所关注区域为约200 像素乘约80像素时，阈值可为约500。如图3所示，深色帧308、310、314、316及318的子集可各自具有相对于在所关注区域(ROI)中的深色帧302的小于或等于阈值t的绝对差的和 (SAD)。方法500还包括基于每一所关注区域相对于第一图像中的所关注区域的绝对差的和(SAD)而确定m个顺序图像中的每一者的不透明度值(在508处)。举例来说，使用图像j作为第一图像，在像素值的绝对差的和(SAD)O ( SADjk ^ 200时，可向图像k指派50%的不透明度值；在201 ^ SADjk ^ 300时，可向图像k指派40 %的不透明度值；在 301 ( SADjk ^ 400时，可向图像k指派30%的不透明度值；且在401 ( SADjk ^ 500时，可向图像k指派20%的不透明度值。第一图像具有SADjj = O,所以第一图像可包括于各自具有每一所关注区域的小于阈值的绝对差的和(SAD)的m个顺序图像中。方法500进一步包括使用m个顺序图像中的每一者的不透明度值而将m个顺序图像合并在一起(在510处)。举例来说，对于m= 5来说，在四个图像具有相对于第一图像的低的绝对差的和(SAD)时，所述四个图像的不透明度值可分别为50^^40^^40%及 20%。可向第一图像指派50%的不透明度值。用以施加于每一图像的像素值的权重可能等于所述图像的不透明度值除以待组合的图像的所有不透明度值的和，其中在此状况下所有不透明度值的和为50+50+40+40+20 = 200。举例来说，第一图像的红色、绿色及蓝色像素值均可乘以50/200 ；具有50%的不透明度值的其它图像的红色、绿色及蓝色像素值还可乘以50/200 ；具有40%的不透明度值的图像中的每一者的红色、绿色及蓝色像素值可乘以 40/200 ；且具有20%的不透明度值的图像的红色、绿色及蓝色像素值可乘以20/200。可接着将m = 5个顺序图像的经适当加权的像素值求平均值以产生经组合或经合并的图像。参看图6，在600处展示选择并组合彼此对准的多个顺序图像的方法的第二说明性实施例的流程图。方法600包括接收由图像捕捉装置捕捉的多个顺序图像(在602处)。 举例来说，多个顺序图像107可由图1的图像捕捉装置101捕捉。方法600还包括选择彼此对准的多个顺序图像的子集(在604处)。举例来说，图2的深色帧202、204、206、208及 214可经选择为彼此对准的多个顺序图像200的子集。方法600进一步包括将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像(在606处)。举例来说，可将来自图2的深色帧202、204、206、208及214中的每一者的像素值求平均值以产生类似于经组合的图像226的经组合的图像。方法600还包括在将来自多个顺序图像的子集中的每一图像的像素值求平均值之前将所述多个顺序图像的子集清晰化(在608处)。举例来说，图1的多个顺序图像107 的子集141在于图像组合模块142中经组合之前可在清晰化模块145中经清晰化。方法 600进一步包括实时检测具有至少一个固定的所关注区域的第一组图像(在610处)。举例来说，选择图2的彼此对准的多个顺序图像200的子集可包括实时检测具有至少一个固定的所关注区域的第一组图像(例如，深色帧202、204、206、208及214)，其中对象222处于所关注区域224中。方法600还包括移除不具有至少一个固定的所关注区域的第二组图像 (在612处)。举例来说，选择图2的彼此对准的多个顺序图像200的子集可包括移除不具有至少一个固定的所关注区域的第二组图像(例如，浅色帧210、212、216、218及220)，其中对象222不处于所关注区域224中。在一特定实施例中，设备包括用于选择彼此对准的多个顺序图像的子集的装置。 用于选择彼此对准的多个顺序图像的子集的装置可包括图像处理系统(例如，图1的具有图像选择模块140的图像处理系统130)、图像处理电路、对应硬件、固件或其任何组合。举例来说，图1的具有图像选择模块140的图像处理系统130可经编程以执行算法来选择彼此对准的多个顺序图像的子集。所述设备进一步包括用于将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像的装置。所述用于将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像的装置可包括图像处理系统 (例如，图1的具有图像组合模块142的图像处理系统130)、图像处理电路、对应硬件、固件或其任何组合。举例来说，图1的具有图像组合模块142的图像处理系统130可经编程以执行算法来将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。图7为包括图像选择及图像组合模块的系统700的特定实施例的框图。系统700 包括图像传感器装置722，所述图像传感器装置722耦合到透镜768且还耦合到便携型多媒体装置的应用处理器芯片组770。图像传感器装置722包括图像选择及图像组合模块764， 其用以例如通过实施图1的图像选择模块140及图像组合模块142、通过根据图5至图6的实施例中的任一者操作，或其任何组合而选择彼此对准的多个顺序图像的子集且将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。图像选择及图像组合模块764经耦合以(例如)经由模/数转换器7 (其经耦合以接收图像阵列766的输出)从图像阵列766接收图像数据且将所述图像数据提供到图像选择及图像组合模块764。图像传感器装置722还可包括处理器710。在特定实施例中，处理器710经配置以实施图像选择及图像组合模块764。在另一实施例中，图像选择及图像组合模块764经实施为图像处理电路。在特定实施例中，包括图像处理电路的集成电路经配置以处理多个顺序图像。所述图像处理电路经配置以选择彼此对准的多个顺序图像的子集。举例来说，图2的帧202、 204,206,208及214可经选择为彼此对准的多个顺序图像的子集。图像处理电路还经配置以将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。举例来说，可将来自图2的帧202、204、206、208及214中的每一者的像素值求平均值以产生经组合的图像。处理器710还可经配置以执行额外图像处理操作(例如，由图像处理系统执行的操作中的一者或一者以上)。处理器710可将经处理的图像数据提供到便携型多媒体装置的应用处理器芯片组770以用于进一步处理、传输、存储、显示或其任何组合。图8为具有图像选择及图像组合模块及用以显示经组合的图像的显示器的无线通信装置800的实施例的框图。无线通信装置800可包括便携型装置，所述便携型装置包括耦合到存储器832的处理器810(例如，数字信号处理器(DSP)或微控制器)。存储器832为用以存储计算机代码842的可读有形媒体，计算机代码842在由处理器810执行时使处理器810执行用于图像选择及图像组合的操作且执行其它过程。处理器810包括图像选择及图像组合模块862。在说明性实例中，图像选择及图像组合模块862例如通过实施图1的图像选择模块140及图像组合模块142，通过根据图5至图6的实施例中的任一者进行操作， 或其任何组合而选择彼此对准的多个顺序图像的子集，且将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。图像选择及图像组合模块862可处于处
13理器810中或可为沿着硬件图像处理管线的单独装置或电路，或其组合。在图像选择及图像组合模块862的实施方案中，例如存储器832的计算机可读媒体包括用于接收由图像捕捉装置捕捉的多个顺序图像的计算机可执行代码842。举例来说， 处理器810可使用计算机可执行代码842来接收由图像捕捉装置(例如，相机870)捕捉的多个顺序图像。举例来说，相机870可为数字照相机。例如存储器832的计算机可读媒体还包括用于选择彼此对准的多个顺序图像的子集的计算机可执行代码842。举例来说，具有图像选择及图像组合模块862的处理器810可使用计算机可执行代码842来选择彼此对准的多个顺序图像的子集。例如存储器832的计算机可读媒体进一步包括用于将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像的计算机可执行代码 842。举例来说，具有图像选择及图像组合模块862的处理器810可使用计算机可执行代码 842将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。相机接口 868耦合到处理器810且还耦合到相机870。相机870可为照相机。显示器控制器拟6耦合到处理器810且耦合到显示装置828。在特定实施例中，多个顺序图像包括代表物理对象的数据，且将来自多个顺序图像的子集中的每一图像的像素值求平均值会转换所述数据以减少经组合的图像中的噪声量。可经由显示装置拟8显示经转换的数据。音频控制器834还可耦合到处理器810。扬声器836及麦克风838可耦合到音频控制器834。无线接口 840可耦合到处理器810且耦合到天线842。用于接收输入且将输入耦合到系统800的输入装置830还可由输入控制器831耦合到系统800。在图8的系统的操作期间，用户可使用相机870拍照。由相机870捕捉的图像数据经由相机接口 868耦合到处理器810。处理器810内的图像选择及图像组合模块862可根据存储于存储器832中的计算机代码842选择彼此对准的多个顺序图像的子集且可将来自多个顺序图像的子集中的每一图像的像素值求平均值以产生经组合的图像。显示器828 可显示经组合的图像。可由系统800经由无线接口 840及天线842无线地传输由相机870 捕捉的图像。经捕捉的图像还可存储于存储器832中。所属领域的技术人员应进一步了解，结合本文中所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，各种说明性组件、块、配置、模块、电路及步骤已在上文大体上按其功能性而加以描述。所述功能性是实施为硬件还是软件，要视特定应用及强加于整个系统上的设计约束而定。所属领域的技术人员可针对每一特定应用以变化的方式来实施所描述的功能性，但所述实施决策不应被解释为导致脱离本发明的范畴。结合本文中所揭示的实施例而描述的方法或算法的步骤可直接以硬件、以由处理器执行的软件模块或以两者的组合体现。软件模块可驻存于随机存取存储器(RAM)、闪存、 只读存储器(ROM)、可编程只读存储器(PR0M)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸盘、压缩光盘只读存储器(CD-ROM)， 或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代例中，存储媒体可与处理器成一体。处理器及存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代例中，处理器及存储媒体可作为离散组件而驻留于计算装置或用户终端中。
提供所揭示实施例的先前描述以使任何所属领域的技术人员能够制作或使用所揭示的实施例。对于所属领域的技术人员来说，对这些实施例的各种修改将为容易显而易见的，且可在不脱离本发明的精神或范畴的情况下将本文中所定义的一般原理应用于其它实施例。因此，本发明不意在限于本文所示的实施例，而是应被赋予与如由所附权利要求书所定义的原理及新颖特征一致的可能的最广范畴。
权利要求
1.一种方法，其包含接收由图像捕捉装置捕捉的多个顺序图像；选择彼此对准的所述多个顺序图像的子集；及将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像。
2.根据权利要求1所述的方法，其中所述多个顺序图像的所述子集包括具有至少一个固定的所关注区域的图像。
3.根据权利要求1所述的方法，其中所述多个顺序图像包括代表物理对象的数据，且其中将来自所述多个顺序图像的所述子集中的每一图像的所述像素值求平均值会转换所述数据以减少所述经组合的图像中的噪声量，且进一步包含经由显示装置显示所述经转换的数据。
4.根据权利要求2所述的方法，其中至少部分地基于所述至少一个固定的所关注区域中的像素的至少一个通道中相应图像之间的像素值的绝对差的和而选择具有所述至少一个固定的所关注区域的所述图像。
5.根据权利要求4所述的方法，其中至少部分地基于绝对差的所述和处于阈值或低于阈值而选择具有所述至少一个固定的所关注区域的所述图像。
6.根据权利要求4所述的方法，其中至少部分地基于绝对差的所述和而向具有所述至少一个固定的所关注区域的所述图像各自指派不透明度值，其中所述不透明度值是用于将来自所述多个顺序图像的所述子集的所述像素值求平均值以产生所述经组合的图像。
7.根据权利要求2所述的方法，其中至少部分地基于所述至少一个固定的所关注区域中的像素的至少一个通道中相应图像之间的像素值的差的平方的和而选择具有所述至少一个固定的所关注区域的所述图像。
8.根据权利要求7所述的方法，其中至少部分地基于差的平方的所述和处于阈值或低于阈值而选择具有所述至少一个固定的所关注区域的所述图像。
9.根据权利要求7所述的方法，其中至少部分地基于差的平方的所述和而向具有所述至少一个固定的所关注区域的所述图像各自指派不透明度值，其中所述不透明度值是用于将来自所述多个顺序图像的所述子集的所述像素值求平均值以产生所述经组合的图像。
10.根据权利要求1所述的方法，其进一步包含在将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值之前将所述多个顺序图像的所述子集清晰化。
11.根据权利要求1所述的方法，其中选择彼此对准的所述多个顺序图像的所述子集包括实时检测具有至少一个固定的所关注区域的第一组图像且移除不具有所述至少一个固定的所关注区域的第二组图像。
12.根据权利要求11所述的方法，其中在选择彼此对准的所述多个顺序图像的所述子集之前接收由所述图像捕捉装置捕捉的高达六十个顺序图像。
13.根据权利要求1所述的方法，其进一步包含在连续拍摄中捕捉η个顺序图像；确定所述η个顺序图像中的第一图像中的所关注区域；确定m个顺序图像，其各自具有小于阈值的所述所关注区域的绝对差的和；基于所述m个顺序图像中的每一者中的所述所关注区域相对于所述第一图像中的所述所关注区域的绝对差的所述和而确定所述m个顺序图像中的每一者的不透明度值；及使用所述m个顺序图像中的每一者的所述不透明度值将所述m个顺序图像合并在一起。
14.一种设备，其包含图像处理系统，其经配置以选择彼此对准的多个顺序图像的子集；及将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像。
15.根据权利要求14所述的设备，其进一步包含经配置以捕捉所述多个顺序图像的图像捕捉装置，其中所述多个顺序图像包括代表物理对象的数据，且其中将来自所述多个顺序图像的所述子集中的每一图像的所述像素值求平均值会转换所述数据以减少所述经组合的图像中的噪声量，且进一步包含经配置以显示所述经转换的数据的显示装置。
16.根据权利要求14所述的设备，其中选择彼此对准的所述多个顺序图像的所述子集包括实时检测具有至少一个固定的所关注区域的第一组图像且移除不具有所述至少一个固定的所关注区域的第二组图像。
17.一种集成电路，其包含图像处理电路，其经配置以处理多个顺序图像以选择彼此对准的所述多个顺序图像的子集；及将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像。
18.根据权利要求17所述的集成电路，其中彼此对准的所述多个顺序图像的所述子集包括具有至少一个固定的所关注区域的图像。
19.根据权利要求17所述的集成电路，其中选择彼此对准的所述多个顺序图像的所述子集包括实时检测具有至少一个固定的所关注区域的第一组图像且移除不具有所述至少一个固定的所关注区域的第二组图像。
20.一种设备，其包含用于选择彼此对准的多个顺序图像的子集的装置；及用于将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像的装置。
21.根据权利要求20所述的设备，其进一步包含经配置以捕捉所述多个顺序图像的图像捕捉装置，其中所述多个顺序图像包括代表物理对象的数据，且其中将来自所述多个顺序图像的所述子集中的每一图像的所述像素值求平均值会转换所述数据以减少所述经组合的图像中的噪声量，且进一步包含经配置以显示所述经转换的数据的显示装置。
22.根据权利要求20所述的设备，其中选择彼此对准的所述多个顺序图像的所述子集包括实时检测具有至少一个固定的所关注区域的第一组图像。
23.一种存储计算机可执行代码的计算机可读媒体，所述计算机可执行代码包含用于从图像捕捉装置接收多个顺序图像的代码；用于选择彼此对准的所述多个顺序图像的子集的代码；及用于将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像的代码。
24.根据权利要求23所述的计算机可读媒体，其中彼此对准的所述多个顺序图像的所述子集包括具有至少一个固定的所关注区域的图像。
25.根据权利要求23所述的计算机可读媒体，其中选择彼此对准的所述多个顺序图像的所述子集包括实时检测具有至少一个固定的所关注区域的第一组图像且移除不具有所述至少一个固定的所关注区域的第二组图像。
全文摘要
本发明揭示一种包括接收由图像捕捉装置捕捉的多个顺序图像的方法。所述方法包括选择彼此对准的多个顺序图像的子集。所述方法进一步包括将来自所述多个顺序图像的所述子集中的每一图像的像素值求平均值以产生经组合的图像。
文档编号G06T5/00GK102405482SQ201080017580
公开日2012年4月4日 申请日期2010年4月22日 优先权日2009年4月22日
发明者巴巴克·福鲁坦保尔, 李京强 申请人:高通股份有限公司