图像处理装置和图像处理方法

专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和方法，特别涉及一种考虑由传感器检测的信号与真实世界之间差别的图像处理装置和方法。
背景技术：
通过传感器检测真实世界中的事件，并且处理由传感器输出的采样数据，例如与图像、语音、温度、压力、加速度或气味相关联的数据的技术正在广泛的使用当中。
例如，在通过使用视频摄像机拍摄在预定静止背景之前移动的对象而获得的图像中，如果对象的移动速度高于快门速度，则会产生运动模糊。
当对象在静止背景之前移动时，除了因移动对象图像自身的混合而产生的运动模糊之外，还发生背景图像与移动对象图像的混合。
迄今为止，对于检测背景图像与移动对象图像的混合区域，尚未给予考虑。

发明内容
本发明是鉴于上述情况而提出的，并且它的目的是允许检测其中混合有多个对象如背景图像和移动对象图像的区域。
本发明的第一图像处理装置，包括背景图像生成装置，用于根据图像数据，生成背景图像；相关值检测装置，用于检测当前考虑帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；以及混合区域检测装置，用于根据每个象素位置的相关值时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
相关值检测装置可以根据当前考虑帧的图像数据中位于当前考虑象素周围的多个象素和背景图像中位置对应于这些周围象素的多个象素，检测相关值。
相关值检测装置可以检测当前考虑帧的图像数据中位于当前考虑象素周围的多个象素与背景图像中位置对应于这些周围象素的多个象素之间的差值，作为相关值。
图像处理装置可以进一步包括二值化装置，用于通过比较相关值与阀值，对相关值进行二值化，从而混合区域检测装置根据二值化相关值，检测当前考虑帧中的混合区域。
混合区域检测装置可以进一步根据每个象素位置的相关值时间变化，检测覆盖背景区域或非覆盖背景区域。
图像处理装置可以进一步包括混合比率检测装置，用于检测多个对象混合在所检测的混合区域中的混合比率。
图像处理装置可以进一步包括分离装置，用于根据混合区域和混合比率分离对象。
图像处理装置可以进一步包括调整装置，用于调整包含在分离对象中的运动模糊量。
本发明的第一图像处理方法，包括背景图像生成步骤，用于根据图像数据，生成背景图像；相关值检测步骤，用于检测当前考虑帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；以及混合区域检测步骤，用于根据每个象素位置的相关值时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
本发明的第一记录介质中的程序，包括背景图像生成步骤，用于根据图像数据，生成背景图像；相关值检测步骤，用于检测当前考虑帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；以及混合区域检测步骤，用于根据每个象素位置的相关值时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
本发明的第二图像处理装置，包括背景图像生成装置，用于根据图像数据，生成背景图像；相关值检测装置，用于检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿装置，用于根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加装置，用于累加由运动补偿装置进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测装置，用于根据每个象素位置的累加装置输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
图像处理装置可以进一步包括运动向量检测装置，用于检测运动向量。
相关值检测装置可以根据当前考虑帧的图像数据中位于当前考虑象素周围的多个象素和背景图像中位置对应于这些周围象素的多个象素，检测相关值。
相关值检测装置可以检测当前考虑帧的图像数据中位于当前考虑象素周围的多个象素与背景图像中位置对应于这些周围象素的多个象素之间的差值，作为相关值。
图像处理装置可以进一步包括二值化装置，用于通过比较相关值与阀值，对相关值进行二值化；以及加权装置，用于对二值化相关值进行加权；从而运动补偿装置对当前考虑帧的附近帧中的二值化相关值进行运动补偿，并且累加装置累加经过运动补偿和加权的当前考虑帧的附近帧的相关值。
混合区域检测装置可以进一步根据每个象素位置的相关值时间变化，检测覆盖背景区域或非覆盖背景区域。
图像处理装置可以进一步包括混合比率检测装置，用于检测多个对象混合在所检测的混合区域中的混合比率。
图像处理装置可以进一步包括分离装置，用于根据混合区域和混合比率分离对象。
图像处理装置可以进一步包括调整装置，用于调整包含在分离对象中的运动模糊量。
本发明的第二图像处理方法，包括背景图像生成步骤，用于根据图像数据，生成背景图像；相关值检测步骤，用于检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿步骤，用于根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加步骤，用于累加由运动补偿步骤进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测步骤，用于根据每个象素位置的累加步骤输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
本发明的第二记录介质中的程序，包括背景图像生成步骤，用于根据图像数据，生成背景图像；相关值检测步骤，用于检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿步骤，用于根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加步骤，用于累加由运动补偿步骤进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测步骤，用于根据每个象素位置的累加步骤输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
本发明的一种成像装置，包括一种装置，用于输出通过具有预定数目象素的成像器件拍摄的目标图像作为由预定数目的象素数据构成的图像数据，其中每个象素均具有时间累积效果；背景图像生成装置，用于根据图像数据，生成背景图像；相关值检测装置，用于检测当前考虑帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；以及混合区域检测装置，用于根据每个象素位置的相关值时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
相关值检测装置可以根据当前考虑帧的图像数据中位于当前考虑象素周围的多个象素和背景图像中位置对应于这些周围象素的多个象素，检测相关值。
相关值检测装置可以检测当前考虑帧的图像数据中位于当前考虑象素周围的多个象素与背景图像中位置对应于这些周围象素的多个象素之间的差值，作为相关值。
成像装置可以进一步包括二值化装置，用于通过比较相关值与阀值，对相关值进行二值化，从而混合区域检测装置根据二值化相关值，检测当前考虑帧中的混合区域。
混合区域检测装置可以进一步根据每个象素位置的相关值时间变化，检测覆盖背景区域或非覆盖背景区域。
成像装置可以进一步包括混合比率检测装置，用于检测多个对象混合在所检测的混合区域中的混合比率。
成像装置可以进一步包括分离装置，用于根据混合区域和混合比率分离对象。
成像装置可以进一步包括调整装置，用于调整包含在分离对象中的运动模糊量。


图1是示出本发明原理的图；图2是本发明系统的示例结构方框图；图3是图2的信号处理器的示例结构方框图；图4是示出信号处理器12的方框图；图5示出通过传感器的摄像；图6是示出象素排列的图；图7是示出检测器件操作的图；图8A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像；图8B是与通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像相关联的模型图；图9是示出背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域的图；图10是沿着时间方向扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中连续排列在一条线上的象素的象素值的模型图；图11是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图12是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图13是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图14是从前景区域、背景区域以及混合区域中提取的象素的示例图；图15是示出象素之间的对应关系以及沿着时间方向扩展象素值的模型的图；图16是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图17是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图18是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图19是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图20是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图21是示出运动模糊量调整处理的流程图；图22是区域指定单元103的结构方框图；图23是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图24是背景图像的示例图；图25是二值对象图像提取单元122的结构方框图；图26A是示出相关值计算的图；图26B是示出相关值计算的图；图27A是示出相关值计算的图；图27B是示出相关值计算的图；图28是二值对象图像的示例图；图29是时间变化检测单元123的结构方框图；图30是示出区域判定单元142的判定的图；图31是时间变化检测单元123的判定的示例图；图32是示出区域指定单元103的区域指定处理的流程图；图33是示出区域判定处理详细信息的流程图；图34是区域指定单元103的另一结构方框图；图35是鲁棒化单元151的结构方框图；图36是示出运动补偿单元161的运动补偿的图；图37是示出运动补偿单元161的运动补偿的图；图38是示出区域指定处理的流程图；图39是示出鲁棒化处理详细信息的流程图；图40是混合比率计算单元104的示例结构方框图；图41示出理想混合比率α的一个例子；图42是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；
图43是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图44是示出使用前景成分相关性进行近似的图；图45是示出C、N和P之间的关系的图；图46是估计混合比率处理器201的结构方框图；图47是估计混合比率的示例图；图48是混合比率计算单元104的另一示例结构方框图；图49是示出估计混合比率计算处理的流程图；图50是示出估计混合比率计算处理的流程图；图51是前景/背景分离单元105的示例结构方框图；图52A是示出输入图像、前景成分图像和背景成分图像的图；图52B是与输入图像、前景成分图像和背景成分图像相关联的模型图；图53是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图54是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图55是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图56是分离单元251的示例结构图；图57A是分离前景成分图像的示例图；图57B是分离背景成分图像的示例图；图58是示出前景和背景分离处理的流程图；图59是运动模糊调整单元106的示例结构方框图；图60是示出处理单元的图；图61是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图62是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图63是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图64是沿着时间方向扩展象素值并且划分对应于快门时间的周期的模型图；图65示出运动模糊调整单元106的另一结构；图66是示出由运动模糊调整单元106执行的包含在前景成分图像中的运动模糊量调整处理的流程图；图67是信号处理器12的另一功能实现方框图；图68是合成单元371的结构图；图69是信号处理器12的另一功能实现方框图；图70是混合比率计算单元401的结构方框图；图71是前景/背景分离单元402的结构方框图；图72是信号处理器12的另一功能实现方框图；图73是合成单元431的结构图。
具体实施例方式
图1示出本发明的原理。如图所示，作为具有空间轴和时间轴的真实世界1信息的第一信号由传感器2进行获得，并且形成为数据。由传感器2获得的检测信号或数据3是通过将真实世界1的信息投影到维数比真实世界1小的时空上而获得的信息。因此，通过投影获得的信息具有因投影产生的失真。也就是，由传感器2输出的数据3相对于真实世界1的信息具有失真。虽然数据3具有因投影产生的失真，但是它也包含用于校正失真的重要信息。
因此，根据本发明，通过信号处理器4对由传感器2输出的数据进行处理，从而消除、减小或调整失真。可选地，根据本发明，通过信号处理器4对由传感器2输出的数据进行处理，以提取重要信息。
图2示出本发明的信号处理装置的示例结构。由例如视频摄像机实现的传感器11拍摄真实世界的图像，并且将所获得的图像数据输出到信号处理器12。由例如个人计算机等实现的信号处理器12处理从传感器11输入的数据，调整因投影产生的失真量，指定包含通过投影而埋藏的重要信息的区域。而且，它还从指定区域中提取重要信息，或者根据所提取的重要信息处理输入数据。
在此，重要信息例如是下面将要描述的混合比率。
另外，表示包含通过投影而埋藏的重要信息的区域的信息也可以视为重要信息。在此，下面将要描述的区域信息对应于该重要信息。
在此，包含重要信息的区域例如是下面将要描述的混合区域。
信号处理器12例如图3所示进行构造。CPU(Central Processing Unit，中央处理器)21根据存储在ROM(Read Only Memory，只读存储器)22或者存储单元28中的程序，执行各种处理。由CPU 21执行的程序以及数据等根据需要存储在RAM(Random Access Memory，随机访问存储器)23中。CPU 21、ROM 22和RAM 23通过总线24相互连接。
而且，输入/输出接口25也通过总线24连接到CPU 21。包括键盘、鼠标、麦克风等的输入单元26以及包括显示器、扬声器等的输出单元27连接到输入/输出接口25。CPU 21执行各种处理，以响应从输入单元26输入的命令。CPU 21然后将通过处理获得的图像或语音等输出到输出单元27。
连接到输入/输出接口25的存储单元28由例如硬盘进行实现，并且它存储由CPU 21执行的程序以及各种数据。通信单元29通过因特网或其它网络与外部装置进行通信。在本例中，通信单元29用作获取传感器11输出的获取单元。
而且，程序还可以利用通信单元29进行获取，然后存储在存储单元28中。
连接到输入/输出接口25的驱动器30驱动磁盘51、光盘52、光磁盘53、半导体存储器54等。当载入这些记录介质时，获取存储在其中的程序、数据等。所获取的程序或数据如果必要传输到存储单元28，并且存储在其中。
现在举一个更具体的例子来描述用于识别其中埋藏有重要信息的区域并且从由传感器获取的数据中提取埋藏重要信息的信号处理装置。在下面的例子中，CCD线传感器或CCD区域传感器对应于传感器，区域信息或混合比率对应于重要信息，并且前景与背景的混合或者运动模糊对应于失真。
图4是示出信号处理器12的方框图。
可以用硬件或软件来实现信号处理器12的功能。也就是，本说明书中的方框图可以视为硬件方框图，或者软件功能方框图。
在此，运动模糊是指由于真实世界中被拍摄对象的移动和传感器11的成像特性而产生的包含在对应于移动对象的图像中的失真。
在本说明书中，对应于真实世界对象的被拍摄图像称作图像对象。
提供给信号处理器12的输入图像提供给对象提取单元101、区域指定单元103、混合比率计算单元104和前景/背景分离单元105。
对象提取单元101粗略提取对应于包含在输入图像中的前景对象的图像对象，并且将所提取的图像对象提供给运动检测单元102。对象提取单元101例如通过检测对应于前景对象的图像对象轮廓，粗略提取对应于包含在输入图像中的前景图像的图像对象。
对象提取单元101粗略提取对应于包含在输入图像中的背景对象的图像对象，并且将所提取的图像对象提供给运动检测单元102。对象提取单元101根据例如输入图像与所提取的对应于前景对象的图像对象之间的差别，粗略提取对应于背景对象的图像对象。
可选地，对象提取单元101可以例如根据存储在内部背景存储器中的背景图像与输入图像之间的差别，粗略提取对应于前景对象的图像对象和对应于背景对象的图像对象。
运动检测单元102通过例如分块匹配法、梯度法、相位相关法和象元递归法的技术，计算粗略提取的对应于前景对象的图像对象的运动向量，并且将算出的运动向量和运动向量位置信息(指定对应于运动向量的象素位置的信息)提供给区域指定单元103和运动模糊调整单元106。
由运动检测单元102输出的运动向量包含对应于移动量v的信息。
而且，除指定图像对象象素的象素位置信息之外，运动检测单元102还可以将例如每个对象的运动向量输出到运动模糊调整单元106。
移动量v是以象素间距为单位表示对应于移动对象的图像位置变化的值。例如，如果对应于前景的对象图像发生移动从而它在当前帧中的显示位置相对于前一帧偏离四个象素，则对应于前景的对象的移动量v为4。
当调整与移动对象相关联的运动模糊量时，需要对象提取单元101和运动检测单元102。
区域指定单元103指定输入图像的每个象素位于前景区域、背景区域和混合区域中的一个，并且将表示每个象素属于前景区域、背景区域和混合区域中的哪个区域的信息(以下称作“区域信息”)提供给混合比率计算单元104、前景/背景分离单元105和运动模糊调整单元106。
混合比率计算单元104根据输入图像以及从区域指定单元103提供的区域信息，计算包含在混合区域63中的象素的混合比率(以下称作“混合比率α”)，并且将算出的混合比率提供给前景/背景分离单元105。
混合比率α是表示对应于背景对象的图像成分(以下也称作“背景成分”)在如下述方程(3)所示的象素值中所占比率的值。
前景/背景分离单元105根据从区域指定单元103提供的区域信息和从混合比率计算单元104提供的混合比率α，将输入图像分离为只由与前景对象相关联的图像成分(以下也称作“前景成分”)构成的前景成分图像和只由背景成分构成的背景成分图像，并且它将前景成分图像提供给运动模糊调整单元106和选择单元107。可选地，分离出的前景成分图像可以作为最终输出。与简单地在混合区域的某象素位置分离前景和背景的传统方法相比，可以更准确地确定前景和背景。
运动模糊调整单元106根据从运动向量得到的移动量v以及区域信息，确定表示包含在前景成分图像中的一个或多个象素的处理单元。处理单元是指定要进行运动模糊量调整处理的一组象素的数据。
运动模糊调整单元106根据输入到信号处理器12的运动模糊调整量、从前景/背景分离单元105提供的前景成分图像、从运动检测单元102提供的运动向量及其位置信息、以及处理单元，调整包含在前景成分图像中的运动模糊量，例如，消除包含在前景成分图像中的运动模糊，减小运动模糊量，或者增加运动模糊量，从而将其中调整过运动模糊量的前景成分图像输出到选择单元107。使用运动向量及其位置信息不是必需的。
选择单元107根据对应于用户选择的选择信号，选择从前景/背景分离单元105提供的前景成分图像和从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像之一，从而输出所选前景成分图像。
下面将参照图5到20对提供给信号处理器12的输入图像进行描述。
图5是示出通过传感器进行摄像的图。传感器11例如由包括作为固态成像器件的CCD(Charge-Coupled Device，电荷耦合器件)区域传感器的CCD视频摄像机进行实现。对应于前景的真实世界对象111例如在对应于背景的真实世界对象112与传感器11之间如图所示从左向右水平移动。
传感器11拍摄对应于前景的对象111的图像以及对应于背景的对象112的图像。传感器11以帧为单位输出拍摄图像。例如，传感器11输出每秒30帧的图像。传感器11的曝光时间设为1/30秒。曝光时间是从传感器11开始将输入光转化为电荷到完成将输入光转化为电荷的周期。曝光时间以下也称作“快门时间”。
图6是示出象素排列的图。在图6中，A到I分别表示单个象素。这些象素排列在对应于图像的平面上。与各个象素一一对应的检测元件排列在传感器11上。当传感器11拍摄图像时，每个检测元件输出形成图像的对应象素的象素值。例如，检测元件在X方向上的位置对应于图像的水平方向位置，而检测元件在Y方向上的位置对应于图像的垂直方向位置。
例如，如图7所示，CCD检测器件在对应于快门时间的周期内将输入光转化为电荷，并且累加所转化的电荷。电荷量与输入光的强度和输入光的持续时间大致成正比。检测器件在对应于快门时间的周期内将从输入光转化的电荷加到已累加的电荷。也就是，检测器件在对应于快门时间的周期内累积输入光，从而累加对应于累积光的电荷量。换句话说，检测器件具有相对于时间的累积效果。
在检测器件中累加的电荷通过电路(未示出)转换为电压值，并且该电压值进一步转换为象素值例如数字数据，以进行输出。因此，由传感器11输出的每个象素值是对应于前景或背景的对象的空间部分投影到一维空间上的值，它是通过相对于快门时间进行累积而获得的。
通过传感器11的这种累加操作，信号处理器12提取埋藏在输出信号中的重要信息，例如混合比率α。信号处理器12调整因前景图像对象自身的混合而产生的失真量，例如运动模糊量。信号处理器12还调整因前景图像对象与背景图像对象的混合而产生的失真量。
图8A示出通过拍摄对应于前景的移动对象和对应于背景的静止对象而获得的图像。在图8A所示的例子中，对应于前景的对象相对于屏幕从左向右水平移动。
图8B是沿着时间方向扩展与图8A所示图像的一条线对应的象素值的模型图。图8B的水平方向对应于图8A的空间方向X。
背景区域象素的象素值只由背景成分，即对应于背景对象的图像成分构成。前景区域象素的象素值只由前景成分，即对应于前景的图像成分构成。
混合区域象素的象素值由背景和前景成分构成。由于混合区域象素的象素值由背景和前景成分构成，因此混合区域可以称作“失真区域”。而且，混合区域分为覆盖背景区域和非覆盖背景区域。
覆盖背景区域是相对于前景区域位于前景对象在其前进方向上的起始端部分的混合区域，其中，背景成分随着时间被前景逐渐覆盖。
另一方面，未覆盖背景区域是相对于前景区域位于前景对象在其前进方向上的结束端部分的混合区域，其中，背景成分随着时间逐渐出现。
如上所述由前景区域、背景区域、或者覆盖背景区域或非覆盖背景区域组成的图像作为输入图像输入到区域指定单元103、混合比率计算单元104和前景/背景分离单元105。
图9是用于说明上述背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域的图。相对于图8B所示的图像，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景区域是从背景变为前景的部分，并且混合区域的非覆盖背景区域是从前景变为背景的部分。
图10是沿着时间方向扩展通过拍摄对应于前景的静止对象和对应于背景的静止对象而获得的图像中连续排列在一条线上的象素的象素值的模型图。例如，可以选择在屏幕的一条线上排列的象素作为连续排列在一条线上的象素。
图10所示的F01到F04象素值是与静止前景对象相关联的象素值。图10所示的B01到B04象素值是与静止背景对象相关联的象素值。
相对于图10的垂直方向，时间方向为如图所示的从上到下的方向。图10中矩形上边位置对应于传感器11开始将输入光转化为电荷的时间，并且图10中矩形下边位置对应于传感器11完成将输入光转化为电荷的时间。也就是，图10中矩形上边到下边的距离对应于快门时间。
图10中的水平方向对应于图8A所示的空间方向X。更具体地说，在图10所示的例子中，图10中从以“F01”表示的矩形的左边到以“B04”表示的矩形的右边的距离是8倍象素间距，也就是，它对应于8个连续象素的范围。
当前景对象和静止图像为静止时，输入到传感器11的光在对应于快门时间的周期内没有变化。
现在将对应于快门时间的周期划分为两个或多个相等时长周期。例如，假定虚拟划分数目为4，图10所示的图可以表示为图11的模型图。虚拟划分数目例如根据对应于前景的对象的移动量v进行设置。例如，如果移动量v为4，则与此对应，虚拟划分数目设为4，并且对应于快门时间的周期划分为四个部分。
图中的最上一行对应于打开快门时的第一划分周期。如图所示的上起第二行对应于打开快门时的第二划分周期。如图所示的上起第三行对应于打开快门时的第三划分周期。如图所示的上起第四行对应于打开快门时的第四划分周期。
根据移动量v划分的快门时间以下也称作“快门时间/v”。
当对应于前景的对象为静止时，输入到传感器11的光不发生变化，因此，前景成分F01/v等于象素值F01除以虚拟划分数目而获得的值。类似地，当对应于前景的对象为静止时，前景成分F02/v等于象素值F02除以虚拟划分数目而获得的值，前景成分F03/v等于象素值F03除以虚拟划分数目而获得的值，并且前景成分F04/v等于象素值F04除以虚拟划分数目而获得的值。
当对应于背景的对象为静止时，输入到传感器11的光不发生变化，因此，背景成分B01/v等于象素值B01除以虚拟划分数目而获得的值。类似地，当对应于背景的对象为静止时，背景成分B02/v等于象素值B02除以虚拟划分数目而获得的值，背景成分B03/v等于象素值B03除以虚拟划分数目而获得的值，并且背景成分B04/v等于象素值B04除以虚拟划分数目而获得的值。
也就是，当对应于前景的对象为静止时，与前景对象相关联的输入到传感器11的光在对应于快门时间的周期内不发生变化，因此，与打开快门时的第一快门时间/v相关联的前景成分F01/v、与打开快门时的第二快门时间/v相关联的前景成分F01/v、与打开快门时的第三快门时间/v相关联的前景成分F01/v、以及与打开快门时的第四快门时间/v相关联的前景成分F01/v具有相同的值。类似的关系对于F02/v到F04/v也为真。
当对应于背景的对象为静止时，与背景对象相关联的输入到传感器11的光在对应于快门时间的周期内不发生变化，因此，与打开快门时的第一快门时间/v相关联的背景成分B01/v、与打开快门时的第二快门时间/v相关联的背景成分B01/v、与打开快门时的第三快门时间/v相关联的背景成分B01/v、以及与打开快门时的第四快门时间/v相关联的背景成分B01/v变为相同的值。类似的关系对于B02/v到B04/v也为真。
下一步，将描述对应于前景的对象为移动并且对应于背景的对象为静止的情况。
图12是在对应于前景的对象如图所示向右移动情况下的模型图，其中，沿着时间方向扩展位于一条包括覆盖背景区域的线上的象素的象素值。在图12中，前景的移动量v为4。由于一帧的时间周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图12中，对应于前景的对象图像的移动方式是它在当前帧中的显示位置相对于前一帧向右偏离四个象素。
在图12中，最左象素到左起第四象素属于前景区域。在图12中，左起第五象素到第七象素属于作为覆盖背景区域的混合区域。在图12中，最右象素属于背景区域。
对应于前景的对象的移动方式是它随着时间逐渐覆盖对应于背景的对象。因此，包含在属于覆盖背景区域的象素的象素值中的成分在对应于快门时间的周期内的某个时间点从背景成分变为前景成分。
例如，用方程(1)表示图12中粗框所示的象素值MM＝B02/v+B02/v+F07/v+F06/v (1)例如，左起第五象素包含对应于一个快门时间/v的背景成分和对应于三个快门时间/v的前景成分，因此，左起第五象素的混合比率α为1/4。左起第六象素包含对应于两个快门时间/v的背景成分和对应于两个快门时间/v的前景成分，因此，左起第六象素的混合比率α为1/2。左起第七象素包含对应于三个快门时间/v的背景成分和对应于一个快门时间/v的前景成分，因此，左起第七象素的混合比率α为3/4。
因为可以假定对应于前景的对象为匀速移动的刚体，并且它的移动方式是前景图像在后一帧中向右显示四个象素，所以，例如，与打开快门时的第一快门时间/v相关联的图12中左起第四象素的前景成分F07/v等于与打开快门时的第二快门时间/v相关联的图12中左起第五象素的前景成分。类似地，前景成分F07/v等于与打开快门时的第三快门时间/v相关联的图12中左起第六象素的前景成分，以及与打开快门时的第四快门时间/v相关联的图12中左起第七象素的前景成分。
因为可以假定对应于前景的对象为匀速移动的刚体，并且它的移动方式是前景图像在后一帧中向右显示四个象素，所以，例如，与打开快门时的第一快门时间/v相关联的图12中左起第三象素的前景成分F06/v等于与打开快门时的第二快门时间/v相关联的图12中左起第四象素的前景成分。类似地，前景成分F06/v等于与打开快门时的第三快门时间/v相关联的图12中左起第五象素的前景成分，以及与打开快门时的第四快门时间/v相关联的图12中左起第六象素的前景成分。
因为可以假定对应于前景的对象为匀速移动的刚体，并且它的移动方式是前景图像在后一帧中向右显示四个象素，所以，例如，与打开快门时的第一快门时间/v相关联的图12中左起第二象素的前景成分F05/v等于与打开快门时的第二快门时间/v相关联的图12中左起第三象素的前景成分。类似地，前景成分F05/v等于与打开快门时的第三快门时间/v相关联的图12中左起第四象素的前景成分，以及与打开快门时的第四快门时间/v相关联的图12中左起第五象素的前景成分。
因为可以假定对应于前景的对象为匀速移动的刚体，并且它的移动方式是前景图像在后一帧中向右显示四个象素，所以，例如，与打开快门时的第一快门时间/v相关联的图12中左起第一象素的前景成分F04/v等于与打开快门时的第二快门时间/v相关联的图12中左起第二象素的前景成分。类似地，前景成分F04/v等于与打开快门时的第三快门时间/v相关联的图12中左起第三象素的前景成分，以及与打开快门时的第四快门时间/v相关联的图12中左起第四象素的前景成分。
由于对应于移动对象的前景区域如上所述包含运动模糊，因此它可以称作“失真区域”。
图13是在前景如图所示向右移动情况下的模型图，其中，沿着时间方向扩展位于一条包括非覆盖背景区域的线上的象素的象素值。在图13中，前景的移动量v为4。由于一帧的时间周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图13中，对应于前景的对象图像的移动方式是它在当前帧中的显示位置相对于前一帧向右偏离四个象素。
在图13中，最左象素到左起第四象素属于背景区域。在图13中，左起第五到第七象素属于作为非覆盖背景的混合区域。在图13中，最右象素属于前景区域。
覆盖对应于背景的对象的对应于前景的对象的移动方式是，随着时间逐渐显现被覆盖的对应于背景的对象。因此，包含在属于非覆盖背景区域的象素的象素值中的成分在对应于快门时间的周期内的某时间点从前景成分变为背景成分。
例如，用方程(2)表示图13中粗框所示的象素值M′M′＝F02/v+F01/v+B26/v+B26/v (2)例如，左起第五象素包含对应于三个快门时间/v的背景成分和对应于一个快门时间/v的前景成分，因此，左起第五象素的混合比率α为3/4。左起第六象素包含对应于两个快门时间/v的背景成分和对应于两个快门时间/v的前景成分，因此，左起第六象素的混合比率α为1/2。左起第七象素包含对应于一个快门时间/v的背景成分和对应于三个快门时间/v的前景成分，因此，左起第七象素的混合比率α为1/4。
采用方程(1)和(2)的推广形式，可以用方程(3)表示象素值MM=α·B+ΣiFi/v---(3)]]>其中α是混合比率，B是背景象素值，而Fi/v是前景成分。
由于可以假定对应于前景的对象是匀速移动的刚体并且移动量v为4，因此，例如，与打开快门时的第一快门时间/v相关联的图13中左起第五象素的前景成分F01/v等于与打开快门时的第二快门时间/v相关联的图13中左起第六象素的前景成分。类似地，前景成分F01/v等于与打开快门时的第三快门时间/v相关联的图13中左起第七象素的前景成分，以及与打开快门时的第四快门时间/v相关联的图13中左起第八象素的前景成分。
由于可以假定对应于前景的对象是匀速移动的刚体并且虚拟划分数目为4，因此，例如，与打开快门时的第一快门时间/v相关联的图13中左起第六象素的前景成分F02/v等于与打开快门时的第二快门时间/v相关联的图13中左起第七象素的前景成分。类似地，前景成分F02/v等于与打开快门时的第三快门时间/v相关联的图13中左起第八象素的前景成分。
由于可以假定对应于前景的对象是匀速移动的刚体并且移动量v为4，因此，例如，与打开快门时的第一快门时间/v相关联的图13中左起第七象素的前景成分F03/v等于与打开快门时的第二快门时间/v相关联的图13中左起第八象素的前景成分。
尽管对假定虚拟划分数目为4的图11到13进行了描述，但虚拟划分数目是根据移动量v的。移动量v一般对应于前景对象的移动速度。例如，如果对应于前景的对象的移动方式是它在当前帧中的显示位置相对于前一帧向右偏离四个象素，则移动量v为4。根据移动量v，虚拟划分数目为4。类似地，例如，如果对应于前景的对象的移动方式是它在当前帧中的显示位置相对于前一帧向左偏离六个象素，则移动量v为6，并且虚拟划分数目为6。
图14和15示出如上所述前景区域、背景区域、由覆盖背景区域或非覆盖背景区域组成的混合区域与对应于划分快门时间的前景和背景成分之间的关系。
图14示出从包含与在静止背景之前移动的对象对应的前景的图像中提取前景区域、背景区域和混合区域中的象素的例子。在图14所示的例子中，对应于前景的对象相对于屏幕水平移动。
帧#n+1是帧#n的后一帧，并且帧#n+2是帧#n+1的后一帧。
图15是一个模型图，其中，前景区域、背景区域和混合区域中的象素是从帧#n到帧#n+2之一中提取的，并且沿着时间方向扩展所提取象素的象素值，同时假定移动量v为4。
由于对应于前景的对象移动，因此前景区域的象素值包括四个不同的对应于快门时间/v周期的前景成分。例如，图15所示的前景区域象素中的最左象素包括F01/v、F02/v、F03/v和F04/v。也就是，前景区域中的象素包含运动模糊。
由于对应于背景的对象是静止的，因此与背景相关联的输入到传感器11的光在对应于快门时间的周期内不发生变化。在这种情况下，背景象素值不包含运动模糊。
属于由覆盖背景区域或非覆盖背景区域组成的混合区域的象素值由前景成分和背景成分构成。
下一步将描述一个模型，其中，对于对应于对象的移动图像，沿着时间方向扩展多个帧中连续排列在一条线上且位于相同位置的象素的象素值。例如，如果对应于对象的图像相对于屏幕水平移动，可以选择在屏幕的一条线上排列的象素作为连续排列在一条线上的象素。
图16是沿着时间方向扩展三个图像帧中连续排列在一条线上且位于相同位置的象素的象素值的模型图，其中，三个图像帧是通过拍摄对应于背景的静止对象而获得的。帧#n是帧#n-1的后一帧，并且帧#n+1是帧#n的后一帧。对于其它帧，将作类似的引用。
图16所示的象素值B01到B12是对应于静止背景对象的象素值。由于对应于背景的对象是静止的，因此帧#n-1到帧#n+1中对应象素的象素值不发生变化。例如，所在位置对应于帧#n-1中具有象素值B05的象素的帧#n象素和帧#n+1象素均具有象素值B05。
图17是沿着时间方向扩展三个图像帧中连续排列在一条线上且位于相同位置的象素的象素值的模型图，其中，三个图像帧是通过拍摄如图所示向右移动的对应于前景的对象以及对应于背景的静止对象而获得的。图17所示的模型包含覆盖背景区域。
在图17中，可以假定对应于前景的对象是匀速移动的刚体，并且前景图像的移动方式是它在后一帧中向右显示四个象素。因此，前景的移动量v为4，并且虚拟划分数目为4。
例如，与打开快门时的第一快门时间/v相关联的图17中帧#n-1的最左象素的前景成分为F12/v，并且与打开快门时的第二快门时间/v相关联的图17中左起第二象素的前景成分也为F12/v。与打开快门时的第三快门时间/v相关联的图17中左起第三象素的前景成分，和与打开快门时的第四快门时间/v相关联的图17中左起第四象素的前景成分为F12/v。
与打开快门时的第二快门时间/v相关联的图17中帧#n-1的最左象素的前景成分为F11/v，并且与打开快门时的第三快门时间/v相关联的图17中左起第二象素的前景成分也为F11/v。与打开快门时的第四快门时间/v相关联的图17中左起第三象素的前景成分为F11/v。
与打开快门时的第三快门时间/v相关联的图17中帧#n-1的最左象素的前景成分为F10/v，并且与打开快门时的第四快门时间/v相关联的图17中左起第二象素的前景成分也为F10/v。与打开快门时的第四快门时间/v相关联的图17中帧#n-1的最左象素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第一快门时间/v相关联的图17中帧#n-1的左起第二象素的背景成分为B01/v。与打开快门时的第一和第二快门时间/v相关联的图17中帧#n-1的左起第三象素的背景成分为B02/v。与打开快门时的第一到第三快门时间/v相关联的图17中帧#n-1的左起第四象素的背景成分为B03/v。
在图17的帧#n-1中，最左象素属于前景区域，而左起第二到第四象素属于作为覆盖背景区域的混合区域。
图17中帧#n-1的左起第五到第十二象素属于背景区域，并且其象素值分别为B04到B11。
图17中帧#n的左起第一到第五象素属于前景区域。帧#n的前景区域中的快门时间/v的前景成分是F05/v到F12/v中的一个。
可以假定对应于前景的对象是匀速移动的刚体，并且前景图像的移动方式是它在后一帧中向右显示四个象素。因此，与打开快门时的第一快门时间/v相关联的图17中帧#n的左起第五象素的前景成分为F12/v，并且与打开快门时的第二快门时间/v相关联的图17中左起第六象素的前景成分也为F12/v。与打开快门时的第三快门时间/v相关联的图17中左起第七象素的前景成分，和与打开快门时的第四快门时间/v相关联的图17中左起第八象素的前景成分为F12/v。
与打开快门时的第二快门时间/v相关联的图17中帧#n的左起第五象素的前景成分为F11/v，并且与打开快门时的第三快门时间/v相关联的图17中左起第六象素的前景成分也为F11/v。与打开快门时的第四快门时间/v相关联的图17中左起第七象素的前景成分为F11/v。
与打开快门时的第三快门时间/v相关联的图17中帧#n的左起第五象素的前景成分为F10/v，并且与打开快门时的第四快门时间/v相关联的图17中左起第六象素的前景成分也为F10/v。与打开快门时的第四快门时间/v相关联的图17中帧#n的左起第五象素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第一快门时间/v相关联的图17中帧#n的左起第六象素的背景成分为B05/v。与打开快门时的第一和第二快门时间/v相关联的图17中帧#n的左起第七象素的背景成分为B06/v。与打开快门时的第一到第三快门时间/v相关联的图17中帧#n的左起第八象素的背景成分为B07/v。
在图1 7的帧#n中，左起第六到第八象素属于作为覆盖背景区域的混合区域。
图17中的帧#n的左起第九到第十二象素属于背景区域，并且其象素值分别为B08到B11。
图17中的帧#n+1的左起第一到第九象素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分是F01/v到F12/v中的一个。
可以假定对应于前景的对象是匀速移动的刚体，并且前景图像的移动方式是它在后一帧中向右显示四个象素。因此，与打开快门时的第一快门时间/v相关联的图17中帧#n+1的左起第九象素的前景成分为F12/v，并且与打开快门时的第二快门时间/v相关联的图17中左起第十象素的前景成分也为F12/v。与打开快门时的第三快门时间/v相关联的图17中左起第十一象素的前景成分，和与打开快门时的第四快门时间/v相关联的图17中左起第十二象素的前景成分为F12/v。
与打开快门时的第二快门时间/v相关联的图17中帧#n+1的左起第九象素的前景成分为F11/v，并且与打开快门时的第三快门时间/v相关联的图17中左起第十象素的前景成分也为F11/v。与打开快门时的第四快门时间/v相关联的图17中左起第十一象素的前景成分为F11/v。
与打开快门时的第三快门时间/v相关联的图17中帧#n+1的左起第九象素的前景成分为F10/v，并且与打开快门时的第四快门时间/v相关联的图17中左起第十象素的前景成分也为F10/v。与打开快门时的第四快门时间/v相关联的图17中帧#n+1的左起第九象素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第一快门时间/v相关联的图17中帧#n+1的左起第十象素的背景成分为B09/v。与打开快门时的第一和第二快门时间/v相关联的图17中帧#n+1的左起第十一象素的背景成分为B10/v。与打开快门时的第一到第三快门时间/v相关联的图17中帧#n+1的左起第十二象素的背景成分为B11/v。
在图17的帧#n+1中，左起第十到第十二象素属于作为覆盖背景区域的混合区域。
图18是通过从图17所示的象素值中提取前景成分而获得的图像的模型图。
图19是沿着时间方向扩展三个图像帧中连续排列在一条线上且位于相同位置的象素的象素值的模型图，其中，三个图像帧是通过拍摄对应于如图所示向右移动的对象的前景以及静止背景而获得的。在图19中，包含非覆盖背景区域。
在图19中，可以假定对应于前景的对象是匀速移动的刚体。由于对应于前景的对象的移动方式是它在后一帧中向右显示四个象素，因此移动量v为4。
例如，与打开快门时的第一快门时间/v相关联的图19中帧#n-1的最左象素的前景成分为F13/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第二象素的前景成分也为F13/v。与打开快门时的第三快门时间/v相关联的图19中左起第三象素的前景成分，和与打开快门时的第四快门时间/v相关联的图19中左起第四象素的前景成分为F13/v。
与打开快门时的第一快门时间/v相关联的图19中帧#n-1的左起第二象素的前景成分为F14/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第三象素的前景成分也为F14/v。与打开快门时的第一快门时间/v相关联的图19中左起第三象素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第二到第四快门时间/v相关联的图19中帧#n-1的最左象素的背景成分为B25/v。与打开快门时的第三和第四快门时间/v相关联的图19中帧#n-1的左起第二象素的背景成分为B26/v。与打开快门时的第四快门时间/v相关联的图19中帧#n-1的左起第三象素的背景成分为B27/v。
在图19的帧#n-1中，最左象素到左起第三象素属于作为非覆盖背景区域的混合区域。
图19中的帧#n-1的左起第四到第十二象素属于前景区域，该帧的前景成分是F13/v到F24/v中的一个。
图19中的帧#n的左起第一到第四象素属于背景区域，并且其象素值分别为B25到B28。
可以假定对应于前景的对象是匀速移动的刚体，并且前景图像的移动方式是它在后一帧中向右显示四个象素。因此，与打开快门时的第一快门时间/v相关联的图19中帧#n的左起第五象素的前景成分为F13/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第六象素的前景成分也为F13/v。与打开快门时的第三快门时间/v相关联的图19中左起第七象素的前景成分，和与打开快门时的第四快门时间/v相关联的图19中左起第八象素的前景成分为F13/v。
与打开快门时的第一快门时间/v相关联的图19中帧#n的左起第六象素的前景成分为F14/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第七象素的前景成分也为F14/v。与打开快门时的第一快门时间/v相关联的图19中左起第八象素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第二到第四快门时间/v相关联的图19中帧#n的左起第五象素的背景成分为B29/v。与打开快门时的第三和第四快门时间/v相关联的图19中帧#n的左起第六象素的背景成分为B30/v。与打开快门时的第四快门时间/v相关联的图19中帧#n的左起第七象素的背景成分为B31/v。
在图19的帧#n中，左起第五象素到第七象素属于作为非覆盖背景区域的混合区域。
图19中的帧#n的左起第八到第十二象素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的值是F13/v到F20/v中的一个。
图19中的帧#n+1的最左象素到左起第八象素属于背景区域，并且其象素值分别为B25到B32。
可以假定对应于前景的对象是匀速移动的刚体，并且前景图像的移动方式是它在后一帧中向右显示四个象素。因此，与打开快门时的第一快门时间/v相关联的图19中帧#n+1的左起第九象素的前景成分为F13/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第十象素的前景成分也为F13/v。与打开快门时的第三快门时间/v相关联的图19中左起第十一象素的前景成分，和与打开快门时的第四快门时间/v相关联的图19中左起第十二象素的前景成分为F13/v。
与打开快门时的第一快门时间/v相关联的图19中帧#n+1的左起第十象素的前景成分为F14/v，并且与打开快门时的第二快门时间/v相关联的图19中左起第十一象素的前景成分也为F14/v。与打开快门时的第一快门时间/v相关联的图19中左起第十二象素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，与打开快门时的第二到第四快门时间/v相关联的图19中帧#n+1的左起第九象素的背景成分为B33/v。与打开快门时的第三和第四快门时间/v相关联的图19中帧#n+1的左起第十象素的背景成分为B34/v。与打开快门时的第四快门时间/v相关联的图19中帧#n+1的左起第十一象素的背景成分为B35/v。
在图19的帧#n+1中，左起第九象素到第十一象素属于作为非覆盖背景区域的混合区域。
图19中的帧#n+1的左起第十二象素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分是F13/v到F16/v中的一个。
图20是从图19所示的象素值中提取前景成分而获得的图像的模型图。
回到图4，区域指定单元103通过使用多个帧的象素值，将每个象素与一个表示该象素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的标志相关联，并且将它作为区域信息提供给混合比率计算单元104和运动模糊调整单元106。
混合比率计算单元104根据多个帧的象素值以及区域信息，为包含在混合区域中的每个象素计算混合比率α，并且将算出的混合比率α提供给前景/背景分离单元105。
前景/背景分离单元105根据多个帧的象素值、区域信息和混合比率α，提取只包括前景成分的前景成分图像，并且将它提供给运动模糊调整单元106。
运动模糊调整单元106根据从前景/背景分离单元105提供的前景成分图像、从运动检测单元102提供的运动向量以及从区域指定单元103提供的区域信息，调整包含在前景成分图像中的运动模糊量，然后输出经过运动模糊量调整的前景成分图像。
下面将参照图21的流程图对信号处理器12的运动模糊量调整处理进行描述。在步骤S101，区域指定单元103根据输入图像执行区域指定处理，以生成表示输入图像的每个象素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息。区域指定处理将在后面参照图30的流程图进行详细的描述。区域指定单元103将所生成的区域信息提供给混合比率计算单元104。
在步骤S101，区域指定单元103可以根据输入图像生成表示输入图像的每个象素属于前景区域、背景区域或混合区域(对于覆盖背景区域和非覆盖背景区域没有区别)中的哪个区域的区域信息。在这种情况下，前景/背景分离单元105和运动模糊调整单元106根据运动向量的方向确定混合区域是覆盖背景区域还是非覆盖背景区域。例如，如果在运动向量的方向上以前景区域、混合区域和背景区域这种次序排列这些区域，混合区域确定为覆盖背景区域；然而，如果在运动向量的方向上以背景区域、混合区域和前景区域这种次序排列这些区域，混合区域确定为非覆盖背景区域。
在步骤S102，混合比率计算单元104根据输入图像和区域信息，为包含在混合区域中的每个象素计算混合比率α。混合比率计算处理将在后面参照图49的流程图进行详细的描述。混合比率计算单元104将算出的混合比率α提供给前景/背景分离单元105。
在步骤S103，前景/背景分离单元105根据区域信息和混合比率α从输入图像中提取前景成分，并且将它作为前景成分图像提供给运动模糊调整单元106。
在步骤S104，运动模糊调整单元106根据运动向量和区域信息，创建表示在移动方向上连续排列并且属于非覆盖背景区域、前景区域或覆盖背景区域的象素图像位置的处理单元，并且调整包含在对应于处理单元的前景成分中的运动模糊量。运动模糊量调整处理将在后面参照图66的流程图进行详细的描述。
在步骤S105，信号处理器12确定是否完成对整个屏幕的处理。如果确定尚未完成对整个屏幕的处理，则进入步骤S104，重复用于为对应于处理单元的前景成分调整运动模糊量的处理。
如果在步骤S105确定已完成对整个屏幕的处理，处理结束。
如上所述，信号处理器12能够分离前景和背景，并且调整包含在前景中的运动模糊量。也就是，信号处理器12能够调整包含在由前景象素的象素值组成的样本数据中的运动模糊量。
下面将分别描述区域指定单元103、混合比率计算单元104、前景/背景分离单元105和运动模糊调整单元106的示例结构。
图22是区域指定单元103的结构方框图。图22所示的区域指定单元103不使用运动向量。背景图像生成单元121生成与输入图像相关联的背景图像，并且将所生成的背景图像提供给二值对象图像提取单元122。背景图像生成单元121通过例如提取与包含在输入图像中的背景对象对应的图像对象，生成背景图像。
图23是沿着时间方向扩展在对应于前景对象的图像移动方向上连续排列在一条线上的象素的象素值的示例模型图。例如，如果对应于前景对象的图像移动方向相对于屏幕是水平的，图23的模型图示出沿着时间方向扩展一条线上连续象素的象素值的模型。
在图23中，帧#n中的线与帧#n-1和帧#n+1中的线相同。
与包含在帧#n左起第六到第十七象素中的对象对应的前景成分包含在帧#n-1左起第二到第十三象素中，并且还包含在帧#n+1左起第十到第二十一象素中。
在帧#n-1中，左起第十一到第十三象素属于覆盖背景区域，而左起第二到第四象素属于非覆盖背景区域。在帧#n中，左起第十五到第十七象素属于覆盖背景区域，而左起第六到第八象素属于非覆盖背景区域。在帧#n+1中，左起第十九到第二十一象素属于覆盖背景区域，而左起第十到第十二象素属于非覆盖背景区域。
在帧#n-1中，左起第一象素以及左起第十四到第二十一象素属于背景区域。在帧#n中，左起第一到第五象素以及左起第十八到第二十一象素属于背景区域。在帧#n+1中，左起第一到第九象素属于背景区域。
图24示出对应于图23所示例子的由背景图像生成单元121生成的示例背景图像。背景图像由对应于背景对象的象素构成，并且不包含对应于前景对象的图像成分。
二值对象图像提取单元122根据背景图像与输入图像的相关，生成二值对象图像，并且将所生成的二值对象图像提供给时间变化检测单元123。
图25是二值对象图像提取单元122的结构方框图。相关值计算单元131计算从背景图像生成单元121提供的背景图像与输入图像之间的相关，以生成相关值，并且将所生成的相关值提供给阀值处理器132。
相关值计算单元131例如将方程(4)应用于如图26A所示的以X4为中心的3×3背景图像块，以及对应于该背景图像块的如图26B所示的以Y4为中心的3×3输入图像块，从而计算对应于Y4的相关值。
X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相关值计算单元131将为每个象素算出的相关值提供给阀值处理器132。
可选地，例如，相关值计算单元131可以将方程(7)应用于如图27A所示的以X4为中心的3×3背景图像块，以及对应于该背景图像块的如图27B所示的以Y4为中心的3×3输入图像块，从而计算对应于Y4的绝对差值。
相关值计算单元131将算出的绝对差值作为相关值提供给阀值处理器132。
阀值处理器132将相关图像的象素值与阀值th0进行比较，如果相关值不大于阀值th0，那么将二值对象图像的象素值设为1，然而如果相关值大于阀值th0，那么将二值对象图像的象素值设为0，并且输出其中每个象素值均设为0或1的二值对象图像。阀值处理器132可以预先存储阀值th0，或者使用外部输入的阀值th0。
图28是对应于图23所示输入图像模型的二值对象图像的示例图。在二值对象图像中，与背景图像具有高相关的象素的象素值设为0。
图29是时间变化检测单元123的结构方框图。当确定帧#n象素的区域时，帧存储器141存储从二值对象图像提取单元122提供的帧#n-1、帧#n和帧#n+1的二值对象图像。
区域判定单元142根据帧#n-1、帧#n和帧#n+1的二值对象图像，确定帧#n中每个象素的区域以生成区域信息，从而输出所生成的区域信息。
图30是区域判定单元142的判定的说明图。当帧#n二值对象图像的当前考虑象素为0时，区域判定单元142确定帧#n的当前考虑象素属于背景区域。
如果帧#n二值对象图像的当前考虑象素为1，帧#n-1二值对象图像的对应象素为1，并且帧#n+1二值对象图像的对应象素为1，则区域判定单元142确定帧#n的当前考虑象素属于前景区域。
如果帧#n二值对象图像的当前考虑象素为1，并且帧#n-1二值对象图像的对应象素为0，则区域判定单元142确定帧#n的当前考虑象素属于覆盖背景区域。
如果帧#n二值对象图像的当前考虑象素为1，并且帧#n+1二值对象图像的对应象素为0，则区域判定单元142确定帧#n的当前考虑象素属于非覆盖背景区域。
图31示出相对于与图23所示输入图像模型对应的二值对象图像，时间变化检测单元123的判定例子。时间变化检测单元123确定帧#n中左起第一到第五象素属于背景区域，因为帧#n二值对象图像的对应象素为0。
时间变化检测单元123确定左起第六到第九象素属于非覆盖背景区域，因为帧#n二值对象图像的象素为1，并且帧#n+1的对应象素为0。
时间变化检测单元123确定左起第十到第十三象素属于前景区域，因为帧#n二值对象图像的象素为1，帧#n-1的对应象素为1，并且帧#n+1的对应象素为1。
时间变化检测单元123确定左起第十四到第十七象素属于覆盖背景区域，因为帧#n二值对象图像的象素为1，并且帧#n-1的对应象素为0。
时间变化检测单元123确定左起第十八到第二十一象素属于背景区域，因为帧#n二值对象图像的对应象素为0。
下一步，将参照图32的流程图对区域指定单元103的区域指定处理进行描述。在步骤S111，区域指定单元103的背景图像生成单元121根据输入图像提取例如与包含在输入图像中的背景对象对应的图像对象，以生成背景图像，并且将所生成的背景图像提供给二值对象图像提取单元122。
在步骤S112，二值对象图像提取单元122例如根据参照图26A和26B所述的计算操作，计算输入图像与从背景图像生成单元121提供的背景图像之间的相关值。在步骤S113，二值对象图像提取单元122例如通过比较相关值与阀值th0，根据相关值与阀值th0计算二值对象图像。
在步骤S114，时间变化检测单元123执行区域确定处理，然后处理结束。
将参照图33的流程图对步骤S114的区域确定处理进行详细的描述。在步骤S121，时间变化检测单元123的区域判定单元142确定存储在帧存储器141中的帧#n的当前考虑象素是否为0。如果确定帧#n的当前考虑象素为0，过程进入步骤S122，其中，将帧#n的当前考虑象素设为属于背景区域，然后处理结束。
如果在步骤S121确定帧#n的当前考虑象素为1，过程进入步骤S123，其中，时间变化检测单元123的区域判定单元142确定存储在帧存储器141中的帧#n的当前考虑象素是否为1，并且帧#n-1的对应象素是否为0。如果确定帧#n的当前考虑象素为1，并且帧#n-1的对应象素为0，过程进入步骤S124，其中，将帧#n的当前考虑象素设为属于覆盖背景区域，然后处理结束。
如果在步骤S123确定帧#n的当前考虑象素为0，或者帧#n-1的对应象素为1，过程进入步骤S125，其中，时间变化检测单元123的区域判定单元142确定存储在帧存储器141中的帧#n的当前考虑象素是否为1，并且帧#n+1的对应象素是否为0。如果确定帧#n的当前考虑象素为1，并且帧#n+1的对应象素为0，过程进入步骤S126，其中，将帧#n的当前考虑象素设为属于非覆盖背景区域，然后处理结束。
如果在步骤S125确定帧#n的当前考虑象素为0，或者帧#n+1的对应象素为1，过程进入步骤S127，其中，时间变化检测单元123的区域判定单元142将帧#n的当前考虑象素设为前景区域，然后处理结束。
如上所述，区域指定单元103能够根据输入图像与对应背景图像之间的相关值，指定输入图像的每个象素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域，从而根据指定结果生成区域信息。
图34是区域指定单元103的另一结构方框图。图34所示的区域指定单元103使用从运动检测单元102提供的运动向量及其位置信息。用相同的标号表示与图22相同的部件，并且因此省略其说明。
鲁棒化单元151根据从二值对象图像提取单元122提供的N帧二值对象图像生成鲁棒化二值对象图像，并且将它输出到时间变化检测单元123。
图35是鲁棒化单元151的结构方框图。运动补偿单元161根据从运动检测单元102提供的运动向量及其位置信息，对N帧二值对象图像进行运动补偿，并且将经过运动补偿的二值对象图像提供给开关162。
将参照图36和37的例子对运动补偿单元161的运动补偿进行描述。例如，当确定帧#n的区域时，如果输入例如图36所示的帧#n-1、帧#n和帧#n+1的二值对象图像，运动补偿单元161根据从运动检测单元102提供的运动向量，例如图37所示，对帧#n-1的二值对象图像和帧#n+1的二值对象图像进行运动补偿，并且将经过运动补偿的二值对象图像提供给开关162。
开关162将经过运动补偿的第一帧二值对象图像输出到帧存储器163-1，并且将经过运动补偿的第二帧二值对象图像输出到帧存储器163-2。类似地，开关162分别将经过运动补偿的第三到第(N-1)帧二值对象图像输出到帧存储器163-3到163-(N-1)，并且将经过运动补偿的第N帧二值对象图像输出到帧存储器163-N。
帧存储器163-1存储经过运动补偿的第一帧二值对象图像，并且将所存储的二值对象图像输出到加权单元164-1。帧存储器163-2存储经过运动补偿的第二帧二值对象图像，并且将所存储的二值对象图像输出到加权单元164-2。
类似地，帧存储器163-3到163-(N-1)分别存储经过运动补偿的第三到第(N-1)帧二值对象图像，并且将所存储的二值对象图像输出到加权单元164-3到164-(N-1)。帧存储器163-N存储经过运动补偿的第N帧二值对象图像，并且将所存储的二值对象图像输出到加权单元164-N。
加权单元164-1将从帧存储器163-1提供的经过运动补偿的第一帧二值对象图像的象素值与预定权值w1进行相乘，并且将结果提供给累加单元165。加权单元164-2将从帧存储器163-2提供的经过运动补偿的第二帧二值对象图像的象素值与预定权值w2进行相乘，并且将结果提供给累加单元165。
类似地，加权单元164-3到164-(N-1)分别将从帧存储器163-3到163-(N-1)提供的经过运动补偿的第三到第(N-1)帧二值对象图像的象素值与预定权值w3到w(N-1)进行相乘，并且将结果提供给累加单元165。加权单元164-N将从帧存储器163-N提供的经过运动补偿的第N帧二值对象图像的象素值与预定权值wN进行相乘，并且将结果提供给累加单元165。
累加单元165累加经过运动补偿且分别与权值w1到wN进行过相乘的第一到第N帧二值对象图像的对应象素值，并且将累加出的象素值与预定阀值th0进行比较，从而生成二值对象图像。
如上所述，鲁棒化单元151从N个二值对象图像生成鲁棒化二值对象图像，并且将它提供给时间变化检测单元123。因此，即使输入图像包含噪声，具有图34所示结构的区域指定单元103也能够比图22所示的情况更准确地指定区域。
下一步，将参照图38的流程图对具有图34所示结构的区域指定单元103的区域指定处理进行描述。步骤S131到S133的处理分别类似于参照图32的流程图所述的步骤S111到S113的处理，并且因此省略其说明。
在步骤S134，鲁棒化单元151执行鲁棒化处理。
在步骤S135，时间变化检测单元123执行区域确定处理，然后处理结束。步骤S135的处理的详细信息类似于参照图33的流程图所述的处理，并且因此省略其说明。
下一步，将参照图39的流程图对与图38中步骤S134的处理对应的鲁棒化处理进行描述。在步骤S141，运动补偿单元161根据从运动检测单元102提供的运动向量及其位置信息，对输入二值对象图像执行运动补偿处理。在步骤S142，帧存储器163-1到163-N之一存储通过开关162提供的经过运动补偿的二值对象图像。
在步骤S143，鲁棒化单元151确定是否存储了N个二值对象图像。如果确定尚未存储N个二值对象图像，过程返回到步骤S141，重复二值对象图像运动补偿处理和二值对象图像存储处理。
如果在步骤S143确定存储了N个二值对象图像，过程进入步骤S144，其中，加权单元164-1到164-N分别将N个二值对象图像与对应的权值w1到wN进行相乘，以进行加权。
在步骤S145，累加单元165累加经过加权的N个二值对象图像。
在步骤S146，累加单元165例如通过与预定阀值th1进行比较，根据累加图像生成二值对象图像，然后处理结束。
如上所述，具有图34所示结构的区域指定单元103能够根据鲁棒化二值对象图像生成区域信息。
如上所述，区域指定单元103能够为包含在帧中的每个象素生成表示该象素属于移动区域、静止区域、非覆盖背景区域或覆盖背景区域中的哪一个区域的区域信息。
区域指定单元103可以对与非覆盖背景区域对应的区域信息和与覆盖背景区域对应的区域信息应用逻辑或操作，以生成对应于混合区域的区域信息，从而为包含在帧中的每个象素生成由表示该象素属于移动区域、静止区域、或混合区域中的哪一个区域的标志组成的区域信息。
区域指定单元103能够输出表示移动区域的区域信息作为表示前景区域的区域信息，并且输出表示静止区域的区域信息作为表示背景区域的区域信息。
图40是混合比率计算单元104的结构方框图。估计混合比率处理器201根据输入图像，通过对应于覆盖背景区域模型的计算，为每个象素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定单元203。
估计混合比率处理器202根据输入图像，通过对应于非覆盖背景区域模型的计算，为每个象素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定单元203。
因为可以假定对应于前景的对象在快门时间内匀速移动，所以属于混合区域的象素的混合比率α具有下面特性。也就是，混合比率α根据象素的位置变化而线性变化。如果象素位置变化是一维的，则混合比率α的变化可以表示为一条直线；然而，如果象素位置变化是二维的，则混合比率α的变化可以表示为一个平面。
由于一帧的周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。
在这种情况下，混合比率α的斜率与前景的移动量v成反比。
图41示出理想混合比率α的例子。混合区域中理想混合比率α的斜率1可以表示为移动量v的倒数。
如图41所示，理想混合比率α的值在背景区域中为1，在前景区域中为0，并且在混合区域中大于0且小于1。
在图42所示的例子中，帧#n中左起第七象素的象素值C06可以通过使用帧#n-1中左起第七象素的象素值P06，用方程(8)表示。
C06=B06/v+B06/v+F01/v+F02/v=P06/v+P06/v+F01/v+F02/v=2/v·P06+Σi=12Fi/v---(8)]]>在方程(8)中，象素值C06表示为混合区域象素的象素值M，而象素值P06表示为背景区域象素的象素值B。也就是，混合区域象素的象素值M和背景区域象素的象素值B可以分别用方程(9)和(10)表示。
M＝C06(9)B＝P06(10)在方程(8)中，2/v对应于混合比率α。由于移动量v为4，因此帧#n中左起第七象素的混合比率α为0.5。
通过把混合区域的象素值视为当前考虑的帧n象素值C，并且把背景区域的象素值视为帧#n的前一帧#n-1的象素值P，表示混合比率α的方程(3)可以改写为方程(11)C＝α·P+f(11)在方程(11)中，f表示包含在当前考虑象素中的前景成分之和∑iFi/v。在方程(11)中，包含两个变量；即混合比率α和前景成分之和f。
类似地，图43示出沿着时间方向扩展象素值的模型，其中，未覆盖背景区域中的移动量为4，并且沿着时间方向的虚拟划分数目为4。
在非覆盖背景区域中，类似于上述对覆盖背景区域的表示，通过把混合区域的象素值视为当前考虑的帧#n象素值C，并且把背景区域的象素值视为帧#n的后一帧#n+1象素值N，表示混合比率α的方程(3)可以表示为方程(12)C＝α·N+f(12)虽然是假定背景对象为静止而进行描述的，但是，即使背景对象是移动的，通过使用对应于背景移动量v的象素的象素值，也可以应用方程(8)到(12)。例如，在图42中，如果对应于背景的对象的移动量v为2，并且虚拟划分数目为2，当对应于背景的对象如图所示向右移动时，方程(10)中背景区域象素的象素值B将是象素值P04。
由于方程(11)和(12)都包含两个变量，因此不能直接获得混合比率α。因为图像一般都显现高度的空间相关性，所以位置相近的象素具有大致相同的象素值。
由于前景成分显现高空间相关性，因此通过将方程修改为可以从前一帧或后一帧中推导出前景成分之和f，获得混合比率α。图44中帧#n左起第七象素的象素值Mc可以用方程(13)表示Mc=2v·B06+Σi=1112Fi/v---(13)]]>方程(13)右边的第一项2/v对应于混合比率α。方程(13)右边的第二项通过使用后一帧#n+1的象素值，可以用方程(14)表示。
Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>通过使用前景成分的空间相关性，假定方程(15)成立F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12 (15)通过使用方程(15)，方程(14)可以重写为方程(16)。
Σi=1112Fi/v=2v·F=β·4v·F---(16)]]>因而，β可以用方程(17)表示β＝2/4(17)一般，假定与混合区域相关联的前景成分相等，通过内部比率的关系，方程(18)对混合区域中的所有象素均成立。
β＝1-α (18)如果方程(18)成立，则方程(11)可以演变为方程(19)C=α·P+f=α·P+(1-α)·Σi=γγ+v-1Fi/v=α·P+(1-α)·N---(19)]]>
类似地，如果方程(18)成立，则方程(12)可以演变为方程(20)C=α·N+f=α·N+(1-α)·Σi=γγ+v-1Fi/v=α·N+(1-α)·P---(20)]]>在方程(19)和(20)中，由于C、N和P是已知象素值，因此，包含在方程(19)和(20)中的变量只是混合比率α。方程(19)和(20)中C、N和P之间的关系如图45所示。C是为其计算混合比率α的帧#n当前考虑象素的象素值。N是空间方向位置对应于当前考虑象素的帧#n+1象素的象素值。P是空间方向位置对应于当前考虑象素的帧#n-1象素的象素值。
因此，由于在方程(19)和(20)中都包含一个变量，因此通过使用三个帧中象素的象素值，可以计算混合比率α。通过求解方程(19)和(20)来计算正确混合比率α的条件是与混合区域相关联的前景成分相等；也就是，在前景对象静止时拍摄的前景图像对象中，位于与前景对象移动方向相关联的图像对象边界的数目两倍于移动量v的连续象素的象素值，是不变的。
因此，通过方程(21)计算属于覆盖背景区域的象素的混合比率α，而通过方程(22)计算属于非覆盖背景区域的象素的混合比率α。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)图46是估计混合比率处理器201的结构方框图。帧存储器221以帧为单位存储输入图像，并且将作为输入图像输入的帧的后一帧提供给帧存储器222和混合比率计算单元223。
帧存储器222以帧为单位存储输入图像，并且将从帧存储器221提供的帧的后一帧提供给混合比率计算单元223。
因此，当帧#n+1作为输入图像输入到混合比率计算单元223时，帧存储器221将帧#n提供给混合比率计算单元223，并且帧存储器222将帧#n-1提供给混合比率计算单元223。
混合比率计算单元223根据帧#n当前考虑象素的象素值C、空间位置对应于当前考虑象素的帧#n+1象素的象素值N以及空间位置对应于当前考虑象素的帧#n-1象素的象素值P，通过方程(21)所表示的计算操作，计算帧#n当前考虑象素的估计混合比率，并且输出算出的估计混合比率。例如，如果背景静止，混合比率计算单元223根据帧#n当前考虑象素的象素值C、所在位置与当前考虑象素位置相同的帧#n+1象素的象素值N以及所在位置与当前考虑象素位置相同的帧#n-1象素的象素值P，计算帧#n当前考虑象素的估计混合比率，并且输出算出的估计混合比率。
如上所述，估计混合比率处理器201根据输入图像计算估计混合比率，并且将它提供给混合比率判定单元203。
除了估计混合比率处理器201通过方程(21)所表示的计算操作，计算当前考虑象素的估计混合比率，而估计混合比率处理器202通过方程(22)所表示的计算操作，计算当前考虑象素的估计混合比率之外，估计混合比率处理器202与估计混合比率处理器201相同，并且因此省略其说明。
图47是通过估计混合比率处理器201算出的估计混合比率的示例图。图47所示的估计混合比率示出在对应于匀速移动对象的前景的移动量v为11的情况下的用一条线表示的结果。
从图41可以知道，估计混合比率在混合区域中的变化大致是线性的。
回到图40，混合比率判定单元203根据从区域指定单元103提供并且表示要为其计算混合比率α的象素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率α。如果当前考虑象素属于前景区域，混合比率判定单元203将混合比率α设为0；如果当前考虑象素属于背景区域，将混合比率α设为1；如果当前考虑象素属于覆盖背景区域，将混合比率α设为从估计混合比率处理器201提供的估计混合比率；并且如果当前考虑象素属于非覆盖背景区域，将混合比率α设为从估计混合比率处理器202提供的估计混合比率。混合比率判定单元203输出根据区域信息设定的混合比率α。
图48是混合比率计算单元104的另一结构方框图。选择单元231根据从区域指定单元103提供的区域信息，将属于覆盖背景区域的象素以及前一帧和后一帧的对应象素提供给估计混合比率处理器232。选择单元231根据从区域指定单元103提供的区域信息，将属于非覆盖背景区域的象素以及前一帧和后一帧的对应象素提供给估计混合比率处理器233。
估计混合比率处理器232根据从选择单元231输入的象素值，通过方程(21)所表示的计算操作，计算属于覆盖背景区域的当前考虑象素的估计混合比率，并且将算出的估计混合比率提供给选择单元234。
估计混合比率处理器233根据从选择单元231输入的象素值，通过方程(22)所表示的计算操作，计算属于非覆盖背景区域的当前考虑象素的估计混合比率，并且将算出的估计混合比率提供给选择单元234。
根据从区域指定单元103提供的区域信息，如果当前考虑象素属于前景区域，选择单元234选择并设置估计混合比率0作为混合比率α，而如果当前考虑象素属于背景区域，它选择并设置估计混合比率1作为混合比率α。如果当前考虑象素属于覆盖背景区域，选择单元234选择并设置从估计混合比率处理器232提供的估计混合比率作为混合比率α，而如果当前考虑象素属于非覆盖背景区域，它选择并设置从估计混合比率处理器233提供的估计混合比率作为混合比率α。选择单元234输出根据区域信息所选择并设置的混合比率α。
如上所述，具有图48所示另一结构的混合比率计算单元104能够为包含在图像中的每个象素计算混合比率α，并且输出算出的混合比率α。
将参照图49的流程图对具有图40所示结构的混合比率计算单元104的混合比率α计算处理进行描述。在步骤S151，混合比率计算单元104获取从区域指定单元103提供的区域信息。在步骤S152，估计混合比率处理器201通过使用与覆盖背景区域相关联的模型，计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定单元203。混合比率估计计算处理将在后面参照图50的流程图进行详细的描述。
在步骤S153，估计混合比率处理器202通过使用与非覆盖背景区域相关联的模型，计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定单元203。
在步骤S154，混合比率计算单元104确定是否估计完毕整个帧的混合比率α。如果确定尚未估计完毕整个帧的混合比率α，过程返回到步骤S152，为下一象素执行混合比率α估计处理。
如果在步骤S154确定估计完毕整个帧的混合比率α，过程进入步骤S155，其中，混合比率判定单元203根据从区域指定单元103提供并且表示象素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率α。如果当前考虑象素属于前景区域，混合比率判定单元203将混合比率α设为0；如果当前考虑象素属于背景区域，将混合比率α设为1；如果当前考虑象素属于覆盖背景区域，将混合比率α设为从估计混合比率处理器201提供的估计混合比率；并且如果当前考虑象素属于非覆盖背景区域，将混合比率α设为从估计混合比率处理器202提供的估计混合比率，然后处理结束。
如上所述，混合比率计算单元104能够根据从区域指定单元103提供的区域信息以及输入图像，计算作为每个象素特征量的混合比率α。
具有图48所示结构的混合比率计算单元104的混合比率α计算处理与参照图49的流程图所述的处理相同，并且因此省略其说明。
下一步，将参照图50的流程图对与图49的步骤S152对应的使用与覆盖背景区域相关联的模型估计混合比率的处理进行描述。
在步骤S171，混合比率计算单元223从帧存储器221获取帧#n当前考虑象素的象素值C。
在步骤S172，混合比率计算单元223从帧存储器222获取与当前考虑象素对应的帧#n-1象素的象素值P。
在步骤S173，混合比率计算单元223获取与当前考虑象素对应的帧#n+1象素的象素值N。
在步骤S174，混合比率计算单元223根据帧#n当前考虑象素的象素值C、帧#n-1象素的象素值P以及帧#n+1象素的象素值N，计算估计混合比率。
在步骤S175，混合比率计算单元223确定是否对整个帧完成估计混合比率计算处理。如果确定尚未对整个帧完成估计混合比率计算处理，过程返回到步骤S171，为下一象素重复估计混合比率计算处理。
如果在步骤S175确定对整个帧完成估计混合比率计算处理，则处理结束。
如上所述，估计混合比率处理器201能够根据输入图像计算估计混合比率。
图49的步骤S153中使用与非覆盖背景区域相关联的模型估计混合比率的处理与图50的流程图所示的使用与覆盖背景区域模型相关联的方程的处理相同，并且因此省略其说明。
由于图48所示的估计混合比率处理器232和估计混合比率处理器233通过执行与图50的流程图相同的处理，计算估计混合比率，因此省略其说明。
而且，虽然是相对于与背景对应的对象为静止而进行描述的，但是，即使对应于背景区域的图像包含运动，也可以应用上述混合比率α计算处理。例如，如果对应于背景区域的图像一致移动，估计混合比率处理器201可以根据背景运动偏移整个图像，并且执行与对应于背景的对象为静止的情况相同的处理。如果对应于背景区域的图像包含局部不同的运动时，估计混合比率处理器201根据背景运动选择一个象素作为与属于混合区域的象素对应的象素，并且执行上述处理。
图40和48所示的混合比率计算单元104的结构都是示例。
可选地，混合比率计算单元104可以为每个象素仅执行使用与覆盖背景区域相关联的模型估计混合比率的处理，从而输出算出的估计混合比率作为混合比率α。在这种情况下，混合比率α对于属于覆盖背景区域的象素背景成分表示背景成分比率，并且对于属于非覆盖背景区域的象素表示前景成分比率。通过计算算出的混合比率α与1的绝对差值，并且将算出的绝对值设为混合比率α，信号处理器12能够为属于非覆盖背景区域的象素获得表示背景成分比率的混合比率α。
类似地，混合比率计算单元104可以为每个象素仅执行使用与非覆盖背景区域相关联的模型估计混合比率的处理，从而输出算出的估计混合比率作为混合比率α。
下一步，将对前景/背景分离单元105进行描述。图51是前景/背景分离单元105的示例结构方框图。提供给前景/背景分离单元105的输入图像提供给分离单元251、开关252和开关254。从区域指定单元103提供的表示覆盖背景区域的区域信息和表示非覆盖背景区域信息的区域信息提供给分离单元251。表示前景区域的信息提供给开关252。表示背景区域的信息提供给开关254。
从混合比率计算单元104提供的混合比率α提供给分离单元251。
分离单元251根据表示覆盖背景区域的区域信息、表示非覆盖背景区域的区域信息以及混合比率α从输入图像中分离前景成分，并且将分离出的前景成分提供给合成单元253，另外还从输入图像中分离背景成分，并且将分离出的背景成分提供给合成单元255。
当根据表示前景区域的区域信息输入对应于前景的象素时，闭合开关252，并且只将包含在输入图像中的对应于前景的象素提供给合成单元253。
当根据表示背景区域的区域信息输入对应于背景的象素时，闭合开关254，并且只将包含在输入图像中的对应于背景的象素提供给合成单元255。
合成单元253根据分离单元251提供的对应于前景的成分和开关252提供的对应于前景的象素，合成前景成分图像，从而输出所合成的前景成分图像。由于前景区域和混合区域不重叠，因此，例如，合成单元253对与前景对应的成分和与前景对应的象素应用逻辑或操作，以合成前景成分图像。
在前景成分图像合成处理的开始所执行的初始化处理中，合成单元253在内部帧存储器中存储其象素值全为0的图像，并且在前景成分图像合成处理中存储(覆写)前景成分图像。因此，在由合成单元253输出的前景成分图像中，对应于背景区域的象素的象素值设为0。
合成单元255根据从分离单元251提供的对应于背景的成分和从开关254提供的对应于背景的象素，合成背景成分图像，从而输出所合成的背景成分图像。由于背景区域和混合区域不重叠，因此，例如，合成单元255对与背景对应的成分和与背景对应的象素应用例如逻辑或操作，以合成背景成分图像。
在背景成分图像合成处理的开始所执行的初始化处理中，合成单元255在内部帧存储器中存储其象素值全为0的图像，并且在背景成分图像合成处理中存储(覆写)背景成分图像。因此，在由合成单元255输出的背景成分图像中，对应于前景区域的象素的象素值设为0。
图52A是正被显示图像的示意图，并且图52B是对应于图52A的模型图，其中，沿着时间方向扩展一条线上的象素，包括属于前景区域的象素、属于背景区域的象素和属于混合区域的象素。
如图52A和52B所示，从前景/背景分离单元105输出的背景成分图像由属于背景区域的象素和包含在混合区域象素中的背景成分构成。
如图52A和52B所示，从前景/背景分离单元105输出的前景成分图像由属于前景区域的象素和包含在混合区域象素中的前景成分构成。
混合区域象素的象素值由前景/背景分离单元105分离为背景成分和前景成分。分离出的背景成分与属于背景区域的象素一起组成背景成分图像。分离出的前景成分与属于前景区域的象素一起组成前景成分图像。
如上所述，在前景成分图像中，对应于背景区域的象素的象素值设为0，而在对应于前景区域的象素和对应于混合区域的象素中设置有意义的象素值。类似地，在背景成分图像中，对应于前景区域的象素的象素值设为0，而在对应于背景区域的象素和对应于混合区域的象素中设置有意义的象素值。
下一步，将对由分离单元251执行的用于从属于混合区域的象素中分离前景成分和背景成分的处理进行描述。
图53是示出表示两个帧的前景成分和背景成分的图像模型，其中包括与如图所示从左向右移动的对象对应的前景。在图53所示的图像模型中，前景的移动量v为4，并且虚拟划分数目为4。
在帧#n中，最左象素以及左起第十四到第十八象素只包括背景成分，并且属于背景区域。在帧#n中，左起第二到四象素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n中，左起第十一到第十三象素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，左起第五到第十象素只包括前景成分，并且属于前景区域。
在帧#n+1中，左起第一到第五象素以及左起第十八象素只包括背景成分，并且属于背景区域。在帧#n+1中，左起第六到八象素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n+1中，左起第十五到第十七象素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，左起第九到第十四象素只包括前景成分，并且属于前景区域。
图54是示出从属于覆盖背景区域的象素中分离前景成分的处理的图。在图54中，α1到α18分别表示对应于帧#n象素的混合比率。在图54中，左起第十五到第十七象素属于覆盖背景区域。
帧#n中左起第十五象素的象素值C15可以用方程(23)表示C15＝B15/v+F09/v+F08/v+F07/v(23)＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/vα15为帧#n中左起第十五象素的混合比率。P15为帧#n-1中左起第十五象素的象素值。
根据方程(23)，帧#n中左起第十五象素的前景成分之和f15可以用方程(24)表示f15＝F09/v+F08/v+F07/v (24)
＝C15-α15·P15类似地，帧#n中左起第十六象素的前景成分之和f16可以用方程(25)表示，并且帧#n中左起第十七象素的前景成分之和f17可以用方程(26)表示。
f16＝C16-α16·P16 (25)f17＝C17-α17·P17 (26)因此，可以通过方程(27)计算包含在属于覆盖背景区域的象素的象素值C中的前景成分fcfc＝C-α·P(27)P为前一帧中对应象素的象素值。
图55是示出从属于非覆盖背景区域的象素中分离前景成分的处理的图。在图55中，α1到α18分别表示对应于帧#n象素的混合比率。在图55中，左起第二到第四象素属于非覆盖背景区域。
帧#n中左起第二象素的象素值C02可以用方程(28)表示C02＝B02/v+B02/v+B02/v+F01/v (28)＝α2·B02+F01/v＝α2·N02+F01/vα2为帧#n中左起第二象素的混合比率。N02为帧#n-1中左起第二象素的象素值。
根据方程(28)，帧#n中左起第二象素的前景成分之和f02可以用方程(29)表示f02＝F01/v (29)＝C02-α2·N02类似地，帧#n中左起第三象素的前景成分之和f03可以用方程(30)表示，并且帧#n中左起第四象素的前景成分之和f04可以用方程(31)表示。
f03＝C03-α3·N03 (30)f04＝C04-α4·N04 (31)因此，可以通过方程(32)计算包含在属于非覆盖背景区域的象素的象素值C中的前景成分fufu＝C-α·N(32)N为后一帧中对应象素的象素值。
如上所述，分离单元251能够根据包含在区域信息中的表示覆盖背景区域的信息和表示非覆盖背景区域的信息，以及每个象素的混合比率α，从属于混合区域的象素中分离前景成分和背景成分。
图56是执行上述处理的分离单元251的示例结构方框图。输入到分离单元251的图像提供给帧存储器301，并且，表示覆盖背景区域和非覆盖背景区域的区域信息以及从混合比率计算单元104提供的混合比率α输入到分离处理块302。
帧存储器301以帧为单位存储输入图像。当要对帧#n进行处理时，帧存储器301存储帧#n-1(帧#n的前一帧)、帧#n和帧#n+1(帧#n的后一帧)。
帧存储器301将帧#n-1、帧#n和帧#n+1的对应象素提供给分离处理块302。
分离处理块302根据表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α，通过对从帧存储器301提供的帧#n-1、帧#n和帧#n+1的对应象素的象素值应用参照图54和55所述的计算操作，从帧#n中属于混合区域的象素中分离前景成分和背景成分，并且将结果提供给帧存储器303。
分离处理块302包括非覆盖区域处理器311、覆盖区域处理器312、合成单元313和合成单元314。
非覆盖区域处理器311包括乘法器321，它将从帧存储器301提供的帧#n+1象素的象素值与混合比率α进行相乘，并且将结果提供给开关322。当从帧存储器301提供的帧#n象素(对应于帧#n+1象素)属于非覆盖背景区域时，闭合开关322，从而将从乘法器321提供的与混合比率α相乘之后的象素值提供给计算单元323和合成单元314。从开关322输出的与混合比率α相乘之后的帧#n+1象素的象素值等于帧#n中对应象素的象素值的背景成分。
计算单元323从由帧存储器301提供的帧#n象素的象素值中减去从开关322提供的背景成分，从而获得前景成分。计算单元323将属于非覆盖背景区域的帧#n象素的前景成分提供给合成单元313。
覆盖区域处理器312包括乘法器331，它将从帧存储器301提供的帧#n-1象素的象素值与混合比率α进行相乘，并且将结果提供给开关332。当从帧存储器301提供的帧#n象素(对应于帧#n-1象素)属于覆盖背景区域时，闭合开关332，从而将从乘法器331提供的与混合比率α相乘之后的象素值提供给计算单元333和合成单元314。从开关332输出的与混合比率α相乘之后的帧#n-1象素的象素值等于帧#n中对应象素的象素值的背景成分。
计算单元333从由帧存储器301提供的帧#n象素的象素值中减去从开关332提供的背景成分，从而获得前景成分。计算单元333将属于覆盖背景区域的帧#n象素的前景成分提供给合成单元313。
合成单元313合成从计算单元323提供的属于非覆盖背景区域的象素的前景成分与从计算单元333提供的属于覆盖背景区域的象素的前景成分，并且将结果提供给帧存储器303。
合成单元314合成从开关322提供的属于非覆盖背景区域的象素的背景成分与从开关332提供的属于覆盖背景区域的象素的背景成分，并且将结果提供给帧存储器303。
帧存储器303分开存储从分离处理块302提供的帧#n混合区域象素的前景成分和背景成分。
帧存储器303输出所存储的帧#n混合区域象素的前景成分和所存储的帧#n混合区域象素的背景成分。
通过使用作为特征量的混合比率α，可以完全分离包含在象素值中的前景成分和背景成分。
合成单元253合成从分离单元251输出的帧#n混合区域象素的前景成分和属于前景区域的象素，从而生成前景成分图像。合成单元255合成从分离单元251输出的帧#n混合区域象素的背景成分和属于背景区域的象素，从而生成背景成分图像。
图57A示出与图53的帧#n对应的前景成分图像的例子。图57B示出与图53的帧#n对应的背景成分图像的例子。
图57A示出与图53的帧#n对应的前景成分图像的例子。在前景/背景分离之前，最左象素以及左起第十四象素只包括背景成分，并且因此其象素值设为0。
在前景/背景分离之前，左起第二到第四象素属于非覆盖背景区域，并且因此背景成分设为0且前景成分保持不动。在前景/背景分离之前，左起第十一到第十三象素属于覆盖背景区域，并且因此背景成分设为0且前景成分保持不动。左起第五到第十象素只包括前景成分，并且因此保持不动。
图57B示出与图53的帧#n对应的背景成分图像的例子。在前景/背景分离之前，最左象素以及左起第十四象素只包括背景成分，并且因此保持不动。
在前景/背景分离之前，左起第二到第四象素属于非覆盖背景区域，并且因此前景成分设为0且背景成分保持不动。在前景/背景分离之前，左起第十一到第十三象素属于覆盖背景区域，并且因此前景成分设为0且背景成分保持不动。左起第五到第十象素只包括前景成分，并且因此其象素值设为0。
下一步，将参照图58的流程图对前景/背景分离单元105的前景/背景分离处理进行描述。在步骤S201，分离单元251的帧存储器301获取输入图像，并且与前一帧#n-1和后一帧#n+1一起存储要进行前景/背景分离处理的帧#n。
在步骤S202，分离单元251的分离处理块302获取从混合比率计算单元104提供的区域信息。在步骤S203，分离单元251的分离处理块302获取从混合比率计算单元104提供的混合比率α。
在步骤S204，非覆盖区域处理器311根据区域信息和混合比率α，从由帧存储器301提供的属于非覆盖背景区域的象素的象素值中提取背景成分。
在步骤S205，非覆盖区域处理器311根据区域信息和混合比率α，从由帧存储器301提供的属于非覆盖背景区域的象素的象素值中提取前景成分。
在步骤S206，覆盖区域处理器312根据区域信息和混合比率α，从由帧存储器301提供的属于覆盖背景区域的象素的象素值中提取背景成分。
在步骤S207，覆盖区域处理器312根据区域信息和混合比率α，从由帧存储器301提供的属于覆盖背景区域的象素的象素值中提取前景成分。
在步骤S208，合成单元313合成在步骤S205的处理中提取的属于非覆盖背景区域的象素的前景成分与在步骤S207的处理中提取的属于覆盖背景区域的象素的前景成分。所合成的前景成分提供给合成单元253。而且，合成单元253合成通过开关252提供的属于前景区域的象素和从分离单元251提供的前景成分，从而生成前景成分图像。
在步骤S209，合成单元314合成在步骤S204的处理中提取的属于非覆盖背景区域的象素的背景成分与在步骤S206的处理中提取的属于覆盖背景区域的象素的背景成分。所合成的背景成分提供给合成单元255。而且，合成单元255合成通过开关254提供的属于背景区域的象素和从分离单元251提供的背景成分，从而生成背景成分图像。
在步骤S210，合成单元253输出前景成分图像。在步骤S211，合成单元255输出背景成分图像，然后处理结束。
如上所述，前景/背景分离单元105能够根据区域信息和混合比率α从输入图像中分离前景成分和背景成分，并且输出只包括前景成分的前景成分图像和只包括背景成分的背景成分图像。
下一步，将对前景成分图像中的运动模糊量调整进行描述。
图59是运动模糊调整单元106的示例结构方框图。从运动检测单元102提供的运动向量及其位置信息和从区域指定单元103提供的区域信息，提供给处理单元判定单元351和模型化单元352。从前景/背景分离单元105提供的前景成分图像提供给加法单元354。
处理单元判定单元351根据运动向量及其位置信息以及区域信息，将所生成的处理单元与运动向量一起提供给模型化单元352。处理单元判定单元351将所生成的处理单元提供给加法单元354。
如图60的A所示，由处理单元判定单元351生成的处理单元表示例如从对应于前景成分图像的覆盖背景区域的象素开始直至对应于非覆盖背景区域的象素结束的在运动方向上连续排列的象素，或者从对应于非覆盖背景区域的象素开始直至对应于覆盖背景区域的象素结束的在运动方向上连续排列的象素。处理单元由例如表示左上点(在处理单元中指定的象素在图像最左或最上点的位置)和右下点的数据构成。
模型化单元352根据运动向量和输入处理单元执行模型化。更具体地说，例如，模型化单元352可以预先存储与包含在处理单元中的象素数目、沿着时间方向的象素值虚拟划分数目以及每个象素的前景成分数目对应的多个模型，从而根据处理单元和沿着时间方向的象素值虚拟划分数目，选择指定象素值与前景成分之间对应关系的模型，如图61所示。
例如，如果对应于处理单元的象素数目为12，并且移动量v为5，模型化单元352使用等于5的虚拟划分数目，并且选择总共由八个前景成分构成的模型，其中，最左象素包含一个前景成分，左起第二象素包含两个前景成分，左起第三象素包含三个前景成分，左起第四象素包含四个前景成分，左起第五象素包含五个前景成分，左起第六象素包含五个前景成分，左起第七象素包含五个前景成分，左起第八象素包含五个前景成分，左起第九象素包含四个前景成分，左起第十象素包含三个前景成分，左起第十一象素包含两个前景成分，并且左起第十二象素包含一个前景成分。
代替从预先存储的模型中选择一个模型，模型化单元352可以在向其提供运动向量和处理单元时，根据运动向量和处理单元生成一个模型。
模型化单元352将所选的模型提供给方程生成单元353。
方程生成单元353根据从模型化单元352提供的模型生成方程。将参照图61所示的前景成分图像模型，描述当前景成分数目为8，对应于处理单元的象素数目为12，移动量v为5并且虚拟划分数目为5时由方程生成单元353生成的方程。
如果包含在前景成分图像中的对应于快门时间/v的前景成分为F01/v到F08/v，可以用方程(33)到(44)表示F01/v到F08/v与象素值C01到C12之间的关系C01＝F01/v (33)C02＝F02/v+F01/v (34)C03＝F03/v+F02/v+F01/v (35)C04＝F04/v+F03/v+F02/v+F01/v (36)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (37)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (38)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (39)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (40)C09＝F08/v+F07/v+F06/v+F05/v (41)C10＝F08/v+F07/v+F06/v (42)C11＝F08/v+F07/v (43)C12＝F08/v (44)方程生成单元353对所生成的方程进行转换，以生成多个方程。由方程生成单元353生成的方程如方程(45)到(56)所示C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(45)+0·F06/v+0·F07/v+0·F08/vC02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v(46)+0·F06/v+0·F07/v+0·F08/vC03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v(47)+0·F06/v+0·F07/v+0·F08/vC04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v(48)+0·F06/v+0·F07/v+0·F08/vC05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v(49)+0·F06/v+0·F07/v+0·F08/v
C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v(50)+1·F06/v+0·F07/v+0·F08/vC07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v(51)+1·F06/v+1·F07/v+0·F08/vC08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v(52)+1·F06/v+1·F07/v+1·F08/vC09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v(53)+1·F06/v+1·F07/v+1·F08/vC10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(54)+1·F06/v+1·F07/v+1·F08/vC11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(55)+0·F06/v+1·F07/v+1·F08/vC12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(56)+0·F06/v+0·F07/v+1·F08/v方程(45)到(56)还可以表示为方程(57)Cj=Σi=0108aij·Fi/v---(57)]]>在方程(57)中，j表示象素的位置。在本例中，j的取值范围为1到12。i表示前景值的位置。在本例中，i的取值范围为1到8。aij的值根据i和j的值为0或1。
将误差考虑在内，方程(57)可以表示为方程(58)Cj=Σi=0108aij·Fi/v+ej---(58)]]>在方程(58)中，ej为包含在当前考虑象素Cj中的误差。
方程(58)可以重写为方程(59)ej=Cj-Σi=0108aij·Fi/v---(59)]]>为应用最小二乘法，误差平方和E如方程(60)所示进行定义E=Σj=0112ej2---(60)]]>为使误差最小，误差平方和E对变量Fk的偏导值必须为0。获得Fk来满足方程(61)∂E∂Fk=2·Σj=0112ej·∂ej∂Fk=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0---(61)]]>由于方程(61)中的移动量v为固定值，因此可以推导出方程(62)Σj=0112akj·(cj-Σi=0108aij·Fi/v)=0---(62)]]>将方程(62)展开并且进行移项，产生方程(63)Σj=0112(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(63)]]>通过分别赋值为1到8之间的一个整数，方程(63)展开为8个方程。作为结果的8个方程可以通过使用矩阵的一个方程来表示。该方程称作正规方程(normal equation)。
根据最小二乘法由方程生成单元353生成的正规方程例子如方程(64)所示5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=v·Σi=0812CiΣi=0711CiΣi=0610CiΣi=0509CiΣi=0408CiΣi=0307CiΣi=0206CiΣi=0105Ci---(64)]]>将方程(64)表示为A·F＝v·C，C、A和v是已知的，而F是未知的。A和v在模型化的时候是已知的，而C是在加法操作中输入象素值时得出的。
通过使用基于最小二乘法的正规方程计算前景成分，可以分散包含在象素C中的误差。
方程生成单元353将所生成的正规方程发送到加法单元354。
根据从处理单元判定单元351提供的处理单元，加法单元354在从方程生成单元353提供的矩阵方程中，设置包含在前景成分图像中的象素值C。加法单元354将其中设有象素值C的矩阵提供给计算单元355。
计算单元355通过基于如消元法(Gauss-Jordan消元法)的求解法的处理，计算消除了运动模糊的前景成分Fi/v，从而获取与取值范围为0-8的i对应的Fi，它们组成消除了运动模糊的前景象素值。计算单元355将由消除了运动模糊的象素值Fi组成的消除了运动模糊的前景成分图像，例如图62所示，输出到运动模糊加法单元356和选择单元357。
虽然F01到F08分别设到消除了运动模糊的图62所示的前景成分图像中的C03到C10，从而前景成分图像的位置相对于屏幕没有发生改变，但是该位置可以是任意的。
运动模糊加法单元356能够使用不同于不同于移动量v的运动模糊调整量v′来调整运动模糊量，例如，运动模糊调整量v′是移动量v值的一半，或者运动模糊调整量v′与移动量v值无关。例如，如图63所示，运动模糊加法单元356将消除了运动模糊的前景象素值Fi除以运动模糊调整量v′，从而计算前景成分Fi/v′，并且对前景成分Fi/v′进行求和，以获得经过运动模糊量调整的象素值。例如，如果运动模糊调整量v′为3，象素值C02设为(F01)/v′，象素值C03设为(F01+F02)/v′，象素值C04设为(F01+F02+F03)/v′，并且象素值C05设为(F02+F03+F04)/v′。
运动模糊加法单元356将经过运动模糊量调整的前景成分图像提供给选择单元357。
选择单元357根据对应于例如用户选择的选择信号，选择从计算单元355提供的消除了运动模糊的前景成分图像或者从运动模糊加法单元356提供的经过运动模糊量调整的前景成分图像，从而输出所选的前景成分图像。
如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′调整运动模糊量。
而且，例如，如果如图64所示，与处理单元相关联的象素数目为8，并且移动量v为4，运动模糊调整单元106生成方程(65)所示的矩阵方程
4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci---(65)]]>如上所述，运动模糊调整单元106生成对应于处理单元长度的大量方程，以计算经过运动模糊量调整的象素值Fi。类似地，例如，如果包含在处理单元中的象素数目为100，运动模糊调整单元106生成对应于100个象素的100个方程，以计算Fi。
图65是运动模糊调整单元106的另一结构图。用相同的标号表示与图59所示相同的部件，并且将省略其说明。
根据选择信号，选择单元361将输入运动向量及其位置信号直接提供给处理单元判定单元351和模型化单元352，或者选择单元361将运动向量的大小替换为运动模糊调整量v′，并且将其中运动向量的大小已替换为运动模糊调整量v′的运动向量及其位置信号提供给处理单元判定单元351和模型化单元352。
因此，图65中的运动模糊调整单元106的处理单元判定单元351到计算单元355能够根据移动量v和运动模糊调整量v′，调整运动模糊量。例如，如果移动量v为5并且运动模糊调整量v′为3，图65中的运动模糊调整单元106的处理单元判定单元351到计算单元355根据与等于3的运动模糊调整量v′相关联的图63所示的模型，对移动量v为5的图61所示的前景成分图像执行计算，从而计算包含对应于(移动量v)/(运动模糊调整量v′)＝5/3，即近似于1.7的移动量v的运动模糊的图像。在这种情况下，算出的图像不包含对应于等于3的移动量v的运动模糊。
如上所述，运动模糊调整单元106根据移动量v和处理单元生成方程，并且在所生成的方程中设置前景成分图像的象素值，以计算经过运动模糊量调整的前景成分图像。
下一步，将参照图66的流程图对运动模糊调整单元106的调整前景成分图像中运动模糊量的处理进行描述。
在步骤S251，运动模糊调整单元106的处理单元判定单元351根据运动向量和区域信息生成处理单元，并且将所生成的处理单元提供给模型化单元352。
在步骤S252，运动模糊调整单元106的模型化单元352根据移动量v和处理单元，选择或生成模型。在步骤S253，方程生成单元353根据所选的模型，生成正规方程。
在步骤S254，加法单元354在所生成的正规方程中设置前景成分图像的象素值。在步骤S255，加法单元354确定是否已设置与处理单元相关联的所有象素的象素值。如果确定尚未设置与处理单元相关联的所有象素的象素值，过程返回到步骤S254，重复在正规方程中设置象素值的处理。
如果在步骤S255确定已设置处理单元中所有象素的象素值，过程进入步骤S256，其中，计算单元355根据从加法单元354提供的其中设有象素值的正规方程，计算经过运动模糊量调整的前景象素值，然后处理结束。
如上所述，运动模糊调整单元106能够根据运动向量和区域信息，调整包含运动模糊的前景图像中的运动模糊量。
也就是，运动模糊调整单元106能够调整样本数据的象素值中的运动模糊量。
图59所示的运动模糊调整单元106的结构只是一个例子，并且该结构不限于此。
如上所述，具有图4所示结构的信号处理器12能够调整包含在输入图像中的运动模糊量。具有图4所示结构的信号处理器12能够计算所埋藏的混合比率α，并且输出所算出的混合比率α。
图67是信号处理器12的另一功能实现方框图。
用相同的标号表示与图4所示相同的部件，并且将适当地省略其说明。
区域指定单元103将区域信息提供给混合比率计算单元104和合成单元371。
混合比率计算单元104将混合比率α提供给前景/背景分离单元105和合成单元371。
前景/背景分离单元105将前景成分图像提供给合成单元371。
合成单元371根据从混合比率计算单元104提供的混合比率α和从区域指定单元103提供的区域信息，合成任意背景图像与从前景/背景分离单元105提供的前景成分图像，从而输出其中合成任意背景图像与前景成分图像的合成图像。
图68示出合成单元371的结构。背景成分生成单元381根据混合比率α和任意背景图像生成背景成分图像，并且将它提供给混合区域图像合成单元382。
混合区域图像合成单元382合成从背景成分生成单元381提供的背景成分图像与前景成分图像，以生成混合区域合成图像，并且将它提供给图像合成单元383。
图像合成单元383根据区域信息合成前景成分图像、从混合区域图像合成单元382提供的混合区域合成图像、以及任意背景图像，以生成并输出合成图像。
如上所述，合成单元371能够合成前景成分图像与任意背景图像。
通过根据作为特征量的混合比率α合成前景成分图像与任意背景图像而获得的图像比简单通过合成象素而获得的图像，更自然。
图69是调整运动模糊量的信号处理器12的另一功能实现方框图。图4所示的信号处理器12以串行方式指定区域和计算混合比率α，与之相对，图69所示的信号处理器12以并行方式指定区域和计算混合比率α。
用相同的标号表示与图4的方框图所示相同的功能，并且将省略其说明。
输入图像提供给混合比率计算单元401、前景/背景分离单元402、区域指定单元103和对象提取部分101。
混合比率计算单元401根据输入图像，为包含在输入图像中的每个象素，计算假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率，并且将所算出的假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率提供给前景/背景分离单元402。
图70是混合比率计算单元401的示例结构方框图。
图70所示的估计混合比率处理器201与图40所示的估计混合比率处理器201相同。图70所示的估计混合比率处理器202与图40所示的估计混合比率处理器202相同。
估计混合比率处理器201根据输入图像通过对应于与覆盖背景区域相关联的模型的计算操作，为每个象素计算估计混合比率，从而输出所算出的估计混合比率。
估计混合比率处理器202根据输入图像通过对应于与非覆盖背景区域相关联的模型的计算操作，为每个象素计算估计混合比率，从而输出所算出的估计混合比率。
前景/背景分离单元402根据从混合比率计算单元401提供的假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给运动模糊调整单元106和选择单元107。
图71是前景/背景分离单元402的示例结构方框图。
用相同的标号表示与图51所示的前景/背景分离单元105相同的部件，并且将省略其说明。
选择单元421根据从区域指定单元103提供的区域信息，选择从混合比率计算单元401提供的假定象素属于覆盖背景区域的估计混合比率或者假定象素属于非覆盖背景区域的估计混合比率，并且将所选估计混合比率作为混合比率α提供给分离单元251。
分离单元251根据从选择单元421提供的混合比率α以及区域信息，从属于混合区域的象素的象素值中提取前景成分和背景成分，并且将所提取的前景成分提供给合成单元253，并且将背景成分提供给合成单元255。
分离单元251可以如图56所示进行构造。
合成单元253合成并输出前景成分图像。合成单元255合成并输出背景成分图像。
图69所示的运动模糊调整单元106可以如图4所示进行构造。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离单元402提供的前景成分图像中的运动模糊量，从而输出经过运动模糊量调整的前景成分图像。
图69所示的选择单元107根据例如对应于用户选择的选择信号，选择从前景/背景分离单元402提供的前景成分图像或者从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像，从而输出所选前景成分图像。
如上所述，具有图69所示结构的信号处理器12能够调整包含在对应于输入图像前景对象的图像中的运动模糊量，并且输出结果。类似于第一实施例，具有图69所示结构的信号处理器12能够计算所埋藏的混合比率α，并且输出所算出的混合比率α。
图72是合成前景成分图像与任意背景图像的信号处理器12的另一功能实现方框图。图67所示的信号处理器12以串行方式指定区域和计算混合比率α，与之相对，图72所示的信号处理器12以并行方式指定区域和计算混合比率α。
用相同的标号表示与图67的方框图所示相同的功能，并且将省略其说明。
图72所示的混合比率计算单元401根据输入图像，为包含在输入图像中的每个象素，计算假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率，并且将所算出的假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率提供给前景/背景分离单元402和合成单元431。
图72所示的前景/背景分离单元402根据从混合比率计算单元401提供的假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给合成单元431。
合成单元431根据从混合比率计算单元401提供的假定象素属于覆盖背景区域的估计混合比率和假定象素属于非覆盖背景区域的估计混合比率、以及从区域指定单元103提供的区域信息，合成任意背景图像与从前景/背景分离单元402提供的前景成分图像，从而输出其中合成任意背景图像与前景成分图像的合成图像。
图73示出合成单元431的结构。用相同的标号表示与图68的方框图所示相同的功能，并且将省略其说明。
选择单元441根据从区域指定单元103提供的区域信息，选择从混合比率计算单元401提供的假定象素属于覆盖背景区域的估计混合比率或者假定象素属于非覆盖背景区域的估计混合比率，并且将所选估计混合比率作为混合比率α提供给背景成分生成单元381。
图73所示的背景成分生成单元381根据任意背景图像和从选择单元441提供的混合比率α，生成背景成分图像，并且将它提供给混合区域图像合成单元382。
图73所示的混合区域图像合成单元382合成前景成分图像与从背景成分生成单元381提供的背景成分图像，以生成混合区域合成图像，并且将所生成的混合区域合成图像提供给图像合成单元383。
图像合成单元383根据区域信息合成前景成分图像、从混合区域图像合成单元382提供的混合区域合成图像、以及任意背景图像，从而生成并输出合成图像。
如上所述，合成单元431能够合成前景成分图像与任意背景图像。
虽然将混合比率α描述为表示包含在象素值中的背景成分比率，但是它可以表示包含在象素值中的前景成分比率。
虽然构成前景的对象的移动方向描述为从左到右的方向，但是显然方向不限于此。
本描述所涉及的例子是具有三维空间和时间轴信息的真实空间图像通过使用视频摄像机投影到具有二维空间和时间轴信息的时空中。然而，本发明不限于该例子，并且可以应用于在具有第一更大维数的第一信息投影为具有第二更小维数的第二信息的情况下校正因投影而产生的失真，提取重要信息或者合成更自然的图像。
传感器11不限于CCD，并且还可以是由固态成像器件，如BBD(BucketBrigade Device，桶组器件)、CID(Charge Injection Device，电荷注入器件)和CPD(Charge Priming Device，电荷启动器件)实现的传感器。传感器11不受限于具有矩阵检测元件的传感器，并且还可以是具有线检测元件的传感器。
如图3所示，其中记录有本发明信号处理执行程序的记录介质可以由包介质形成，该包介质采用与计算机分开的方式分发给用户，以提供该程序，它包括，磁盘51(包括软盘)、光盘52(包括CD-ROM(compact disc read-onlymemory，致密盘只读存储器)和DVD(Digital Versatile Disk，数字多功能盘))、光磁盘53(包括MD(Mini-Disk，微型盘))和半导体存储器54。该记录介质还可以是其中记录有该程序的ROM 22或包含在存储单元28中的硬盘，它以预先安装在计算机中的方式提供给用户。
在本说明书中，编写记录在记录介质上的程序的步骤不仅包括以所述次序顺序执行的处理，还包括以不限于顺序处理的并行或单独方式执行的处理。
产业上的可利用性根据第一发明，可以检测其中混合有多个对象的混合区域。
根据第二发明，可以检测其中混合有多个对象的混合区域。
根据第三发明，可以检测其中混合有多个对象的混合区域。
权利要求
1.一种图像处理装置，用于处理由预定数目的象素数据构成的图像数据，其中，所述图像数据是通过具有预定数目象素的成像器件来获得的，每个象素均具有时间累积效果，所述图像处理装置包括背景图像生成装置，用于根据图像数据，生成背景图像；相关值检测装置，用于检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿装置，用于根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加装置，用于累加由所述运动补偿装置进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测装置，用于根据每个象素位置的所述累加装置的输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
2.如权利要求1所述的图像处理装置，进一步包括运动向量检测装置，用于检测运动向量。
3.如权利要求1所述的图像处理装置，其中，所述相关值检测装置根据当前考虑帧的图像数据中位于当前考虑象素周围的多个象素和背景图像中位置对应于这些周围象素的多个象素，检测相关值。
4.如权利要求1所述的图像处理装置，其中，所述相关值检测装置检测当前考虑帧的图像数据中位于当前考虑象素周围的多个象素与背景图像中位置对应于这些周围象素的多个象素之间的差值，作为相关值。
5.如权利要求1所述的图像处理装置，进一步包括二值化装置，用于通过比较相关值与阀值，对相关值进行二值化；以及加权装置，用于对二值化相关值进行加权；其中，所述运动补偿装置对当前考虑帧的附近帧中的二值化相关值进行运动补偿，并且所述累加装置累加经过运动补偿和加权的当前考虑帧的附近帧的相关值。
6.如权利要求1所述的图像处理装置，其中，所述混合区域检测装置进一步根据每个象素位置的相关值时间变化，检测覆盖背景区域或非覆盖背景区域。
7.如权利要求1所述的图像处理装置，进一步包括混合比率检测装置，用于检测多个对象混合在所检测的混合区域中的混合比率。
8.如权利要求7所述的图像处理装置，进一步包括分离装置，用于根据混合区域和混合比率分离对象。
9.如权利要求8所述的图像处理装置，进一步包括调整装置，用于调整包含在分离对象中的运动模糊量。
10.一种图像处理方法，用于处理由预定数目的象素数据形成的图像数据，其中，所述图像数据是通过具有预定数目象素的成像器件来获得的，每个象素均具有时间累积效果，所述图像处理方法包括背景图像生成步骤，用于根据图像数据，生成背景图像；相关值检测步骤，用于检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿步骤，用于根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加步骤，用于累加由所述运动补偿步骤进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测步骤，用于根据每个象素位置的所述累加步骤输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。
全文摘要
一种检测混合有多个对象例如背景图像和移动对象图像的区域的图像处理装置。背景图像生成装置，根据图像数据，生成背景图像；相关值检测装置，检测每个帧的图像数据中每个象素与背景图像中对应位置的象素之间的相关值；运动补偿装置，根据当前考虑帧的附近帧的运动向量，对当前考虑帧的附近帧的相关值进行运动补偿；累加装置，累加由所述运动补偿装置进行过运动补偿的当前考虑帧的相关值和当前考虑帧的附近帧的相关值；以及混合区域检测装置，根据每个象素位置的所述累加装置的输出时间变化，检测当前考虑帧中混合有多个真实世界对象的混合区域。本发明可应用于考虑由传感器检测的信号与真实世界之间差别的图像处理装置。
文档编号H04N5/14GK1684108SQ20051006883
公开日2005年10月19日 申请日期2002年2月1日 优先权日2001年2月1日
发明者近藤哲二郎, 石桥淳一, 泽尾贵志, 永野隆浩, 藤原直树, 三宅彻, 和田成司 申请人:索尼公司