信号处理设备和信号处理方法、以及程序和记录介质的制作方法

专利名称：信号处理设备和信号处理方法、以及程序和记录介质的制作方法
技术领域：
本发明涉及一种信号处理设备和信号处理方法、以及程序和记录介质，尤其涉及一种使得图像等能够更接近真实世界信号的信号处理设备和信号处理方法、以及程序和记录介质。

背景技术：
使用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到广泛使用。例如，现实世界使用成像传感器来成像并且处理作为图像数据的采样数据的图像处理技术被广泛使用。
同样，已知这种方案，其具有维度比通过用传感器检测第一信号而获得的第一维度少的第二维度，该第一信号是具有第一维度的真实世界的信号，获得包括关于第一信号的畸变的第二信号，以及基于第二信号执行信号处理，从而产生与第二信号相比较具有减轻的畸变的第三信号(例如，日本未经审查专利申请公开号2001-250119)。
但是，常规地，考虑真实世界信号连续性的信号处理还没有执行，所以获得更接近真实世界信号的图像等是困难的。


发明内容
考虑到上述情况而提出本发明，并且提供更接近真实世界信号的图像等的获得。
根据本发明的一种信号处理设备包括现实世界估计装置，用于估计现实世界函数，假设与图像数据的时间-空间方向的至少一维方向上的位置相对应的每个像素的像素值、是通过在至少一维方向上积分与样条函数近似的现实世界光信号相对应的现实世界函数而获得的像素值，其中真实世界光信号投影在每个具有时间-空间积分效应的多个像素上、并且真实世界光信号连续性的一部分丢失；以及图像生成装置，用于通过以预先确定的增量在至少一维方向上积分现实世界函数来产生图像。
根据本发明的一种信号处理方法包括现实世界估计步骤，用于估计现实世界函数，假设与图像数据的时间-空间方向的至少一维方向上的位置相对应的每个像素的像素值、是通过在至少一维方向上积分与样条函数近似的现实世界光信号相对应的现实世界函数而获得的像素值，其中真实世界光信号投影在每个具有时间-空间积分效应的多个像素上、并且真实世界光信号连续性的一部分丢失；以及图像生成步骤，用于通过以预先确定的增量在至少一维方向上积分现实世界函数来产生图像。
根据本发明的一种程序包括现实世界估计步骤，用于估计现实世界函数，假设与图像数据的时间-空间方向的至少一维方向上的位置相对应的每个像素的像素值、是通过在至少一维方向上积分用样条函数近似的与现实世界光信号相对应的现实世界函数而获得的像素值，其中真实世界光信号投影在每个具有时间-空间积分效应的多个像素上、并且真实世界光信号连续性的一部分丢失；以及图像生成步骤，用于通过以预先确定的增量在至少一维方向上积分现实世界函数来产生图像。
根据本发明的一种记录介质存储程序，该程序包括现实世界估计步骤，用于估计现实世界函数，假设与图像数据的时间-空间方向的至少一维方向上的位置相对应的每个像素的像素值、是通过在至少一维方向上积分与样条函数近似的现实世界光信号相对应的现实世界函数而获得的像素值，其中真实世界光信号投影在每个具有时间-空间积分效应的多个像素上、并且真实世界光信号连续性的一部分丢失；以及图像生成步骤，用于通过以预先确定的增量在至少一维方向上积分现实世界函数来产生图像。
使用根据本发明的信号处理设备和信号处理方法，程序以及记录介质，现实世界函数被估计，假设与图像数据的时间-空间方向的至少一维方向上的位置相对应的每个像素的像素值、是通过在至少一维方向上积分与样条函数近似的现实世界光信号相对应的现实世界函数而获得的像素值，其中真实世界光信号投影在每个具有时间-空间积分效应的多个像素上、并且真实世界光信号连续性的一部分丢失，图像通过以预先确定的增量在至少一维方向上积分现实世界函数来产生。



图1是说明本发明原理的图。
图2是说明信号处理设备4的硬件构造实例的框图。
图3是说明图1中所示信号处理设备4的一种实施方案的构造实例的框图。
图4是详细描述由信号处理设备4执行的信号处理原理的图。
图5是描述图像传感器上像素阵列实例的图。
图6是描述作为CCD的检测设备的操作的图。
图7是描述投射到与像素D至像素F相对应的检测元件中的光与像素值之间关系的图。
图8是描述时间的消逝、投射到与一个像素相对应的检测元件中的光、以及像素值之间关系的图。
图9是说明现实世界1中线形对象的图像实例的图。
图10是说明由实际成像获得的图像数据的像素值实例的图。
图11是说明具有不同于背景的颜色、具有单色和线形边缘的对象的现实世界1图像实例的图。
图12是说明由实际成像获得的图像数据的像素值实例的图。
图13是图像数据的示意图。
图14是描述用M块数据162估计模型161的图。
图15是描述现实世界1的信号与数据3之间关系的图。
图16是说明创建表达式时所关注的数据3的实例的图。
图17是描述现实世界1中两个对象的信号，以及创建表达式时属于混合区域的值的图。
图18是描述由表达式(18)，表达式(19)，和表达式(22)表示的连续性的图。
图19是说明从数据3中选取的M块数据162的实例的图。
图20是描述数据3中现实世界1的信号在时间方向和二维空间方向上的积分的图。
图21是描述当产生具有空间方向上更高分辨率的高分辨率数据时积分区域的图。
图22是描述当产生具有时间方向上更高分辨率的高分辨率数据时积分区域的图。
图23是描述当产生具有时间-空间方向上更高分辨率的高分辨率数据时积分区域的图。
图24是说明输入图像的原始图像的图。
图25是说明输入图像实例的图。
图26是说明通过应用常规类型分类适应处理而获得的图像的图。
图27是说明检测细线区域的结果的图。
图28是说明从信号处理设备4输出的输出图像实例的图。
图29是描述使用信号处理设备4的信号处理的流程图。
图30是说明数据连续性检测单元101的构造的框图。
图31是说明在背景前面具有细线的现实世界1中图像的图。
图32是描述使用平面近似背景的图。
图33是说明细线图像已经投影的图像数据横截面形状的图。
图34是说明细线图像已经投影的图像数据横截面形状的图。
图35是说明细线图像已经投影的图像数据横截面形状的图。
图36是描述检测峰值和检测单调增大/减小区域的处理的图。
图37是描述检测细线区域的处理的图，其中峰值的像素值超过阈值，而相邻像素的像素值等于或低于阈值。
图38是表示在由图37中虚线AA′指示的方向上排列的像素的像素值的图。
图39是描述检测单调增大/减小区域中连续性的处理的图。
图40是说明检测细线图像已经投影到其中的区域的另一种处理实例的图。
图41是描述连续性检测处理的流程图。
图42是描述检测时间方向上数据连续性的处理的图。
图43是说明非连续性分量提取单元201的构造的框图。
图44是描述剔除次数的图。
图45是描述提取非连续性分量的处理的流程图。
图46是描述提取连续性分量的处理的流程图。
图47是描述提取连续性分量的另一种处理的流程图。
图48是描述提取连续性分量的再一种处理的流程图。
图49是说明连续性分量提取单元101的另一种构造的框图。
图50是描述具有数据连续性的输入图像中活动性的图。
图51是描述检测活动性的块的图。
图52是描述数据连续性相对于活动性的角度的图。
图53是说明数据连续性检测单元101的详细构造的框图。
图54是描述一组像素的图。
图55是描述像素组的位置与数据连续性的角度之间关系的图。
图56是描述检测数据连续性的处理的流程图。
图57是说明当检测时间方向和空间方向上数据连续性角度时选取的一组像素的图。
图58是描述函数近似的原理的图，其是图3中所示现实世界估计单元的一种实施方案的实例。
图59是描述在传感器是CCD的情况下积分效应的图。
图60是描述图59中所示传感器的积分效应的特定实例的图。
图61是描述图59中所示传感器的积分效应的另一个特定实例的图。
图62是表示图60中所示包含细线的现实世界区域的图。
图63是描述与图58中所示实例相比较，图3中所示现实世界估计单元的一种实施方案的实例原理的图。
图64是表示图60中所示包含细线的数据区域的图。
图65是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。
图66是近似图65中所示包含在包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。
图67是描述图60中所示包含细线现实世界区域具有的空间方向上连续性的图。
图68是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。
图69是描述图68中指示的输入像素值的每个以预先确定移位量移位的状态的图。
图70是考虑到空间方向连续性、近似图65中所示包含在包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。
图71是描述空间混合区域的图。
图72是描述近似空间混合区域中现实世界信号的近似函数的图。
图73是考虑到传感器积分性质和空间方向连续性、近似与图65中所示包含细线数据区域相对应的现实世界信号的近似函数绘制在曲线图上的图。
图74是描述使用具有图58中所示原理的函数近似技术中初级多项式近似的现实世界估计单元的构造实例的框图。
图75是描述具有图74中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。
图76是描述分接范围的图。
图77是描述具有空间方向上连续性的现实世界信号的图。
图78是描述在传感器是CCD的情况下积分效应的图。
图79是描述横截面方向上距离的图。
图80是描述使用具有图58中所示原理的函数近似技术中二次多项式近似的现实世界估计单元的构造实例的框图。
图81是描述具有图80中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。
图82是描述分接范围的图。
图83是描述时间-空间方向上连续性方向的图。
图84是描述在传感器是CCD的情况下积分效应的图。
图85是描述具有空间方向上连续性的现实世界信号的图。
图86是描述具有空间-时间方向上连续性的现实世界信号的图。
图87是描述使用具有图58中所示原理的函数近似技术中三次多项式近似的现实世界估计单元的构造实例的框图。
图88是描述具有图87中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。
图89是描述再积分原理的图，其是图3中所示图像生成单元的一种实施方案的实例。
图90是描述输入像素的实例以及近似对应于输入像素的现实世界信号的近似函数的图。
图91是描述从图90中所示的近似函数中，在图90中所示的一个输入像素中创建四个高分辨率像素的实例的图。
图92是描述使用具有图89中所示原理的再积分技术中一维再积分技术的图像生成单元的构造实例的框图。
图93是描述具有图92中所示构造的图像生成单元执行的图像生成处理的流程图。
图94是说明输入图像的原始图像实例的图。
图95是说明与图94中所示图像相对应的图像数据的实例的图。
图96是表示输入图像实例的图。
图97是表示与图96中所示图像相对应的图像数据的实例的图。
图98是说明通过使输入图像经历常规类型分类适应处理而获得的图像实例的图。
图99是表示与图98中所示图像相对应的图像数据的实例的图。
图100是说明通过使输入图像经历一维再积分技术而获得的图像实例的图。
图101是说明与图100中所示图像相对应的图像数据的实例的图。
图102是描述具有空间方向上连续性的现实世界信号的图。
图103是描述使用具有图89中所示原理的再积分技术中二维再积分技术的图像生成单元的构造实例的框图。
图104是描述横截面方向上距离的图。
图105是描述具有图103中所示构造的图像生成单元执行的图像生成处理的流程图。
图106是描述输入像素实例的图。
图107是描述使用二维再积分技术，在图106中所示一个输入像素中创建四个高分辨率像素的实例的图。
图108是描述空间-时间方向上连续性方向的图。
图109是描述使用具有图89中所示原理的再积分技术中三维再积分技术的图像生成单元的构造实例的框图。
图110是描述具有图109中所示构造的图像生成单元执行的图像生成处理的流程图。
图111是说明图1中所示信号处理设备4的另一种实施方案的构造实例的框图。
图112是描述图111中所示信号处理设备4的处理的流程图。
图113是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。
图114是描述信号处理类型的图。
图115是描述图113中所示信号处理设备4的处理的流程图。
图116是描述图像传感器的积分效应的图。
图117是描述图像传感器的积分效应的图。
图118是说明捕捉处于静止状态的背景对象，以及在其前面运动的前景对象的场景的图。
图119是描述前景区域、背景区域，和混合区域的图。
图120是说明相当于图113中的信号处理设备4、用于去除运动模糊的设备的构造实例的框图。
图121是描述图120中所示设备的处理的流程图。
图122是说明前景区域、背景区域，和混合区域的图。
图123是说明前景分量和背景分量的图。
图124是说明三维样条函数的图。
图125是说明使用样条函数Ck(x)来近似光信号函数F(x)的物理模型的图。
图126是描述图125的物理模型中获得的像素值的图。
图127是说明像素中积分范围的图。
图128是说明计算像素值分量S1的积分范围的图。
图129是说明计算像素值分量S2的积分范围的图。
图130是说明计算像素值分量S3，p的积分范围的图。
图131是描述计算像素值分量S3，p的待积分样条函数的图。
图132是说明计算像素值分量S3，p的积分范围的图。
图133是说明计算像素值分量S4，p的积分范围的图。
图134是说明计算像素值分量S4，p的积分范围的图。
图135是描述获得运动模糊去除的像素值的积分方法的图。
图136是描述获得运动模糊去除的高分辨率像素值的积分方法的图。
图137是说明图120中所示运动模糊调节单元17035的构造实例的框图。
图138是描述图137中所示运动模糊调节单元17035的处理的流程图。
图139是描述约束条件的图。
图140是描述使用约束条件表达式估计现实世界的方法的图。
图141是说明图120中所示运动模糊调节单元17035的另一种构造实例的框图。
图142是描述图141中所示运动模糊调节单元17035的处理的流程图。
图143是说明执行现实处理的现实处理单元17100的框图。
图144是说明图143中所示现实处理单元17100的构造实例的框图。
图145是描述图144中所示现实处理单元17100的处理的流程图。
图146是说明图143中所示现实处理单元17100的另一种构造实例的框图。
图147是描述图146中所示现实处理单元17100的处理的流程图。
图148是说明物理模型的图，假设图125中物理模型的运动量v为0。
图149是描述获得高分辨率像素值的积分方法的图。
图150是说明图143中所示现实处理单元17100的再一种构造实例的框图。
图151是描述图150中所示现实处理单元17100的处理的流程图。
图152是描述图113中所示信号处理设备4的处理的流程图。
图153是描述用户I/F 17006由用户的操作的图。
图154是说明相当于图113中所示信号处理设备4的设备的构造实例的框图。
图155是描述图154中所示设备的处理的流程图。
图156是说明图154中所示运动模糊去除处理单元17303的构造实例的框图。
图157是描述图156中所示运动模糊去除处理单元17303的处理的流程图。
图158是说明图154中所示运动模糊去除处理单元17303的另一种构造实例的框图。
图159是描述图158中所示运动模糊去除处理单元17303的处理的流程图。
图160是说明连续性设置单元17002的构造实例的框图。
图161是描述运动量的图。
图162是说明当前景对象经过背景对象前面时由照相机拍摄的、从照相机输出的图像的像素值的图。
图163是说明图162中所示图像中像素的像素值的差值的图。
图164是描述检测运动量的处理的流程图。
图165是描述检测相关性的处理的流程图。

具体实施例方式 图1说明本发明的原理。如附图中所示，具有空间、时间和质量维度的现实世界1中的事件(现象)由传感器2获取，并形成数据。现实世界1中的事件指光(图像)、声音、压力、温度、质量、湿度、亮度/暗度或气味等。现实世界1中的事件分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。
注意传感器2，具有空间、时间和质量维度的现实世界1中的事件中，传感器2可以获取的现实世界1中的事件由传感器2转换成数据3。可以说指示现实世界1中事件的信息由传感器2获取。
也就是说，传感器2将指示现实世界1中事件的信息转换成数据3。可以说，作为指示具有空间、时间和质量维度的现实世界1中事件(现象)的信息的信号由传感器2获取并形成数据。
以下，现实世界1中事件例如图像、声音、压力、温度、质量、湿度、亮度/暗度或气味等的分布将称作现实世界1的信号，其作为指示事件的信息。同样，作为指示现实世界1的事件的信息的信号也将简称作现实世界1的信号。在本说明书中，信号将被理解为包括现象和事件，并且还包括在传输侧没有目的的那些事物。
从传感器2输出的数据3(检测信号)是通过将指示现实世界1的事件的信息投影到维度比现实世界1少的空间-时间上而获得的信息。例如，作为运动图像的图像数据的数据3是通过将现实世界1的三维空间方向和时间方向的图像投影到具有二维空间方向和时间方向的时间-空间上而获得的信息。而且，如果数据3是例如数字数据，数据3根据采样增量舍入。如果数据3是模拟数据，数据3的信息根据动态范围压缩，或者信息的一部分由限幅器等删除。
因此，通过将所示作为指示具有预先确定维度数目的现实世界1中事件的信息的信号投影到数据3(检测信号)上，指示现实世界1中事件的信息的一部分被丢弃。也就是说，指示现实世界1中事件的信息的一部分从传感器2输出的数据3中丢弃。
但是，即使指示现实世界1中事件的信息的一部分因投影而丢弃，数据3包括用于估计作为指示现实世界1中事件(现象)的信息的信号的有用信息。
对于本发明，具有包含在现实世界1或数据3中的连续性的信息用作估计作为现实世界1信息的信号的有用信息。连续性是重新定义的概念。
注意现实世界1，现实世界1中的事件包括在预先确定维度方向上恒定的特性。例如，现实世界1中的对象(有形对象)具有在空间方向或时间方向上连续的形状、图案或颜色，或者具有形状、图案或颜色的重复图案。
因此，指示现实世界1中事件的信息包括在预先确定维度方向上恒定的特性。
对于更具体的实例，线形对象例如线、细绳或粗绳具有在长度方向上也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。空间方向上的恒定特性即横截面形状在长度方向上任意位置处相同，来自于线形对象为长形的特性。
因此，线形对象的图像具有在长度方向也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。
而且，作为在空间方向上展开的有形对象的单调对象可以假定具有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。
同样地，作为在空间方向上展开的有形对象的单调对象的图像具有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。
这样，现实世界1(真实世界)中的事件具有在预先确定维度方向上恒定的特性，所以现实世界1的信号具有在预先确定维度方向上恒定的特性。
在本说明书中，在预先确定维度方向上恒定的这种特性将称作连续性。现实世界1(真实世界)的信号的连续性意思是指示现实世界1(真实世界)的事件的信号具有的、在预先确定维度方向上恒定的特性。
现实世界1(真实世界)中存在无数这种连续性。
接下来，注意数据3，数据3由指示具有预先确定维度的现实世界1事件的信息的信号由传感器2投影而获得，并且包括与真实世界中信号连续性相对应的连续性。可以说，数据3包括现实世界信号的连续性已经投影于其中的连续性。
但是，如上所述，在从传感器2输出的数据3中，现实世界1的信息的一部分已经丢失，所以包含在现实世界1(真实世界)信号中的连续性的一部分可能从数据中丢失。
换句话说，数据3包含现实世界1(真实世界)信号连续性中的至少一部分连续性作为数据连续性。数据连续性意思是数据3具有的、在预先确定维度方向上恒定的特性。
对于本发明，现实世界1信号的连续性，或者数据3具有的数据连续性用作估计作为指示现实世界1事件的信息的信号的重要数据。
例如，对于信号处理设备4，指示现实世界1中事件的、已经丢失的信息由数据3的信号处理使用数据连续性而产生。
现在，对于信号处理设备4，作为用作指示现实世界1中事件的信息的信号维度的长度(空间)、时间和质量中，空间方向或时间方向上的连续性被使用。
在图1中，传感器2由例如数字静物照相机、视频摄影机等形成，并且拍摄现实世界1的图像，并将作为获得数据3的图像数据输出到信号处理设备4。传感器2也可以是温度记录设备、使用光致弹性的压力传感器等。
信号处理设备4由例如个人计算机等构成，并且执行关于数据3的信号处理。
信号处理设备4例如如图2中所示构成。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或存储单元28中的程序执行各种类型的处理。RAM(随机存取存储器)23在适当的时候存储待由CPU 21执行的程序、数据等。CUP 21、ROM 22和RAM 23通过总线24互相连接。
同样经由总线24连接到CPU 21的是输入/输出接口25。由键盘、鼠标、麦克风等构成的输入设备26，以及由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU 21执行与从输入单元26输入的命令相对应的各种类型的处理。然后，CPU 21将作为处理结果而获得的图像和音频等输出到输出单元27。
连接到输入/输出接口25的存储单元28由例如硬盘构成，并存储CPU 21执行的程序和各种类型的数据。通信单元29经由互联网和其它网络与外部设备通信。在该实例的情况下，通信单元29用作获取从传感器2输出的数据3的获取单元。
而且，配置可以这样进行，其中程序经由通信单元29获得并存储在存储单元28中。
连接到输入/输出接口25的驱动器30驱动安装在那里的磁盘51、光盘52、磁光盘53、或半导体存储器54等，并且获得记录在其中的程序和数据。获得的程序和数据根据需要传送到存储单元28并存储。
图3是说明信号处理设备4的框图。
注意，信号处理设备4的功能由硬件实现还是由软件实现不相关。也就是说，本说明书中的框图可以看作硬件框图或可以看作软件功能框图。
对于其构造如图3中所示的信号处理设备4，作为数据3的实例的图像数据输入，并且数据连续性从输入图像数据(输入图像)中检测。接下来，由传感器2获取的现实世界1的信号从检测的数据连续性中估计。然后，基于现实世界1的估计信号，图像生成，并且生成的图像(输出图像)被输出。也就是说，图3是说明作为图像处理设备的信号处理设备4构造的图。
输入到信号处理设备4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。
数据连续性检测单元101从输入图像中检测数据的连续性，并将指示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如输入图像中具有数据连续性的像素区域的位置、具有数据连续性的像素区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素区域的长度等。数据连续性检测单元101的详细构造将随后描述。
现实世界估计单元102基于输入图像和从数据连续性检测单元101提供的数据连续性信息估计现实世界1的信号。也就是说，现实世界估计单元102估计作为在获取输入图像时投射到传感器2中的现实世界信号的图像。现实世界估计单元102将指示现实世界1信号估计结果的现实世界估计信息提供给图像生成单元103。现实世界估计单元102的详细构造将随后描述。
图像生成单元103基于从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。或者，图像生成单元103基于从数据连续性检测单元101提供的数据连续性信息，以及从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。
也就是说，图像生成单元103基于现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。
例如，图像生成单元103通过基于现实世界估计信息，在空间方向或时间方向的期望范围内积分现实世界1的估计图像，来生成与输入图像相比较具有空间方向或时间方向上更高分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外插/内插生成图像，并输出生成的图像作为输出图像。
图像生成单元103的详细构造将随后描述。
接下来，将参考图4来描述本发明的原理。
例如，现实世界1的信号，其是例如图像，成像在作为传感器2实例的CCD(电荷耦合器件)的感光面上。作为传感器2实例的CCD具有积分性质，所以差异在从CCD输出的、关于现实世界1图像的数据3中产生。传感器2的积分性质的细节将随后描述。
对于信号处理设备4的信号处理，由CCD获得的现实世界1的图像与由CCD获取并输出的数据3之间的关系被明确地考虑。也就是说，数据3与作为由传感器2获得的现实世界信息的信号之间的关系被明确地考虑。
更具体地说，如图4中所示，信号处理设备4使用模型161来近似(描述)现实世界1。模型161由例如N个变量表示。更准确地说，模型161近似(描述)现实世界1的信号。
为了预测模型161，信号处理设备4从数据3中选取M块数据162。当从数据3中选取M块数据162时，信号处理设备4使用例如包含在数据3中的数据连续性。换句话说，信号处理设备4基于包含在数据3中的数据连续性，选取预测模型161的数据162。因此，在该情况下，模型161由数据连续性约束。
也就是说，模型161近似具有连续性(预先确定维度方向上的恒定特性)的现实世界1的事件(指示事件的信息(信号))，当使用传感器2获取时该连续性产生数据3中的数据连续性。
现在，如果数据162的数目M为N或更多，其中N是模型的变量数目，由N个变量表示的模型161可以从M块数据162中预测。
这样，信号处理设备4可以通过预测近似(描述)现实世界1(的信号)的模型161来考虑作为现实世界1信息的信号。
接下来，将描述传感器2的积分效应。
在成像真实世界时，图像传感器例如CCD或CMOS(互补金属氧化物半导体)传感器等，其作为获取图像的传感器2，将作为真实世界信息的信号投影到二维数据上。图像传感器的像素每个具有预先确定的面积，作为所谓感光面(感光区域)。到具有预先确定面积的感光面的入射光在每个像素的空间方向和时间方向上积分，并且转换成每个像素的单个像素值。
将参考图5至图8来描述图像的空间-时间积分。
图像传感器成像真实世界中的主体(对象)，并输出获得的图像数据为单帧累加的成像结果。也就是说，图像传感器获取现实世界1的信号，该信号为从现实世界1的主体反射的光，并输出数据3。
例如，图像传感器输出每秒30帧的图像数据。在该情况下，图像传感器的曝光时间可以为1/30秒。曝光时间是从图像传感器开始入射光到电荷的转换，到入射光到电荷的转换结束的时间。以下，曝光时间也将称作快门时间。
图5是描述图像传感器上像素阵列实例的图。在图5中，A～I表示各个像素。像素设置在与由图像数据显示的图像相对应的平面上。与单个像素相对应的单个检测元件设置在图像传感器上。当图像传感器获取现实世界1的图像时，一个检测元件输出与构成图像数据的一个像素相对应的一个像素值。例如，检测元件空间方向X上的位置(X坐标)对应于由图像数据显示的图像上的水平位置，并且检测元件空间方向Y上的位置(Y坐标)对应于由图像数据显示的图像上的垂直位置。
现实世界1的光强分布在三维空间方向和时间方向上展开，但是图像传感器在二维空间方向和时间方向上获取现实世界1的光，并产生表示二维空间方向和时间方向上光强分布的数据3。
如图6中所示，检测设备例如CCD在对应于快门时间的时期中将投射到感光面(感光区域)(检测区域)上的光转换成电荷，并积累转换的电荷。该光是现实世界1的信息(信号)，关于其的强度由三维空间位置和时间点确定。现实世界1的光强分布可以由函数F(x，y，z，t)表示，其中三维空间中的位置x，y，z以及时间点t为变量。
在检测设备CCD中积累的电荷量与投射到具有二维空间展开的整个感光面上的光强、以及光投射到其上的时间量近似成比例。检测设备将从投射到整个感光面上的光中转换的电荷加到在对应于快门时间的时期中已经积累的电荷。也就是说，检测设备积分投射到具有二维空间展开的整个感光面上的光，并累积与在对应于快门时间的时期中积分的光相对应的量的变化。检测设备也可以说具有关于空间(感光面)和时间(快门时间)的积分效应。
检测设备中累积的电荷由未显示的电路转换成电压值，电压值进一步转换成像素值例如数字数据等，并且作为数据3输出。因此，从图像传感器输出的各个像素值具有投影到一维空间上的值，该值是关于快门时间的时间方向和检测设备感光面的空间方向积分具有时间-空间展开的现实世界1信息(信号)的部分的结果。
也就是说，一个像素的像素值表示为F(x，y，t)的积分。F(x，y，t)是表示检测设备感光面上的光强分布的函数。例如，像素值P由表达式(1)表示。
在表达式(1)中，x1表示检测设备感光面的左侧边界处的空间坐标(X坐标)。x2表示检测设备感光面的右侧边界处的空间坐标(X坐标)。在表达式(1)中，y1表示检测设备感光面的上侧边界处的空间坐标(Y坐标)。y2表示检测设备感光面的下侧边界处的空间坐标(Y坐标)。并且，t1表示入射光到电荷的转换开始的时间点。t2表示入射光到电荷的转换结束的时间点。
注意实际上，从图像传感器输出的图像数据的像素值的增益对于例如整个帧而校正。
图像数据的每个像素值是投射到图像传感器的每个检测元件的感光面上的光的积分值，并且投射到图像传感器上的光中，比检测元件感光面更细的现实世界1的光的波形在作为积分值的像素值中隐藏。
以下，在本说明书中，用预先确定维度表示作为参考的信号的波形可以简称作波形。
因此，现实世界1的图像(光信号)以像素为增量在空间方向和时间方向上积分，所以现实世界1的图像连续性的一部分从图像数据中丢失，从而现实世界1的图像连续性的另一部分留在图像数据中。或者，可能存在这种情况，其中已经从现实世界1的图像连续性变化的连续性包括在图像数据中。
将进一步描述由具有积分效应的图像传感器获取的图像在空间方向上的积分效应。
图7是描述到与像素D至像素F相对应的检测元件的入射光与像素值之间关系的图。图7中的F(x)是以空间中(检测设备上)空间方向X上的坐标x作为变量、表示现实世界1的光强分布的函数的实例。换句话说，F(x)是表示空间方向Y和时间方向恒定的、现实世界1的光强分布的函数的实例。在图7中，L表示与像素D至像素F相对应的检测设备感光面的空间方向X上的长度。
单个像素的像素值表示为F(x)的积分。例如，像素E的像素值P由表达式(2)表示。
在表达式(2)中，x1表示与像素E相对应的检测设备感光面左侧边界处的空间方向X上的空间坐标。x2表示与像素E相对应的检测设备感光面右侧边界处的空间方向X上的空间坐标。
同样地，将进一步描述由具有积分效应的图像传感器获取的图像在时间方向上的积分效应。
图8是描述消逝的时间、到与单个像素相对应的检测元件的入射光，以及像素值之间关系的图。图8中的F(t)是以时间点t作为变量、表示现实世界1的光强分布的函数。换句话说，F(t)是表示空间方向Y和空间方向X恒定的、现实世界1的光强分布的函数的实例。TS表示快门时间。
帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。
注意，在图8中所示实例中，快门时间ts和帧间隔是相同的。
单个像素的像素值表示为F(t)的积分。例如，帧#n的像素的像素值P由表达式(3)表示。
在表达式(3)中，t1表示入射光到电荷的转换开始的时刻。t2表示入射光到电荷的转换结束的时刻。
以下，传感器2在空间方向上的积分效应将简称作空间积分效应，而传感器2在时间方向上的积分效应也将简称作时间积分效应。并且，空间积分效应或时间积分效应将简称作积分效应。
接下来，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。
图9是说明现实世界1的线形对象(例如细线)，即光强分布的实例的图。在图9中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示在作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示在作为图像空间方向的另一个方向的空间方向Y上的位置。
现实世界1的线形对象的图像包括预先确定的连续性。也就是说，图9中所示图像具有在长度方向上任意位置处横截面形状方面的连续性(关于与长度方向垂直的方向上位置的变化，光度变化)。
图10是说明与图9中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。
也就是说，图10是通过使用图像传感器对直径比每个像素的感光面长度L短，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的线形对象的图像成像而获得的图像数据的模型图。图10中所示图像数据获取时投射到图像传感器中的图像是图9中所示现实世界1的线形对象的图像。
在图10中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图10中表示像素值的方向对应于图9中光度的方向，并且图10中的空间方向X和空间方向Y也与图9中的方向相同。
如果使用图像传感器获取直径比每个像素的感光面长度L短的线形对象的图像，在模型表示中，例如，线形对象在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个弧形(半盘)。弧形具有近似相同的形状。一个弧形形成在垂直地一行像素上，或者水平地一行像素上。例如，图10中所示的一个弧形形成在垂直地一行像素上。
因此，对于由例如图像传感器获取并获得的图像数据，现实世界1的线形对象图像具有的、在长度方向上任意位置处空间方向Y上横截面形状相同的连续性丢失。而且，可以说，现实世界1的线形对象图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的弧形以预先确定的间隔排列。
图11是说明具有直边且具有不同于背景的单色的对象在现实世界1中的图像，即光强分布实例的图。在图11中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。
具有直边且具有不同于背景的单色的现实世界1的对象的图像包括预先确定的连续性。也就是说，图11中所示图像具有这种连续性，即在边缘长度方向上任意位置处横截面形状(关于在与长度方向垂直的方向上位置的变化，光度变化)相同。
图12是说明与图11中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。如图12中所示，图像数据为阶梯形，因为图像数据由以像素为增量的像素值构成。
图13是说明图12中所示图像数据的模型图。
图13中所示模型图是通过使用图像传感器对具有直边以及不同于背景的单色，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的现实世界1对象的图像成像而获得的图像数据的模型图。图13中所示图像数据获取时投射到图像传感器中的图像是图11中所示具有直边以及不同于背景的单色的现实世界1对象的图像。
在图13中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，以及到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图13中表示像素值的方向对应于图11中光度的方向，并且图13中的空间方向X和空间方向Y与图11中的方向相同。
如果使用图像传感器获取具有直边以及不同于背景的单色的现实世界1对象的图像，在模型表示中，例如，直边在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个爪形。爪形具有近似相同的形状。一个爪形形成在垂直地一行像素上，或者水平地一行像素上。例如，图13中所示的一个爪形形成在垂直地一行像素上。
因此，具有直边以及不同于背景的单色的现实世界1对象的图像的连续性，即在边缘长度方向上任意位置处横截面形状相同，例如，在通过使用图像传感器成像而获得的图像数据中丢失。而且，可以说，具有直边以及不同于背景的单色的现实世界1对象的图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的爪形以预先确定的间隔排列。
数据连续性检测单元101检测例如作为输入图像的数据3的这种数据连续性。例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域来检测数据连续性。例如，数据连续性检测单元101检测例如图10中所示相同的弧形以恒定间隔排列的区域。同样，例如，数据连续性检测单元101检测例如图13中所示相同的爪形以恒定间隔排列的区域。
而且，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据的连续性。
而且，例如，数据连续性检测单元101通过检测指示空间方向和时间方向上相同形状排列的空间方向和时间方向上的角度(运动)来检测数据的连续性。
此外，例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域的长度来检测数据中的连续性。
以下，数据3中传感器2已经投影具有直边以及不同于背景的单色的现实世界1对象的图像的部分也将称作二值边缘。
现在，使用常规信号处理，期望高分辨率数据例如从数据3中产生。
相反地，使用信号处理设备4的信号处理，现实世界1从数据3中估计，并且高分辨率数据基于估计结果而产生。也就是说，现实世界1从数据3中估计，并且高分辨率数据基于考虑数据3的估计的现实世界1而产生。
为了从现实世界1中产生高分辨率数据，需要考虑现实世界1与数据3之间的关系。例如，考虑现实世界1如何由传感器2即CCD投影到数据3上。
传感器2即CCD如上所述具有积分性质。也就是说，数据3的一个单位(例如像素值)可以通过关于传感器2的检测设备(例如CCD)的检测区域(例如感光面)积分现实世界1的信号来计算。
将此应用到高分辨率数据，高分辨率数据可以通过施加处理到估计的现实世界1而获得，其中虚拟高分辨率传感器将现实世界1的信号投影到数据3。
换句话说，如果现实世界1的信号可以从数据3中估计，包含在高分辨率数据中的一个值可以通过对虚拟高分辨率传感器的检测元件的每个检测区域(在时间-空间方向上)积分现实世界1的信号来获得。
例如，如果现实世界1信号的变化小于传感器2的检测元件检测区域的大小，数据3不能表示现实世界1信号的小变化。因此，指示现实世界1信号的小变化的高分辨率数据可以通过关于比现实世界1信号的变化小的每个区域(在时间-空间方向上)积分从数据3中估计的现实世界1的信号来获得。
也就是说，对关于虚拟高分辨率传感器的每个检测元件的检测区域积分估计的现实世界1的信号，能够获得高分辨率数据。
对于信号处理设备4，图像生成单元103通过关于虚拟高分辨率传感器的检测元件的区域在时间-空间方向上积分估计的现实世界1的信号，来产生高分辨率数据。
接下来，为了从数据3中估计现实世界1，在信号处理设备4处，数据3与现实世界1之间的关系、连续性以及数据3中的空间或时间混合(空间混合或时间混合)被使用。
这里，混合意思是数据3中的值，其中现实世界1中两个对象的信号混合以产生单个值。
空间混合意思是因传感器2的空间积分效应，空间方向上两个对象的信号的混合。时间混合将随后描述。
现实世界1自身由无数事件构成，因此，为了用数学表达式表示现实世界1自身，例如，需要具有无数个变量。从数据3中预测现实世界1的所有事件是不可能的。
同样地，从数据3中预测现实世界1的所有信号是不可能的。
因此，使用信号处理设备4，现实世界1的信号中，具有连续性且可以由函数f(x，y，z，t)表示的部分被关注，并且可以由函数f(x，y，z，t)表示且具有连续性的现实世界1信号的部分用由N个变量表示的模型161近似。如图14中所示，模型161从数据3中的M块数据162中预测。
为了使得模型161能够从M块数据162中预测，首先，需要基于连续性用N个变量表示模型161，第二，基于传感器2的积分性质，产生使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式。因为模型161基于连续性由N个变量表示，可以说使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式，描述具有连续性的现实世界1信号的部分与具有数据连续性的数据3的部分之间的关系。
换句话说，由N个变量表示的模型161近似的、具有连续性的现实世界1信号的部分产生数据3中的数据连续性。
数据连续性检测单元101检测数据连续性已经由具有连续性的现实世界1信号的部分产生的数据3的部分，以及数据连续性已经产生的部分的特性。
例如，如图15中所示，在具有直边以及不同于背景的单色的现实世界1对象的图像中，图15中由A指示的关注位置处的边缘具有梯度。图15中的箭头B指示边缘的梯度。预先确定的边缘梯度可以表示为关于参考轴的角度或者关于参考位置的方向。例如，预先确定的边缘梯度可以表示为空间方向X的坐标轴与边缘之间的角度。例如，预先确定的边缘梯度可以表示为由空间方向X的长度和空间方向Y的长度指示的方向。
当具有直边以及不同于背景的单色的现实世界1对象的图像在传感器2处获得并且数据3输出时，对应于边缘的爪形排列在数据3中与现实世界1的图像中边缘的关注位置(A)相对应的位置处，其在图15中由A′指示，并且对应于边缘的爪形在与现实世界1中图像边缘的梯度相对应的方向上，图15中由B′指示的梯度的方向上排列。
用N个变量表示的模型161近似产生数据3中数据连续性的现实世界1信号的这种部分。
当列出使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式时，使用数据连续性在数据3中产生的部分的值。
在该情况下，在图16中所示数据3中，注意数据连续性在其中产生并且属于混合区域的值，表达式用积分现实世界1的信号、与由传感器2的检测元件输出的值相等的值列出。例如，多个表达式可以关于数据连续性在其中产生的数据3中多个值而列出。
在图16中，A表示边缘的关注位置，A′表示与现实世界1的图像中关注边缘的位置(A)相对应的像素(位置)。
现在，混合区域意思是现实世界1中两个对象的信号混合并变为一个值的数据3中的数据区域。例如，这样的像素值属于混合区域，其中在具有直边以及不同于数据3中背景的单色的现实世界1对象的图像中，具有直边的对象的图像和背景的图像被积分。
图17是描述在列出表达式的情况下，现实世界1中两个对象的信号以及属于混合区域的值的图。
图17的左侧说明与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应的现实世界1的信号，该信号在传感器2的单个检测元件的检测区域处获取。图17的右侧说明数据3中单个像素的像素值P，图17中左侧说明的现实世界1的信号已经由传感器2的单个检测元件投影到其中。也就是说，说明数据3中单个像素的像素值P，与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应、并且由传感器2的单个检测元件获取的现实世界1的信号已经投影到其中。
图17中的L表示与现实世界1中一个对象相对应的现实世界1的信号的光度，其在图17中以白色显示。图17中的R表示与现实世界1中另一个对象相对应的现实世界1的信号的光度，其在图17中显示为阴影。
这里，混合比α是投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中、与两个对象相对应的信号(面积)比。例如，混合比α表示投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中的光度L信号的面积，关于传感器2的单个检测元件的检测区域的面积的比值。
在该情况下，光度L、光度R和像素值P之间的关系可以由表达式(4)表示。
α×L+f(1-α)×R＝P ...(4) 注意，可能存在这种情况，其中光度R可以看作位于关注像素右侧的数据3中像素的像素值，并且可能存在这种情况，其中光度L可以看作位于关注像素左侧的数据3中像素的像素值。
而且，对于混合比α和混合区域，时间方向可以与空间方向相同的方法考虑。例如，如果作为图像获取对象的现实世界1中的对象正关于传感器2运动，投射到传感器2的单个检测元件的检测区域中的两个对象的信号比在时间方向上变化。已经投射到传感器2的单个检测元件的检测区域中、其比值在时间方向上变化的两个对象的信号由传感器2的检测元件投影到数据3的单个值中。
因传感器2的时间积分效应两个对象的信号在时间方向上的混合将称作时间混合。
数据连续性检测单元101检测现实世界1中两个对象的现实世界1的信号例如已经投影到其中的数据3中的像素区域。数据连续性检测单元101例如检测与现实世界1中图像边缘的梯度相对应的数据3中的梯度。
现实世界估计单元102通过基于例如具有由数据连续性检测单元101检测的预先确定混合比α的像素区域以及区域的梯度，列出使用N个变量、表示由N个变量表示的模型161与M块数据162之间关系的表达式，并求解列出的表达式来估计现实世界1的信号。
将进一步描述现实世界1的具体估计。
在由函数F(x，y，z，t)表示的现实世界的信号中，让我们考虑使用由空间方向X上的位置x、空间方向Y上的位置y以及时间点t确定的近似函数f(x，y，t)，来近似空间方向Z上横截面处(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。
现在，传感器2的检测区域具有在空间方向X和空间方向Y上的展开。换句话说，近似函数f(x，y，t)是近似由传感器2获取的、具有在空间方向和时间方向上的展开的现实世界1的信号的函数。
让我们假定，来自传感器2的现实世界1的信号的投影产生数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如作为图像传感器的传感器2输出的像素值。
现在，如果传感器2的投影可以用公式表示，通过投影近似函数f(x，y，t)而获得的值可以表示为投影函数S(x，y，t)。
获得投影函数S(x，y，t)具有下面的问题。
首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无穷阶数的函数。
第二，即使现实世界的信号可以描述为函数，经由传感器2投影的投影函数S(x，y，t)通常不能确定。也就是说，传感器2的投影动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以投影函数S(x，y，t)不能确定。
对于第一个问题，让我们考虑用作为可描述函数(例如具有有穷阶数的函数)的函数fi(x，y，t)与变量wi的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)。
同样，对于第二个问题，用公式表示传感器2的投影允许我们从函数fi(x，y，t)的描述中描述函数Si(x，y，t)。
也就是说，用函数fi(x，y，t)与变量wi的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)，可以获得表达式(5)。
例如，如表达式(6)中所示，数据3与现实世界信号之间的关系可以通过用公式表示传感器2的投影从表达式(5)中如表达式(7)中所示而列出。
Si(x，y，t)＝∫∫∫fi(x，y，t)dxdydt...(6) 在表达式(7)中，j表示数据的索引。
如果M个数据组(j＝1～M)与N个变量wi(i＝1～N)存在于表达式(7)中，表达式(8)满足，所以现实世界的模型161可以从数据3中获得。
N≤M ...(8) N是表示近似现实世界1的模型161的变量数目。M是包括在数据3中的数据块162的数目。
用表达式(5)表示近似现实世界1信号的函数f(x，y，t)允许变量部分wi可以独立地处理。这里，i表示变量数目。而且，由fi表示的函数的形式可以独立地处理，并且期望的函数可以用于fi。
因此，变量wi的数目N可以不依赖于函数fi而定义，并且变量wi可以从变量wi的数目N与数据块的数目M之间的关系中获得。
也就是说，使用下面三条允许现实世界1从数据3中估计。
首先，确定N个变量。也就是说，确定表达式(5)。这使得可以使用连续性描述现实世界1。例如，现实世界1的信号可以用模型161描述，其中横截面用多项式表示，并且相同的横截面形状在恒定方向上连续。
第二，例如传感器2的投影用公式表示，描述表达式(7)。例如，这用公式表示使得现实世界2的信号的积分结果是数据3。
第三，M块数据162被收集以满足表达式(8)。例如，数据162从具有已经用数据连续性检测单元101检测的数据连续性的区域中收集。例如，作为连续性的实例恒定的横截面连续的区域的数据162被收集。
这样，数据3与现实世界1之间的关系用表达式(5)描述，并且M块数据162被收集，从而满足表达式(8)，且现实世界1可以估计。
更具体地说，如果N＝M，变量数目N和表达式数目M相等，所以变量wi可以通过列出联立方程而获得。
同样，如果N＜M，各种求解方法可以应用。例如，变量wi可以由最小二乘法获得。
现在，将详细描述最小二乘法的求解方法。
首先，从现实世界1预测数据3的表达式(9)将根据表达式(7)显示。
在表达式(9)中，P′j(xj，yj，tj)是预测值。
预测值P′与观测值P的方差和E由表达式(10)表示。
变量wi获得使得方差和E最小。因此，表达式(10)对于每个变量wk的偏微分值为0。也就是说，表达式(11)成立。
表达式(11)产生表达式(12)。
当表达式(12)对k＝1～N成立时，获得最小二乘法的解。其正则方程在表达式(13)中显示。

注意，在表达式(13)中，将Si(xj，yj，tj)描述为Si(j)。

从表达式(14)到表达式(16)中，表达式(13)可以表示为SMATWMAT＝PMAT。
在表达式(13)中，Si表示现实世界1的投影。在表达式(13)中，Pj表示数据3。在表达式(13)中，wi表示描述和获得现实世界1的信号的特性的变量。
因此，将数据3输入表达式(13)中并通过矩阵解法等获得WMAT使得现实世界1可以被估计。也就是说，现实世界1可以通过计算表达式(17)来估计。
注意，如果SMAT不是正则的，SMAT的转置矩阵可以用来获得WMAT。
现实世界估计单元102通过例如将数据3输入表达式(13)中并由矩阵解法等获得WMAT来估计现实世界1。
现在，将描述更详细的实例。例如，现实世界1的信号的横截面形状，即关于位置变化的光度变化将用多项式描述。让我们假设现实世界1的信号的横截面形状是恒定的，并且现实世界1的信号的横截面以恒定速度运动。来自传感器2的现实世界1的信号到数据3的投影由现实世界1的信号在时间-空间方向上的三维积分来用公式表示。
现实世界1的信号的横截面以恒定速度运动的假设产生表达式(18)和表达式(19)。
这里，vx和vy是恒定的。
使用表达式(18)和表达式(19)，现实世界1的信号的横截面形状可以在表达式(20)中表示。
f(x′，y′)＝f(x+vxt，y+vyt) ...(20) 由现实世界1的信号在时间-空间方向上的三维积分表示来自传感器2的现实世界1的信号到数据3的投影产生表达式(21)。
在表达式(21)中，S(x，y，t)表示从空间方向X的位置xs到位置xe、从空间方向Y的位置ys到位置ye，以及从时间方向t的时间点ts到时间点te的区域，也就是表示为空间-时间立方体的区域的积分值。
使用表达式(21)可以由此确定的期望函数f(x′，y′)来求解表达式(13)使得现实世界1的信号可以被估计。
在下文中，我们将使用表达式(22)中指示的函数作为函数f(x′，y′)的实例。
f(x′，y′)＝w1x′+w2y′+w3 ＝w1(x+vxt)+w2(y+vyt)+w3 ...(22) 也就是说，现实世界1的信号被估计以包括表达式(18)、表达式(19)以及表达式(22)中表示的连续性。这指示具有恒定形状的横截面在空间-时间方向上运动，如图18中所示。
将表达式(22)代入表达式(21)产生表达式(23)。
其中 Volume＝(xe-xs)(ye-ys)(te-ts) s0(x，y，t)＝Volume/2×(xe+xs+vx(te+ts)) s1(x，y，t)＝Volume/2×(ye+ys+vy(te+ts)) s2(x，y，t)＝1 成立。
图19是说明从数据3中选取的M块数据162的实例的图。例如，让我们假定27个像素值被选取作为数据162，并且选取的像素值为Pj(x，y，t)。在该情况下，j为0～26。
在图19中所示的实例中，如果与t为n的时间点处关注位置相对应的像素的像素值为P13(x，y，t)，并且具有数据连续性的像素的像素值的阵列方向(例如由数据连续性检测单元101检测的形状相同的爪形排列的方向)是连接P4(x，y，t)、P13(x，y，t)和P22(x，y，t)的方向，则t为n的时间点处的像素值P9(x，y，t)～P17(x，y，t)、时间上早于n的n-1的时间点t处的像素值P0(x，y，t)～P8(x，y，t)，以及时间上迟于n的n+1的时间点t处的像素值P18(x，y，t)～P26(x，y，t)被选取。
现在，作为从为传感器2的图像传感器输出的数据3的像素值已经获得的区域具有时间方向和二维空间方向展开。现在，例如，与像素值相对应的立方体的重心(像素值已经获得的区域)可以用作空间-时间方向上的像素位置。
从27个像素值P0(x，y，t)～P26(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，使得现实世界1可以被估计。
这样，现实世界估计单元102从27个像素值P0(x，y，t)～P26(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，从而估计现实世界1的信号。
注意，高斯函数、S形函数等可以用于函数fi(x，y，t)。
将参考图20至图23来描述从估计的现实世界1信号中产生与数据3相对应的、具有更高分辨率的高分辨率数据的处理实例。
如图20中所示，数据3具有现实世界1的信号在时间方向和二维空间方向上积分的值。例如，作为已经从为传感器2的图像传感器输出的数据3的像素值具有这样的值，其中作为投射到检测设备中的光的现实世界1的信号在时间方向上以作为检测时间的快门时间积分，并且在空间方向上以检测元件的感光区域积分。
相反地，如图21中所示，具有空间方向上更高分辨率的高分辨率数据通过在时间方向上以与已经输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比已经输出数据3的传感器2的检测元件感光区域窄的区域，积分估计的现实世界1信号而产生。
注意，当产生具有空间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的区域可以完全脱离已经输出数据3的传感器2的检测元件感光区域而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在空间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在空间方向上放大有理数例如5/3倍的数据3的分辨率。
同样，如图22中所示，具有时间方向上更高分辨率的高分辨率数据通过在空间方向上以与已经输出数据3的传感器2的检测元件感光区域相同的区域、以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。
注意，当产生具有时间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的时间可以完全脱离已经输出数据3的传感器2的检测元件快门时间而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在时间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在时间方向上放大有理数例如7/4倍的数据3的分辨率。
去除了运动模糊的高分辨率数据通过仅在空间方向而不在时间方向上积分估计的现实世界1信号来产生。
此外，如图23中所示，具有时间方向和空间方向上更高分辨率的高分辨率数据通过在空间方向上以比已经输出数据3的传感器2的检测元件感光区域小的区域，以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。
在该情况下，积分估计的现实世界1信号的区域和时间可以完全不相关于已经输出数据3的传感器2的检测元件的感光区域和快门时间而设置。
从而，图像生成单元103通过例如以期望的空间-时间区域积分估计的现实世界1信号，来产生具有时间方向或空间方向上更高分辨率的数据。
因此，关于现实世界1的信号更精确并且具有时间方向或空间方向上更高分辨率的数据可以通过估计现实世界1的信号来产生。
图24至图28说明输入图像的实例以及用于信号处理的信号处理设备4处理结果的实例。
图24是说明输入图像的原始图像(相当于现实世界1的光信号)的图。图25是说明输入图像实例的图。图25中所示输入图像是通过取属于由图24中所示图像的2×2像素构成的块的像素的像素值平均值作为单个像素的像素值而产生的图像。也就是说，输入图像是通过对图24中所示图像应用空间方向积分，模仿传感器的积分性质而获得的图像。
图24中所示原始图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。同样地，图25中所示输入图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。
图26是说明通过对图25中所示输入图像应用常规类型分类适应处理而获得的图像。现在，类型分类处理由类型分类处理和适应处理构成，其中数据由类型分类适应处理基于其特性来分类，并对每一类进行适应处理。在适应处理中，例如低图像质量或标准图像质量图像通过经历使用预先确定抽头系数的映射(映射)转换成高图像质量图像。
也就是说，使用适应处理，第一数据通过使用预先确定抽头系数被映射(映射)而转换成第二数据。
现在，适应处理将关于使用抽头系数的映射方法来描述，其中例如线性组合模型被使用，而且通过用低通滤波器过滤高分辨率HD(高清晰度)图像而获得的低分辨率图像或标准分辨率SD(标准清晰度)图像用作第一数据，而用于获得SD图像的HD图像用作第二数据。
现在，在上述条件下，构成HD图像的HD像素y可以使用从构成SD图像的SD像素中选取的多个SD像素作为预测HD图像的预测抽头以及抽头系数，通过下面的线性表达式(线性组合)获得。
其中，在表达式(24)中，xn表示构成关于HD像素y的预测抽头、SD图像中第n个像素的像素值，并且wn表示与第n个SD像素(的像素值)相乘的第n个抽头系数。注意在表达式(24)中，预测抽头由N个SD像素x1，x2，...xN构成。
现在，HD像素的像素值y可以由二次表达式或更高，代替表达式(24)中所示线性表达式来获得。
现在，在HD图像中，假定yk表示第k个HD像素(的像素值)的真实值，并且yk′表示由表达式(24)获得的真实值yk的预测值，其预测误差ek如下面的表达式中表示，例如。
ek＝yk-yk′ ...(25) 表达式(25)中的预测值yk′根据表达式(24)获得，所以将依照表达式(24)的yk′代入表达式(25)中产生下面的表达式。
其中，在表达式(26)中，xn，k表示构成第k个HD像素的预测抽头的第n个SD像素。
虽然表达式(26)中预测误差ek为0的抽头系数wn对于预测HD像素是最佳的，对于所有HD像素获得这种抽头系数wn通常是困难的。
因此，作为表示最佳的抽头系数wn的规则，使用最小二乘法例如，意思是最佳抽头系数wn可以通过使得作为统计误差的例如下面表达式中表示的均方误差的求和E达到最小来获得。
其中，在表达式(27)中，k表示由HD像素yk以及构成关于该HD像素yk的预测抽头的SD像素x1，k，x2，k，...xN，k构成的样品集的数目。
使得表达式(27)中的均方误差的求和E最小(最小值)的抽头系数Wn是这样的，即求和E对于抽头系数wn的偏微分为0。因此，下面的表达式必须满足。
现在，上面表达式(26)对抽头系数wn的偏微分产生下面的表达式。
表达式(28)和(29)产生下面的表达式。
用表达式(26)代替表达式(30)中的ek使得表达式(30)能够以表达式(31)中的正则方程的形式表示。

准备一定数目的HD像素yk和SD像素xn，k的集合允许与抽头系数wn数据相同的列出的表达式(31)中正则方程可以获得，并且求解表达式(31)可以获得最佳抽头系数wn。注意扫描(高斯-约旦消除)等例如可以用于求解表达式(31)。
如上所述，适应处理涉及取大量HD像素y1，y2，...yk作为导师数据以用作为抽头系数学习的导师，同样取构成关于每个HD像素yk的预测抽头的SD像素x1，k，x2，k，...xN，k作为学生数据以用作为抽头系数学习的学生，并且求解表达式(31)，从而执行获得最佳抽头系数wn的学习，进一步使用最佳抽头系数wn来执行根据表达式(24)SD图像到HD图像的映射(转换)。
现在，对于构成HD像素yk的预测抽头的SD像素x1，k，x2，k，...xN，k，空间上或时间上接近对应于HD像素yk的SD图像上位置的SD像素可以使用。
同样，使用类型分类适应处理，抽头系数wn的学习以及使用抽头系数wn的映射可以根据类型执行。使用类型分类适应处理，类型分类处理关于关注的HD像素yk执行，并且抽头系数wn的学习以及使用抽头系数wn的映射对于由类型分类处理获得的每个类而执行。
关于HD像素yk的类型分类处理的一个实例是从SD图像中选取多个SD像素用作用于HD像素yk类型分类的类抽头，并且使用由多个SD像素构成的类抽头来执行M位ADRC(自适应动态范围编码)。
在M位ADRC处理中，构成类抽头的SD像素的最大值MAX和最小值MIN被检测，DR＝MAX-MIN设置为局部动态范围，并且构成类抽头的SD像素基于该动态范围DR重新量化为k位。也就是说，最小值MIN从构成类抽头的SD像素中减去，并且减少值除以DR/2k(量化)。因此，如果类抽头经历例如1位ADRC处理，构成类抽头的每个SD像素是一位。在该情况下，通过以预先确定顺序排列关于构成已经如上所述获得的类抽头的每个SD像素的1位像素值而获得的位串作为ADRC编码输出，并且ADRC编码看作表示类的类编码。
注意，类型分类适应处理不同于例如简单的内插处理等，在于没有包括在SD图像中但是包括在HD图像中的分量被再现。也就是说，使用类型分类适应处理，通过仅看表达式(24)看起来这与使用所谓内插滤波器的内插处理相同，但是相当于内插滤波器抽头系数的抽头系数wn已经通过使用用作导师数据的HD图像和用作学生数据的SD图像学习来获得，所以包含在HD图像中的分量可以再现。
现在，执行各种类型转换的抽头系数wn可以依赖于使用哪种类型组合的导师数据y和学生数据x在抽头系数wn学习中获得。
也就是说，在取高分辨率HD图像作为导师数据y并且取HD图像的分辨率已经退化的SD图像作为学生数据x例如的情况下，将图像映射到分辨率提高的图像的抽头系数wn可以获得。此外，在取HD图像作为导师数据y并且取HD图像的像素数目已经减少的SD图像作为学生数据x例如的情况下，将图像映射到具有构成图像的增大数目像素的图像的抽头系数wn可以获得。
图26是通过使图25中所示输入图像经历例如上述类型分类适应处理的映射而获得的图像。可以理解，在图26中所示图像中，细线的图像不同于图24中原始图像。
图27是说明由数据连续性检测单元101从图25中实例中所示的输入图像中检测细线区域的结果的图。在图27中，白色区域表示细线区域，即图10中所示弧形排列于其中的区域。
图28是说明通过以图25中所示图像作为输入图像，在信号处理设备4处执行信号处理而获得的输出图像的实例的图。如图28中所示，信号处理设备4产生更接近图24中所示原始图像的细线图像的图像。
图29是描述使用信号处理设备4的信号处理的流程图。
在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在作为数据3的输入图像中的数据连续性，并将指示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。
数据连续性检测单元101检测与现实世界的信号的连续性相对应的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1图像连续性的一部分，或者是已经从现实世界1信号的连续性变化的连续性。
例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域来检测数据连续性。同样，例如，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据连续性。
步骤S101中的连续性检测处理的细节将随后描述。
注意，数据连续性信息可以用作指示数据3特性的特征。
在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102基于输入图像以及从数据连续性检测单元101提供的数据连续性信息来估计现实世界的信号。在步骤S102的处理中例如，现实世界估计单元102通过预测近似(描述)现实世界1的模型161来估计现实世界1的信号。现实世界估计单元102将指示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。
例如，现实世界估计单元102通过预测线形对象的宽度来估计现实世界1信号。同样，例如，现实世界估计单元102通过预测指示线形对象颜色的光度来估计现实世界1信号。
步骤S102中估计现实世界的处理细节将随后描述。
注意，现实世界估计信息可以用作指示数据3特性的特征。
在步骤S103中，图像生成单元103执行图像生成处理，并且处理结束。也就是说，图像生成单元103基于现实世界估计信息产生图像，并输出生成的图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息产生图像，并输出生成的图像。
例如，在步骤S103的处理中，图像生成单元103基于现实世界估计信息，在空间方向上积分估计的真实世界的光，从而产生与输入图像相比较具有空间方向上更高分辨率的图像，并输出生成的图像。
例如，图像生成单元103基于现实世界估计信息，在时间-空间方向上积分估计的真实世界的光，从而生成与输入图像相比较具有时间方向和空间方向上更高分辨率的图像，并输出生成的图像。步骤S103中的图像生成处理的细节将随后描述。
因此，信号处理设备4从数据3中检测数据连续性，并从检测的数据连续性中估计现实世界1。信号处理设备4然后基于估计的现实世界1产生更接近现实世界1的信号。
如上所述，如果执行估计现实世界的信号的处理，可以获得准确且高度精确的处理结果。
另外，如果作为具有第一维度的真实世界信号的第一信号被投影，与真实世界信号的丢失连续性相对应的数据连续性对于具有第二维度的第二信号而检测，该第二维度具有少于第一维度的维度数目，真实世界信号的连续性的一部分从其中丢失，并且第一信号通过基于检测的数据连续性估计丢失的真实世界信号连续性而估计，准确且高度精确的处理结果可以关于真实世界中的事件而获得。
接下来，将描述数据连续性检测单元101的构造细节。
图30是说明数据连续性检测单元101的构造的框图。
当获取细线对象的图像时，其构造如图30中所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从对象具有的横截面形状相同的连续性中产生。也就是说，具有图30中所示构造的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从作为细线的现实世界1的图像具有的连续性中产生，即关于垂直于长度方向的方向上位置变化的光度变化在长度方向上任意位置处相同。
更具体地说，其构造如图30中所示的数据连续性检测单元101在通过用具有空间积分效应的传感器2获取细线图像而获得的数据3中，检测具有预先确定长度的多个弧形(半盘)以对角偏移相邻方式排列的区域。
数据连续性检测单元101从作为数据3的输入图像中提取除具有数据连续性的细线图像已经投影到其中的图像数据部分(下文中，具有数据连续性的细线图像已经投影到其中的图像数据部分也将称作连续性分量，并且其它部分将称作非连续性分量)之外的图像数据部分(以下称作非连续性分量)，从提取的非连续性分量和输入图像中检测现实世界1的细线图像已经投影到其中的像素，并检测由现实世界1的细线图像已经投影到其中的像素构成的输入图像的区域。
非连续性分量提取单元201从输入图像中提取非连续性分量，并将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。
例如，如图31中所示，如果细线存在于具有近似恒定光度的背景前面的现实世界1的图像投影在数据3上，非连续性分量提取单元201通过在平面上近似作为数据3的输入图像中的背景来提取作为背景的非连续性分量，如图32所示。在图32中，实线表示数据3的像素值，而虚线说明由近似背景的平面表示的近似值。在图32中，A表示细线的图像已经投影到其中的像素的像素值，而PL表示近似背景的平面。
这样，具有数据连续性的图像数据的部分处多个像素的像素值关于非连续性分量是不连续的。
非连续性分量提取单元201检测作为数据3的图像数据的多个像素的像素值的不连续部分，其中作为现实世界1光信号的图像已经投影到其中并且现实世界1图像连续性的一部分已经丢失。
使用非连续性分量提取单元201提取非连续性分量的处理细节将随后描述。
峰值检测单元202和单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量。例如，峰值检测单元202和单调增大/减小检测单元203通过将仅背景图像投影到其中的输入图像像素的像素值设置为0而从输入图像中去除非连续性分量。同样，例如，峰值检测单元202和单调增大/减小检测单元203通过从输入图像的每个像素的像素值中减去由平面PL近似的值而从输入图像中去除非连续性分量。
因为背景可以从输入图像中去除，峰值检测单元202至连续性检测单元204可以仅处理细线投影到其中的图像数据的部分，从而进一步简化峰值检测单元202至连续性检测单元204的处理。
注意，非连续性分量提取单元201可以将非连续性分量已经从输入图像中去除的图像数据提供给峰值检测单元202和单调增大/减小检测单元203。
在下述处理的实例中，非连续性分量已经从输入图像中去除的图像数据，即仅由包含连续性分量的像素构成的图像数据作为对象。
现在，将描述峰值检测单元202至连续性检测单元204将检测的、细线图像已经投影到其上的图像数据。
如果没有光学LPF，如图31中所示细线图像已经投影到其上的图像数据在空间方向Y上的横截面图像(关于空间方向上位置的变化，像素值变化)可以看作图33中所示的梯形，或图34中所示的三角形，因作为传感器2的图像传感器的空间积分效应。但是，普通的图像传感器具有光学LPF，图像传感器获得已经通过光学LPF的图像，并将获得的图像投影到数据3上，所以实际上，在空间方向Y上具有细线的图像数据的横截面形状具有类似高斯分布的形状，如图35中所示。
峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状(关于空间方向上位置的变化，像素值变化)以恒定间隔在屏幕中垂直方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的区域连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形(半盘形)在输入图像中单个垂直行像素上形成的区域，并确定检测的区域是否在水平方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。
同样，峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状以恒定间隔在屏幕中水平方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的检测区域的连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形在输入图像中单个水平行像素上形成的区域，并确定检测的区域是否在垂直方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。
首先，将描述检测细线图像已经投影到其上的像素区域的处理，其中相同的弧形以恒定间隔在屏幕中垂直方向上排列。
峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将指示峰值位置的峰值信息提供给单调增大/减小检测单元203。如果以在屏幕中单个垂直方向行中排列的像素作为对象，峰值检测单元202比较屏幕中上方的像素位置的像素值与屏幕中下方的像素位置的像素值，并检测具有较大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像中检测一个或多个峰值。
单个屏幕包含帧或场。这在下面的描述中同样成立。
例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。
存在峰值检测单元202没有检测到峰值的情况。例如，如果图像的所有像素的像素值是相同值，或者如果像素值在一个或两个方向上减小，检测不到峰值。在该情况下，没有细线图像投影在图像数据上。
单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，检测由细线图像已经投影到其上的像素构成的区域的候选，其中像素关于由峰值检测单元202检测的峰值垂直地排列在单行中，并且将指示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。
更具体地说，单调增大/减小检测单元203检测由具有参考峰值像素值单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调减小意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。
同样，单调增大/减小检测单元203检测由具有参考峰值像素值单调增大的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调增大意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。
下面，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。同样，对于关于检测细线图像已经投影到其上的像素区域的处理的描述，其中相同的弧形以恒定间隔在屏幕中水平排列，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。
例如，单调增大/减小检测单元203获得关于峰值的垂直行中每个像素的像素值、关于上方像素的像素值的差、以及关于下方像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。
此外，单调增大/减小检测单元203使用峰值的像素值的符号作为参考，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像投影到其上的像素构成的区域的候选。
例如，单调增大/减小检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并且检测像素值符号改变的像素，从而检测像素值单调减小的区域中具有与峰值符号相同的像素值的像素区域。
因此，单调增大/减小检测单元203检测由在垂直方向上排列的像素形成的区域，其中像素值关于峰值单调减小，并且与峰值具有相同的符号。
图36是描述峰值检测和单调增大/减小区域检测的处理的图，该处理用于从关于空间方向Y上位置的像素值中，检测细线图像已经投影到其中的像素区域。
在图36至图38中，P表示峰值。在其构造如图30中所示的数据连续性检测单元101的描述中，P表示峰值。
峰值检测单元202比较像素的像素值与在空间方向Y上与其相邻的像素的像素值，并通过检测像素值大于在空间方向Y上相邻的两个像素的像素值的像素，来检测峰值P。
由峰值P以及在空间方向Y上在峰值P两侧的像素构成的区域是单调减小区域，其中在空间方向Y上两侧像素的像素值关于峰值P的像素值单调减小。在图36中，由A表示的箭头和由B表示的箭头代表在峰值P任一侧上存在的单调减小区域。
单调增大/减小检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值之间的差，并检测差符号改变的像素。单调增大/减小检测单元203取差符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，作为由细线图像已经投影到其中的像素构成的细线区域的边界。
在图36中，细线区域的边界，即差符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由C表示。
此外，单调增大/减小检测单元203比较每个像素的像素值的符号与在空间方向Y上与其相邻的像素的像素值，并检测单调减小区域中像素值符号改变的像素。单调增大/减小检测单元203取像素值符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界作为细线区域的边界。
在图36中，细线区域的边界，即像素值符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由D表示。
如图36中所示，由细线图像已经投影到其中的像素构成的细线区域F是细线区域边界C与细线区域边界D之间的区域。
单调增大/减小检测单元203从由这种单调增大/减小区域构成的细线区域F中获得长于预先确定阈值的细线区域F，即细线区域F具有比阈值更多的像素数目。例如，如果阈值为3，单调增大/减小检测单元203检测到包括4个或更多像素的细线区域F。
另外，单调增大/减小检测单元203将从这样检测的细线区域F中的峰值P的像素值、峰值P右侧的像素的像素值、以及峰值P左侧的像素的像素值，每个与阈值相比较，检测具有这种峰值P的细线像素区域F，其中峰值P的像素值超过阈值，峰值P右侧的像素的像素值为阈值或更小、以及峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像分量的像素构成的区域的候选。
换句话说，确定具有这种峰值P的细线区域F，其中峰值P的像素值为阈值或更小，或者峰值P右侧的像素的像素值超过阈值，或者峰值P左侧的像素的像素值超过阈值，不包含细线图像的分量，并且从由包括细线图像分量的像素构成的区域的候选中去除。
也就是，如图37中所示，单调增大/减小检测单元203比较峰值P的像素值与阈值，并且也比较在空间方向X(由虚线AA′表示的方向)上与峰值P相邻的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值。
图38是说明在由图37中虚线AA′表示的空间方向X上排列的像素的像素值的图。峰值P所属的细线区域F，其中峰值P的像素值超过阈值Ths，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值Ths，包含细线分量。
注意，配置可以这样进行，其中单调增大/减小检测单元203以背景的像素值作为参考，将峰值P的像素值和背景的像素值之间的差与阈值相比较，并且也将在空间方向X上与峰值P相邻的像素的像素值和背景的像素值之间的差与阈值相比较，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之间的差超过阈值，并且其中在空间方向X上相邻的像素的像素值和背景的像素值之间的差等于或小于阈值。
单调增大/减小检测单元203将指示由以峰值P作为参考像素值单调减小并且像素值的符号与峰值P的相同的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值P超过阈值并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。
如果检测在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素区域，属于由单调增大/减小区域信息指示的区域的像素在垂直方向上排列，并且包括细线图像投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素形成的区域。
这样，峰值检测单元202和单调增大/减小检测单元203使用细线图像已经投影到其中的像素中，空间方向上像素值的变化近似高斯分布的特性，检测由细线图像已经投影到其中的像素构成的连续性区域。
在由垂直方向上排列的像素构成的、由从单调增大/减小检测单元203提供的单调增大/减小区域信息指示的区域中，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化且在垂直方向上重复的区域作为连续区域，并且输出峰值信息和指示检测的连续区域的数据连续性信息。数据连续性信息包括单调增大/减小区域信息、指示区域的连接的信息等。
弧形以与细线已经投影到其中的像素相邻的方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。
检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性因现实世界1中细线图像的连续性而产生，该连续性的特性在长度方向上连续，以便进一步缩小使用峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。
图39是描述检测单调增大/减小区域的连续性的处理的图。
如图39中所示，如果由在屏幕垂直方向上以单行排列的像素形成的细线区域F包括在水平方向上相邻的像素，连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，并且如果不包括在水平方向上相邻的像素，确定两个细线区域F之间不存在连续性。例如，如果包含在水平方向上与细线区域F0的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F-1被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F0连续。如果包含在水平方向上与细线区域F1的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F0被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F1连续。
这样，由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域由峰值检测单元202至连续性检测单元204检测。
如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域，并且还检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。
注意，处理顺序并不特别地限制，并且当然可以并行执行。
也就是说，峰值检测单元202对于在屏幕水平方向上以单行排列的像素，检测具有比位于屏幕上左侧的像素的像素值以及位于屏幕上右侧的像素的像素值大的像素值的像素作为峰值，并且将指示检测峰值的位置的峰值信息提供给单调增大/减小检测单元203。峰值检测单元202从一个图像例如一帧图像中检测一个或多个峰值。
例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于关注像素左侧的像素的像素值并大于关注像素右侧的像素的像素值的关注像素，并取该检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。
存在峰值检测单元202没有检测到峰值的情况。
单调增大/减小检测单元203检测关于由峰值检测单元202检测的峰值在水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域的候选，并且将指示检测的区域的单调增大/减小区域信息与峰值信息一起提供给连续性检测单元204。
更具体地说，单调增大/减小检测单元203检测由以峰值的像素值作为参考具有单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。
例如，单调增大/减小检测单元203对于关于峰值在水平方向上以单行排列的每个像素，获得每个像素的像素值、关于左侧像素的像素值的差、以及关于右侧像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。
此外，单调增大/减小检测单元203参考峰值的像素值的符号，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。
例如，单调增大/减小检测单元203比较每个像素的像素值的符号与左侧像素的像素值的符号或右侧像素的像素值的符号，并且检测像素值符号改变的像素，从而从像素值单调减小的区域中检测由具有与峰值符号相同的像素值的像素构成的区域。
因此，单调增大/减小检测单元203检测由在水平方向上排列且具有与峰值符号相同的像素值的像素构成的区域，其中像素值关于峰值单调减小。
从由这种单调增大/减小区域构成的细线区域中，单调增大/减小检测单元203获得长于预先设置的阈值的细线区域，即细线区域具有比阈值更多的像素数目。
另外，从这样检测的细线区域中，单调增大/减小检测单元203将峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值，每个与阈值相比较，检测这种峰值所属的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值内、以及峰值下方的像素的像素值在阈值内，并取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选。
另一种说法是，峰值所属的细线区域，其中峰值的像素值在阈值内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，被确定不包含细线图像分量，并且从由包含细线图像分量的像素构成的区域的候选中去除。
注意，单调增大/减小检测单元203可以配置以取背景像素值作为参考，将峰值的像素值和背景的像素值之间的差与阈值相比较，并且也将背景的像素值和在垂直方向上与峰值相邻的像素的像素值之间的差与阈值相比较，并且取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选，其中峰值的像素值和背景的像素值之间的差超过阈值，而背景的像素值和在垂直方向上相邻的像素的像素值之间的差在阈值内。
单调增大/减小检测单元203将指示由具有与峰值相同的像素值符号以及关于作为参考的峰值单调减小的像素值的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值内，以及峰值左侧的像素的像素值在阈值内。
如果检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域，属于由单调增大/减小区域信息指示的区域的像素包括在水平方向上排列、细线图像已经投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。
在由从单调增大/减小检测单元203提供的单调增大/减小区域信息中指示的水平方向上排列的像素构成的区域中，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化且在水平方向上重复的区域作为连续区域，并且输出指示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括指示区域的连接的信息。
在细线已经投影到其中的像素处，弧形以相邻方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。
检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性从在长度方向上连续的现实世界1中细线图像的连续性中产生，以便进一步缩小由峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。
因此，数据连续性检测单元101能够检测包含在作为输入图像的数据3中的连续性。也就是说，数据连续性检测单元101可以检测由作为已经投影到数据3上的细线的现实世界1图像产生的、包括在数据3中的数据连续性。数据连续性检测单元101从数据3中检测由作为细线的现实世界1图像已经投影到其中的像素构成的区域。
图40是说明使用数据连续性检测单元101检测细线图像已经投影到其中、具有连续性的区域的另一种处理的实例的图。
如图40中所示，数据连续性检测单元101计算每个像素与相邻像素的像素值差的绝对值。计算的差的绝对值与像素相对应地放置。例如，在例如图40中所示的情况下，其中排列有具有各自像素值P0，P1和P2的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。
如果包含在像素值P0，P1和P2中的非连续性分量相同，仅与细线分量相对应的值设置为差d0和差d1。
因此，在与像素对应放置的差的绝对值中，如果相邻的差值相同，数据连续性检测单元101确定与两个差的绝对值相对应的像素(差的两个绝对值之间的像素)包含细线分量。但是，如果差的绝对值小，数据连续性检测单元101不需要检测细线。例如，如果差的绝对值等于或大于阈值，数据连续性检测单元101确定像素包含细线分量。
数据连续性检测单元101也可以使用例如这样的简单方法检测细线。
图41是描述连续性检测处理的流程图。
在步骤S201中，非连续性分量提取单元201从输入图像中提取非连续性分量，其是除细线已经投影到其中的部分之外的部分。非连续性分量提取单元201将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。提取非连续性分量的处理细节将随后描述。
在步骤S202中，峰值检测单元202基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S202中，峰值检测单元202检测峰值。
也就是说，如果以屏幕的垂直方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与上方和下方像素的像素值，并检测像素值大于上方像素的像素值和下方像素的像素值的像素，从而检测峰值。同样，在步骤S202中，如果以屏幕的水平方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与右侧和左侧像素的像素值，并检测像素值大于右侧像素的像素值和左侧像素的像素值的像素，从而检测峰值。
峰值检测单元202将指示检测的峰值的峰值信息提供给单调增大/减小检测单元203。
在步骤S203中，单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S203中，单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，通过检测关于峰值的单调增大/减小，检测由具有数据连续性的像素构成的区域。
如果以屏幕垂直方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值垂直排列的一行像素的像素值，检测由单个细线图像已经投影到其中、垂直排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕垂直方向作为参考执行处理，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与上方或下方像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与上方或下方像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值右侧和左侧像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值右侧和左侧像素的像素值在阈值内的像素构成的区域。
单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。
如果以屏幕水平方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值水平排列的一行像素的像素值，检测由单个细线图像已经投影到其中、水平排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕水平方向作为参考执行处理，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与右侧或左侧像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与右侧或左侧像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值上方和下方像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值上方和下方像素的像素值在阈值内的像素构成的区域。
单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。
在步骤S204中，单调增大/减小检测单元203确定是否所有像素的处理已经结束。例如，非连续性分量提取单元201对于输入图像的单个屏幕(例如帧、场等)的所有像素检测峰值，并确定是否已经检测单调增大/减小区域。
如果在步骤S204中确定并不是所有像素的处理都已结束，即还存在没有经历峰值检测和单调增大/减小区域检测处理的像素，则流程返回到步骤S202，还没有经历峰值检测和单调增大/减小区域检测处理的像素选作处理的对象，并且重复峰值检测和单调增大/减小区域检测的处理。
如果在步骤S204中确定所有像素的处理已经结束，即峰值和单调增大/减小区域已经关于所有像素而检测，则流程前进到步骤S205，在那里连续性检测单元204基于单调增大/减小区域信息检测已检测区域的连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕垂直方向上排列的一行像素构成的单调增大/减小区域包括在水平方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在水平方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕水平方向上排列的一行像素构成的单调增大/减小区域包括在垂直方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在垂直方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。
连续性检测单元204取检测的连续区域作为具有数据连续性的连续性区域，并输出指示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含指示区域的连接的信息。从连续性检测单元204输出的数据连续性信息指示由现实世界1细线图像已经投影到其中的像素构成的、作为连续性区域的细线区域。
在步骤S206中，连续性方向检测单元205确定是否所有像素的处理已经结束。也就是说，连续性方向检测单元205确定区域连续是否已经关于输入图像某一帧的所有像素而检测。
如果在步骤S206中确定并不是所有像素的处理都已结束，即还存在没有取作区域连续的检测对象的像素，则流程返回到步骤S205，还没有经历区域连续性检测处理的像素选作处理像素，并且重复区域连续性检测的处理。
如果在步骤S206中确定所有像素的处理已经结束，即所有像素都已取作区域连续性检测的对象，则处理结束。
因此，包含在作为输入图像的数据3中的连续性被检测。也就是说，由已经投影到数据3上的作为细线的现实世界1图像产生的、包括在数据3中的数据连续性被检测，并且具有数据连续性、由作为细线的现实世界1图像已经投影到其中的像素构成的区域从数据3中检测。
现在，其构造如图30中所示的数据连续性检测单元101可以基于具有从数据3的帧中检测的数据连续性的区域，检测时间方向的数据连续性。
例如，如图42中所示，连续性检测单元204通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的边缘，来检测时间方向的数据连续性。
帧#n-1是在时间方向上帧#n之前的帧，而帧#n+1是在时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n以及#n+1以帧#n-1、帧#n以及#n+1的顺序显示。
更具体地说，在图42中，G表示通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的运动矢量，而G′表示通过连接具有检测的数据连续性的区域的另一个边缘而获得的运动矢量。运动矢量G和运动矢量G′是时间方向上数据连续性的实例。
另外，其构造如图30中所示的数据连续性检测单元101可以输出指示具有数据连续性的区域的长度的信息作为数据连续性信息。
图43是说明非连续性分量提取单元201构造的框图，其执行作为不具有数据连续性的图像数据部分的非连续性分量的平面近似，并提取非连续性分量。
其构造如图43中所示的非连续性分量提取单元201从输入图像中选取由预先确定数目的像素构成的块，执行块的平面近似，使得块与平面值之间的误差小于预先确定的阈值，从而提取非连续性分量。
输入图像提供给块选取单元221，并且也被输出而不改变。
块选取单元221从输入图像中选取由预先确定数目的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面近似单元222。例如，块选取单元221以光栅扫描顺序运动用作被提取块中心的像素，从而从输入图像中顺序地选取块。
平面近似单元222在预先确定的平面上近似包含在块中的像素的像素值。例如，平面近似单元222在由表达式(32)表示的平面上近似包含在块中的像素的像素值。
z＝ax+by+c ...(32) 在表达式(32)中，x表示在屏幕一个方向(空间方向X)上像素的位置，而y表示在屏幕另一个方向(空间方向Y)上像素的位置。z表示由平面表示的应用值。a表示平面的空间方向X的梯度，而b表示平面的空间方向Y的梯度。在表达式(32)中，c表示平面的偏移量(截距)。
例如，平面近似单元222通过回归处理获得梯度a、梯度b和偏移量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。平面近似单元222通过包括剔除的回归处理获得梯度a、梯度b和偏离量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。
例如，平面近似单元222使用最小二乘法获得由表达式(32)表示的平面，其中关于块的像素的像素值的误差最小，从而在平面上近似包含在块中的像素的像素值。
注意，虽然平面近似单元222已被描述为在由表达式(32)表示的平面上近似块，但是这不局限于由表达式(32)表示的平面，而是可以在由具有更高自由度的函数，例如n阶多项式(其中n为任意整数)表示的平面上近似块。
重复确定单元223计算由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值之间的误差。表达式(33)是显示误差ei的表达式，该误差是由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值zi之间的差。
在表达式(33)中，z-帽(z上具有^的符号将被描述为z-帽。相同的描述将在本说明书的下文中使用)表示由块的像素值近似到其上的平面表示的近似值，a-帽表示块的像素值近似到其上的平面的空间方向X的梯度，b-帽表示块的像素值近似到其上的平面的空间方向Y的梯度，以及c-帽表示块的像素值近似到其上的平面的偏移量(截距)。
重复确定单元223剔除这样的像素，即近似值与块的像素的相应像素值之间的误差ei最大，如表达式(33)中所示。从而，细线已经投影到其中的像素，即具有连续性的像素被剔除。重复确定单元223将指示剔除像素的剔除信息提供给平面近似单元222。
另外，重复确定单元223计算标准误差，并且如果标准误差等于或大于预先设置以确定近似的结束的阈值，且块的像素的一半或更多像素没有被剔除，则重复确定单元223使得平面近似单元222重复包含在块中的像素上的平面近似处理，剔除像素已经从其中去除。
具有连续性的像素被剔除，所以在平面上近似剔除像素已经去除的像素意味着平面近似非连续性分量。
当标准误差小于确定近似结束的阈值，或者块的像素的一半或更多的像素已被剔除时，重复确定单元223结束平面近似。
对于由5×5个像素构成的块，标准误差es可以用例如表达式(34)计算。
这里，n是像素数目。
注意，重复确定单元223并不局限于标准误差，并且可以设置以对包含在块中的所有像素计算误差平方和，并执行下面的处理。
现在，当块的平面近似在光栅扫描方向上运动一个像素时，如图44中所示，由附图中黑色圆点指示的、具有连续性的像素，即包含细线分量的像素，将被多次剔除。
一旦完成平面近似，重复确定单元223输出表示用于近似块的像素值的平面的信息(表达式32的平面的梯度和截距)作为非连续性信息。
注意，配置可以这样进行，其中重复确定单元223比较每个像素剔除的次数与预置的阈值，并取剔除次数等于或大于阈值的像素作为包含连续性分量的像素，并输出指示包含连续性分量的像素的信息作为连续性分量信息。在该情况下，峰值检测单元202至连续性方向检测单元205在由连续性分量信息指示的、包含连续性分量的像素上执行各自的处理。
剔除次数、近似块的像素的像素值的平面的空间方向X的梯度、近似块的像素的像素值的平面的空间方向Y的梯度、由近似块的像素的像素值的平面表示的近似值，以及误差ei可以用作输入图像的特征。
图45是描述使用其构造如图43中所示的非连续性分量提取单元201提取非连续性分量的处理的流程图，该处理对应于步骤S201。
在步骤S221中，块选取单元221从输入图像中选取由预先确定数目的像素构成的块，并将选取的块提供给平面近似单元222。例如，块选取单元221选择还没有被选择的输入像素的像素的一个像素，并选取以所选像素为中心的7×7个像素构成的块。例如，块选取单元221可以光栅扫描顺序选择像素。
在步骤S222中，平面近似单元222在平面上近似选取的块。例如，平面近似单元222通过回归处理在平面上近似选取块的像素的像素值。例如，平面近似单元222通过回归处理在平面上近似除剔除像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，重复确定通过从块的像素的像素值和平面近似值中计算标准误差，并计数剔除像素的数目来执行。
在步骤S224中，重复确定单元223确定标准误差是否等于或大于阈值，并且如果确定标准误差等于或大于阈值，则流程前进到步骤S225。
注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。
在步骤S225中，重复确定单元223计算块的每个像素的像素值与近似的平面近似值之间的误差，剔除具有最大误差的像素，并通知平面近似单元222。该过程返回到步骤S222，并且平面近似处理和重复确定处理关于除剔除像素以外的块的像素而重复。
在步骤S225中，如果在步骤S221的处理中选取在光栅扫描方向上移位一个像素的块，(由附图中黑色圆点指示的)包含细线分量的像素被剔除多次，如图44中所示。
如果在步骤S224中确定标准误差不等于或大于阈值，块已经在平面上近似，从而流程前进到步骤S226。
注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。
在步骤S226中，重复确定单元223输出用于近似块的像素的像素值的平面的梯度和截距作为非连续性分量信息。
在步骤S227中，块选取单元221确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S221，块从还没有经历处理的像素中选取，并重复上面的处理。
如果在步骤S227中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。
因此，其构造如图43中所示的非连续性分量提取单元201可以从输入图像中提取非连续性分量。非连续性分量提取单元201从输入图像中提取非连续性分量，从而峰值检测单元202和单调增大/减小检测单元203可以获得输入图像与由非连续性分量提取单元201提取的非连续性分量之间的差，以便执行关于包含连续性分量的差的处理。
注意，在执行剔除的情况下的标准误差、在不执行剔除的情况下的标准误差、像素的剔除次数、平面的空间方向X的梯度(表达式(32)中的a-帽)、平面的空间方向Y的梯度(表达式(32)中的b-帽)、平面转移的水平(表达式(32)中的c-帽)、以及输入图像的像素值与由在平面近似处理中计算的平面表示的近似值之间的差可以用作特征。
图46是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的处理，代替提取非连续性分量的处理的流程图。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，所以其描述将省略。
在步骤S246中，重复确定单元223输出由平面表示的近似值与输入图像的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面近似值与真实像素值之间的差。
注意，重复确定单元223可以配置以输出由平面表示的近似值与输入图像的像素值之间的差，关于其差等于或大于预先确定预置的像素的像素值，作为输入图像的连续性分量。
步骤S247的处理与步骤S227的处理相同，因此其描述将省略。
平面近似非连续性分量，所以非连续性分量提取单元201可以通过从输入图像中每个像素的像素值中减去由近似像素值的平面表示的近似值，从输入图像中去除非连续性分量。在该情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即细线图像已经投影到其中的值，从而使用峰值检测单元202至连续性检测单元204的处理变得更加容易。
图47是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的另一种处理，代替提取非连续性分量的处理的流程图。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此其描述将省略。
在步骤S266中，重复确定单元223存储每个像素的剔除次数，流程返回到步骤S262，并且重复处理。
在步骤S264中，如果确定标准误差不等于或大于阈值，块已经在平面上近似，所以流程前进到步骤S267，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S261，关于还没有经历处理的像素，选取块，并重复上面的处理。
如果在步骤S267中确定处理对输入图像一个屏幕的所有像素都已结束，则流程前进到步骤S268，重复确定单元223选择还没有被选择的像素，并确定所选像素的剔除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定所选像素的剔除次数是否等于或大于预先存储的阈值。
如果在步骤S268中确定所选像素的剔除次数等于或大于阈值，则所选像素包含连续性分量，从而流程前进到步骤S269，在那里重复确定单元223输出所选像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程前进到步骤S270。
如果步骤S268中确定所选像素的剔除次数不等于或大于阈值，则所选像素不包含连续性分量，从而跳过步骤S269中的处理，并且过程前进到步骤S270。也就是说，不输出已经确定剔除次数不等于或大于阈值的像素的像素值。
注意，配置可以这样进行，其中重复确定单元223对于已经确定剔除次数不等于或大于阈值的像素，输出设置为0的像素值。
在步骤S270中，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，以确定剔除次数是否等于或大于阈值，并且如果确定处理并不是对所有像素都已结束，这意味着仍然存在还没有取作处理对象的像素，从而流程返回到步骤S268，选择还没有经历处理的像素，并重复上面的处理。
如果在步骤S270中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。
因此，输入图像的像素中，非连续性分量提取单元201可以输出包含连续性分量的像素的像素值作为连续性分量信息。也就是说，输入图像的像素中，非连续性分量提取单元201可以输出包含细线图像的分量的像素的像素值。
图48是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的再一种处理，代替提取非连续性分量的处理的流程图。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此其描述将省略。
在步骤S289中，重复确定单元223输出由平面表示的近似值与所选像素的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出非连续性分量已经从输入图像中去除的图像作为连续性信息。
步骤S290的处理与步骤S270的处理相同，因此其描述将省略。
因此，非连续性分量提取单元201可以输出非连续性分量已经从输入图像中去除的图像作为连续性信息。
如上所述，在真实世界光信号被投影，真实世界光信号的一部分连续性已经丢失的第一图像数据的多个像素的像素值的非连续性部分被检测，数据连续性从检测的非连续性部分中检测，近似光信号的模型(函数)通过基于检测的数据连续性估计真实世界光信号的连续性而产生，并且第二图像数据基于产生的函数而产生的情况下，关于真实世界中的事件更准确且具有更高精度的处理结果可以获得。
图49是说明数据连续性检测单元101的另一种构造的框图。
使用其构造如图49中所示的数据连续性检测单元101，关注像素的像素值的变化，该关注像素是输入图像的空间方向上的关注像素，即输入图像的空间方向上的活动性被检测，由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素对于基于关注像素和根据检测活动性的参考轴的每个角度而选取，选取的像素组的相关性被检测，并且基于输入图像中参考轴的数据连续性的角度基于相关性而检测。
数据连续性的角度意思是由参考轴以及恒定特性在数据3中重复出现的预先确定维度方向所成的角度。恒定特性重复出现意思是例如数据3中关于位置改变的值的变化，即横截面形状相同等。
参考轴可以是例如指示空间方向X(屏幕的水平方向)的轴、指示空间方向Y(屏幕的垂直方向)的轴等。
输入图像提供给活动性检测单元401和数据选择单元402。
活动性检测单元401检测关于输入图像空间方向的像素值的变化，即空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。
例如，活动性检测单元401检测关于屏幕水平方向的像素值的变化和关于平面垂直方向的像素值的变化，并比较检测的水平方向上像素值的变化和垂直方向上像素值的变化，从而检测是否与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者是否与水平方向上像素值的变化相比较垂直方向上像素值的变化较大。
活动性检测单元401将活动性信息提供给数据选择单元402和连续性方向推导单元404，该活动性信息是指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者与水平方向上像素值的变化相比较垂直方向上像素值的变化较大的检测结果。
如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，例如图50所示，弧形(半盘形)或爪形在垂直方向上的一行像素上形成，并且弧形或爪形在垂直方向上多次重复地形成。也就是说，如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是45～90度的任意值。
如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，弧形或爪形在垂直方向上的一行像素上形成，并且弧形或爪形在水平方向上多次重复地形成。也就是说，如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是0～45度的任意值。
例如，活动性检测单元401从输入图像中选取由以关注像素为中心的3×3的9个像素构成的块，如图51中所示。活动性检测单元401计算关于垂直相邻像素的像素值的差的和、以及关于水平相邻像素的像素值的差的和。关于水平相邻像素的像素值的差的和hdiff可以用表达式(35)获得。
hdiff＝∑(Pi+1，j-Pi，j) ...(35) 同样地，关于垂直相邻像素的像素值的差的和vdiff可以用表达式(36)获得。
vdiff＝∑(Pi，j+1-Pi，j) ...(36) 在表达式(35)和表达式(36)中，P表示像素值，i表示水平方向上像素的位置，以及j表示垂直方向上像素的位置。
配置可以这样进行，其中活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和hdiff与关于垂直相邻像素的像素值的差的和vdiff，以便确定输入图像中基于参考轴的数据连续性的角度范围。也就是说，在该情况下，活动性检测单元401确定由关于空间方向上位置的像素值的变化所指示的形状是在水平方向上重复形成，还是在垂直方向上重复形成。
例如，关于在一水平行中的像素上形成的弧形水平方向上像素值的变化大于垂直方向上像素值的变化，关于在一水平行中的像素上形成的弧形垂直方向上像素值的变化大于水平方向上像素值的变化，并且可以说，数据连续性的方向，即作为数据3的输入图像具有的恒定特征的预先确定维度方向的变化与数据连续性的正交方向上的变化相比较较小。换句话说，与数据连续性方向正交的方向(以下也称作非连续性方向)的差与数据连续性方向上的差相比较较大。
例如，如图52中所示，活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和hdiff与关于垂直相邻像素的像素值的差的和vdiff，并且如果关于水平相邻像素的像素值的差的和hdiff较大，确定基于参考轴的数据连续性的角度是45～135度的任意值，而如果关于垂直相邻像素的像素值的差的和vdiff较大，确定基于参考轴的数据连续性的角度是0～45度的任意值、或135～180度的任意值。
例如，活动性检测单元401将指示确定结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。
注意，活动性检测单元401可以通过选取任意大小的块，例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等来检测活动性。
数据选择单元402从输入图像的像素中顺序选择关注像素，并基于从活动性检测单元401提供的活动性信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素。
例如，如果活动性信息指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，这意味着数据连续性角度是45～135度的任意值，所以数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。
如果活动性信息指示与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，这意味着数据连续性角度是0～45度或135～180度的任意值，所以数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。
而且，例如，如果活动性信息指示数据连续性的角度是45～135度的任意值，数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。
如果活动性信息指示数据连续性的角度是0～45度或135～180度的任意值，数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。
数据选择单元402将由选取像素构成的多组提供给误差估计单元403。
误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。
例如，关于与一个角度相对应的、由垂直方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在像素组的相应位置处像素的像素值的相关性。关于与一个角度相对应的、由水平方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在组的相应位置处像素的像素值的相关性。
误差估计单元403将指示检测的相关性的相关性信息提供给连续性方向推导单元404。误差估计单元403计算从数据选择单元402提供的包括关注像素的一组像素的像素值的和作为指示相关性的值，以及在其它组中相应位置处像素的像素值的差的绝对值，并将差的绝对值的和作为相关性信息提供给连续性方向推导单元404。
基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中基于参考轴的数据连续性角度，其对应于现实世界1的光信号的丢失连续性，并输出指示角度的数据连续性信息。例如，基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测与具有最大相关性的像素组相对应的角度作为数据连续性角度，并输出指示与已经检测的具有最大相关性的像素组相对应的角度的数据连续性信息。
下面将描述0～90度(所谓第一象限)范围内的数据连续性角度的检测。
图53是说明图49中所示数据连续性检测单元101的更详细构造的框图。
数据选择单元402包括像素选择单元411-1至像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1至估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。
首先，将描述如果由活动性信息指示的数据连续性角度是45～135度的任意值，像素选择单元411-1至像素选择单元411-L的处理。
像素选择单元411-1至像素选择单元411-L设置经过关注像素的相互不同预先确定角度的直线，以指示空间方向X的轴作为参考轴。像素选择单元411-1至像素选择单元411-L选择，属于关注像素所属垂直行像素的像素中，关注像素上方的预先确定数目的像素、关注像素下方的预先确定数目的像素以及关注像素作为一组。
例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素的像素中，选择以关注像素为中心的9个像素作为一组像素。
在图54中，一个格形方块(一格)表示一个像素。在图54中，中心处所示的圆形表示关注像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素左下方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处左边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素右上方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处右边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。
例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。
从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。
像素选择单元411-1至像素选择单元411-L为相互不同的角度(设置为相互不同角度的直线)选择像素组。例如，像素选择单元411-1选择关于45度的像素组，像素选择单元411-2选择关于47.5度的像素组，以及像素选择单元411-3选择关于50度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从52.5度至135度的每2.5度的角度的像素组。
注意，像素组的数目是可选数目，例如3或7，而不限制本发明。而且，选作一组的像素数目是可选数目，例如5或13，而并不限制本发明。
注意，像素选择单元411-1至像素选择单元411-L可以配置以从垂直方向上预先确定范围内的像素中选择像素组。例如，像素选择单元411-1至像素选择单元411-L可以从垂直方向上的121个像素(关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测关于表示空间方向X的轴高达88.09度的数据连续性的角度。
像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。
估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。例如，估计误差计算单元412-1至估计误差计算单元412-L计算包含关注像素的组的像素的像素值与从像素选择单元411-1至像素选择单元411-L的一个提供的另一组中相应位置处像素的像素值之间的差的绝对值的和，作为指示相关性的值。
更具体地说，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。
然后，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。
估计误差计算单元412-1至估计误差计算单元412-L将这样计算的像素值差的绝对值的和全部加起来，从而计算像素值的差的绝对值的总计。
估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1至估计误差计算单元412-L将计算的像素值差的绝对值的总计提供给最小误差角度选择单元413。
注意，估计误差计算单元412-1至估计误差计算单元412-L并不局限于像素值差的绝对值的和，同样可以计算其它值作为相关性值，例如像素值的平方差的和、或基于像素值的相关性系数等。
最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。也就是说，基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，最小误差角度选择单元413选择最大相关性，并取所选相关性关于其检测的角度作为基于参考轴的数据连续性角度，从而检测输入图像中基于参考轴的数据连续性角度。
例如，在从估计误差计算单元412-1至估计误差计算单元412-L提供的像素值差的绝对值的总计中，最小误差角度选择单元413选择最小总计。关于所选总计被计算的像素值，最小误差角度选择单元413参考属于关注像素次左侧一垂直行像素并且位于距离直线最近像素位置处的像素，以及属于关注像素次右侧一垂直行像素并且位于距离直线最近像素位置处的像素。
如图54中所示，最小误差角度选择单元413获得参考像素位置与关注像素位置在垂直方向上的距离S。如图55中所示，最小误差角度选择单元413从表达式(37)中检测作为图像数据的输入图像中基于作为参考轴的指示空间方向X的轴的数据连续性的角度θ，其对应于丢失的现实世界1光信号连续性。
接下来，将描述如果由活动性信息指示的数据连续性角度是0～45度和135～180度的任意值，像素选择单元411-1至像素选择单元411-L的处理。
像素选择单元411-1至像素选择单元411-L设置经过关注像素的预先确定角度的直线，以指示空间方向X的轴作为参考轴，并且从属于关注像素所属水平行像素的像素中，选择关注像素左侧的预先确定数目的像素、关注像素右侧的预先确定数目的像素以及关注像素作为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。
像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。
从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。
像素选择单元411-1至像素选择单元411-L为相互不同的角度选择像素组。例如，像素选择单元411-1选择关于0度的像素组，像素选择单元411-2选择关于2.5度的像素组，以及像素选择单元411-3选择关于5度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从7.5度至45度和从135度至180度的每2.5度的角度的像素组。
像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。
估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。
最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。
接下来，将参考图56中的流程图描述其构造如图49中所示的数据连续性检测单元101的处理，该处理对应于步骤S101中的处理。
在步骤S401中，活动性检测单元401和数据选择单元402从输入图像中选择作为关注像素的关注像素。活动性检测单元401和数据选择单元402选择同一个关注像素。例如，活动性检测单元401和数据选择单元402以光栅扫描顺序从输入图像中选择关注像素。
在步骤S402中，活动性检测单元401检测关于关注像素的活动性。例如，活动性检测单元401基于在由以关注像素为中心的预先确定数目的像素构成的块的垂直方向上排列的像素的像素值的差，以及在水平方向上排列的像素的像素值的差来检测活动性。
活动性检测单元401检测关于关注像素在空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。
在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择以关注像素为中心的预先确定数目的像素作为一个像素组。例如，数据选择单元402选择关注像素上方或左侧的预先确定数目的像素、关注像素下方或右侧的预先确定数目的像素，其是属于关注像素所属水平或垂直行像素的像素，以及关注像素，作为一个像素组。
在步骤S404中，数据选择单元402对于基于由步骤S402的处理检测的活动性的预先确定范围内的每个角度，从预先确定数目的像素行中选择每个预先确定数目的像素作为一个像素组。例如，数据选择单元402设置具有预先确定范围内的角度、经过关注像素的直线，以指示空间方向X的轴作为参考轴，选择在水平方向或垂直方向上距离关注像素一行或两行并且离直线最近的像素，并且选择所选像素上方或左侧的预先确定数目的像素、所选像素下方或右侧的预先确定数目的像素、以及最接近直线的所选像素作为一个像素组。数据选择单元402对每个角度选择像素组。
数据选择单元402将所选像素组提供给误差估计单元403。
在步骤S405中，误差估计单元403计算以关注像素为中心的像素组与为每个角度所选的像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的组的像素的像素值与在其它组中相应位置处像素的像素值的差的绝对值的和。
数据连续性的角度可以基于为每个角度选择的像素组之间的相关性来检测。
误差估计单元403将指示计算的相关性的信息提供给连续性方向推导单元404。
在步骤S406中，基于在步骤S405的处理中计算的相关性，从具有最强相关性的像素组的位置，连续性方向推导单元404检测作为图像数据的输入图像中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。例如，连续性方向推导单元404选择像素值的差的绝对值的总计中的最小总计，并从所选总计关于其计算的像素组的位置中检测数据连续性角度θ。
连续性方向推导单元404输出指示已经检测的数据连续性的角度的数据连续性信息。
在步骤S407中，数据选择单元402确定是否所有像素的处理都已结束，并且如果确定所有像素的处理还没有结束，则流程返回到步骤S401，关注像素从还没有取作关注像素的像素中选择，并重复上述处理。
如果在步骤S407中确定所有像素的处理都已结束，处理结束。
因此，数据连续性检测单元101可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。
注意，配置可以这样进行，其中其构造如图49中所示的数据连续性检测单元101关于作为关注帧的关注帧中作为关注像素的关注像素，检测输入图像的空间方向上的活动性；根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从关注帧中以及从在时间方向上在关注帧之前或之后的每个帧中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组；检测选取的像素组的相关性；以及基于该相关性，检测输入图像中时间方向和空间方向上的数据连续性角度。
例如，如图57中所示，数据选择单元402根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组。
帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。
误差估计单元403关于已经选取的多组像素检测每个单个角度和单个运动矢量的像素组的相关性。连续性方向推导单元404基于像素组的相关性检测输入图像中时间方向和空间方向上的数据连续性角度，其对应于丢失的现实世界1光信号连续性，并输出指示角度的数据连续性信息。
接下来，将参考图58至图88描述现实世界估计单元102(图3)的另一种实施方案实例。
图58是描述本实施方案实例的原理的图。
如图58中所示，现实世界1中的信号(光强分配)，其是投射到传感器2上的图像，用预先确定的函数F表示。注意以下，对于该实施方案实例的描述，用作现实世界1中图像的信号特别地称作光信号，并且函数F特别地称作光信号函数F。
对于该实施方案实例，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102通过用使用来自传感器2的输入图像(包括与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)的预先确定函数f近似光信号函数F来估计光信号函数F。注意对于该实施方案实例的描述，以下，函数f特别地称作近似函数f。
换句话说，对于该实施方案实例，现实世界估计单元102使用由近似函数f表示的模型161(图4)近似(描述)由光信号函数F表示的图像(现实世界1中的光信号)。因此，以下，该实施方案实例称作函数近似方法。
现在，在进入函数近似方法的具体描述之前，将描述本申请已经发明的函数近似方法的背景。
图59是描述在传感器2看作CCD的情况下的积分效应的图。
如图59中所示，多个检测元件2-1布置在传感器2的平面上。
对于图59中的实例，平行于检测元件2-1的预先确定边的方向取作作为空间方向中的一个方向的X方向，并且与X方向正交的方向取作作为空间方向中的另一个方向的Y方向。而且，与X-Y平面垂直的方向取作用作时间方向的方向t。
而且，对于图59中的实例，传感器2的每个检测元件2-1的空间形状用一边长度为1的正方形表示。传感器2的快门时间(曝光时间)用1表示。
此外，对于图59中的实例，传感器2的一个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置x＝0，并且Y方向上y＝0)，并且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置t＝0)。
在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出其积分值作为像素值P。
也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(38)表示。
其他检测元件2-1同样地也通过取主体检测元件2-1的中心为空间方向上的原点来输出表达式(38)中所示的像素值P。
图60是描述传感器2的积分效应的特定实例的图。
在图60中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。
现实世界1中光信号的部分2301(以下，这种部分称作区域)代表具有预先确定连续性的区域的实例。
注意，区域2301是连续的光信号的部分(连续区域)。另一方面，在图60中，区域2301显示为实际上划分成20个小区域(正方形区域)。这是因为表示区域2301的大小相当于X方向上传感器2的四个检测元件(像素)，以及Y方向上传感器2的五个检测元件(像素)排列于其中的大小。也就是说，区域2301中的20个小区域(可视区域)的每个相当于一个像素。
而且，区域2301内附图中所示白色部分表示与细线相对应的光信号。因此，区域2301具有细线连续的方向上的连续性。以下，区域2301称作包含细线的现实世界区域2301。
在该情况下，当包含细线的现实世界区域2301(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2302(以下，它称作包含细线的数据区域2302)因积分效应从传感器2输出。
注意，包含细线的数据区域2302的每个像素在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含细线的现实世界区域2301由传感器2的积分效应而变成(畸变)包含细线的数据区域2302，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。
图61是描述传感器2的积分效应的另一个特定实例(不同于图60的实例)的图。
在图61中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。
现实世界1中光信号的部分(区域)2303代表具有预先确定连续性的区域的另一个实例(不同于图60中包含细线的现实世界区域2301的实例)。
注意，区域2303是与包含细线的现实世界区域2301具有相同大小的区域。也就是说，区域2303实际上与包含细线的现实世界区域2301一样，也是现实世界1中的连续光信号的一部分(连续区域)，但是在图61中显示为划分成20个相当于传感器2一个像素的小区域(正方形区域)。
而且，区域2303包括具有预先确定第一光强(值)的第一部分，以及具有预先确定第二光强(值)的第二部分边缘。因此，区域2303具有边缘连续的方向上的连续性。以下，区域2303称作包含二值边缘的现实世界区域2303。
在该情况下，当包含二值边缘的现实世界区域2303(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2304(以下，称作包含二值边缘的数据区域2304)因积分效应从传感器2输出。
注意，包含二值边缘的数据区域2304的每个像素值与包含细线的数据区域2302一样在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含二值边缘的现实世界区域2303由传感器2的积分效应而变成(畸变)包含二值边缘的数据区域2304，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。
常规图像处理设备已经将从传感器2输出的图像数据，例如包含细线的数据区域2302，包含二值边缘的数据区域2304等看作原点(基础)，并且也使得图像数据经历随后的图像处理。也就是说，尽管从传感器2输出的图像数据已经因积分效应而变成(畸变)不同于现实世界1中光信号的数据，常规图像处理设备基于不同于现实世界1中光信号的数据是正确的假设而执行图像处理。
结果，常规图像处理设备提出一个问题，即基于现实世界中其细节在图像数据从传感器2输出的阶段畸变的波形，非常难以从波形中恢复原始细节。
因此，对于函数近似方法，为了解决该问题，如上所述(图58中所示)，现实世界估计单元102通过用基于从传感器2输出的图像数据(输入图像)例如包含细线的数据区域2302和包含二值边缘的数据区域2304的近似函数f近似光信号函数F(现实世界1中的光信号)来估计光信号函数F。
因此，在现实世界估计单元102随后的阶段(在该情况下，图3中的图像生成单元103)，处理可以通过取已经考虑积分效应的图像数据，即可以用近似函数f表示的图像数据作为原点来执行。
以下，将参考附图独立地描述这种函数近似方法的三种具体方法(第一至第三函数近似方法)。
首先，将参考图62至图76描述第一函数近似方法。
图62是再次表示上述图60中所示包含细线的现实世界区域2301的图。
在图62中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。
第一函数近似方法是使用例如用作n维(n是任意整数)多项式的近似函数f(x)近似一维波形(以下，这种波形称作X横截面波形F(x))的方法，其中与例如图62中所示包含细线的现实世界区域2301相对应的光信号函数F(x，y，t)在X方向(附图中箭头2311的方向)上投影。因此，以下，第一函数近似方法特别地称作一维近似函数。
注意，对于一维近似方法，将被近似的X横截面波形F(x)当然并不局限于与图62中包含细线的现实世界区域2301相对应的波形。也就是说，如随后描述的，对于一维近似方法，任意波形可以被近似只要X横截面波形F(x)对应于具有连续性的现实世界1中的光信号。
而且，光信号函数F(x，y，t)的投影方向并不局限于X方向，Y方向或t方向可以使用。也就是说，对于一维近似方法，光信号函数F(x，y，t)在Y方向上投影的函数F(y)可以用预先确定的近似函数f(y)近似，或者光信号函数F(x，y，t)在t方向上投影的函数F(t)可以用预先确定的近似函数f(t)近似。
更具体地说，一维近似方法是使用用作例如下面表达式(39)中所示的n维多项式的近似函数f(x)来近似X横截面波形F(x)的方法。
也就是说，对于一维近似方法，现实世界估计单元102通过计算表达式(39)中xi的系数(特征)wi来估计X横截面波形F(x)。
特征wi的该计算方法并不局限于特定的方法，例如下面第一至第三方法可以使用。
也就是说，第一方法是到目前为止已经使用的方法。
另一方面，第二方法是本申请者最新发明的方法，其是关于第一方法考虑空间方向上连续性的方法。
但是，如随后描述的，对于第一和第二方法，传感器2的积分效应没有考虑。因此，通过将由第一方法或第二方法计算的特征wi代入上面表达式(39)而获得的近似函数f(x)是关于输入图像的近似函数，但是严格地说，不能称作X横截面波形F(x)的近似函数。
因此，本申请者发明了关于第二方法进一步考虑传感器2积分效应的计算特征wi的第三方法。通过将使用该第三方法计算的特征wi代入上面表达式(39)而获得的近似函数f(x)可以称作X横截面波形F(x)的近似函数，因为传感器2的积分效应被考虑。
因此，严格地说，第一方法和第二方法不能称作一维近似方法，而只有第三方法可以称作一维近似方法。
换句话说，如图63中所示，第二方法不同于一维近似方法。也就是说，图63是描述与第二方法相对应的实施方案原理的图。
如图63中所示，对于与第二方法相对应的实施方案，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102不是用来自传感器2的输入图像(包含与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)近似X横截面波形F(x)，而是用预先确定的近似函数f2(x)近似来自传感器2的输入图像。
因此，难说第二方法是与第三方法具有同等水平的方法，因为仅输入图像的近似被执行而没有考虑传感器2的积分效应。但是，第二方法是优于常规第一方法的方法，因为第二方法考虑了空间方向上的连续性。
以下，将以该顺序独立地描述第一方法、第二方法和第三方法的细节。
注意以下，如果由第一方法、第二方法和第三方法产生的各自近似函数f(x)与其他方法的相区分，它们分别特别地称作近似函数f1(x)、近似函数f2(x)以及近似函数f3(x)。
首先，将描述第一方法的细节。
对于第一方法，如果上面表达式(39)中所示近似函数f1(x)在图64中包含细线的现实世界区域2301内成立，下面的预测公式(40)被定义。
P(x，y)＝f1(x)+e ...(40) 在表达式(40)中，x表示关于X方向相对于关注像素的像素位置。y表示关于Y方向相对于关注像素的像素位置。e表示误差限度。特别地，例如，如图64中所示，让我们假定关注像素是包含细线的数据区域2302(包含细线的现实世界区域2301(图62)由传感器2检测并输出其数据)中，附图中X方向上从左起第二像素以及Y方向上从底部起第三像素。而且，让我们假定关注像素的中心是原点(0，0)，并且其轴是分别平行于传感器2的X方向和Y方向(图59)的x轴和y轴的坐标系(以下，称作关注像素坐标系)被设置。在该情况下，关注像素坐标系的坐标值(x，y)表示相对像素位置。
而且，在表达式(40)中，P(x，y)表示相对像素位置(x，y)中的像素值。特别地，在该情况下，包含细线的数据区域2302中的P(x，y)例如图65中所示。
图65以图形方式表示该像素值P(x，y)。
在图65中，曲线图的各个垂直轴表示像素值，而水平轴表示X方向上距离关注像素的相对位置x。而且，在附图中，分别地，从顶部开始第一曲线图中的虚线表示输入像素值P(x，-2)，从顶部开始第二曲线图中的断续三重虚线表示输入像素值P(x，-1)，从顶部开始第三曲线图中的实线表示输入像素值P(x，0)，从顶部开始第四曲线图中的断续线表示输入像素值P(x，1)，并且从顶部开始第五(从底部开始第一)曲线图中的断续双重虚线表示输入像素值P(x，2)。
当图65中所示20个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)(但是，x是-1～2的任意一个整数值)分别代入上面表达式(40)时，如下面表达式(41)中所示20个公式产生。注意，每个ek(k是1～20的整数值的任意一个)表示误差限度。
P(-1，-2)＝f1(-1)+e1 P(0，-2)＝f1(0)+e2 P(1，-2)＝f1(1)+e3 P(2，-2)＝f1(2)+e4 P(-1，-1)＝f1(-1)+e5 P(0，-1)＝f1(0)+e6 P(1，-1)＝f1(1)+e7 P(2，-1)＝f1(2)+e8 P(-1，0)＝f1(-1)+e9 P(0，0)＝f1(0)+e10 P(1，0)＝f1(1)+e11 P(2，0)＝f1(2)+e12 P(-1，1)＝f1(-1)+e13 P(0，1)＝f1(0)+e14 P(1，1)＝f1(1)+e15 P(2，1)＝f1(2)+e16 P(-1，2)＝f1(-1)+e17 P(0，2)＝f1(0)+e18 P(1，2)＝f1(1)+e19 P(2，2)＝f1(2)+e20 ...(41) 表达式(41)由20个公式构成，所以如果近似函数f1()的特征wi的数目少于20，也就是如果近似函数f1(x)是具有少于19的维度数目的多项式，特征wi可以使用例如最小二乘法计算。注意，最小二乘法的具体解法将随后描述。
例如，如果我们假定近似函数f1(x)的维度数目是五，使用表达式(41)用最小二乘法计算的近似函数f1(x)(由计算的特征wi产生的近似函数f1(x))变成图66中所示的曲线。
注意在图66中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。
也就是说，例如，如果我们补充沿着x轴构成图64中包含细线的数据区域2302而没有任何修改的各个20个像素值P(x，y)(图65中所示各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2))(如果我们认为Y方向上的相对位置y恒定，并且重叠图65中所示的五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图66中所示。
但是，在图66中，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在相同像素值的情况下，多于2条线的线实际上重叠，但是在图66中，线被画出以便区分每条线，以便不重叠每条线。
这样分布的各个20个输入像素值(P(x，-2)，P(x，-1)，P(x，0)，P(x，1)，以及P(x，2))，以及回归曲线(通过将使用最小二乘法计算的特征wi代入上面表达式(38)而获得的近似函数f1(x))以使得值f1(x)的误差达到最小，变成图66中所示的曲线(近似函数f1(x))。
因此，近似函数f1(x)只表示在X方向上连接Y方向上P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)的像素值(具有X方向上距离关注像素的相同相对位置x的像素值)的平均值的曲线。也就是说，近似函数f1(x)没有考虑包括在光信号中的空间方向上连续性而产生。
例如，在该情况下，包含细线的现实世界区域2301(图62)看作待近似的主体。该包含细线的现实世界区域2301具有空间方向上的连续性，其由梯度GF表示，如图67中所示。注意在图67中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。
因此，数据连续性检测单元101(图58)可以输出例如图67中所示的角度θ(用与梯度GF相对应的梯度Gf表示的数据连续性方向，与X方向之间产生的角度θ)作为与作为空间方向上连续性的梯度GF相对应的数据连续性信息。
但是，对于第一方法，从数据连续性检测单元101中输出的数据连续性信息根本不使用。
换句话说，例如图67中所示，包含细线的现实世界区域2301的空间方向上的连续性方向是普通角度θ方向。但是，第一方法是基于包含细线的现实世界区域2301的空间方向上的连续性方向是Y方向的假设(也就是假设角度θ是90°)计算近似函数f1(x)的特征wi的方法。
所以，近似函数f1(x)变成其波形变缓和的函数，并且细节比原始像素值减少。换句话说，虽然附图中没有显示，对于使用第一方法产生的近似函数f1(x)，其波形变成不同于实际X横截面波形F(x)的波形。
为此，本申请者已经发明相对于第一方法通过进一步考虑空间方向上连续性(利用角度θ)计算特征wi的第二方法。
也就是说，第二方法是基于包含细线的现实世界区域2301的连续性方向是普通角度θ方向的假设计算近似函数f2(x)的特征wi的方法。
特别地，例如，表示与空间方向上连续性相对应的数据连续性的梯度Gf用下面的表达式(42)表示。
注意在表达式(42)中，dx表示例如图67中所示X方向上细微运动的量，dy表示例如图67中所示关于dx在Y方向上细微运动的量。
在该情况下，如果我们如下面表达式(43)中所示定义移位量Cx(y)，对于第二方法，与第一方法中使用的表达式(40)相对应的公式变成例如下面的表达式(44)。
P(x，y)＝f2(x-Cx(y))+e ...(44) 也就是说，第一方法中使用的表达式(40)表示像素中心位置(x，y)的X方向上的位置x是关于位于相同位置中的任何像素的像素值P(x，y)的相同值。换句话说，表达式(40)表示具有相同像素值的像素在Y方向上连续(表现出Y方向上的连续性)。
另一方面，第二方法中使用的表达式(44)表示其中心位置为(x，y)的像素的像素值P(x，y)与位于X方向上距离关注像素(其中心位置为原点(0，0)的像素)x的位置的像素的像素值(近似相当于f2(x))不同，而是与位于X方向上以移位量Cx(y)进一步远离其像素的位置的像素(位于X方向上距离关注像素x+Cx(y)的位置中的像素)的像素值(近似相当于f2(x)+Cx(y)相同的值。换句话说，表达式(44)表示具有相同像素值的像素在对应于移位量Cx(y)的角度θ方向上连续(表现出普通角度θ方向上的连续性)。
因此，移位量Cx(y)是考虑空间方向上连续性(在该情况下，图67中用梯度GF表示的连续性(严格地说，用梯度Gf表示的数据连续性))的校正量，并且表达式(44)通过用移位量Cx(y)校正表达式(40)而获得。
在该情况下，当图64中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，且y是-2～2的任何一个整数值)分别代入上面表达式(44)时，如下面表达式(45)中所示的20个公式产生。
P(-1，-2)＝f2(-1-Cx(-2))+e1 P(0，-2)＝f2(0-Cx(-2))+e2 P(1，-2)＝f2(1-Cx(-2))+e3 P(2，-2)＝f2(2-Cx(-2))+e4 P(-1，-1)＝f2(-1-Cx(-1))+e5 P(0，-1)＝f2(0-Cx(-1))+e6 P(1，-1)＝f2(1-Cx(-1))+e7 P(2，-1)＝f2(2-Cx(-1))+e8 P(-1，0)＝f2(-1)+e9 P(0，0)＝f2(0)+e10 P(1，0)＝f2(1)+e11 P(2，0)＝f2(2)+e12 P(-1，1)＝f2(-1-Cx(1))+e13 P(0，1)＝f2(0-Cx(1))+e14 P(1，1)＝f2(1-Cx(1))+e15 P(2，1)＝f2(2-Cx(1))+e16 P(-1，2)＝f2(-1-Cx(2))+e17 P(0，2)＝f2(0-Cx(2))+e18 P(1，2)＝f2(1-Cx(2))+e19 P(2，2)＝f2(2-Cx(2))+e20 ...(45) 与上面表达式(41)一样，表达式(45)由20个公式构成。因此，对于第二方法，与第一方法一样，如果近似函数f2(x)的特征wi的数目少于20，也就是如果近似函数f2(x)是具有少于19的维度数目的多项式，特征wi可以使用例如最小二乘法计算。注意，关于最小二乘法的具体解法将随后描述。
例如，与第一方法一样，如果我们假定近似函数f2(x)的维度数目是五，对于第二方法，特征wi如下计算。
也就是说，图68以图形方式表示表达式(45)左侧中显示的像素值P(x，y)。图68中所示各个五个曲线图基本上与图65中所示的相同。
如图68中所示，最大像素值(与细线相对应的像素值)在用梯度Gf表示的数据连续性方向上连续。
所以，对于第二方法，如果我们例如沿着x轴补充图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)，我们补充像素值在图69中所示状态中改变的像素值，而不是与第一方法一样补充像素值而没有任何修改(让我们假设y是恒定的，并且五个曲线图在图68中所示的状态中重叠)。
也就是说，图69表示图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)以上面表达式(43)中所示的移位量Cx(y)移位的状态。换句话说，图69表示图68中所示的五个曲线图运动好像表示数据连续性实际方向的梯度GF看作梯度GF′的状态(在附图中，由虚线构成的直线看作由实线构成的直线)。
在图69中的状态中，如果我们例如沿着x轴补充各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(在图69中所示的状态中，如果我们重叠五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图70中所示。
注意在图70中，垂直轴表示像素值，并且水平轴表示距离关注像素的相对位置x。而且，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在同样像素值的情况下，多于2条线的线实际上重叠，但是在图70中，线被画出以便区分每条线，以便不重叠每条线。
这样分布的各个20个输入像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)，以及回归曲线(通过将使用最小二乘法计算的特征wi代入上面表达式(38)而获得的近似函数f2(x))以使得值f2(x+Cx(y))的误差达到最小，变成图70中实线所示的曲线f2(x)。
因此，使用第二方法产生的近似函数f2(x)表示在X方向上连接从数据连续性检测单元101(图58)输出的角度θ方向(也就是普通空间方向上的连续性方向)上输入像素值P(x，y)的平均值的曲线。
另一方面，如上所述，使用第一方法产生的近似函数f1(x)只表示在X方向上连接Y方向(也就是与空间方向上的连续性不同的方向)上输入像素值P(x，y)的平均值的曲线。
因此，如图70中所示，使用第二方法产生的近似函数f2(x)变成其波形的缓和度减小，而且关于原始像素值的细节减少程度比使用第一方法产生的近似函数f1(x)减少得小的函数。换句话说，虽然附图中没有显示，对于使用第二方法产生的近似函数f2(x)，其波形变成比使用第一方法产生的近似函数f1(x)更接近实际X横截面波形F(x)的波形。
但是，如上所述，近似函数f2(x)是考虑空间方向上连续性的函数，但是仅是输入图像(输入像素值)看作原点(基础)而产生的函数。也就是说，如上述图63中所示，近似函数f2(x)仅是近似不同于X横截面波形F(x)的输入图像的函数，并且难说近似函数f2(x)是近似X横截面波形F(x)的函数。换句话说，第二方法是基于上面表达式(44)成立的假设计算特征wi的方法，但是没有考虑上述表达式(38)中的关系(没有考虑传感器2的积分效应)。
因此，本申请者已经发明相对于第二方法通过进一步考虑传感器2的积分效应计算近似函数f3(x)的特征wi的第三方法。
也就是说，第三方法是引入空间混合或时间混合概念的方法。现在，考虑空间混合和时间混合将使得描述复杂，所以空间混合和时间混合中仅空间混合将在这里考虑，而时间混合将忽略。
在第三方法的描述之前，将参考图71描述空间混合。
在图71中，现实世界1中光信号的部分2321(以下，称作区域2321)表示与传感器2的一个检测元件(像素)具有相同面积的区域。
当传感器2检测区域2321时，传感器2输出由区域2321经历时间和空间方向(X方向、Y方向和t方向)上的积分而获得的值(一个像素值)2322。注意，像素值2322在附图中表示为图像，但实际上是代表预先确定值的数据。
现实世界1中的区域2321清楚地分类成与前景(例如上面的细线)相对应的光信号(附图中白色区域)，以及与背景相对应的光信号(附图中黑色区域)。
另一方面，像素值2322是由与前景相对应的现实世界1中光信号和与背景相对应的现实世界1中光信号经历积分而获得的值。换句话说，像素值2322是与对应于前景的光度与对应于背景的光度空间混合的光度相对应的值。
因此，如果与现实世界1中光信号的一个像素(传感器2的检测元件)相对应的部分不是具有相同光度的光信号在空间上均匀分布的部分，而是具有不同光度的光信号例如前景和背景分布于其中的部分，当其区域由传感器2检测时，区域变成一个像素值，好像不同光度因传感器2的积分效应而空间混合(在空间方向上积分)。因此，由对应于前景的图像(现实世界1中光信号)和对应于背景的图像(现实世界1中光信号)经历空间积分，也就是好像被混合，即空间混合的像素构成的区域在这里称作空间混合区域。
因此，对于第三方法，现实世界估计单元102(图58)通过使用用作例如图72中所示一维多项式的近似函数f3(x)近似X横截面波形F(x)，来估计表示现实世界1中原始区域2321(现实世界1中光信号，部分2321对应于传感器2的一个像素)的X横截面波形F(x)。
也就是说，图72表示与用作空间混合区域的像素值2322(图71)相对应的近似函数f3(x)，即近似与现实世界1中区域2331中的实线(图71)相对应的X横截面波形F(x)的近似函数f3(x)的实例。在图72中，附图中水平方向上的轴表示与从对应于像素值2322(图71)的像素的左上端xs到右下端xe的边平行的轴，其看作x轴。附图中垂直方向上的轴看作表示像素值的轴。
在图72中，下面的表达式(46)被定义，如果由使得近似函数f3(x)经历从xs到xe的范围(像素宽度)内的积分而获得的结果通常与从传感器2输出的像素值P(x，y)完全相同(仅取决于误差限度e)。
在该情况下，近似函数f3(x)的特征wi从图67中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)中计算，所以表达式(46)中的像素值P变成像素值P(x，y)。
而且，与第二方法一样，考虑空间方向上的连续性是必需的，因此，表达式(46)中积分范围中的开始位置xs和结束位置xe的每个取决于移位量Cx(y)。也就是说，表达式(46)中积分范围的开始位置xs和结束位置xe例如下面表达式(47)中表示。
xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5...(47) 在该情况下，当图67中所示包含细线的数据区域2302的每个像素值，即图68中所示输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(但是，x是-1～2的任意一个整数值)的每个代入上面表达式(46)(积分范围是上面表达式(47))时，下面表达式(48)中的20个公式产生。
与上面表达式(45)一样，表达式(48)由20个公式构成。因此，对于第三方法，与第二方法一样，如果近似函数f3(x)的特征wi的数目少于20，也就是如果近似函数f3(x)是具有少于19的维度数目的多项式，例如，特征wi可以使用最小二乘法计算。注意，最小二乘法的具体解法将随后描述。
例如，如果我们假定近似函数f3(x)的维度数目是五，使用表达式(48)用最小二乘法计算的近似函数f3(x)(用计算的特征wi产生的近似函数f3(x))变成图73中实线所示的曲线。
注意在图73中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。
如图73中所示，如果用第三方法产生的近似函数f3(x)(附图中用实线显示的曲线)与用第二方法产生的近似函数f2(x)(附图中用虚线显示的曲线)相比较，x＝0处的像素值变大，而且曲线的梯度产生陡峭波形。这是因为细节增加多于输入像素，导致与输入像素的分辨率无关。也就是说，我们可以说近似函数f3(x)近似X横截面波形F(x)。因此，虽然附图中没有显示，近似函数f3(x)变成比近似函数f2(x)更接近X横截面波形F(x)的波形。
图74表示使用这种一维近似方法的现实世界估计单元102的构造实例。
在图74中，现实世界估计单元102通过使用例如上面第三方法(最小二乘法)计算特征wi，并且使用计算的特征wi产生上面表达式(39)的近似函数f(x)来估计X横截面波形F(x)。
如图74中所示，现实世界估计单元102包括条件设置单元2331，输入图像存储单元2332，输入像素值获取单元2333，积分分量计算单元2334，正则方程生成单元2335，以及近似函数生成单元2336。
条件设置单元2331设置用于估计对应于关注像素的X横截面波形F(x)的像素范围(以下，称作分接范围)，以及近似函数f(x)的维度数目n。
输入图像存储单元2332临时地存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2333从输入图像存储单元2332中存储的输入图像中，获取与由条件设置单元2331设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2335。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。
现在，现实世界估计单元102使用上面的表达式(46)和表达式(47)在这里用最小二乘法计算近似函数f(x)的特征wi，但是上面表达式(46)可以例如下面表达式(49)表示。
在表达式(49)中，Si(xs，xe)表示i维项的积分分量。也就是说，积分分量Si(xs，xe)在下面表达式(50)中显示。
积分分量计算单元2334计算积分分量Si(xs，xe)。
特别地，表达式(50)中所示的积分分量Si(xs，xe)(但是，值xs和值xe是上面表达式(46)中显示的值)可以计算，只要相对像素位置(x，y)，移位量Cx(y)，以及i维项的i已知。而且，这些中，分别地，相对像素位置(x，y)由关注像素和分接范围确定，移位量Cx(y)由角度θ(由上面表达式(41)和表达式(43))确定，并且i的范围由维度数目n确定。
因此，积分分量计算单元2334基于由条件设置单元2331设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量Si(xs，xe)，并且将计算结果作为积分分量表提供给正则方程生成单元2335。
正则方程生成单元2335产生上面的表达式(46)，即正则方程，在使用从输入像素值获取单元2333提供的输入像素值表，以及从积分分量计算单元2334提供的积分分量表，用最小二乘法获得表达式(49)右侧的特征wi的情况下，并且将其作为正则方程表提供给近似函数生成单元2336。注意正则方程的具体实例将随后描述。
近似函数生成单元2336通过使用矩阵解法求解包括在从正则方程生成单元2335提供的正则方程表中的正则方程，来计算上面表达式(49)的各个特征wi(也就是用作一维多项式的近似函数f(x)的各个系数wi)，并且将这些输出到图像生成单元103。
接下来，将参考图75中的流程图描述使用一维近似方法的现实世界估计单元102(图74)的现实世界估计处理(图29的步骤S102中的处理)。
例如，让我们假定作为从传感器2输出的一帧输入图像、包括上述图60中包含细线的数据区域2302的输入图像已经存储在输入图像存储单元2332中。而且，让我们假定数据连续性检测单元101已经在步骤S101(图29)的连续性检测处理中使包含细线的数据区域2302经历其处理，并且已经输出角度θ作为数据连续性信息。
在该情况下，条件设置单元2331在图75的步骤S2301中设置条件(分接范围和维度数目)。
例如，让我们假定图76中所示的分接范围2351被设置，并且5维度设置为维度数目。
也就是说，图76是描述分接范围实例的图。在图76中，X方向和Y方向分别是传感器2的X方向和Y方向(图59)。而且，分接范围2351表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。
此外，如图76中所示，让我们假定关注像素设置在分接范围2351中附图中从左起第二像素以及从底部起第三像素处。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)用例如图76中所示数字l表示(l是0～19的任意整数值)。
现在，描述将返回图75，其中在步骤S2302中，条件设置单元2331设置关注像素。
在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包含细线的数据区域2302(图64)，并且产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(51)中所示的关系。但是，在表达式(51)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2，-2) ...(51) 在步骤S2304中，积分分量计算单元2334基于由条件设置单元2331设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获取，所以积分分量计算单元2334将表达式(50)中上面积分分量Si(xs，xe)计算为l的函数，例如下面表达式(52)左侧中所示的积分分量Si(l)。
Si(l)＝Si(xs，xe) ...(52) 特别地，在该情况下，下面表达式(53)中所示的积分分量Si(l)被计算。
Si(0)＝Si(-0.5，0.5) Si(1)＝Si(-1.5-Cx(2)，-0.5-Cx(2)) Si(2)＝Si(-0.5-Cx(2)，0.5-Cx(2)) Si(3)＝Si(0.5-Cx(2)，1.5-Cx(2)) Si(4)＝Si(1.5-Cx(2)，2.5-Cx(2)) Si(5)＝Si(-1.5-Cx(1)，-0.5-Cx(1)) Si(6)＝Si(-0.5-Cx(1)，0.5-Cx(1)) Si(7)＝Si(0.5-Cx(1)，1.5-Cx(1)) Si(8)＝Si(1.5-Cx(1)，2.5-Cx(1)) Si(9)＝Si(-1.5，-0.5) Si(10)＝Si(0.5，1.5) Si(11)＝Si(1.5，2.5) Si(12)＝Si(-1.5-Cx(-1)，-0.5-Cx(-1)) Si(13)＝Si(-0.5-Cx(-1)，0.5-Cx(-1)) Si(14)＝Si(0.5-Cx(-1)，1.5-Cx(-1)) Si(15)＝Si(1.5-Cx(-1)，2.5-Cx(-1)) Si(16)＝Si(-1.5-Cx(-2)，-0.5-Cx(-2)) Si(17)＝Si(-0.5-Cx(-2)，0.5-Cx(-2)) Si(18)＝Si(0.5-Cx(-2)，1.5-Cx(-2)) Si(19)＝Si(1.5-Cx(-2)，2.5-Cx(-2)) ...(53) 注意在表达式(53)中，左侧表示积分分量Si(l)，而右侧表示积分分量Si(xs，xe)。也就是说，在该情况下，i是0～5，因此20个S0(l)，20个S1(l)，20个S2(l)，20个S3(l)，20个S4(l)以及20个S5(l)总共120个Si(l)被计算。
更具体地说，首先积分分量计算单元2334使用从数据连续性检测单元101提供的角度θ计算移位量Cx(-2)，Cx(-1)，Cx(1)，和Cx(2)的每个。接下来，积分分量计算单元2334使用计算的移位量Cx(-2)，Cx(-1)，Cx(1)，和Cx(2)关于i＝0～5的每个计算表达式(52)右侧中显示的20个积分分量Si(xs，xe)的每个。也就是说，计算120个积分分量Si(xs，xe)。注意对于积分分量Si(xs，xe)的该计算，使用上面表达式(50)。随后，积分分量计算单元2334根据表达式(53)将计算的120个积分分量Si(xs，xe)的每个转换成相应的积分分量Si(l)，并且产生包括转换后的120个积分分量Si(l)的积分分量表。
注意，步骤S2303中的处理和步骤S2304中的处理的顺序并不局限于图75中的实例，步骤S2304中的处理可以首先执行，或者步骤S2303中的处理和步骤S2304中的处理可以同时执行。
接下来，在步骤S2305中，正则方程生成单元2335基于在步骤S2303的处理中由输入像素值获取单元2333产生的输入像素值表，以及在步骤S2304的处理中由积分分量计算单元2334产生的积分分量表来产生正则方程表。
特别地，在该情况下，对应于上面表达式(49)的下面表达式(54)的特征wi使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(55)。

注意在表达式(55)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。
如果我们将表达式(55)中所示的正则方程的每个矩阵定义为下面的表达式(56)～(58)，正则方程表示为下面的表达式(59)。

SMATWMAT＝PMAT ...(59) 如表达式(57)中所示，矩阵WMAT的各个分量是待获得的特征wi。因此，在表达式(59)中，如果左侧的矩阵SMAT和右侧的矩阵PMAT被确定，矩阵WMAT(也就是特征wi)可以使用矩阵解法计算。
特别地，如表达式(56)中所示，矩阵SMAT的各个分量可以计算，只要上面积分分量Si(l)已知。积分分量Si(l)包括在从积分分量计算单元2334提供的积分分量表中，所以正则方程生成单元2335可以使用积分分量表计算矩阵SMAT的每个分量。
而且，如表达式(58)中所示，矩阵PMAT的各个分量可以计算，只要积分分量Si(l)和输入像素值P(l)已知。积分分量Si(l)与包括在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2333提供的输入像素值表中，所以正则方程生成单元2335可以使用积分分量表和输入像素值表计算矩阵PMAT的每个分量。
因此，正则方程生成单元2335计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正则方程表输出到近似函数生成单元2336。
当正则方程表从正则方程生成单元2335输出时，在步骤S2306中，近似函数生成单元2336基于正则方程表计算用作上面表达式(59)中矩阵WMAT的各个分量的特征wi(也就是，用作一维多项式的近似函数f(x)的系数wi)。
特别地，上面表达式(59)中的正则方程可以转换为下面的表达式(60)。
在表达式(60)中，左侧矩阵WMAT的各个分量是待获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量包括在从正则方程生成单元2335提供的正则方程表中。因此，近似函数生成单元2336通过使用正则方程表计算表达式(60)右侧中的矩阵来计算矩阵WMAT，并将计算结果(特征wi)输出到图像生成单元103。
在步骤S2307中，近似函数生成单元2336确定是否所有像素的处理都已完成。
在步骤S2307中，如果确定所有像素的处理还没有完成，处理返回到步骤S2302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2302～S2307中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S2307中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。
注意使用这样计算的系数(特征)wi产生的近似函数f(x)的波形变成例如上述图73中近似函数f3(x)的波形。
因此，对于一维近似方法，用作一维多项式的近似函数f(x)的特征在例如与一维X横截面波形F(x)具有相同形式的波形在连续性方向上连续的假设下计算。因此，对于一维近似方法，近似函数f(x)的特征可以使用比其他函数近似方法少量的计算处理而计算。
接下来，将参考图77至图83描述第二函数近似方法。
也就是说，第二函数近似方法是具有用例如图77中所示梯度GF表示的空间方向上连续性的现实世界1中光信号看作X-Y平面上(在用作空间方向一个方向的X方向，以及与X方向正交的Y方向上的平面水平上)的波形F(x，y)的方法，并且波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似，从而估计波形F(x，y)。因此，以下，第二函数近似方法称作二维多项式近似方法。
注意在图77中，分别地，水平方向表示用作空间方向的一个方向的X方向，右上方向表示用作空间方向的另一个方向的Y方向，以及垂直方向表示光度。GF表示作为空间方向上连续性的梯度。
而且，对于二维多项式近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图78中所示。
对于图78中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。
而且，对于图78中的实例，传感器2的每个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。
此外，对于图78中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。
在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。
也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(61)表示。
类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(61)中所示的像素值P。
顺便提及，如上所述，二维多项式近似方法是现实世界1中的光信号作为例如图77中所示波形F(x，y)处理，并且二维波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似的方法。
首先，将描述用二维多项式表示这种近似函数f(x，y)的方法。
如上所述，现实世界1中的光信号用其变量为三维空间x，y和z上的位置以及时间点t的光信号函数F(x，y，t)表示。该光信号函数F(x，y，t)，即在Y方向上任意位置y处投影在X方向上的一维波形这里称作X横截面波形F(x)。
当注意该X横截面波形F(x)时，如果现实世界1中的信号具有在空间方向中某一方向上的连续性，可以设想与X横截面波形F(x)具有相同形式的波形在连续性方向上连续。例如，对于图77中的实例，与X横截面波形F(x)具有相同形式的波形在梯度GF的方向上连续。换句话说，可以说波形F(x，y)由与在梯度GF方向上连续的X横截面波形F(x)具有相同形式的波形形成。
因此，近似函数f(x，y)可以通过考虑近似波形F(x，y)的近似函数f(x，y)的波形由与近似连续的X横截面F(x)的近似函数f(x)具有相同形式的波形形成，而用二维多项式表示。
将更详细地描述近似函数f(x，y)的表示方法。
例如，让我们假定例如上述图77中所示现实世界1中的光信号，也就是具有用梯度GF表示的空间方向上连续性的光信号由传感器2检测(图78)，并且输出作为输入图像(像素值)。
此外，让我们假定如图79中所示，数据连续性检测单元101(图3)使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(在附图中，用虚线表示的20个正方形)构成的输入图像区域2401经历其处理，并且输出角度θ(用与梯度GF相对应的梯度Gf表示的数据连续性方向，与X方向之间产生的角度θ)作为数据连续性信息之一。
注意，对于输入图像区域2401，附图中水平方向表示用作空间方向中一个方向的X方向，并且附图中垂直方向表示用作空间方向中另一个方向的Y方向。
而且，在图79中，(x，y)坐标系被设置，使得从左起第二像素以及从底部起第三像素中的像素取作关注像素，并且关注像素的中心取作原点(0，0)。在X方向上关于经过原点(0，0)具有角度θ的直线(具有表示数据连续性方向的梯度Gf的直线)的相对距离(以下，称作横截面方向距离)描述为x′。
此外，在图79中，右侧的曲线图是X横截面波形F(x′)被近似的函数，其表示用作n维(n是任意整数)多项式的近似函数f(x′)。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。
在该情况下，图79中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(62)。
而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置xl表示为下面的表达式(63)。但是，在表达式(63)中，s代表cotθ(＝1/tanθ)。
xl＝x×y ...(63) 也就是说，如图79中所示，与用梯度Gf表示的数据连续性相对应的直线上的点用坐标值(xl，y)表示。
横截面方向距离x′使用表达式(63)表示为下面的表达式(64)。
x′＝x-xl＝x-s×y ...(64) 因此，输入图像区域2401中任意位置(x，y)处的近似函数f(x，y)使用表达式(62)和表达式(64)表示为下面的表达式(65)。
注意在表达式(65)中，wi表示近似函数f(x，y)的系数。注意，包括近似函数f(x，y)的近似函数f的系数wi可以作为近似函数f的特征来估计。因此，近似函数f的系数wi也称作近似函数f的特征wi。
因此，具有二维波形的近似函数f(x，y)可以表示为表达式(65)的多项式，只要角度θ已知。
因此，如果现实世界估计单元102可以计算表达式(65)的特征wi，现实世界估计单元102可以估计例如图77中所示的波形F(x，y)。
因此，以下，将描述计算表达式(65)的特征wi的方法。
也就是说，当用表达式(65)表示的近似函数f(x，y)经历关于与像素(传感器2的检测元件2-1(图78))相对应的积分范围(空间方向上的积分范围)的积分时，积分值变成关于像素的像素值的估计值。下面的表达式(66)是用公式表示。注意对于二维多项式近似方法，时间方向t看作恒定值，所以表达式(66)看作其变量为空间方向(X方向和Y方向)上位置x和y的公式。
在表达式(66)中，P(x，y)表示其中心位置在来自传感器2的输入图像的位置(x，y)(距离关注像素的相对位置(x，y))中的像素的像素值。同样，e表示误差限度。
因此，对于二维多项式近似方法，输入像素值P(x，y)与用作二维多项式的近似函数f(x，y)之间的关系可以用表达式(66)表示，因此，现实世界估计单元102可以通过使用表达式(66)用例如最小二乘法等计算特征wi(通过将计算的特征wi代入表达式(64)而产生近似函数f(x，y))来估计二维函数F(x，y)(波形F(x，y)，其中具有用梯度GF(图77)表示的空间方向上连续性的现实世界1中光信号关注空间方向来表示)。
图80表示使用这种二维多项式近似方法的现实世界估计单元102的构造实例。
如图80中所示，现实世界估计单元102包括条件设置单元2421，输入图像存储单元2422，输入像素值获取单元2423，积分分量计算单元2424，正则方程生成单元2425，以及近似函数生成单元2426。
条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分接范围)，以及近似函数f(x，y)的维度数目n。
输入图像存储单元2422临时地存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2423从输入图像存储单元2422中存储的输入图像中，获取与由条件设置单元2421设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2425。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。
顺便提及，如上所述，使用二维近似方法的现实世界估计单元102通过使用最小二乘法求解上面表达式(66)来计算用上面表达式(65)表示的近似函数f(x，y)的特征wi。
表达式(66)可以通过使用由下面表达式(67)～(69)获得的下面表达式(70)表示为下面的表达式(71)。
在表达式(71)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面表达式(72)中所示。
积分分量计算单元2424计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
特别地，表达式(72)中所示的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)可以计算，只要相对像素位置(x，y)，上面表达式(65)中i维项的变量s和i已知。当然，分别地，相对像素位置(x，y)由关注像素和分接范围确定，变量s是由角度θ确定的cotθ，并且i的范围由维度数目n确定。
因此，积分分量计算单元2424基于由条件设置单元2421设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并且将计算结果作为积分分量表提供给正则方程生成单元2425。
正则方程生成单元2425产生正则方程，在使用从输入像素值获取单元2423提供的输入像素值表，以及从积分分量计算单元2424提供的积分分量表，用最小二乘法获得上面表达式(66)，也就是表达式(71)的情况下，并且将其作为正则方程表输出到近似函数生成单元2426。注意正则方程的具体实例将随后描述。
近似函数生成单元2426通过使用矩阵解法求解包括在从正则方程生成单元2425提供的正则方程表中的正则方程，来计算上面表达式(66)的各个特征wi(也就是用作二维多项式的近似函数f(x，y)的系数wi)，并且将这些输出到图像生成单元103。
接下来，将参考图81中的流程图描述应用二维多项式近似方法的现实世界估计处理(图29的步骤S102中的处理)。
例如，让我们假定具有用梯度GF表示的空间方向上连续性的现实世界1中光信号已经由传感器2检测(图78)，并且已经作为与一帧相对应的输入图像存储在输入图像存储单元2422中。而且，让我们假定数据连续性检测单元101已经使得输入图像中上述图79中所示的区域2401经历步骤S101(图29)的连续性检测处理中的处理，并且已经输出角度θ作为数据连续性信息。
在该情况下，在步骤S2401中，条件设置单元2421设置条件(分接范围和维度数目)。
例如，让我们假定图82中所示的分接范围2441已经设置，并且5已经设置为维度数目。
图82是描述分接范围实例的图。在图82中，X方向和Y方向代表传感器2的X方向和Y方向(图78)。而且，分接范围2441表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。
此外，如图82中所示，让我们假定关注像素已经设置为分接范围2441中附图中从左起第二像素以及从底部起第三像素的像素。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)例如图82中所示用数字l表示(l是0～19的任意整数值)。
现在，描述将返回图81，其中在步骤S2402中，条件设置单元2421设置关注像素。
在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2401(图79)，产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(73)中所示的关系。但是，在表达式(73)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2，-2) ...(73) 在步骤S2404中，积分分量计算单元2424基于由条件设置单元2421设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2424将上面表达式(72)中的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，例如下面表达式(74)左侧中所示的积分分量Si(l)。
Si(l)＝Si(x-0.5，x+0.5，y-0.5，y+0.5)...(74) 特别地，在该情况下，下面表达式(75)中所示的积分分量Si(l)被计算。
Si(0)＝Si(-0.5，0.5，-0.5，0.5) Si(1)＝Si(-1.5，-0.5，1.5，2.5) Si(2)＝Si(-0.5，0.5，1.5，2.5) Si(3)＝Si(0.5，1.5，1.5，2.5) Si(4)＝Si(1.5，2.5，1.5，2.5) Si(5)＝Si(-1.5，-0.5，0.5，1.5) Si(6)＝Si(-0.5，0.5，0.5，1.5) Si(7)＝Si(0.5，1.5，0.5，1.5) Si(8)＝Si(1.5，2.5，0.5，1.5) Si(9)＝Si(-1.5，-0.5，-0.5，0.5) Si(10)＝Si(0.5，1.5，-0.5，0.5) Si(11)＝Si(1.5，2.5，-0.5，0.5) Si(12)＝Si(-1.5，-0.5，-1.5，-0.5) Si(13)＝Si(-0.5，0.5，-1.5，-0.5) Si(14)＝Si(0.5，1.5，-1.5，-0.5) Si(15)＝Si(1.5，2.5，-1.5，-0.5) Si(16)＝Si(-1.5，-0.5，-2.5，-1.5) Si(17)＝Si(-0.5，0.5，-2.5，-1.5) Si(18)＝Si(0.5，1.5，-2.5，-1.5) Si(19)＝Si(1.5，2.5，-2.5，-1.5) ...(75) 注意在表达式(75)中，左侧表示积分分量Si(l)，而右侧表示积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i是0～5，因此20个S0(l)，20个S1(l)，20个S2(l)，20个S3(l)，20个S4(l)以及20个S5(l)总共120个Si(l)被计算。
更具体地说，首先积分分量计算单元2424计算与从数据连续性检测单元101提供的角度θ相对应的cotθ，并取计算结果作为变量s。接下来，积分分量计算单元2424使用计算的变量s关于i＝0～5的每个计算表达式(74)右侧中显示的20个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的每个。也就是说，计算120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意对于积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的该计算，使用上面表达式(72)。随后，积分分量计算单元2424根据表达式(75)将计算的120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的每个转换成相应的积分分量Si(l)，并且产生包括转换后的120个积分分量Si(l)的积分分量表。
注意，步骤S2403中的处理和步骤S2404中的处理的顺序并不局限于图81中的实例，步骤S2404中的处理可以首先执行，或者步骤S2403中的处理和步骤S2404中的处理可以同时执行。
接下来，在步骤S2405中，正则方程生成单元2425基于在步骤S2403的处理中由输入像素值获取单元2423产生的输入像素值表，以及在步骤S2404的处理中由积分分量计算单元2424产生的积分分量表来产生正则方程表。
特别地，在该情况下，特征wi使用上面表达式(71)用最小二乘法计算(但是，在表达式(70)中，使用积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)使用表达式(74)转换成的Si(l))，所以与此对应的正则方程表示为下面的表达式(76)。

注意在表达式(76)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。
如果我们将表达式(76)中所示的正则方程的每个矩阵定义为下面的表达式(77)～(79)，正则方程表示为下面的表达式(80)。

SMATWMAT＝PMAT ...(80) 如表达式(78)中所示，矩阵WMAT的各个分量是待获得的特征wi。因此，在表达式(80)中，如果左侧的矩阵SMAT和右侧的矩阵PMAT被确定，矩阵WMAT可以使用矩阵解法计算。
特别地，如表达式(77)中所示，矩阵SMAT的各个分量可以使用上面的积分分量Si(l)计算。也就是说，积分分量Si(l)包括在从积分分量计算单元2424提供的积分分量表中，所以正则方程生成单元2425可以使用积分分量表计算矩阵SMAT的每个分量。
而且，如表达式(79)中所示，矩阵PMAT的各个分量可以使用积分分量Si(l)和输入像素值P(l)计算。也就是说，积分分量Si(l)与包括在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2423提供的输入像素值表中，所以正则方程生成单元2425可以使用积分分量表和输入像素值表计算矩阵PMAT的每个分量。
因此，正则方程生成单元2425计算矩阵SMAT和矩阵PMAT的每个分量，并且将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正则方程表输出到近似函数生成单元2426。
当正则方程表从正则方程生成单元2425输出时，在步骤S2406中，近似函数生成单元2426基于正则方程表计算用作上面表达式(80)中矩阵WMAT的各个分量的特征wi(也就是，用作二维多项式的近似函数f(x，y)的系数wi)。
特别地，上面表达式(80)中的正则方程可以转换为下面的表达式(81)。
在表达式(81)中，左侧矩阵WMAT的各个分量是待获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量包括在从正则方程生成单元2425提供的正则方程表中。因此，近似函数生成单元2426通过使用正则方程表计算表达式(81)右侧中的矩阵来计算矩阵WMAT，并将计算结果(特征wi)输出到图像生成单元103。
在步骤S2407中，近似函数生成单元2426确定是否所有像素的处理都已完成。
在步骤S2407中，如果确定所有像素的处理还没有完成，处理返回到步骤S2402，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2402～S2407中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S2407中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。
作为二维多项式近似方法的描述，计算与空间方向(X方向和Y方向)相对应的近似函数f(x，y)的系数(特征)wi的实例已经使用，但是二维多项式近似方法同样可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。
也就是说，上面的实例是现实世界1中的光信号具有用梯度GF(图77)表示的空间方向上连续性，因此，公式包括例如上面表达式(66)中所示空间方向(X方向和Y方向)上的二维积分的情况下的实例。但是，关于二维积分的概念不仅可以应用于空间方向，而且可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。
换句话说，对于二维多项式近似方法，即使在需要估计的光信号函数F(x，y，t)不仅具有空间方向上的连续性而且具有时间和空间方向(但是，X方向和t方向，或者Y方向和t方向)上的连续性的情况下，这可以用二维近似函数f近似。
特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图83中所示X-t平面中的梯度VF表示。换句话说，可以说梯度VF表示X-t平面中时间和空间方向上连续性的方向。因此，数据连续性检测单元101可以输出例如图83中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度VF相对应的梯度Vf表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间和空间方向上连续性的梯度VF相对应的数据连续性信息，以及上面的角度θ(与用X-Y平面中的梯度GF表示的空间方向上的连续性相对应的数据连续性信息)。
因此，使用二维多项式近似方法的现实世界估计单元102可以通过使用运动θ代替角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)wi。但是，在该情况下，待使用的公式不是上面的表达式(66)而是下面的表达式(82)。
注意在表达式(82)中，s是cotθ(但是，θ是运动)。
而且，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。
因此，二维多项式近似方法考虑不是一维而是二维积分效应，所以可以比一维近似方法更准确地估计现实世界1中的光信号。
接下来，将参考图84至图88描述第三函数近似方法。
也就是说，第三函数近似方法是通过用注意力集中在具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号用例如光信号函数F(x，y，t)表示的近似函数f(x，y，t)近似光信号函数F(x，y，t)，来估计光信号函数F(x，y，t)的方法。因此，以下，第三函数近似方法称作三维多项式近似方法。
同样，对于三维函数近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图84中所示。
对于图84中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。
而且，对于图84中的实例，传感器2的各个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。
此外，对于图84中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。
在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。
也就是说，从其中心位于空间方向上原点中的检测元件2-1输出的像素值P用下面的表达式(83)表示。
类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(83)中所示的像素值P。
顺便提及，如上所述，对于三维函数近似方法，光信号函数F(x，y，t)近似成三维近似函数f(x，y，t)。
特别地，例如，近似函数f(x，y，t)取作具有N个变量(特征)的函数，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式被定义。因此，如果多个N的M个输入像素值P(x，y，t)被获取，N个变量(特征)可以从定义的关系表达式中计算。也就是说，现实世界估计单元102可以通过获取M个输入像素值P(x，y，t)并且计算N个变量(特征)来估计光信号函数F(x，y，t)。
在该情况下，现实世界估计单元102通过使用包括在来自传感器2的输入图像(输入像素值)中的数据连续性作为约束(也就是，使用将从数据连续性检测单元101输出的关于输入图像的数据连续性信息)从整个输入图像中选取(获取)M个输入图像P(x，y，t)。结果，近似函数f(x，y，t)由数据的连续性所约束。
例如，如图85中所示，如果与输入图像相对应的光信号函数F(x，y，t)具有用梯度GF表示的空间方向上的连续性，数据连续性检测单元101导致输出角度θ(用与梯度GF相对应的梯度Gf(没有显示)表示的数据连续性方向，与X方向之间产生的角度θ)作为关于输入图像的数据连续性信息。
在这种情况下，让我们假定光信号函数F(x，y，t)投影在X方向上的一维波形(这种波形在这里称作X横截面波形)具有相同的形式，即使在Y方向上任意位置处投影的情况下。
也就是说，让我们假定存在具有相同形式的X横截面波形，其是在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。
换句话说，在Y方向上从关注像素中心以位置y移位的X横截面波形，变成经过关注像素中心的X横截面波形在X方向上以预先确定量(量根据角度θ而变化)运动(移位)的波形。注意以下，这种量称作移位量。
该移位量可以如下计算。
也就是说，梯度Vf(例如，表示与图85中梯度VF相对应的数据连续性方向的梯度Vf)和角度θ表示为下面的表达式(84)。
注意在表达式(84)中，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向上细微运动的量。
因此，如果关于X方向的移位量描述为Cx(y)，这表示为下面的表达式(85)。
如果移位量Cx(y)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为下面的表达式(86)。
在表达式(86)中，e表示误差限度。ts表示t方向上的积分开始位置，且te表示t方向上的积分结束位置。同样地，ys表示Y方向上的积分开始位置，且ye表示Y方向上的积分结束位置。而且，xs表示X方向上的积分开始位置，且xe表示X方向上的积分结束位置。但是，各自具体积分范围如下面表达式(87)中所示。
ts＝t-0.5 te＝t+0.5 ys＝y-0.5 ye＝y+0.5 xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5 ...(87) 如表达式(87)中所示，可以表示，具有相同形式的X横截面波形通过在X方向上以移位量Cx(y)关于位置距离关注像素空间方向上的(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。
因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示(表达式(87)为积分范围)，因此，光信号函数F(x，y，t)(例如，具有用例如图85中所示梯度VF表示的空间方向上连续性的光信号)可以通过使用表达式(86)和表达式(87)例如用最小二乘法计算近似函数f(x，y，t)的N个特征来估计。
注意，如果用光信号函数F(x，y，t)表示的光信号具有用例如图85中所示梯度VF表示的空间方向上的连续性，光信号函数F(x，y，t)可以如下近似。
也就是说，让我们假定光信号函数F(x，y，t)投影在Y方向上的一维波形(以下，这种波形称作Y横截面波形)具有相同的形式，即使在X方向上任意位置处投影的情况下。
换句话说，让我们假定存在具有相同形式的Y横截面波形在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。
因此，在X方向上从关注像素中心移位x的Y横截面波形，变成经过关注像素中心的Y横截面波形在Y方向上以预先确定移位量(移位量根据角度θ而变化)运动的波形。
该移位量可以如下计算。
也就是说，梯度GF表示为上面表达式(84)，所以如果关于Y方向的移位量描述为Cy(x)，这表示为下面的表达式(88)。
Cy(x)＝Gf×x...(88) 如果移位量Cy(x)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为上面的表达式(86)，与当移位量Cx(y)被定义时一样。
但是，在该情况下，各自具体积分范围如下面表达式(89)中所示。
ts＝t-0.5 te＝t+0.5 ys＝y-Cy(x)-0.5 ye＝y-Cy(x)+0.5 xs＝x-0.5 xe＝x+0.5 ...(89) 如表达式(89)(以及上面表达式(86))中所示，可以表示，具有相同形式的Y横截面波形通过在Y方向上以移位量Cy(x)关于位置距离关注像素(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。
因此，对于三维近似方法，表达式(86)右侧的积分范围不仅可以设置为表达式(87)而且可以设置为表达式(89)，因此，光信号函数F(x，y，t)(具有用梯度GF表示的空间方向上连续性的现实世界1中的光信号)可以通过使用表达式(89)用作积分范围的表达式(86)，用例如最小二乘法等计算近似函数f(x，y，t)的n个特征来估计。
因此，表示积分范围的表达式(87)和表达式(89)基本上表示得相同，差别仅在于周围像素响应连续性方向在X方向上移位(表达式(87)的情况下)还是在Y方向上移位(表达式(89)的情况下)。
但是，响应连续性方向(梯度GF)，存在关于光信号函数F(x，y，t)看作一组X横截面波形，还是看作一组Y横截面波形的差别。也就是说，如果连续性方向接近Y方向，光信号函数F(x，y，t)优选地看作一组X横截面波形。另一方面，如果连续性方向接近X方向，光信号函数F(x，y，t)优选地看作一组Y横截面波形。
因此，优选地，现实世界估计单元102准备表达式(87)和表达式(89)作为积分范围，并且响应连续性方向选择表达式(87)和表达式(89)中任何一个作为适当表达式(86)右侧的积分范围。
已经描述了在光信号函数F(x，y，t)具有空间方向(X方向和Y方向)上连续性(例如，图85中用梯度GF表示的空间方向上的连续性)的情况下的三维近似方法，但是三维近似方法可以应用于光信号函数F(x，y，t)具有时间和空间方向(X方向、Y方向和t方向)上连续性(用梯度VF表示的连续性)的情况，如图86中所示。
也就是说，在图86中，与帧#N-1相对应的光信号函数取作F(x，y，#N-1)，与帧#N相对应的光信号函数取作F(x，y，#N)，以及与帧#N+1相对应的光信号函数取作F(x，y，#N+1)。
注意在图86中，附图中水平方向取作用作空间方向的一个方向的X方向，右上对角方向取作用作空间方向的另一个方向的Y方向，并且垂直方向取作用作时间方向的t方向。
而且，帧#N-1是时间上在帧#N之前的帧，帧#N+1是时间上在帧#N之后的帧。也就是说，帧#N-1，帧#N，和帧#N+1以帧#N-1，帧#N和帧#N+1的顺序显示。
对于图86中的实例，沿着梯度VF所示的方向(从附图中接近左下侧的右上内部方向)的横截面光度看作通常恒定。因此，对于图86中的实例，可以说光信号函数F(x，y，t)具有用梯度VF表示的时间和空间方向上的连续性。
在该情况下，如果表示时间和空间方向上连续性的函数C(x，y，t)被定义，并且上面表达式(86)的积分范围用定义的函数C(x，y，t)定义，近似函数f(x，y，t)的N个特征可以计算，与上面表达式(87)和表达式(89)一样。
函数C(x，y，t)并不局限于特定函数，只要它是表示连续性方向的函数。但是，以下，让我们假定使用线性连续性，并且与作为表示上述空间方向上连续性的函数的移位量Cx(y)(表达式(85))和移位量Cy(x)(表达式(87))相对应的Cx(t)和Cy(t)，如下定义为与此对应的函数C(x，y，t)。
也就是说，如果作为与表示上面空间方向上数据连续性的梯度Gf相对应的时间和空间方向上数据连续性的梯度取作Vf，并且如果该梯度Vf划分成X方向上的梯度(以下，称作Vfx)和Y方向上的梯度(以下，称作Vfy)，则分别地，梯度Vfx用下面表达式(90)表示，而梯度Vfy用下面表达式(91)表示。
在该情况下，函数Cx(t)使用表达式(90)中所示的梯度Vfx表示为下面的表达式(92)。
Cx(t)＝Vfx×t ...(92) 类似地，函数Cy(t)使用表达式(91)中所示的梯度Vfy表示为下面的表达式(93)。
Cy(t)＝Vfy×t ...(93) 这样，当表示时间和空间方向上连续性2511的函数Cx(t)和函数Cy(t)被定义时，表达式(86)的积分范围表示为下面的表达式(94)。
ts＝t-0.5 te＝t+0.5 ys＝y-Cy(t)-0.5 ye＝y-Cy(t)+0.5 xs＝x-Cx(t)-0.5 xe＝x-Cx(t)+0.5 ...(94) 因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示，因此，光信号函数F(x，y，t)(具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号)可以通过使用表达式(94)作为表达式(86)右侧的积分范围，用例如最小二乘法等计算近似函数f(x，y，t)的n+1个特征来估计。
图87表示使用这种三维近似方法的现实世界估计单元102的构造实例。
注意，由使用三维近似方法的现实世界估计单元102计算的近似函数f(x，y，t)(实际上，其特征(系数))并不局限于特定函数，但是n(n＝N-1)维多项式在下面的描述中使用。
如图87中所示，现实世界估计单元102包括条件设置单元2521，输入图像存储单元2522，输入像素值获取单元2523，积分分量计算单元2524，正则方程生成单元2525，以及近似函数生成单元2526。
条件设置单元2521设置用于估计对应于关注像素的光信号函数F(x，y，t)的像素范围(分接范围)，以及近似函数f(x，y，t)的维度数目n。
输入图像存储单元2522临时地存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2523从输入图像存储单元2522中存储的输入图像中，获取与由条件设置单元2521设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2525。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。
顺便提及，如上所述，使用三维近似方法的现实世界估计单元102使用上面表达式(86)(但是，表达式(87)、表达式(90)或表达式(94)作为积分范围)用最小二乘法计算近似函数f(x，y，t)的N个特征(在该情况下，每个维度的系数)。
表达式(86)的右侧可以通过计算其积分表示为下面的表达式(95)。
在表达式(95)中，wi表示i维项的系数(特征)，并且Si(xs，xe，ys，ye，ts，te)表示i维项的积分分量。但是，分别地，xs表示X方向上的积分范围开始位置，xe表示X方向上的积分范围结束位置，ys表示Y方向上的积分范围开始位置，ye表示Y方向上的积分范围结束位置，ts表示t方向上的积分范围开始位置，te表示t方向上的积分范围结束位置。
积分分量计算单元2524计算积分分量Si(xs，xe，ys，ye，ts，te)。
也就是说，积分分量计算单元2524基于由条件设置单元2521设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度或运动(作为积分范围，在使用上面表达式(87)或表达式(90)的情况下角度，在使用上面表达式(94)的情况下运动)来计算积分分量Si(xs，xe，ys，ye，ts，te)，并且将计算结果作为积分分量表提供给正则方程生成单元2525。
正则方程生成单元2525产生正则方程，在使用从输入像素值获取单元2523提供的输入像素值表，以及从积分分量计算单元2524提供的积分分量表，用最小二乘法获得上面表达式(95)的情况下，并且将其作为正则方程表输出到近似函数生成单元2526。正则方程的实例将随后描述。
近似函数生成单元2526通过使用矩阵解法求解包括在从正则方程生成单元2525提供的正则方程表中的正则方程，来计算各个特征wi(在该情况下，用作三维多项式的近似函数f(x，y，t)的系数wi)，并且将这些输出到图像生成单元103。
接下来，将参考图88中的流程图描述应用三维近似方法的现实世界估计处理(图29的步骤S102中的处理)。
首先，在步骤S2501中，条件设置单元2521设置条件(分接范围和维度数目)。
例如，让我们假定由L个像素构成的分接范围已经设置。并且，让我们假定预先确定的编号l(l是整数值0～L-1的任意一个)附加到每个像素。
接下来，在步骤S2502中，条件设置单元2521设置关注像素。
在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。在该情况下，由L个输入像素值P(x，y，t)构成的表产生。这里，让我们假定L个输入像素值P(x，y，t)的每个描述为用作其像素编号l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。
在步骤S2504中，积分分量计算单元2524基于由条件设置单元2521设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度或运动)计算积分分量，并且产生积分分量表。
但是，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2524导致将上面表达式(95)中的积分分量Si(xs，xe，ys，ye，ts，te)计算为l的函数，例如积分分量Si(l)。也就是说，积分分量表变成包括L×i个Si(l)的表。
注意步骤S2503中的处理和步骤S2504中的处理的顺序并不局限于图88中的实例，所以步骤S2504中的处理可以首先执行，或者步骤S2503中的处理和步骤S2504中的处理可以同时执行。
接下来，在步骤S2505中，正则方程生成单元2525基于在步骤S2503的处理中由输入像素值获取单元2523产生的输入像素值表，以及在步骤S2504的处理中由积分分量计算单元2524产生的积分分量表来产生正则方程表。
特别地，在该情况下，与上面表达式(95)相对应的下面表达式(96)的特征wi使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(97)。

如果我们将表达式(97)中所示的正则方程的每个矩阵定义为下面的表达式(98)～(100)，正则方程表示为下面的表达式(101)。

SMATWMAT＝PMAT ...(101) 如表达式(99)中所示，矩阵WMAT的各个分量是待获得的特征wi。因此，在表达式(101)中，如果左侧的矩阵SMAT和右侧的矩阵PMAT被确定，矩阵WMAT(也就是特征wi)可以使用矩阵解法计算。
特别地，如表达式(98)中所示，矩阵SMAT的各个分量可以计算，只要上面的积分分量Si(l)已知。积分分量Si(l)包括在从积分分量计算单元2524提供的积分分量表中，所以正则方程生成单元2525可以使用积分分量表计算矩阵SMAT的每个分量。
而且，如表达式(100)中所示，矩阵PMAT的各个分量可以计算，只要积分分量Si(l)和输入像素值P(l)已知。积分分量Si(l)与包括在矩阵SMAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2523提供的输入像素值表中，所以正则方程生成单元2525可以使用积分分量表和输入像素值表计算矩阵PMAT的每个分量。
因此，正则方程生成单元2525计算矩阵SMAT和矩阵PMAT的每个分量，并且将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正则方程表输出到近似函数生成单元2526。
当正则方程表从正则方程生成单元2525输出时，在步骤S2506中，近似函数生成单元2526基于正则方程表计算用作上面表达式(101)中矩阵WMAT的各个分量的特征wi(也就是，近似函数f(x，y，t)的系数wi)。
特别地，上面表达式(101)中的正则方程可以转换为下面的表达式(102)。
在表达式(102)中，左侧矩阵WMAT的各个分量是待获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量包括在从正则方程生成单元2525提供的正则方程表中。因此，近似函数生成单元2526通过使用正则方程表计算表达式(102)右侧中的矩阵来计算矩阵WMAT，并且将计算结果(特征wi)输出到图像生成单元103。
在步骤S2507中，近似函数生成单元2526确定是否所有像素的处理都已完成。
在步骤S2507中，如果确定所有像素的处理还没有完成，处理返回到步骤S2502，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2502～S2507中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S2507中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。
如上所述，三维近似方法考虑时间和空间方向上的三维积分效应，而不是一维或二维积分效应，因此，可以比一维近似方法和二维多项式近似方法更准确地估计现实世界1中的光信号。
接下来，将参考图89至图110描述图像生成单元103(图3)的实施方案。
图89是描述本实施方案原理的图。
如图89中所示，本实施方案基于现实世界估计单元102使用函数近似方法的条件。也就是说，让我们假定用作投射到传感器2中图像的现实世界1中的信号(光强分布)用预先确定的函数F表示，假设现实世界估计单元102通过用使用从传感器2输出的输入图像(像素值P)以及从数据连续性检测单元101输出的数据连续性信息的预先确定函数f近似函数F来估计函数F。
注意以下，对于本实施方案的描述，用作图像的现实世界1中的信号特别地称作光信号，并且函数F特别地称作光信号函数F。而且，函数f特别地称作近似函数f。
对于本实施方案，图像生成单元103关于使用从数据连续性检测单元101输出的数据连续性信息，以及基于这种假设从现实世界估计单元102输出的现实世界估计信息(在图89中的实例中，近似函数f的特征或者其特征被识别的近似函数f)的预先确定时间-空间范围积分近似函数f，并且输出积分值作为输出像素值M(输出图像)。注意对于本实施方案，输入像素值描述为P，而输出像素值描述为M以便区分输入图像像素和输出图像像素。
换句话说，当光信号函数F一旦被积分时，光信号函数F变成输入像素值P，光信号函数F从输入像素值P中估计(用近似函数f近似)，估计的光信号函数F(也就是，近似函数f)再次积分，并且产生输出像素值M。因此，以下，由图像生成单元103执行的近似函数f的积分称作再积分。而且，本实施方案称作再积分方法。
注意如随后描述的，对于再积分方法，产生输出像素值M的情况下近似函数f的积分范围并不局限于产生输入像素值P的情况下光信号函数F的积分范围(也就是，对于空间方向为传感器2的检测元件的垂直宽度和水平宽度，对于时间方向为传感器2的曝光时间)，任意积分范围可以使用。
例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的空间方向上积分范围使得根据其积分范围的输出图像的像素间距改变。也就是说，空间分辨率的创建可用。
同样地，例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的时间方向上积分范围引起时间分辨率的创建。
以下，将参考附图分别描述这种再积分方法的三种具体方法。
也就是说，三种具体方法是分别与函数近似方法的三种具体方法(现实世界估计单元102的实施方案的上面三种具体实例)相对应的再积分方法。
特别地，第一方法是与上面一维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第一方法，执行一维再积分，所以以下，这种再积分方法称作一维再积分方法。
第二方法是与上面二维多项式近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第二方法，执行二维再积分，所以以下，这种再积分方法称作二维再积分方法。
第三方法是与上面三维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第三方法，执行三维再积分，所以以下，这种再积分方法称作三维再积分方法。
以下，将以该顺序描述一维再积分方法、二维再积分方法和三维再积分方法的每个细节。
首先，将描述一维再积分方法。
对于一维再积分方法，假设近似函数f(x)使用一维近似方法产生。
也就是说，假设其变量为三维空间上的位置x，y和z，以及时间点t的光信号函数F(x，y，t)投影在用作空间方向的X方向、Y方向和Z方向以及用作时间方向的t方向的预先确定方向(例如X方向)上的一维波形(对于再积分方法的描述，在这种波形的X方向上投影的波形称作X横截面波形F(x))，使用用作n维(n是任意整数)多项式的近似函数f(x)近似。
在该情况下，对于一维再积分方法，输出像素值M例如下面的表达式(103)计算。
注意在表达式(103)中，xs表示积分开始位置，xe表示积分结束位置。而且，Ge表示预先确定的增益。
特别地，例如，让我们假定现实世界估计单元102已经使用例如图90中所示的像素3101(与传感器2的预先确定检测元件相对应的像素3101)作为关注像素来产生例如图90中所示的近似函数f(x)(X横截面波形F(x)的近似函数f(x))。
注意对于图90中的实例，像素3101的像素值(输入像素值)取作P，并且像素3101的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3101的一边平行的方向(附图中水平方向)取作X方向，而与X方向正交的方向(附图中垂直方向)取作Y方向。
而且，在图90的下部，像素3101的中心取作其原点的空间方向(X方向和Y方向)上的坐标系(以下，称作关注像素坐标系)，以及坐标系中的像素3101被显示。
此外，在图90的向上方向，表示y＝0处的近似函数f(x)的曲线图(y是在附图中下部所示的关注像素坐标系中Y方向上的坐标值)被显示。在该曲线图中，与附图中水平方向平行的轴是与附图中下部所示的关注像素坐标系的X方向上的x轴相同的轴(原点也相同)，而且与附图中垂直方向平行的轴取作表示像素值的轴。
在该情况下，下面表达式(104)的关系在近似函数f(x)与像素3101的像素值P之间成立。
而且，如图90中所示，让我们假定像素3101具有用梯度Gf表示的空间方向上的数据连续性。此外，让我们假定数据连续性检测单元101(图89)已经输出例如图90中所示的角度θ作为与用梯度Gf表示的数据连续性相对应的数据连续性信息。
在该情况下，例如，对于一维再积分方法，如图91中所示，四个像素3111～3114可以在X方向上-0.5～0.5的范围内，以及在Y方向上-0.5～0.5的范围内(图90中像素3101位于其中的范围内)重新创建。
注意在图91的下部，与图90中相同的关注像素坐标系，以及其关注像素坐标系中的像素3111～3114被显示。同样，在图91的上部，与图90中相同的曲线图(表示y＝0处近似函数f(x)的曲线图)被显示。
特别地，如图91中所示，对于一维再积分方法，使用下面表达式(105)的像素3111的像素值M(1)的计算，使用下面表达式(106)的像素3112的像素值M(2)的计算，使用下面表达式(107)的像素3113的像素值M(3)的计算，以及使用下面表达式(108)的像素3114的像素值M(4)的计算分别可用。
注意表达式(105)中的xs1，表达式(106)中的xs2，表达式(107)中的xs3，和表达式(108)中的xs4每个代表相应表达式的积分开始位置。而且，表达式(105)中的xe1，表达式(106)中的xe2，表达式(107)中的xe3，和表达式(108)中的xe4每个代表相应表达式的积分结束位置。
表达式(105)至表达式(108)每个右侧的积分范围变成像素3111至像素3114的每个的像素宽度(X方向上的长度)。也就是说，xe1-xs1，xe2-xs2，xe3-xs3，以及xe4-xs4的每个变成0.5。
但是，在该情况下，可以设想与y＝0处的近似函数f(x)具有相同形式的一维波形不是在Y方向上而是在用梯度Gf表示的数据连续性方向(也就是角度θ方向)上连续(实际上，与y＝0处的X横截面波形F(x)具有相同形式的波形在连续性方向上连续)。也就是说，在图91中关注像素坐标系中原点(0，0)(图90中像素3101的中心)中像素值f(0)取作像素值f1的情况下，像素值f1连续的方向不是Y方向而是用梯度Gf表示的数据连续性的方向(角度θ方向)。
换句话说，在考虑Y方向上预先确定位置y(但是，y是除零以外的数值)中近似函数f(x)的波形的情况，与像素值f1相对应的位置不是位置(0，y)，而是通过在X方向上以预先确定的量从位置(0，y)运动而获得的位置(Cx(y)，y)(这里，让我们假定这种量也称作移位量。而且，移位量是取决于Y方向上位置y的量，所以让我们假定该移位量描述为Cx(y))。
因此，作为上面表达式(105)至表达式(108)每个右侧的积分范围，积分范围需要考虑待获得的像素值M(l)的中心存在于那里(但是，l是1～4的任意整数值)的Y方向上的位置y，也就是移位量Cx(y)而设置。
特别地，例如，像素3111和像素3112的中心存在于那里的Y方向上的位置y不是y＝0而是y＝0.25。
因此，y＝0.25处近似函数f(x)的波形相当于通过在X方向上以移位量Cx(0.25)运动y＝0处近似函数f(x)的波形而获得的波形。
换句话说，在上面表达式(105)中，如果我们假定关于像素3111的像素值M(1)通过用预先确定的积分范围(从开始位置xs1到结束位置xe1)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置xs1＝-0.5到结束位置xe1＝0的范围(像素3111在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置xs1＝-0.5+Cx(0.25)到结束位置xe1＝0+Cx(0.25)(如果像素3111尝试以移位量Cx(0.25)运动则像素3111在X方向上占据的范围)。
类似地，在上面表达式(106)中，如果我们假定关于像素3112的像素值M(2)通过用预先确定的积分范围(从开始位置xs2到结束位置xe2)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置xs2＝0到结束位置xe2＝0.5的范围(像素3112在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置xs2＝0+Cx(0.25)到结束位置xe2＝0.5+Cx(0.25)(如果像素3112尝试以移位量Cx(0.25)运动则像素3112在X方向上占据的范围)。
而且，例如，像素3113和像素3114的中心存在于那里的Y方向上的位置y不是y＝0而是y＝-0.25。
因此，y＝-0.25处近似函数f(x)的波形相当于通过在X方向上以移位量Cx(-0.25)运动y＝0处的近似函数f(x)的波形而获得的波形。
换句话说，在上面表达式(107)中，如果我们假定关于像素3113的像素值M(3)通过用预先确定的积分范围(从开始位置xs3到结束位置xe3)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置xs3＝-0.5到结束位置xe3＝0的范围(像素3113在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置xs3＝-0.5+Cx(-0.25)到结束位置xe3＝0+Cx(-0.25)(如果像素3113尝试以移位量Cx(-0.25)运动则像素3113在X方向上占据的范围)。
类似地，在上面表达式(108)中，如果我们假定关于像素3114的像素值M(4)通过用预先确定的积分范围(从开始位置xs4到结束位置xe4)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置xs4＝0到结束位置xe4＝0.5的范围(像素3114在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置xs4＝0+Cx(-0.25)到结束位置xe4＝0.5+Cx(-0.25)(如果像素3114尝试以移位量Cx(-0.25)运动则像素3114在X方向上占据的范围)。
因此，图像生成单元103(图89)通过将上面积分范围的相应积分范围代入这些表达式的每个而计算上面表达式(105)至表达式(108)，并且输出这些的计算结果作为输出像素值M(1)～M(4)。
这样，图像生成单元103可以通过使用一维再积分方法创建比输出像素3101具有更高空间分辨率的四个像素，也就是像素3111至像素3114(图91)，作为来自传感器2(图89)的输出像素3101(图90)处的像素。此外，虽然附图中没有显示，如上所述，除像素3111至像素3114之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输出像素3101的任意增强空间分辨率的像素而不退化。
图92表示使用这种一维再积分方法的图像生成单元103的构造实例。
如图92中所示，该实例中所示的图像生成单元103包括条件设置单元3121，特征存储单元3122，积分分量计算单元3123，以及输出像素值计算单元3124。
条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(图92中实例中近似函数f(x)的特征)来设置近似函数f(x)的维度数目n。
条件设置单元3121也设置再积分近似函数f(x)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3121设置的积分范围不需要是像素的宽度。例如，近似函数f(x)在空间方向(X方向)上积分，因此，具体积分范围可以确定，只要输出像素(待由图像生成单元103计算的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3121可以设置例如空间分辨能力为积分范围。
特征存储单元3122临时存储从现实世界估计单元102顺序提供的近似函数f(x)的特征。随后，当特征存储单元3122存储近似函数f(x)的全部特征时，特征存储单元3122产生包括近似函数f(x)的全部特征的特征表，并且将其提供给输出像素值计算单元3124。
顺便提及，如上所述，图像生成单元103使用上面表达式(103)计算输出像素值M，但是包括在上面表达式(103)右侧中的近似函数f(x)具体地表示为下面的表达式(109)。
注意在表达式(109)中，wi表示从现实世界估计单元102提供的近似函数f(x)的特征。
因此，当表达式(109)的近似函数f(x)代入上面表达式(103)右侧的近似函数f(x)以便展开(计算)表达式(103)的右侧时，输出像素值M表示为下面的表达式(110)。
在表达式(110)中，k(xs，xe)表示i维项的积分分量。也就是说，积分分量ki(xs，xe)例如下面表达式(111)中所示。
积分分量计算单元3123计算积分分量ki(xs，xe)。
特别地，如表达式(111)中所示，积分分量ki(xs，xe)可以计算，只要积分范围的开始位置xs和结束位置xe，增益Ge，以及i维项的i已知。
这些中，增益Ge用由条件设置单元3121设置的空间分辨能力(积分范围)确定。
i的范围用由条件设置单元3121设置的维度数目n确定。
而且，积分范围的开始位置xs和结束位置xe的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度，以及表示数据连续性方向的移位量Cx(y)确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。
此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3121设置的空间分辨能力(积分范围)确定。
而且，对于移位量Cx(y)，以及从数据连续性检测单元101提供的角度θ，例如下面表达式(112)和表达式(113)的关系成立，因此移位量Cx(y)用角度θ表示。
注意在表达式(112)中，Gf表示代表数据连续性方向的梯度，θ表示从数据连续性检测单元101(图89)输出的数据连续性信息之一的角度(用作空间方向一个方向的X方向与用梯度Gf表示的数据连续性方向之间产生的角度)。而且，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向(垂直于X方向的空间方向)上细微运动的量。
因此，积分分量计算单元3123基于由条件设置单元3121设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量ki(xs，xe)，并将计算结果作为积分分量表提供给输出像素值计算单元3124。
输出像素值计算单元3124使用从特征存储单元3122提供的特征表以及从积分分量计算单元3123提供的积分分量表来计算上面表达式(110)的右侧，并且输出计算结果作为输出像素值M。
接下来，将参考图93中的流程图描述使用一维再积分方法的图像生成单元103(图92)的图像生成处理(图29的步骤S103中的处理)。
例如，现在，让我们假定现实世界估计单元102已经在上述图29中步骤S102的处理中产生例如图90中所示的近似函数f(x)，当取例如上述图90中所示像素3101作为关注像素时。
而且，让我们假定数据连续性检测单元101已经在上述图29中步骤S101的处理中输出例如图90中所示的角度θ作为数据连续性信息。
在该情况下，条件设置单元3121在图93的步骤S3101中设置条件(维度数目和积分范围)。
例如，现在，让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。
也就是说，在该情况下，因此，已经设置，四个像素3111至像素3114在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图90中像素3101的范围内)重新创建，例如图91中所示。
在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的近似函数f(x)的特征，并产生特征表。在该情况下，用作五维多项式的近似函数f(x)的系数w0～w5从现实世界估计单元102提供，因此，(w0，w1，w2，w3，w4，w5)作为特征表产生。
在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
特别地，例如，如果我们假定从现在起产生的各个像素3111～3114附加编号1～4(以下，这种编号称作模数)，积分分量计算单元3123将上面表达式(111)的积分分量ki(xs，xe)计算为l的函数(但是，l表示模数)，例如下面表达式(114)左侧中所示的积分分量ki(l)。
k(l)＝ki(xs，xe) ...(114) 特别地，在该情况下，下面表达式(115)中所示的积分分量ki(l)被计算。
ki(1)＝ki(-0.5-Cx(-0.25)，0-Cx(-0.25)) ki(2)＝ki(0-Cx(-0.25)，0.5-Cx(-0.25)) ki(3)＝ki(-0.5-Cx(0.25)，0-Cx(0.25)) ki(4)＝ki(0-Cx(0.25)，0.5-Cx(0.25)) ...(115) 注意在表达式(115)中，左侧表示积分分量ki(l)，而右侧表示积分分量ki(xs，xe)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个ki(1)、6个ki(2)、6个ki(3)和6个ki(4)总共24个ki(l)被计算。
更具体地说，首先，积分分量计算单元3123使用从数据连续性检测单元101提供的角度θ从上面表达式(112)和表达式(113)中计算移位量Cx(-0.25)和Cx(0.25)的每个。
接下来，积分分量计算单元3123使用计算的移位量Cx(-0.25)和Cx(0.25)关于i＝0～5计算表达式(115)中四个表达式的每个右侧的积分分量ki(xs，xe)。注意对于积分分量ki(xs，xe)的该计算，使用上面表达式(111)。
随后，积分分量计算单元3123根据表达式(115)将计算的24个积分分量ki(xs，xe)的每个转换成相应的积分分量ki(l)，并且产生包括转换后的24个积分分量ki(l)(也就是，6个ki(1)、6个ki(2)、6个ki(3)，以及6个ki(4))的积分分量表。
注意，步骤S3102中的处理和步骤S3103中的处理的顺序并不局限于图93中的实例，步骤S3103中的处理可以首先执行，或者步骤S3102中的处理和步骤S3103中的处理可以同时执行。
接下来，在步骤S3104中，输出像素值计算单元3124基于在步骤S3102的处理中由特征存储单元3122产生的特征表，以及在步骤S3103的处理中由积分分量计算单元3123产生的积分分量表，分别计算输出像素值M(1)～M(4)。
特别地，在该情况下，输出像素值计算单元3124通过计算与上面表达式(110)相对应的下面表达式(116)至表达式(119)的右侧来计算像素3111(模数1的像素)的像素值M(1)，像素3112(模数2的像素)的像素值M(2)，像素3113(模数3的像素)的像素值M(3)，以及像素3114(模数4的像素)的像素值M(4)的每个。
在步骤S3105中，输出像素值计算单元3124确定是否所有像素的处理都已完成。
在步骤S3105中，如果确定所有像素的处理还没有完成，处理返回到步骤S3102，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3102～S3104中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S3105中，如果确定所有像素的处理都已完成)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像生成处理结束。
接下来，将参考图94至图101描述关于预先确定的输入图像，通过使用一维再积分方法而获得的输出图像与使用另一种方法(常规分类适应处理)而获得的输出图像之间的差异。
图94是说明输入图像的原始图像的图，并且图95说明与图94中原始图像相对应的图像数据。在图95中，附图中垂直方向上的轴表示像素值，并且附图中右下方向上的轴表示用作图像空间方向的一个方向的X方向，以及附图中右上方向上的轴表示用作图像空间方向的另一个方向的Y方向。注意，随后描述的图97，图99和图101中的各个轴对应于图95中的轴。
图96是说明输入图像实例的图。图96中说明的输入图像是通过取属于图94中所示2×2像素构成的块的像素的像素值的平均作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分图94中所示图像而获得的图像，其模仿传感器的积分性质。而且，图97说明与图96中输入图像相对应的图像数据。
图94中说明的原始图像包括从垂直方向顺时针倾斜大约5°的细线图像。类似地，图96中说明的输入图像包括从垂直方向顺时针倾斜大约5°的细线图像。
图98是说明通过使图96中说明的输入图像经历常规类型分类适应处理而获得的图像(以下，图98中说明的图像称作常规图像)的图。而且，图99说明与常规图像相对应的图像数据。
注意，类型分类适应处理由分类处理和适应处理构成，数据由类型分类处理基于其性质分类，并且对每一类经历适应处理，如上所述。对于适应处理，例如，低质量或标准质量图像经历使用预先确定分接系数的映射以便转换成高质量图像。
图100是说明通过对图96中说明的输入图像应用一维再积分方法而获得的再积分图像(以下，图100中说明的图像称作图像)。而且，图101说明与再积分图像相对应的图像数据。
可以理解，当图98中的常规图像与图100中的再积分图像相比较时，常规图像中的细线图像不同于图94中原始图像中，但是另一方面，再积分图像中的细线图像几乎与图94中原始图像中相同。
该差异由如下差异引起，即常规类型分类适应处理是在图96中输入图像的基础(始点)上执行处理的方法，而另一方面，一维再积分方法是考虑到细线的连续性估计图94中的原始图像(产生与原始图像相对应的近似函数f(x))，并且在估计的原始图像的基础(始点)上执行处理(执行再积分以便计算像素值)的方法。
因此，使用一维再积分方法，输出图像(像素值)通过在用作用一维近似方法产生的一维多项式的近似函数f(x)(现实世界中X横截面波形F(x)的近似函数f(x))的基础(始点)上在任意范围中积分近似函数f(x)而产生。
因此，使用一维再积分方法，输出与常规其他方法相比较更近似于原始图像(将投射到传感器2中的现实世界1中的光信号)的图像成为可能。
而且，对于一维再积分方法，如上所述，积分范围是任意的，因此，通过改变积分范围而创建不同于输入图像分辨率的分辨率(时间分辨率或空间分辨率)成为可能。也就是说，产生具有相对于输入图像分辨率的任意增强分辨率以及整数值的图像成为可能。
此外，一维再积分方法能够使用比其他再积分方法更少的积分处理量来计算输出图像(像素值)。
接下来，将参考图102至图108描述二维再积分方法。
二维再积分方法基于近似函数f(x，y)已经使用二维多项式近似方法产生的条件。
也就是说，例如，假设表示具有用梯度GF表示的空间方向上连续性的现实世界1(图89)中光信号的图像函数F(x，y，t)已经用投影在空间方向(X方向和Y方向)上的波形近似，也就是X-Y平面上的波形F(x，y)已经使用用作n维(n是任意整数)多项式的近似函数f(x，y)近似，例如图102中所示。
在图102中，在附图中分别地，水平方向表示用作空间方向中一个方向的X方向，右上方向表示用作空间方向中另一个方向的Y方向，以及垂直方向表示光度。GF表示作为空间方向上连续性的梯度。
注意对于图102中的实例，连续性方向取作空间方向(X方向和Y方向)，所以待近似的光信号的投影函数取作函数F(x，y)，但是如随后描述的，函数F(x，t)或函数F(y，t)可以根据连续性方向而作为近似目标。
在图102中的实例的情况下，对于二维再积分方法，输出像素值M如下面的表达式(120)计算。
注意在表达式(120)中，ys表示Y方向上的积分开始位置，且ye表示Y方向上的积分结束位置。类似地，xs表示X方向上的积分开始位置，且xe表示X方向上的积分结束位置。而且，Ge表示预先确定的增益。
在表达式(120)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器(图89)的输入图像的像素)的任意增强空间分辨率的像素而不退化成为可能。
图103表示使用二维再积分方法的图像生成单元103的构造实例。
如图103中所示，该实例中的图像生成单元103包括条件设置单元3201，特征存储单元3202，积分分量计算单元3203，以及输出像素值计算单元3204。
条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(对于图103中的实例，近似函数f(x，y)的特征)来设置近似函数f(x，y)的维度数目n。
条件设置单元3201也设置再积分近似函数f(x，y)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3201设置的积分范围不需要是像素的垂直宽度或水平宽度。例如，近似函数f(x，y)在空间方向(X方向和Y方向)上积分，因此，具体积分范围可以确定，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3201可以设置例如空间分辨能力为积分范围。
特征存储单元3202临时存储从现实世界估计单元102顺序提供的近似函数f(x，y)的特征。随后，当特征存储单元3202存储近似函数f(x，y)的全部特征时，特征存储单元3202产生包括近似函数f(x，y)的全部特征的特征表，并且将其提供给输出像素值计算单元3204。
现在，将描述近似函数f(x，y)的细节。
例如，现在，让我们假定具有用上述图102中所示梯度GF表示的空间方向上连续性的现实世界1(图89)中光信号(用波F(x，y)表示的光信号)已经由传感器2(图89)检测，并且已经作为输入图像(像素值)而输出。
此外，例如，让我们假定数据连续性检测单元101(图3)已经使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(附图中用虚线表示的20个正方形)构成的输入图像的区域3221经历其处理，并且已经输出角度θ(用与梯度GF相对应的梯度Gf表示的数据连续性方向与X方向之间产生的角度θ)作为数据连续性信息之一，如图104中所示。
注意，如从现实世界估计单元102看出，数据连续性检测单元101应当仅输出关注像素处的角度θ，因此，数据连续性检测单元101的处理区域并不局限于输入图像中上面的区域3221。
而且，对于输入图像中的区域3221，附图中水平方向表示用作空间方向的一个方向的X方向，而附图中垂直方向表示用作空间方向的另一个方向的Y方向。
而且，在图104中，作为从左起第二像素以及从底部起第三像素的像素取作关注像素，并且(x，y)坐标系被设置以便取关注像素的中心作为原点(0，0)。X方向上关于经过原点(0，0)具有角度θ的直线(表示数据连续性方向的梯度Gf的直线)的相对距离(以下，称作横截面方向距离)取作x′。
此外，在图104中，右侧的曲线图表示用作n维(n是任意整数)多项式的近似函数f(x′)，其是近似其变量为三维空间上的位置x，y和z，以及时间点t的图像函数F(x，y，t)在Y方向上任意位置y处投影在X方向上的一维波形(以下，称作X横截面波形F(x′))的函数。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。
在该情况下，图104中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(121)。
而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x1表示为下面的表达式(122)。但是，在表达式(122)中，s代表cotθ。
x1＝s×y ...(122) 也就是说，如图104中所示，与用梯度Gf表示的数据连续性相对应的直线上的点用坐标值(xl，y)表示。
横截面方向距离x′使用表达式(122)表示为下面的表达式(123)。
x′＝x-xl＝x-s×y...(123) 因此，输入图像区域3221中任意位置(x，y)处的近似函数f(x，y)使用表达式(121)和表达式(123)表示为下面的表达式(124)。
注意在表达式(124)中，wi表示近似函数f(x，y)的系数。
现在，描述将返回到图103，其中包括在表达式(124)中的特征wi从现实世界估计单元102提供，并且存储在特征存储单元3202中。当特征存储单元3202存储用表达式(124)表示的所有特征wi时，特征存储单元3202产生包括所有特征wi的特征表，并且将其提供给输出像素值计算单元3204。
而且，当上面表达式(120)的右侧通过将表达式(124)的近似函数f(x，y)代入表达式(120)右侧中的近似函数f(x，y)而展开(计算)时，输出像素值M表示为下面的表达式(125)。
在表达式(125)中，ki(xs，xe，ys，ye)表示i维项的积分分量。也就是说，积分分量ki(xs，xe，ys，ye)例如下面表达式(126)中所示。
积分分量计算单元3203计算积分分量ki(xs，xe，ys，ye)。
特别地，如表达式(125)和表达式(126)中所示，积分分量ki(xs，xe，ys，ye)可以计算，只要积分范围的X方向上开始位置xs和X方向上结束位置xe，积分范围的Y方向上开始位置ys和Y方向上结束位置ye，增益Ge，以及i维项的i已知。
这些中，增益Ge用由条件设置单元3201设置的空间分辨能力(积分范围)确定。
i的范围用由条件设置单元3201设置的维度数目n确定。
变量s如上所述是cotθ，所以用从数据连续性检测单元101输出的角度θ确定。
而且，积分范围的X方向上开始位置xs和X方向上结束位置xe，以及积分范围的Y方向上开始位置ys和Y方向上结束位置ye的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。
此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3201设置的空间分辨能力(积分范围)确定。
因此，积分分量计算单元3203基于由条件设置单元3201设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量ki(xs，xe，ys，ye)，并将计算结果作为积分分量表提供给输出像素值计算单元3204。
输出像素值计算单元3204使用从特征存储单元3202提供的特征表以及从积分分量计算单元3203提供的积分分量表来计算上面表达式(125)的右侧，并且将计算结果作为输出像素值M输出到外部。
接下来，将参考图105中的流程图描述使用二维再积分方法的图像生成单元103(图104)的图像生成处理(图29的步骤S103中的处理)。
例如，让我们假定用图102中所示函数F(x，y)表示的光信号已经投射到传感器2中以变成输入图像，并且现实世界估计单元102已经在上述图29中步骤S102的处理中以例如图106中所示一个像素3231作为关注像素产生用于近似函数F(x，y)的近似函数f(x，y)。
注意在图106中，像素3231的像素值(输入像素值)取作P，并且像素3231的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3231的一边平行的方向取作X方向，而与X方向正交的方向取作Y方向。而且，其原点为像素3231中心的空间方向(X方向和Y方向)上坐标系(以下，称作关注像素坐标系)被设置。
而且，让我们假定在图106中，取像素3231作为关注像素的数据连续性检测单元101已经在上述图29中步骤S101的处理中输出角度θ作为与用梯度Gf表示的数据连续性相对应的数据连续性信息。
描述将返回到图105，在该情况下，条件设置单元3201在步骤S3201处设置条件(维度数目和积分范围)。
例如，现在，让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。
也就是说，在该情况下，已经设置，四个像素3241至像素3244在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图106中像素3231的范围内)重新创建，例如图107中所示。注意同样在图107中，与图106中相同的关注像素坐标系被显示。
而且，在图107中，M(1)表示从现在起产生的像素3241的像素值，M(2)表示从现在起产生的像素3242的像素值，M(3)表示从现在起产生的像素3243的像素值，以及M(4)表示从现在起产生的像素3244的像素值。
描述将返回到图105，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的近似函数f(x，y)的特征，并且产生特征表。在该情况下，用作5维多项式的近似函数f(x)的系数w0～w5从现实世界估计单元102提供，因此，(w0，w1，w2，w3，w4，w5)作为特征表产生。
在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
特别地，例如，让我们假定编号(以下，这种编号称作模数)1～4分别附加到从现在起产生的像素3241至像素3244，积分分量计算单元3203将上面表达式(125)的积分分量ki(xs，xe，ys，ye)计算为l的函数(但是，l表示模数)，例如下面表达式(127)的左侧中所示的积分分量ki(l)。
ki(l)＝ki(xs，xe，ys，ye)...(127) 特别地，在该情况下，下面表达式(128)中所示的积分分量ki(l)被计算。
ki(1)＝ki(-0.5，0，0，0.5) ki(2)＝ki(0，0.5，0，0.5) ki(3)＝ki(-0.5，0，-0.5，0) ki(4)＝ki(0，0.5，-0.5，0)...(128) 注意在表达式(128)中，左侧表示积分分量ki(l)，而右侧表示积分分量ki(xs，xe，ys，ye)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个ki(1)、6个ki(2)、6个ki(3)和6个ki(4)总共24个ki(l)被计算。
更具体地说，首先，积分分量计算单元3203使用从数据连续性检测单元101提供的角度θ计算上面表达式(122)的变量s(s＝cotθ)。
接下来，积分分量计算单元3203使用计算的变量s关于i＝0～5计算表达式(128)中四个表达式的每个右侧的积分分量ki(xs，xe，ys，ye)。注意对于积分分量ki(xs，xe，ys，ye)的该计算，使用上面表达式(125)。
随后，积分分量计算单元3203根据表达式(128)将计算的24个积分分量ki(xs，xe，ys，ye)的每个转换成相应的积分分量ki(l)，并且产生包括转换后的24个积分分量ki(l)(也就是，6个ki(1)、6个ki(2)、6个ki(3)、以及6个ki(4))的积分分量表。
注意，步骤S3202中的处理和步骤S3203中的处理的顺序并不局限于图105中的实例，步骤S3203中的处理可以首先执行，或者步骤S3202中的处理和步骤S3203中的处理可以同时执行。
接下来，在步骤S3204中，输出像素值计算单元3204基于在步骤S3202的处理中由特征存储单元3202产生的特征表，以及在步骤S3203的处理中由积分分量计算单元3203产生的积分分量表，分别计算输出像素值M(1)～M(4)。
特别地，在该情况下，输出像素值计算单元3204通过计算与上面表达式(125)相对应的下面表达式(129)至表达式(132)的右侧来计算像素3241(模数1的像素)的像素值M(1)，像素3242(模数2的像素)的像素值M(2)，像素3243(模数3的像素)的像素值M(3)，以及像素3244(模数4的像素)的像素值M(4)的每个。
但是，在该情况下，表达式(129)至表达式(132)的每个n变成5。
在步骤S3205中，输出像素值计算单元3204确定是否所有像素的处理都已完成。
在步骤S3205中，如果确定所有像素的处理还没有完成，处理返回到步骤S3202，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3202～S3204中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S3205中，如果确定所有像素的处理都已完成)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像生成处理结束。
因此，比输入像素3231具有更高空间分辨率的四个像素，也就是像素3241至像素3244(图107)可以通过使用二维再积分方法创建，作为来自传感器2(图89)的输入图像(图106)的像素3231处的像素。此外，虽然附图中没有显示，如上所述，除像素3241至像素3244之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输入像素3231的任意增强空间分辨率的像素而不退化。
如上所述，作为二维再积分方法的描述，使得关于空间方向(X方向和Y方向)的近似函数f(x，y)经历二维积分的方法已经使用，但是二维再积分方法可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。
也就是说，上面的实例是现实世界1(图89)中的光信号具有用例如图102中所示梯度GF表示的空间方向上连续性的情况下的实例，因此，包括例如上面表达式(120)中所示空间方向(X方向和Y方向)上二维积分的表达式已经使用。但是，关于二维积分的概念不仅可以应用于空间方向而且可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。
换句话说，对于用作二维再积分方法的假设的二维多项式近似方法，使用二维近似函数f执行近似是可能的，即使在表示光信号的图像函数F(x，y，t)具有时间-空间方向(但是，X方向和t方向，或者Y方向和t方向)上连续性以及空间方向上连续性的情况下。
特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图108中所示X-t平面中的梯度VF表示。换句话说，可以说梯度VF表示X-t平面中时间-空间方向上连续性的方向。因此，数据连续性检测单元101(图89)可以输出例如图108中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度VF相对应的梯度Vf表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间-空间方向上连续性的梯度VF相对应的数据连续性信息，以及上面的角度θ(与表示X-Y平面中空间方向上连续性的梯度GF相对应的数据连续性信息)。
而且，使用二维多项式近似方法的现实世界估计单元102(图89)可以通过使用运动θ代替上述角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)wi。但是，在该情况下，待使用的公式不是上面的表达式(124)而是下面的表达式(133)。
注意在表达式(133)中，s是cotθ(但是，θ是运动)。
而且，使用二维再积分方法的图像生成单元103(图89)可以通过将上面表达式(133)的f(x，t)代入下面表达式(134)的右侧并且计算它来计算像素值M。
注意在表达式(134)中，ts表示t方向上的积分开始位置，且te表示t方向上的积分结束位置。类似地，xs表示X方向上的积分开始位置，且xe表示X方向上的积分结束位置。Ge表示预先确定的增益。
作为选择，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。
顺便提及，在表达式(133)中，通过将t方向看作恒定，也就是通过执行积分而忽略t方向上的积分，来获得在时间方向上不积分的数据，也就是不具有运动模糊的数据成为可能。换句话说，该方法可以看作二维再积分方法的一种，因为再积分在二维近似函数f的某一维度恒定的条件下执行，或者实际上，可以看作一维再积分方法的一种，因为X方向上的一维再积分执行。
而且，在表达式(134)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。
也就是说，对于二维再积分方法，通过任意地改变时间方向t上的积分范围来创建时间分辨率成为可能。而且，通过任意地改变空间方向X(或空间方向Y)上的积分范围来创建空间分辨率成为可能。此外，通过适当地改变时间方向t上和空间方向X上的每个积分范围来创建时间分辨率和空间分辨率成为可能。
注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用二维再积分方法和随后描述的三维再积分方法而变得可能。
而且，二维再积分方法不是考虑一维而是考虑二维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。
接下来，将参考图109和图110描述三维再积分方法。
对于三维再积分方法，近似函数f(x，y，t)已经使用三维近似方法产生，这是假设。
在该情况下，对于三维再积分方法，输出像素值M计算为下面的表达式(135)。
注意在表达式(135)中，ts表示t方向上的积分开始位置，且te表示t方向上的积分结束位置。类似地，ys表示Y方向上的积分开始位置，且ye表示Y方向上的积分结束位置。而且，xs表示X方向上的积分开始位置，且xe表示X方向上的积分结束位置。Ge表示预先确定的增益。
而且，在表达式(135)中，积分范围可以任意地设置，因此，对于三维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强时间-空间分辨率的像素而不退化成为可能。也就是说，当空间方向上的积分范围减小时，像素间距可以没有限制地减小。另一方面，当空间方向上的积分范围放大时，像素间距可以没有限制地放大。而且，当时间方向上的积分范围减小时，时间分辨率可以基于实际波形来创建。
图109表示使用三维再积分方法的图像生成单元103的构造实例。
如图109中所示，图像生成单元103的该实例包括条件设置单元3301，特征存储单元3302，积分分量计算单元3303，和输出像素值计算单元3304。
条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(对于图109中的实例，近似函数f(x，y，t)的特征)来设置近似函数f(x，y，t)的维度数目n。
条件设置单元3301也设置再积分近似函数f(x，y，t)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3301设置的积分范围不需要是像素的宽度(垂直宽度和水平宽度)或者快门时间自身。例如，确定空间方向上的具体积分范围成为可能，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。类似地，确定时间方向上的具体积分范围成为可能，只要输出像素值关于传感器2(图89)的快门时间的相对时间(时间分辨能力)已知。因此，条件设置单元3301可以设置例如空间分辨能力和时间分辨能力为积分范围。
特征存储单元3302临时存储从现实世界估计单元102顺序提供的近似函数f(x，y，t)的特征。随后，当特征存储单元3302存储近似函数f(x，y，t)的全部特征时，特征存储单元3302产生包括近似函数f(x，y，t)的全部特征的特征表，并且将其提供给输出像素值计算单元3304。
顺便提及，当上面表达式(135)右侧的近似函数f(x，y)的右侧被展开(计算)时，输出像素值M表示为下面的表达式(136)。
在表达式(136)中，ki(xs，xe，ys，ye，ts，te)表示i维项的积分分量。但是，分别地，xs表示X方向上的积分范围开始位置，xe表示X方向上的积分范围结束位置，ys表示Y方向上的积分范围开始位置，ye表示Y方向上的积分范围结束位置，ts表示t方向上的积分范围开始位置，以及te表示t方向上的积分范围结束位置。
积分分量计算单元3303计算积分分量ki(xs，xe，ys，ye，ts，te)。
特别地，积分分量计算单元3303基于由条件设置单元3301设置的维度数目和积分范围(空间分辨能力或时间分辨能力)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ或运动θ计算积分分量ki(xs，xe，ys，ye，ts，te)，并将计算结果作为积分分量表提供给输出像素值计算单元3304。
输出像素值计算单元3304使用从特征存储单元3302提供的特征表以及从积分分量计算单元3303提供的积分分量表来计算上面表达式(136)的右侧，并且将计算结果作为输出像素值M输出到外部。
接下来，将参考图110中的流程图描述使用三维再积分方法的图像生成单元103(图109)的图像生成处理(图29的步骤S103中的处理)。
例如，让我们假定现实世界估计单元102(图89)已经在上述图29中步骤S102的处理中以输入图像的预先确定像素作为关注像素，产生用于近似现实世界1(图89)中光信号的近似函数f(x，y，t)。
而且，让我们假定数据连续性检测单元101(图89)已经在图29中步骤S101的处理中以与现实世界估计单元102使用相同的像素作为关注像素，输出角度θ或运动θ作为数据连续性信息。
在该情况下，条件设置单元3301在图110的步骤S3301中设置条件(维度数目和积分范围)。
在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的近似函数f(x，y，t)的特征wi，并产生特征表。
在步骤S3303中，积分分量计算单元3303基于由条件设置单元3301设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ或运动θ)计算积分分量，并产生积分分量表。
注意，步骤S3302中的处理和步骤S3303中的处理的顺序并不局限于图110中的实例，步骤S3303中的处理可以首先执行，或者步骤S3302中的处理和步骤S3303中的处理可以同时执行。
接下来，在步骤S3304中，输出像素值计算单元3304基于在步骤S3302的处理中由特征存储单元3302产生的特征表，以及在步骤S3303的处理中由积分分量计算单元3303产生的积分分量表，计算每个输出像素值。
在步骤S3305中，输出像素值计算单元3304确定是否所有像素的处理都已完成。
在步骤S3305中，如果确定所有像素的处理还没有完成，处理返回到步骤S3302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3302～S3304中的处理重复地执行。
如果所有像素的处理都已完成(在步骤S3305中，如果确定所有像素的处理都已完成)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像生成处理结束。
因此，在上面表达式(135)中，积分范围可以任意地设置，因此对于三维再积分方法，通过适当地改变该积分范围而创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。
也就是说，对于三维再积分方法，适当地改变时间方向上的积分范围使得时间分辨率能够创建。而且，适当地改变空间方向上的积分范围使得空间分辨率能够创建。此外，适当地改变时间方向上和空间方向上的每个积分范围使得时间分辨率和空间分辨率能够创建。
特别地，对于三维再积分方法，当将三维退化成二维或一维时，近似不是必要的，从而能够高精度处理。而且，倾斜方向上的运动可以处理而不退化到二维。此外，不退化到二维能够在每个维度处理。例如，对于二维再积分方法，在空间方向(X方向和Y方向)上退化的情况下，用作时间方向的t方向上的处理不能执行。另一方面，对于三维再积分方法，时间-空间方向上的任何处理可以执行。
注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用上面二维再积分方法和三维再积分方法而成为可能。
而且，三维再积分方法不是考虑一维和二维而是考虑三维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。
接下来，使用图3中所示的信号处理设备4，数据连续性在数据连续性检测单元101处检测，并且现实世界1信号波形的估计，也就是例如，近似X横截面波形F(x)的近似函数基于连续性在现实世界估计单元102处获得。
因此，现实世界1信号的波形估计基于连续性在信号处理设备4处执行，所以如果由数据连续性检测单元101检测的连续性不正确或者其检测精度差，现实世界1信号的波形的估计精度也差。
而且，信号处理设备4基于例如在该情况下作为图像的现实世界1信号具有的连续性而执行信号处理，比使用其他信号处理设备的信号处理具有更好精度的信号处理可以对于连续性存在的现实世界1信号的部分而执行，因此，更接近与现实世界1信号相对应的图像的图像可以输出。
但是，信号处理设备4不能以与连续性确实存在的四个部分相同水平的精度，对于没有清晰连续性存在的现实世界1信号的部分执行信号处理，因为信号处理基于连续性而执行，因此，包括关于与现实世界1信号相对应的图像的误差的图像被输出。
因此，为了使用信号处理设备4获得更接近与现实世界1信号相对应的图像的图像，使用信号处理设备4的信号处理将被执行的处理区域，与信号处理设备4一起使用的连续性的精度等是问题。
这里，图111说明信号处理设备4的另一种实施方案的构造实例。
在图111中，信号处理设备4包括处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F(接口)10006。
对于其构造如图111中所示的信号处理设备4，作为数据3的实例的图像数据(输入图像)从传感器2(图1)输入，并且输入图像提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。
处理区域设置单元10001设置输入图像的处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004。
连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，设置从该处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元10003和图像生成单元10004。
现实世界估计单元10003由模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013构成，并且根据相应现实世界1信号的连续性从处理区域内的图像数据中估计现实世界1信号。
也就是说，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，根据构成处理区域的像素以及与处理区域中的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。
公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，公式生成单元10012将构成处理区域的每个像素的像素值代入用作已经从模型生成单元10011提供的模型的函数中，从而产生公式，其提供给现实世界波形估计单元10013。
现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是说，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得近似现实世界1信号的近似函数，并将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。
图像生成单元10004基于在现实世界估计单元10003处估计的、表示现实世界1信号的波形的近似函数，以及从连续性设置单元10002提供的连续性信息，来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似函数，以及从连续性设置单元10002提供的连续性信息产生关于处理区域更接近与现实世界1信号相对应的图像的图像数据。
此外，图像生成单元10004合成输入图像和基于近似函数而产生的图像数据(以下称作近似图像，如果适当的话)，产生输入图像的处理区域的部分已经用近似图像取代的图像，并且将图像作为输出图像提供给图像显示单元10005。
图像显示单元10005由CRT(阴极射线管)或LCD(液晶显示器)构成，并且显示输入图像或者从图像生成单元10004提供的输出图像。
注意，图像显示单元10005可以由单个或多个CRT或LCD构成。如果用单个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中单个CRT或LCD的屏幕划分成多个屏幕，输入图像显示在一个屏幕上而输出图像显示在另一个屏幕上。此外，如果用多个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中输入图像显示在一个CRT或LCD上，而输出图像显示在另一个CRT或LCD上。
而且，图像显示单元10005根据用户I/F 10006的输出执行各种类型的显示。也就是说，图像显示单元10005显示光标，例如，并且如果用户操作用户I/F 10006以便移动光标，光标根据其操作运动。而且，如果用户操作用户I/F 10006以便选择预先确定的范围，图像显示单元10005根据其操作显示围绕在屏幕上选择的范围的帧。
用户I/F 10006由用户操作，并且根据用户操作，将与例如处理范围、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。
也就是说，用户观看显示在图像显示单元10005上的输入图像或输出图像，并且操作用户I/F 10006以提供关于输入图像或输出图像的输入。用户I/F 10006由用户操作，并且根据用户操作，将与处理范围、连续性或真实世界信号相关的信息，作为帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理的帮助信息，提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。
当帮助信息从用户I/F 10006提供时，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个基于帮助信息执行处理区域的设置，连续性的设置，或现实世界1信号的估计。
但是注意，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个可以执行处理区域的设置，连续性的设置，或现实世界1信号的估计，即使不使用帮助信息，也就是，即使没有用户操作用户I/F 10006。
特别地，对于处理区域设置单元10001，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图30至图48描述的，其中连续性区域从输入图像中检测，并且围绕连续性区域的矩形(长方形)区域设置为处理区域。
而且，对于连续性设置单元10002，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图49至图57描述的，其中数据连续性从输入图像中检测，并且相应现实世界1信号的连续性基于该数据的连续性而设置，也就是，例如，数据连续性设置为现实世界1信号的连续性而不改变。
而且，对于现实世界估计单元10003，处理可以与图3中所示现实世界估计单元102相同的方法执行，如参考图58至图88描述的，其中现实世界1信号从由处理区域设置单元10001设置的处理区域的图像数据中，与由连续性设置单元10002设置的连续性相对应地估计。注意，虽然数据连续性已经用于估计现实世界1信号，图3中的现实世界估计单元102，配置可以这样进行，其中使用相应现实世界1信号的连续性，代替估计现实世界1信号的数据连续性。
接下来，将参考图112中的流程图描述图111中所示的信号处理设备4的处理。
首先，在步骤S10001中，信号处理设备4执行预处理，并且流程前进到步骤S10002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。此外，信号处理设备4使得图像显示单元10005显示输入图像。
在步骤S10002中，用户I/F 10006确定是否存在由用户操作用户I/F 10006的某种用户输入。在步骤S10002中，如果确定不存在用户输入，也就是如果用户没有执行操作，步骤S10003至步骤S10005跳过，并且流程前进到步骤S10006。
而且，如果在步骤S10002中确定已经存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像并且操作用户I/F 10006，从而做出指示某种指令或信息的用户输入，流程前进到步骤S10003，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。
如果在步骤S10003中确定用户输入是结束指令，信号处理设备结束处理。
而且，如果在步骤S10003中确定用户输入不是结束指令，流程前进到步骤S10004，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10004中确定用户输入不是帮助信息，流程跳过步骤S10005，而前进到步骤S10006。
而且，如果在步骤S10004中确定用户输入是帮助信息，流程前进到步骤S10005，在那里用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且流程前进到步骤S10006。
在步骤S10006中，处理区域设置单元10001基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004，并且流程前进到步骤S10007。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，处理区域设置单元10001使用该帮助信息执行处理区域的设置。
在步骤S10007中，连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元10002设置在处理区域的图像数据中丢失的现实世界1信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元10003，并且流程前进到步骤S10008。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，连续性设置单元10002使用该帮助信息执行连续性的设置。
在步骤S10008中，现实世界估计单元10003根据相应现实世界1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世界1信号。
也就是说，在现实世界估计单元10003处，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且从连续性设置单元10002提供的连续性信息中识别与处理区域中图像数据相对应的现实世界1信号的连续性。此外，模型生成单元10011根据构成输入图像中处理区域的像素，以及与处理区域的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。
公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像的每个像素的像素值代入用作从模型生成单元10011提供的模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元10013。
现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得用作模拟现实世界1信号的模型的近似函数，并且将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。
注意，对于现实世界估计单元10003，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，在模型生成单元10011和公式生成单元10012处，处理使用该帮助信息执行。
在步骤S10008的处理之后，流程前进到步骤S10009，在那里图像生成单元10004基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似现实世界1信号的波形的近似函数来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，基于从现实世界估计单元10003提供的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的近似图像。此外，图像生成单元10004产生输入图像的处理区域的部分已经用近似图像取代的图像作为输出图像，并且将其提供给图像显示10005，并且流程从步骤S10009前进到步骤S10010。
在步骤S10010中，图像显示单元10005显示从图像生成单元10004提供的输出图像，代替在步骤S10001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S10011。
在步骤S10011中，用户I/F 10006以与步骤S10002相同的方法确定是否存在由用户操作用户I/F 10006的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S10011，并等待用户输入。
而且，如果在步骤S10011中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像或输出图像并且操作用户I/F 10006，从而做出指示指令或信息的某种用户输入，流程前进到步骤S10012，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。
如果在步骤S10012中确定用户输入是结束指令，信号处理设备4结束处理。
而且，如果在步骤S10012中确定用户输入不是结束指令，流程前进到步骤S10013，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10013中确定用户输入不是帮助信息，流程返回到步骤S10011，此后重复相同的处理。
而且，在步骤S10013中，如果确定用户输入是帮助信息，流程返回到步骤S10005，并且如上所述，用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。然后流程从步骤S10005前进到步骤S10006，此后重复相同的处理。
如上所述，对于图111中所示的信号处理设备4，帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的帮助信息从用户I/F 10006提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且处理区域设置，连续性设置，或现实世界1信号估计基于来自用户I/F 10006的帮助信息在处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003处执行，从而提高处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理精度，并且能够产生例如满足用户喜好的高质量输出图像。
接下来，将描述图111中所示信号处理设备4的各种类型的应用实例。
图113说明图111中所示信号处理设备4的应用实例的一种实施方案的构造实例。
在图113中，处理区域设置单元17001，连续性设置单元17002，现实世界估计单元17003，图像生成单元17004，图像显示单元17005，以及用户I/F 17006，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006相同的处理。此外，在图113中，现实世界估计单元17003包括模型生成单元17011，公式生成单元17012，以及现实世界波形估计单元17013。模型生成单元17011，公式生成单元17012，以及现实世界波形估计单元17013对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。
但是注意，在图113中，现实世界估计单元17003使用样条函数作为近似函数f。
现在，图113说明图1中所示信号处理设备4的一种构造实例，但是在图1中，例如，使用用作图像传感器的传感器2，现实世界1光信号投影在每个具有时间-空间积分效应的多个像素上，也就是，三维现实世界1使用用作二维图像传感器的传感器2投影，并且根据其投影，现实世界1光信号的连续性的一部分丢失的图像数据作为数据3从传感器2提供给信号处理设备4。
对于从传感器2作为数据3提供给信号处理设备4的图像数据，现实世界1光信号的连续性的一部分丢失，并且某种畸变存在。信号处理设备4关于具有畸变的图像数据执行信号处理。
图114说明关于具有畸变的图像数据而执行的信号处理的类型(种类)。
关于具有畸变的图像数据而执行的信号处理的类型的实例分类成“畸变的检测”，“畸变的去除”，“有效信息的提取”，以及“考虑畸变的信号处理”。
包括在“畸变的检测”中的处理实例包括用于从图像数据中识别具有畸变的区域的区域识别(提取)处理。包括在“畸变的去除”中的处理实例包括用于将图像数据分离成处于二者不混合状态中的前景和背景的前景背景分离处理，以及用于去除作为畸变的运动模糊的运动模糊去除处理。包括在“有效信息的提取”中的处理实例包括用于从图像数据中提取用作有效信息的运动矢量的处理，以及用于估计图25中描述的混合比的处理。包括在“考虑畸变的信号处理”中的处理实例包括上面类型分类适应处理，以及用于通过在帧之间插入帧使得帧频加倍的倍速帧处理。
图114中所示的“畸变的检测”，“畸变的去除”，“有效信息的提取”，“考虑畸变的信号处理”中，图113中的信号处理设备4执行例如分类成“畸变的去除”的信号处理。这里，让我们假定分类成“畸变的去除”的信号处理中，图113中的信号处理设备4执行去除运动模糊的处理等，例如。
图113中的信号处理设备4可以通过用户操作用户I/F 17006输入帮助信息。如果帮助信息由用户操作用户I/F 17006输入，处理区域设置单元17001，连续性设置单元17002，以及现实世界估计单元17003可以基于其帮助信息执行处理。此外，如果帮助信息没有输入(此外，即使帮助信息被输入)，处理区域设置单元17001，连续性设置单元17002，以及现实世界估计单元17003可以没有帮助信息而执行处理。
现在，首先，将描述在处理区域设置单元17001，连续性设置单元17002，以及现实世界估计单元17003没有帮助信息而执行处理的情况下，图113中所示信号处理设备4的处理。
图115是描述在处理区域设置单元17001，连续性设置单元17002，以及现实世界估计单元17003没有帮助信息而执行处理的情况下，图113中所示信号处理设备4的处理的流程图。
对于图113中的信号处理设备4，现实世界基于连续性来估计，因此，用于去除因传感器2的时间积分效应而引起的对象信号的时间方向混合(时间混合)等而发生的运动模糊的处理被执行。
也就是说，在通过使用作为图像传感器的传感器2获取对象例如汽车等正在运动的现实世界1中的图像而获得的输入图像中，对象随着时间而运动，所以该对象的光信号与除该对象之外的部分的光信号因传感器2的时间积分效应而混合(时间混合)，从而引起例如对象的边界部分等处的所谓运动模糊。
使用图113中的信号处理设备4，因这种时间混合而引起的运动模糊从输入图像中去除的高图像质量输出图像产生，因此，运动模糊从输入图像中去除的输出图像被获得。
对于图113中所示的信号处理设备4，首先，在步骤S17001中，执行预处理，并且流程前进到步骤S17002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的例如输入图像的一帧或一场提供给处理区域设置单元17001，连续性设置单元17002，现实世界估计单元17003，图像生成单元17004，以及图像显示单元17005。此外，信号处理设备4将输入图像显示在图像显示单元17005上。
这里注意，通过使用传感器2获取对象例如汽车以恒定速度在水平方向上运动的场景而获得的、因时间混合而具有运动模糊的图像，作为输入图像输入到信号处理设备4。
在步骤S17002中，处理区域设置单元17001设置处理区域并且将表示处理区域的处理区域信息提供给连续性设置单元17002，现实世界估计单元17003，以及图像生成单元17004，并且流程前进到步骤S17003。
这里，让我们假定在步骤S17002中，例如，围绕输入图像中运动模糊因对象在水平方向上运动而发生的部分的矩形区域设置为处理区域，例如。
在步骤S17003中，连续性设置单元17002从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元17002设置在处理区域图像数据中丢失的现实世界1信号的连续性，并且将表示处理区域的连续性的连续性信息提供给现实世界估计单元17003，并且流程前进到步骤S17004。
这里，让我们假定与输入图像相对应的现实世界1图像包括某种形状的对象以恒定速度在水平方向上运动的连续性，并且在步骤S17003中，处理区域中对象在水平方向上的运动量作为连续性信息而获得。
在步骤S17004中，现实世界估计单元17003根据相应现实世界1信号的连续性，关于输入图像处理区域中的图像数据估计现实世界1信号。
也就是说，在现实世界估计单元17003处，模型生成单元17011从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元17002提供的连续性信息中识别与处理区域中图像数据相对应的现实世界1信号的连续性(这里，运动量)。此外，模型生成单元17011根据构成输入图像中处理区域的像素，以及与处理区域的图像数据相对应的现实世界1信号的连续性，来产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的关系模型的函数，并且将其提供给公式生成单元17012。
公式生成单元17012从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像的每个像素的像素值代入用作从模型生成单元17011提供的模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元17013。
注意这里，样条函数用作近似函数，例如。
现实世界波形估计单元17013通过计算从公式生成单元17012提供的公式来估计现实世界1信号的波形。也就是，现实世界波形估计单元17013获得用作模拟现实世界1信号的近似模型的近似函数，并且将近似函数提供给图像生成单元17004。
在步骤S17004的处理之后，流程前进到步骤S17005，在那里图像生成单元17004基于从现实世界估计单元17003(的现实世界波形估计单元17013)提供的近似函数，产生更接近现实世界1信号的信号。也就是说，图像生成单元17004从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，基于从现实世界估计单元17003提供的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的近似图像。此外，图像生成单元17004产生输入图像的处理区域部分已经用近似图像取代的图像作为输出图像，并将其提供给图像显示单元17005，并且流程从步骤S17005前进到步骤S17006。
在步骤S17006中，图像显示单元17005显示从图像生成单元17004提供的输出图像，代替步骤S17001中显示的输入图像，或者与输入图像一起，并且处理结束。
接下来，将参考图116和图117描述在图1中的传感器2为图像传感器的情况下的空间时间积分效应。
图像传感器成像真实世界中的主体(对象)，并输出作为以单帧(或场)增量成像的结果而获得的图像数据。也就是说，现实世界1的光信号，其是从现实世界1的主体反射的光，投影在图像传感器上，但是图像传感器输出投影结果作为数据3。
例如，图像传感器输出每秒30帧的图像数据。在该情况下，图像传感器的曝光时间(快门时间)概念上为等于或小于1/30秒的时期。
图116是描述图像传感器上像素阵列实例的图。在图116中，A～I表示各个像素。像素设置在与由图像数据显示的图像相对应的平面上。与单个像素相对应的单个检测元件设置在图像传感器上。当图像传感器获取现实世界1的图像(光信号)时，一个检测元件输出与构成图像数据的一个像素相对应的一个像素值。例如，检测元件空间方向X上的位置(X坐标)对应于由图像数据显示的图像上的水平位置，并且检测元件空间方向Y上的位置(Y坐标)对应于由图像数据显示的图像上的垂直位置。
现实世界1的光强分布在三维空间方向和时间方向上展开，但是图像传感器在二维空间方向和时间方向上获取现实世界1的光信号，并产生表示二维空间方向和时间方向上光强分布的数据3。
如图117中所示，检测设备例如CCD在对应于快门时间ts的时期中将投射到感光面(感光区域)(检测区域)上的光转换成电荷，并积累转换的电荷。该光是现实世界1的信息(信号)，关于其的强度由三维空间位置和时间点确定。现实世界1的光强分布可以由函数F(x，y，z，t)表示，其中三维空间中的位置x，y，z以及时间点t为变量。
在检测设备CCD中积累的电荷量与投射到具有二维空间展开的整个感光面上的光强、以及光投射到其上的时间量近似成比例。检测设备将从投射到整个感光面上的光中转换的电荷加到在对应于快门时间的时期中已经积累的电荷。也就是说，检测设备积分投射到具有二维空间展开的整个感光面上的光，并累积与在对应于快门时间ts的时期中积分的光相对应的电荷量。因此，检测设备(像素)具有关于空间(感光面)和时间(快门时间)的积分效应。
如上所述，检测设备输出与累积的电荷相对应的像素值作为数据3。因此，从图像传感器输出的各个像素值是相对于快门时间的时间方向以及检测设备感光面的空间方向积分具有时间-空间展开的现实世界1光信号的部分的结果。
由这种像素值构成的图像数据，也就是用作将由图像传感器输出的数据3的图像数据可以例如根据其性质分类成背景区域，前景区域，和混合区域这三种区域。
例如，让我们考虑图118中所示的情况，某个背景对象，以及位置比背景对象更靠近图像传感器的前景对象由图像传感器捕捉。这里注意，更靠近图像传感器的对象定义为前景对象，而远离图像传感器的对象定义为背景对象。
如果前景对象或背景对象正在运动，投影在图像传感器上的现实世界1光信号随着时间而改变。在图118中，背景对象是静止的，而前景对象正在以恒定的速度在水平方向(从左到右的方向)上运动。
如果投影在图像传感器上的现实世界1光信号随着时间而改变，畸变因图像传感器的上面积分效应(时间积分效应)而发生。也就是说，在图118中，背景对象是静止的，而前景对象正在运动，所以对于图像传感器的接收表面的区域，在曝光时间(例如1/30秒，1/60秒等)中，从与前景对象和背景对象中一个相对应的光信号投影到其中的状态变成与另一个相对应的光信号投影到其中的状态的区域产生。换句话说，图像传感器的一些区域(像素)被积分，其中与前景对象和背景对象中一个相对应的光信号，以及与另一个相对应的光信号混合。这种区域定义为混合区域。而且，在图像传感器的区域中，通过将混合区域从前景对象投影于其中的区域中去除而获得的部分定义为前景区域，而且通过将混合区域从背景对象投影于其中的区域中去除而获得的部分定义为背景区域。
图119说明前景区域，背景区域和混合区域。
在图119中，上侧视图说明在图像传感器处获得的图像数据，假设水平方向是图像传感器的水平方向(x方向)，且垂直方向是图像传感器的垂直方向(y方向)，而下侧视图说明充电(累积)到图像传感器的电荷，假设水平方向是水平方向(x方向)，且垂直方向是时间方向(t方向)。
当图像传感器接收与静止背景对象，以及在水平方向上运动的前景对象相对应的现实世界1光信号时，如上所述，图像传感器的接收表面的一部分变成仅与前景对象相对应的光信号在用作有限时间的曝光时间投影到其中的状态，而另一部分区域变成仅与背景对象相对应的光信号投影到其中的状态，并且剩余区域从与前景对象和背景对象中一个相对应的光信号投影到其中的状态变成与另一个相对应的光信号投影到其中的状态。
现在，如果我们假定对于图像传感器，将由与前景对象相对应的光信号充电的电荷称作前景分量，而且将由与背景对象相对应的光信号充电的电荷称作背景分量，对于从图像传感器获得的图像数据，像素值仅包括前景分量和背景分量中一个的区域，以及像素值包括全部两种分量的区域产生。
前景区域是像素值仅包括前景分量的区域，而背景区域是像素值仅包括背景分量的像素值。混合区域是像素值即包括前景分量也包括背景分量的区域。前景区域和混合区域是与运动的前景对象相对应的现实世界1光信号投影到其中的区域，在那里畸变因图像传感器的上面积分效应而引起。在该情况下，该畸变表现为运动模糊。
接下来，图120说明在去除如上所述作为因图像传感器的积分效应而在图像数据上引起的畸变的运动模糊的情况下，相当于图113中信号处理设备4的设备的构造实例。
也就是说，图120说明在执行这种信号处理的情况下图113中信号处理设备4的功能构造实例，其中前景分量和背景分量从用作运动模糊因图像传感器的积分效应而在其上引起的图像数据的输入图像中分离，并且不具有运动模糊的前景对象的图像通过使得前景分量经历处理而产生，因此，运动模糊从输入图像中去除的图像被获得。
在图120中，信号处理设备4包括区域识别单元17031，运动模糊调节量输出单元17032，前景背景分离单元17033，处理单元确定单元17034，运动模糊调节单元17035，以及图像显示单元17036。分别地，区域识别单元17031对应于图113中的处理区域设置单元17001，运动模糊调节量输出单元17032对应于图113中的连续性设置单元17002，前景背景分离单元17033，处理单元确定单元17034，以及运动模糊调节单元17035对应于图113中的现实世界估计单元17003和图像生成单元17004，以及图像显示单元17036对应于图113中的图像显示单元17005。
对于图120中的信号处理设备4，包括运动模糊的输入图像提供给区域识别单元17031和前景背景分离单元17033。
区域识别单元17031关于提供到那里的输入图像识别图119中已经描述的前景区域、背景区域和混合区域，并且将标识前景区域、背景区域和混合区域的信息作为处理区域信息提供给前景背景分离单元17033和处理单元确定单元17034。
运动模糊调节量输出单元17032将表示输入图像中前景对象的运动的运动矢量作为连续性信息提供给运动模糊调节单元17035。这里，让我们假定前景对象如上所述以恒定速度在水平方向(例如从左到右的方向)上运动，而且让我们假定运动模糊调节量输出单元17032将图像传感器的每个曝光时间的运动量作为连续性信息提供给运动模糊调节单元17035。
前景背景分离单元17033基于从区域识别单元17031提供的处理区域信息，从提供到那里的输入图像中分离前景分量和背景分量，并且将前景分量提供给运动模糊调节单元17035。
处理单元确定单元17034确定用作使得由从区域识别单元17031提供的处理区域信息识别的前景区域和混合区域在运动模糊调节单元17035经历去除运动模糊的处理的单元的处理单元，并且将表示其处理单元的处理单元信息提供给运动模糊调节单元17035。
运动模糊调节单元17035通过使用从运动模糊调节量输出单元17032提供的运动量，以及从前景背景分离单元17033提供的前景分量，对于用从处理单元确定单元17034提供的处理单元信息表示的每个处理单元，执行随后描述的处理来产生不包括运动模糊的前景对象，并且将产生的图像提供给图像显示单元17036。图像显示单元17036显示从运动模糊调节单元17035提供的图像。
接下来，将参考图121中的流程图描述图120中所示信号处理设备4的处理(运动模糊去除处理)。
当包括运动模糊的输入图像提供给区域识别单元17031和前景背景分离单元17033时，在步骤S17021中，区域识别单元17031识别提供到那里的输入图像的前景区域、背景区域和混合区域，并且将标识前景区域、背景区域和混合区域的信息作为处理区域信息提供给前景背景分离单元17033和处理单元确定单元17034。此外，在步骤S17021中，运动模糊调节量输出单元17032设置(检测)表示输入图像中前景对象在水平方向上的运动量值的运动量，并且将其作为连续性信息提供给运动模糊调节单元17035。
随后，流程从步骤S17021前进到步骤S17022，在那里前景背景分离单元17033基于从区域识别单元17031提供的处理区域信息，从提供到那里的输入图像中分离前景分量和背景分量。也就是说，前景背景分离单元17033基于处理区域信息识别输入图像中的前景区域、背景区域和混合区域，如图122中所示。
图122说明输入图像中的前景区域、背景区域和混合区域，与图119一样。在图122中，右侧视图说明用作在图像传感器处获得的输入图像的图像数据，与图119中上侧视图一样，假设水平方向是图像传感器的水平方向(x方向)，且垂直方向是图像传感器的垂直方向(y方向)，而左侧视图说明，与图119中下侧视图一样，充电(累积)到图像传感器的电荷，假设水平方向是水平方向(x方向)，而垂直方向是时间方向(t方向)。这类似地适用于随后描述的图123。
在步骤S17022中，当前景背景分离单元17033识别输入图像的前景区域、背景区域和混合区域时，前景背景分离区域17033从输入图像中分离前景区域、背景区域和混合区域，此外，如图123中所示，仅将前景分量从前景区域和混合区域中分离，并且将这些提供给运动模糊调节单元17035。
也就是说，前景背景分离单元17033从混合区域中分离前景分量，并且将其前景分量，以及前景区域中的前景分量提供给运动模糊调节单元17035。
这里，让我们假定步骤S17021中输入图像的前景区域、背景区域和混合区域的识别，以及步骤S17022中仅前景分量从输入图像中的分离可以使用任意方法执行。
随后，流程从步骤S17022前进到步骤S17023，在那里处理单元确定单元17034从由区域识别单元17031提供的处理区域信息识别的前景区域和混合区域中确定处理单元，并且将表示其处理单元的处理单元信息提供给运动模糊调节单元17035。
也就是说，对于输入图像中前景区域和混合区域的整个区域，处理单元确定单元17034例如从前景对象的运动方向(这里，水平方向)上的行(排)中排列的像素中，确定还没有取作处理单元的行中的任意像素作为处理单元。因此，输入图像中前景区域和混合区域的整个区域中水平方向上任意一行在这里设置为处理单元。
随后，处理单元确定单元17034将表示其处理单元的处理单元信息提供给运动模糊调节单元17035，并且流程从步骤S17023前进到步骤S17024。
在步骤S17024中，通过使得从处理单元确定单元17034提供的处理单元信息表示的处理单元经历使用从运动模糊调节量输出单元17032提供的运动量，以及从前景背景分离单元17033提供的前景分量的处理，运动模糊调节单元17035关于其处理单元产生不包括运动模糊的前景对象的图像，并且流程前进到步骤S17025。
在步骤S17025中，处理单元确定单元17034确定输入图像中前景区域和混合区域的整个区域中水平方向上的所有行是否都已设置为处理单元。在步骤S17025中，如果确定并不是输入图像中前景区域和混合区域的整个区域中水平方向上的所有行都已设置为处理单元，流程返回到步骤S17023，在那里处理单元确定单元17034确定输入图像中前景区域和混合区域的整个区域中水平方向上的行中，还没有取作处理单元的任意一行作为处理单元，此后重复相同的处理。
另一方面，如果确定输入图像中前景区域和混合区域的整个区域中水平方向上的所有行都已设置为处理单元，也就是如果对于运动模糊调节单元17035，处理已经关于输入图像中前景区域和混合区域的整个区域中水平方向上的所有行而执行，因此，不具有运动模糊的前景对象的图像被获得，运动模糊调节单元17035将不具有运动模糊的前景对象的图像提供给图像显示单元17036以显示它，并且结束处理。
接下来，将描述图120中运动模糊调节单元17035的处理。
运动模糊调节单元17035通过估计光信号函数F，并且在预先确定单元处在至少一个维度方向上积分光信号函数F(的估计结果)来产生不具有运动模糊的图像，假设与输入数据的时间-空间方向的至少一维方向中的位置相对应的每个像素的像素值，其中现实世界1光信号投影在由每个具有时间-空间积分效应的多个像素构成的图像传感器上，并且现实世界1光信号连续性的一部分丢失，是通过在至少一维方向上积分用样条函数近似的、与现实世界1光信号相对应的光信号函数(现实世界函数)F而获得的像素值。
也就是说，假设与用作运动模糊因运动的前景对象而引起的输入图像的空间方向的预先确定一维方向，例如x方向上的位置相对应的每个像素的像素值，是通过由用样条函数近似的、与现实世界1光信号相对应的光信号函数F积分物理模型而获得的像素值，该物理模型在对应于表示x方向和时间方向上前景对象的运动的运动矢量而在时间方向上执行相移时运动，运动模糊调节单元17035产生由这种像素值构成的图像，其中输入图像中前景对象的运动模糊通过估计光信号函数F，并且在预先确定的单元在x方向和时间方向上积分作为其光信号函数F的估计结果、用作近似光信号函数F的近似模型的样条函数而去除。
首先，将描述运动模糊调节单元17035处光信号函数F的估计方法。
这里，例如如上所述，运动模糊调节单元17035执行将在水平方向(x方向)上排列的像素取作处理单元的处理。
现在，让我们假定在x方向上排列的N+1个像素取作处理单元，并且在与投影在处理单元上的现实世界1光信号相对应的光信号函数F的某个时间点位于某个垂直方向上的波形(X横截面波形)F(x)用例如图124中所示的连续波形近似，例如三维样条函数。
图124表示用作近似与投影在处理单元上的现实世界1光信号相对应的光信号函数F(x)的近似函数的三维样条函数(的值)，假设水平方向取作处理单元的宽度方向(输入图像的x方向)，且垂直方向取作光度。
现在，如图124中所示，让我们假定处理单元左端像素在x方向上的中心位置的坐标为x＝0，并且x方向上一个像素的长度为1。而且，用作投影在由x方向上排列的N+1个像素构成的处理单元中从左起第k个像素#k-1(k＝1，2等至N+1)在x方向上的中心位置直到其右相邻像素#k在x方向上的中心位置上的现实世界1光信号相对应的光信号函数F的近似函数的三维样条函数用Ck(x)表示。此外，像素#k-1在x方向上的中心位置处样条函数Ck(x)的值用yk-1表示。注意，样条函数Ck(x)中的下标k是k＝1，2等至N。
在该情况下，样条函数Ck(x)用表达式(137)表示。
Ck(x)＝Mk-1(x-k){1-(x-k)2} +Mk(x-k+1){(x-k+1)2-1} -yk-1(x-k)+yk(x-k+1) ...(137) 但是，在表达式(137)中，Mk和yk用下面的表达式表示。
表达式(137)的样条函数Ck(x)定义为N+1个变量y0，y1等至yn。因此，表达式(137)的样条函数Ck(x)可以通过产生N+1个变量y0～yn来获得。
为了产生N+1个变量y0～yn，让我们考虑图125中所示的物理模型。
也就是说，图125表示这种物理模型，其中当用样条函数Ck(x)近似的光信号函数F(x)表示的光信号在图像传感器的曝光时间期间以运动量v在水平方向(x方向)上连续运动(相移)时，光信号投影在处理单元的像素上，并且电荷在像素上充电，也就是图像通过在x方向上和在时间方向上积分而获得。
图125的左侧视图说明近似光信号函数F(x)的样条函数Ck(x)，与图124中的情况一样。而且，图125中的右侧视图说明近似光信号函数F(x)的样条函数Ck(x)的光度，假设水平方向是图像传感器的水平方向(处理单元的像素排列于其中的x方向)，正面方向是曝光时间，且垂直方向是光度。
根据图125中所示的物理模型，作为由近似光信号函数F(x)的样条函数Ck(x)在图像传感器的曝光时间期间以运动量v在水平方向(x方向)上连续运动(相移)而获得的轨迹的曲面(模型)，仅在曝光时间期间在时间方向上积分，而且在x方向仅对处理单元的像素#k在x方向上的长度而积分，从而获得像素#k的像素值Yk。
对于图125中的物理模型，近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间连续地运动，所以因图像传感器的时间积分效应而引起的对象信号的时间方向上的混合(时间混合)在像素值Yk由该物理模型获得的像素#k处引起。此外，因图像传感器的空间积分效应而引起的对象信号的空间方向上的混合(空间混合)也在像素#k处引起。因此，对于图125中的物理模型，时间混合和空间混合都考虑。
运动模糊调节单元17035基于图125中的物理模型使用处理单元的像素#k的像素值Yk获得近似光信号函数F(x)的样条函数Ck(x)(规定其的变量yk)，作为光信号函数F(x)的估计值。
这里，让我们假定投影在除处理单元之外上的光信号函数F(x)的值是稳定值，当图像传感器开始曝光时。
也就是说，如上所述，像素#k在x方向上的中心位置处，近似光信号函数F(x)的样条函数Ck(x)的值用yk表示。而且，在该情况下，处理单元左端像素在x方向上的中心位置的坐标为x＝0，而x方向上一个像素的长度为1。因此，x＝k的位置处样条函数Ck(x)的值用yk表示。现在，让我们假定在x＜0的范围内，近似光信号函数F(x)的样条函数的值恒定地为y0(＝C1(0))，而且在x＞N的范围内，近似光信号函数F(x)的样条函数的值恒定地为yN(＝CN(N))。
这里，如上所述，当图像传感器开始曝光时，投影在除处理单元之外的区域(严格地，x＜0和x＞N的区域)上的光信号函数F(x)的值是稳定值的假设，称作平坦假设。注意，平坦假设不是必不可少的。也就是说，当图像传感器开始曝光时，投影在除处理单元之外上的光信号函数F(x)的值是稳定值，或者例如，可以使用样条函数等近似。
而且，以下，让我们假定曝光时间是1以简化描述。
接下来，将描述如何使用处理单元的像素#k的像素值Yk基于图125中的物理模型，估计光信号函数F(x)，也就是如何获得近似光信号函数F(x)的样条函数Ck(x)。
首先，让我们假定处理单元存在的x方向上的范围用范围(α，β)表示，其中开始点是α，结束点是β。
如果光信号函数F(x)不运动而是静止的，通过与使用样条函数Ck(x)近似的光信号函数F(x)相对应的光信号投影在范围(α，β)上，由曝光时间期间在范围(α，β)中充电的电荷获得的像素值z用下面的表达式表示，作为样条函数Ck(x)使用范围(α，β)积分的积分值。但是，这里，让我们假定曝光是1。
但是，如果矩阵A定义为例如表达式(140)中所示，表达式(139)中的Mk用表达式(141)表示。
接下来，如图125中所示，如果光信号函数F(x)在曝光时间期间以像素量v在x方向(这里例如从左到右的方向)上以恒定速度运动，用作在处理单元的像素#k处在曝光时间期间充电的电荷的光信号函数F(x)的范围可以例如用图126中的斜线表示。
也就是说，图126说明光信号函数F(x)的光度，假设横向是处理单元的像素排列于其上的x方向，正面是曝光时间，且纵向是光度。
现在，为了简化描述，在图126中，让我们仅集中在处理单元的每个像素#k在x方向上的中心位置(x＝k)处，近似光信号函数F(x)的样条函数Ck(x)的值yk。
光信号函数F(x)在曝光时间＝1期间以恒定速度从左到右以像素量v(以下，称作运动量v，如果适当的话)运动。因此，如图126中所示，当开始曝光时，值yk的光信号投影在像素#k上，随后，因光信号F(x)从左到右运动，投影在左相邻像素#k-1上的值yk-1的光信号投影在像素#k上。此外，随着时间的过去，根据光信号函数F(x)从左到右运动，投影在进一步左相邻像素#k-2上的值yk-2的光信号投影在像素#k上，以下类似地，根据光信号函数F(x)随着时间过去而运动，投影在进一步左相邻像素上的光信号投影在像素#k上。
在图126中，虚线表示如果值yk的光信号在曝光时间期间以恒定速度以运动量v运动的轨迹。而且，在图126中，阴影平行四边形表示在曝光时间期间投影在像素#k上的光信号的范围，也就是，在曝光时间期间在像素#k处执行的、光信号在x方向和时间方向上的积分范围。
像素#k的像素值Yk变成与由在曝光时间期间投影在像素#k左端(x＝k-0.5)及其右端(x＝k+0.5)之间范围内的光信号充电的电荷相对应的值。在图126中，阴影积分范围的横向上的范围表示像素#k的左端(x＝k-0.5)及其右端(x＝k+0.5)之间的范围，并且积分范围的斜向(正面方向)表示曝光时间。
如果光信号运动，不仅空间混合而且时间混合在像素#k处发生。也就是说，光信号随着时间的过去而运动，所以积分的光信号在x方向上的范围在像素#k处随着时间而改变。在图126中，当表示其运动轨迹的虚线位于关于阴影像素#k的积分范围内时，值yk′的光信号变成将在像素#k处积分的对象。
图127说明关于像素#k的积分范围，假设水平方向是x方向，且垂直方向是曝光时间。也就是说，图127是关于用x方向以及曝光时间方向规定的平面，从垂直方向观看的图126中的阴影积分范围的视图。
这里，甚至在随后描述的图128至图130，以及图132至图134中，关于像素#k的积分范围被说明，假设水平方向是x方向，且垂直方向是曝光时间，与图127中一样。
像素#k的像素值Yk通过在图127中所示的积分范围中积分近似光信号的样条函数Ck′(x)而获得，但是像素值Yk的分量(以下，称作像素值分量，如果适当的话)可以分类成如图127中所示S1，S2，S3，p和S4，p四类(p＝1，2，...)。
现在，将描述像素值Yk的四种类型的像素值分量S1，S2，S3，p和S4，p的相应计算方法。
图128说明计算像素值Yk的像素值分量S1的积分范围。注意图128是通过提取图127中所示积分范围的一部分而获得的图。
像素值分量S1可以通过积分近似在曝光开始时投影在像素#k的x方向上中心位置与右相邻像素#k+1的x方向上中心位置之间的光信号的样条函数Ck+1(x)而获得。
对于样条函数Ck+1(x)，如图128中所示，其左侧端点在曝光开始时位于像素#k(x＝k)在x方向上的中心位置，并且在曝光时间＝1期间从左到右以运动量v运动。而且，对于样条函数Ck+1(x)，当其左侧端点从左到右运动0.5时，该点不包括在关于像素#k的积分范围中。样条函数Ck+1(x)在曝光时间＝1期间运动了运动量v，所以运动0.5所需的时间是1/(2v)(＝0.5/v)。
因此，样条函数Ck+1(x)包括在关于像素#k的积分范围中的时间t的范围是，如下面表达式中所示，0和1/(2v)之间的范围。但是，让我们假定曝光开始时间点为0。
而且，对于样条函数Ck+1(x)，x＝k与x＝k+0.5之间的范围在曝光开始时间点包括在关于像素#k的积分范围中。
样条函数Ck+1(x)在曝光时间＝1期间从左到右以运动量v运动，所以如果我们假定曝光开始时间点为0，样条函数Ck+1(x)在曝光开始之后的某个时间点t处从左到右运动了vt，如图128中所示。因此，在时间点t包括在关于像素#k的积分范围中的样条函数Ck+1(x)的范围是从x＝k至x＝k+0.5-vt。也就是，如果我们假定对于样条函数Ck+1(x)包括在关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝k β＝-vt+k+0.5 ...(143) 像素值Yk的像素值分量S1可以通过使用表达式(142)中表示的时间范围以及使用表达式(143)中表示的x方向上的范围积分样条函数Ck+1(x)，根据下面的表达式而获得。

接下来，图129说明计算像素值Yk的像素值分量S2的积分范围。注意图129是通过提取图127中所示积分范围的一部分而获得的图。
像素值分量S2可以通过在开始曝光时其右端存在于关于像素#k的积分范围内的时期中，积分近似投影在像素#k的x方向上中心位置与其左相邻像素#k-1的x方向上中心位置之间的光信号的样条函数Ck(x)来获得。
对于样条函数Ck(x)，如图129中所示，其右侧端点在曝光开始时位于像素#k(x＝k)在x方向上的中心位置，并且在曝光时间＝1期间从左到右以运动量v运动。而且，对于样条函数Ck(x)，当其右侧端点从左到右运动0.5时，该点不包括在关于像素#k的积分范围中。样条函数Ck(x)在曝光时间＝1期间运动了运动量v，所以运动0.5所需的时间是1/(2v)(＝0.5/v)。
因此，样条函数Ck(x)的右端端点包括在关于像素#k的积分范围中的时间t的范围是，如下面表达式中所示，0和1/(2v)之间的范围。
而且，对于样条函数Ck(x)，x＝k-0.5与x＝k之间的范围在曝光开始时间点包括在关于像素#k的积分范围中。
样条函数Ck(x)在曝光时间＝1期间从左到右以运动量v运动，所以如果我们假定曝光开始时间点为0，样条函数Ck(x)在曝光开始之后的某个时间点t处从左到右运动了vt，如图129中所示。因此，在时间点t包括在关于像素#k的积分范围中的样条函数Ck(x)的范围是从x＝k-0.5-vt至x＝k。也就是，如果我们假定在表达式(145)中所示时期内的某个时间点t，对于样条函数Ck(x)包括在关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝-vt+k-0.5 β＝k ...(146) 像素值Yk的像素值分量S2可以通过使用表达式(145)中表示的时间范围以及使用表达式(146)中表示的x方向上的范围积分样条函数Ck(x)，根据下面的表达式而获得。

图130说明计算像素值Yk的像素值分量S3，p的积分范围。注意图130是通过提取图127中所示积分范围的一部分而获得的图。
现在，将参考图131描述除样条函数Ck+1(x)之外用于计算像素值Yk的像素值分量S3，p的待积分样条函数Ck′(x)。
注意图131，与图126一样，说明近似光信号函数F(x)的样条函数的光度，假设横向是处理单元的像素排列于其中的x方向，正面方向是曝光时间，且纵向是光度。
样条函数在曝光开始之后从左到右运动。根据曝光时间期间的运动，包括在图131中斜线所示关于像素#k的积分范围内的样条函数变成除样条函数Ck+1(x)之外用于计算像素值Yk的像素值分量S3，p的待积分样条函数Ck′(x)。
如上所述，样条函数在开始曝光之后从左到右运动，所以根据其运动，其左端有时包括在关于像素#k的积分范围内。除样条函数Ck+1(x)之外的样条函数Ck′(x)在曝光开始时局限于样条函数Ck+1(x)左侧上的样条函数Ck-p+1(x)。注意变量p是等于或大于1的整数。
这里，样条函数Ck-p+1(x)在曝光开始时存在于x＝k-p与x＝k-p+1的范围内，如图131中所示。
样条函数Ck-p+1(x)在曝光时间期间在x方向上(从左到右)以运动量v运动，所以曝光开始时位于x＝k-p处的样条函数Ck-p+1(x)的左端在曝光时间过去之后立即运动到位置x＝k-p+v。
因此，对于其左端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)的样条函数Ck-p+1(x)，变量p满足下面的表达式。
k-p+v≥k+0.5...(148) 当表达式(148)关于p而记录时，下面的表达式获得。
p≤v-0.5...(149) 根据表达式(149)，其左端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)的样条函数Ck-p+1(x)，变成p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)。注意[v-0.5]表示等于或小于v-0.5的最大整数。
注意，将描述用于计算像素值Yk的像素值分量S3，p的待积分样条函数中，p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的积分。
如上所述，对于p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)，其左端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)。因此，p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)在关于像素#k的积分范围中运动了像素#k在x方向上的宽度，也就是这里1。以运动量v运动1所需的时间是1/v，所以p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的左端端点包括在关于像素#k的积分范围内的时间t的范围，如图130中所示，是0～1/v的范围，并且可以用下面的表达式表示。
注意现在，让我们假定p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)以运动量v运动，其左端端点到达关于像素#k的积分范围左端(x＝k-0.5)时的时间点t为0。
当时间点t为0时，对于p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)，其从x＝k-p至x＝k-p+1的范围存在于关于像素#k的积分范围内。p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)，在直到其左端端点到达关于像素#k的积分范围右端(x＝k+0.5)的某个时间点t，从时间点t为0时的位置从左到右运动了vt。因此，对于自从时间点0直到p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的左端端点到达关于像素#k的积分范围右端(x＝k+0.5)的某个时间点t的时期，p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)存在于关于像素#k的积分范围中的范围是从x＝k-p至x＝-vt+k-p+1。
也就是，如果我们假定对于p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的左端端点在某个时间点t存在于关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝k-p β＝-vt+k-p+1 ...(151) 像素值Yk的像素值分量S3，p中，p＝1，2等至[v-0.5]的像素值分量可以通过使用表达式(150)中表示的时间范围以及使用表达式(151)中表示的x方向上的范围积分样条函数Ck-p+1(x)，根据下面的表达式而获得。

接下来，图132说明计算像素值Yk的像素值分量S3，p的积分范围。注意图132是通过提取图127中所示积分范围的一部分而获得的图。
如上所述，在该情况下，样条函数在曝光开始之后从左到右运动，所以根据其运动，有时进入关于像素#k的积分范围内。除样条函数Ck+1(x)之外的样条函数Ck′(x)在曝光开始时局限于样条函数Ck+1(x)左侧上的样条函数Ck-p+1(x)。注意变量p是等于或大于1的整数。
这里，样条函数Ck-p+1(x)在曝光开始时存在于x＝k-p至x＝k-p+1的范围内，例如图131中所示。
样条函数Ck-p+1(x)在曝光时间期间在x方向上(从左到右)以运动量v运动，所以曝光开始时位于x＝k-p处的样条函数Ck-p+1(x)的左端在曝光时间过去之后立即运动到位置x＝k-p+v。
因此，对于其左端在曝光时间期间进入关于像素#k的积分范围左端(x＝k-0.5)，但是不从积分范围中溢出，也就是不运动到关于像素#k的积分范围的右端位置(x＝k+0.5)，变量p满足下面的表达式。
k-0.5＜k-p+v＜k+0.5...(153) 当表达式(153)关于p顺序放置时，下面的表达式获得。
v-0.5＜p＜v+0.5...(154) 变量p是整数值，所以满足表达式(154)的变量p可以用下面的表达式表示。
p＝[k+0.5]...(155) 注意，在表达式(155)中，[v+0.5]表示等于或小于v+0.5的最大整数。
根据表达式(155)，左端进入关于像素#k的积分范围，而在曝光时间期间不从积分范围溢出的样条函数Ck-p+1(x)变成p＝[v+0.5]的样条函数Ck-p+1(x)。
现在，将描述用于计算像素值Yk的像素值分量S3，p的待积分样条函数中，p＝[v+0.5]的样条函数Ck-p+1(x)的积分。
如上所述，对于p＝[v+0.5]的样条函数Ck-p+1(x)，其左端在曝光时间期间进入关于像素#k的积分范围左端(x＝k-0.5)。当p＝[v+0.5]的样条函数Ck-p+1(x)的左端运动到关于像素#k的积分范围中的某个位置时，曝光结束。
现在，让我们假定p＝[v+0.5]的样条函数Ck-p+1(x)以运动量v运动，其左端端点到达关于像素#k的积分范围左端(x＝k-0.5)时的时间点t为0。在该情况下，p＝[v+0.5]的样条函数Ck-p+1(x)的左端端点包括在关于像素#k的积分范围中直到曝光结束的时间段t的范围是例如图132中所示。
也就是说，p＝[v+0.5]的样条函数Ck-p+1(x)的左端端点包括在关于像素#k的积分范围中直到曝光结束的时间段t的范围是通过从用作曝光时间的1中减去积分样条函数Ck+1(x)以计算像素值分量S1的时间段1/(2v)，以及积分p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)以计算像素值分量S3，p的时间段1/v的和而获得的时间段。
当p＝[v+0.5]时，p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的数目用p-1表示，所以用于积分p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)的时间段1/v的和是(p-1)/v。
因此，通过从用作曝光时间的1中减去积分样条函数Ck+1(x)的时间段1/(2v)，以及积分p＝1，2等至[v-0.5]的样条函数Ck-p+1(x)以计算像素值分量S3，p的时间段1/v的和(p-1)/v而获得的时间段变成1-(p-1/2)/v(＝1-1/(2v)-(p-1)/v)。
如上所述，p＝[v+0.5]的样条函数Ck-p+1(x)的左端端点包括在关于像素#k的积分范围中的时间t的范围是，如下面表达式中所示，0～1-(p-1/2)/v的范围。
而且，当时间点t为0时，对于p＝[v+0.5]的样条函数Ck-p+1(x)，从x＝k-p至x＝k-p+1的范围存在于关于像素#k的积分范围中。对于某个时间点t直到曝光结束，p＝[v+0.5]的样条函数Ck-p+1(x)从时间点t为0的位置从左到右运动了vt。因此，对于自从时间点0直到曝光结束的某个时间点t的时间段，p＝[v+0.5]的样条函数Ck-p+1(x)的左端端点存在于关于像素#k的积分范围中的范围是从x＝k-p至x＝-vt+k-p+1。
也就是，如果我们假定对于p＝[v+0.5]的样条函数Ck-p+1(x)的左端端点在某个时间点t存在于关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝k-p β＝-vt+k-p+1 ...(157) 像素值Yk的像素值分量S3，p中，p＝[v+0.5]的像素值分量可以通过使用表达式(156)中表示的时间范围以及使用表达式(157)中表示的x方向上的范围积分样条函数Ck-p+1(x)，根据下面的表达式而获得。

接下来，图133说明计算像素值Yk的像素值分量S4，p的积分范围。注意图133是通过提取图127中所示积分范围的一部分而获得的图。
现在，除样条函数Ck+1(x)之外用于计算像素值Yk的像素值分量S4，p的待积分样条函数Ck′(x)在曝光开始时局限于右端位于比关于像素#k的积分范围的左端更左的样条函数Ck-p(x)。
这里，样条函数Ck-p(x)在曝光开始时存在于x＝k-p-1与x＝k-p之间的范围中。
样条函数Ck-p(x)在曝光时间期间在x方向上(从左到右)以运动量v运动，所以曝光开始时位于x＝k-p处的样条函数Ck-p(x)的右端在曝光时间过去之后立即运动到位置x＝k-p+v。
因此，对于其右端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)的样条函数Ck-p(x)，变量p满足与上面表达式(148)相同的表达式k-p+v≥k+0.5，也就是(v-0.5)≥p。
如上所述，样条函数Ck-p(x)的右端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)，样条函数Ck-p+1(x)变成p＝1，2等至[v-0.5]的样条函数Ck-p(x)。注意[v-0.5]表示等于或小于v-0.5的最大整数。
现在，首先，将描述用于计算像素值Yk的像素值分量S4，p的待积分样条函数中，p＝1，2等至[v-0.5]的样条函数Ck-p(x)的积分。
如上所述，对于p＝1，2等至[v-0.5]的样条函数Ck-p(x)，其右端进入关于像素#k的积分范围左端(x＝k-0.5)，并且在曝光时间期间向前运动到右端位置(x＝k+0.5)。因此，p＝1，2等至[v-0.5]的样条函数Ck-p(x)在关于像素#k的积分范围中运动了像素#k在x方向上的宽度，也就是这里1。以运动量v运动1所需的时间是1/v，所以p＝1，2等至[v-0.5]的样条函数Ck-p(x)的右端端点包括在关于像素#k的积分范围内的时间t的范围，如图133中所示，是0～1/v的范围，并且可以用下面的表达式表示。
这里，让我们假定p＝1，2等至[v-0.5]的样条函数Ck-p(x)以运动量v运动，其右端端点到达关于像素#k的积分范围左端(x＝k-0.5)时的时间点t为0。
当时间点t＝0时，p＝1，2等至[v-0.5]的样条函数Ck-p(x)的右端端点到达关于像素#k的积分范围左端(x＝k-0.5)，随后在时间t过去之后，从左到右运动了vt。如果p＝1，2等至[v-0.5]的样条函数Ck-p(x)的右端端点到达关于像素#k的积分范围右端(x＝k+0.5)，并且从x＝k-p-1至x＝k-p的范围存在于关于像素#k的积分范围中。
因此，对于直到p＝1，2等至[v-0.5]的样条函数Ck-p(x)的右端端点到达关于像素#k的积分范围右端(x＝k+0.5)的某个时间点t，p＝1，2等至[v-0.5]的样条函数Ck-p(x)存在于关于像素#k的积分范围中的范围是从x＝k-p-vt至x＝k-p。
也就是，如果我们假定对于p＝1，2等至[v-0.5]的样条函数Ck-p(x)的右端端点在某个时间点t存在于关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝-vt+k-p β＝k-p ...(160) 像素值Yk的像素值分量S4，p中，p＝1，2等至[v-0.5]的像素值分量可以通过使用表达式(159)中表示的时间范围以及使用表达式(160)中表示的x方向上的范围积分样条函数Ck-p(x)，根据下面的表达式而获得。

接下来，图134说明计算像素值Yk的像素值分量S4，p的积分范围。注意图134是与图127中所示积分范围相同的图。
如上所述，在该情况下，样条函数在曝光开始之后从左到右运动，所以根据其运动，其右端有时进入关于像素#k的积分范围内。除样条函数Ck+1(x)之外的样条函数Ck′(x)在曝光开始时局限于样条函数Ck(x)的左侧上的样条函数Ck-p(x)。注意变量p是等于或大于1的整数。
这里，样条函数Ck-p(x)在曝光开始时存在于x＝k-p-1至x＝k-p之间的范围内。
样条函数Ck-p(x)在曝光时间期间在x方向上(从左到右)以运动量v运动，所以曝光开始时位于x＝k-p处的样条函数Ck-p(x)的右端在曝光时间过去之后立即运动到位置x＝k-p+v。
因此，对于其右端在曝光时间期间进入关于像素#k的积分范围左端(x＝k-0.5)，但是不从积分范围中溢出，也就是不运动到关于像素#k的积分范围的右端位置(x＝k+0.5)，变量p满足与上面表达式(153)相同的表达式k-0.5＜k-p+v＜k+0.5，也就是p＝[v+0.5]。
注意，[v+0.5]表示等于或小于v+0.5的最大整数。
也就是说，其右端进入关于像素#k的积分范围，而在曝光时间期间不从积分范围溢出的样条函数Ck-p(x)变成p＝[v+0.5]的样条函数Ck-p(x)。
现在，将描述用于计算像素值Yk的像素值分量S4，p的待积分样条函数中，p＝[v+0.5]的样条函数Ck-p(x)的积分。
如上所述，对于p＝[v+0.5]的样条函数Ck-p(x)，其右端在曝光时间期间进入关于像素#k的积分范围左端(x＝k-0.5)。当p＝[v+0.5]的样条函数Ck-p(x)的右端运动到关于像素#k的积分范围中的某个位置时，曝光结束。
现在，让我们假定p＝[v+0.5]的样条函数Ck-p(x)以运动量v运动，其左端端点到达关于像素#k的积分范围的左端(x＝k-0.5)时的时间点t为0。在该情况下，p＝[v+0.5]的样条函数Ck-p(x)的左端端点包括在关于像素#k的积分范围中直到曝光结束的时间段t的范围是例如图134中所示。
也就是说，与图132中描述的情况一样，p＝[v+0.5]的样条函数Ck-p(x)的右端端点包括在关于像素#k的积分范围中直到曝光结束的时间段t的范围是通过从用作曝光时间的1中减去积分样条函数Ck+1(x)以计算像素值分量S1的时间段1/(2v)，以及积分p＝1，2等至[v-0.5]的样条函数Ck-p(x)以计算像素值分量S4，p的时间段1/v的和而获得的时间段。
当p＝[v+0.5]时，p＝1，2等至[v-0.5]的样条函数Ck-p(x)的数目用p-1表示，所以用于积分p＝1，2等至[v-0.5]的样条函数Ck-p(x)的时间段1/v的和是(p-1)/v。
因此，通过从用作曝光时间的1中减去积分样条函数Ck+1(x)的时间段1/(2v)，以及积分p＝1，2等至[v-0.5]的样条函数Ck-p(x)的时间段1/v的和(p-1)/v而获得的时间段变成1-(p-1/2)/v(＝1-1/(2v)-(p-1)/v)。
如上所述，p＝[v+0.5]的样条函数Ck-p(x)的右端端点包括在关于像素#k的积分范围中的时间t的范围是，如下面表达式中所示，0～1-(p-1/2)/v的范围。
而且，根据p＝[v+0.5]的样条函数Ck-p(x)在曝光时间期间从左到右运动，其右端在时间点t＝0时到达关于像素#k的积分范围的左端，随后在时间t过去之后，从时间点t＝0的位置从左到右运动了vt。
因此，p＝[v+0.5]的样条函数Ck-p(x)的x＝k-p-1至x＝k-p之间的范围中，在时间点t存在于关于像素#k的积分范围中的范围是从x＝k-p-vt至x＝k-p。
也就是，如果我们假定对于p＝[v+0.5]的样条函数Ck-p(x)的右端端点在某个时间点t存在于关于像素#k的积分范围中的x方向上的范围，其开始点(左侧的点)用α表示，且其结束点(右侧的点)用β表示，开始点α和结束点β用下面的表达式表示。
α＝-vt+k-p β＝k-p ...(163) 像素值Yk的像素值分量S4，p中，p＝[v+0.5]的像素值分量可以通过使用表达式(162)中表示的时间范围以及使用表达式(163)中表示的x方向上的范围积分样条函数Ck-p(x)，根据下面的表达式而获得。

从图像传感器获得的像素#k的像素值Yk是表达式(144)中的像素值分量S1，表达式(147)中的像素值分量S2，表达式(152)和表达式(158)中像素值分量S3，p，表达式(161)和表达式(164)中像素值分量S4，p的和，所以可以从下面的表达式获得。
S1+S2+S3，p+S4，p＝Yk...(165) 像素值Yk的下标k用0～N+1范围中的N+1个整数值表示，所以根据表达式(165)，N+1个公式可以列出。而且，待获得的未知变量y0～yN的数目也是N+1，所以N+1个未知变量y0～yN，此外用变量y0～yN定义的样条函数C0(x)～CN(x)可以通过求解作为联立线性方程的从表达式(165)中获得的N+1个公式来获得。
也就是说，根据表达式(165)，用下面表达式(166)至表达式(170)表示的N+1个公式可以通过代入表达式(144)，表达式(147)，表达式(152)，表达式(158)，表达式(161)和表达式(164)来获得。
其中，在表达式(167)中，k是1～P-1范围内的整数。而且，P是等于或小于v+0.5的最大整数([v+0.5])。
注意在表达式(168)中，k是P。
注意在表达式(169)中，k是P+1～N-1范围内的整数。
注意在表达式(170)中，k是N。
N+1个未知变量y0～yN，此外用y0～yN定义的样条函数C0(x)～CN(x)可以通过求解作为联立线性方程的表达式(166)至表达式(170)的N+1个公式，也就是近似与投影在处理单元上的现实世界1光信号相对应的光信号函数F(x)的样条函数C0(x)～CN(x)来获得。
顺便提及，根据图125中所示的物理模型，用作由近似光信号函数F(x)的样条函数Ck(x)在图像传感器的曝光时间期间以运动量v在水平方向(x方向)上连续运动而获得的轨迹的曲面，仅在曝光时间期间在时间方向上积分，以及在x方向上仅在处理单元的像素#k在x方向上长度积分，从而获得像素#k的像素值Yk。
近似光信号函数F(x)的样条函数Ck(x)在水平方向(x方向)上以运动量v连续运动，使得在曝光时间期间积分的样条函数Ck(x)的x方向上的范围在像素#k处改变，因此，对于曝光时间期间的每个时间点积分样条函数Ck(x)的x方向上的范围在像素#k处改变，使得作为像素#k处积分结果而获得的像素值Yk导致包含运动模糊的像素值。
因此，为了从像素#k的像素值Yk中去除运动模糊，配置可以这样进行，其中在曝光时间期间积分的样条函数Ck(x)的x方向上的范围在像素#k处不改变。
也就是，如果我们假定关于像素#k不具有运动模糊的像素值用Xk表示，不具有运动模糊的该像素值Xk可以通过在曝光时间期间在时间方向上积分通过假设近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间没有从曝光开始时的位置在x方向上运动而获得的曲面(模型)，并且在x方向上对于处理单元的像素#k在x方向的长度积分(再积分)而获得。
现在，如果我们假定曝光时间是1，上面的积分等于对于像素#k在x方向上的长度来积分样条函数Ck(x)。因此，关于像素#k不具有运动模糊的像素值Xk可以通过设置像素#k在x方向上的开始边缘和结束边缘(从左端到右端)之间的范围为上面表达式(139)中的积分范围(α，β)来获得。也就是说，不具有运动模糊的像素值Xk可以用下面的表达式获得。
其中(k＝1，2，…，N-1)...(172) 注意在表达式(172)中，k是1～N-1范围中的整数值。而且，情况分成三类，也就是k＝0，k＝1～N-1，以及k＝N以获得不具有运动模糊的像素值Xk的原因由上面的平坦假设引起。也就是说，平坦假设影响处理单元的左端像素#0以及右端像素#N，所以像素值X0和XN使用与处理单元的其他像素#1～#N-1的情况不同的表达式获得。
如上所述，更接近现实世界1的像素值Xk，也就是这里不具有运动模糊的像素值Xk可以通过估计光信号函数F(x)，并且积分假设随着时间的改变不存在作为估计结果、近似光信号函数F(x)的样条函数Ck(x)来获得。
顺便提及，表达式(171)至表达式(173)已经试图通过跨越处理单元的像素#k在x方向上的宽度积分近似光信号函数F(x)的样条函数Ck(x)来获得像素值Xk，但是具有更高分辨率的像素值可以通过跨越更细的宽度来积分近似光信号函数F(x)的样条函数Ck(x)，也就是通过设置比像素#k在x方向上的宽度更细的范围为上面表达式(139)中的积分范围(α，β)来获得。
特别地，例如，现在，让我们考虑通过在x方向上划分像素#k而获得的虚拟像素，并且让我们将通过在x方向上划分像素#k而获得的左侧像素和右侧像素表示为虚拟像素#k，left和#k，right。此外，让我们将虚拟像素#k，left和#k，right的不具有运动模糊的像素值分别表示为Xk，left和Xk，right。
不具有运动模糊的像素值Xk，left和Xk，right，例如，如图136中所示，可以通过仅在曝光时间期间在时间方向上积分通过假设近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间没有从曝光开始时的位置运动而获得的曲面(模型)，并且以通过划分处理单元的像素#k而获得的虚拟像素#Xk，left和#Xk，right在x方向上的宽度为增量在x方向上积分(再积分)来获得。
因此，像素值Xk，left和Xk，right可以用下面的表达式获得。
X0，left＝y0 ...(174) 其中(k＝1，2，…，N-1)...(176) 其中(k＝1，2，…，N-1)...(177) XN，right＝yN...(179) 根据使用表达式(174)至表达式(179)获得的像素值Xk，left和Xk，right，横向上像素数目为像素原始数目两倍的图像(横向上两倍密度的图像)可以获得，使得运动模糊去除，而且高分辨率图像可以获得。
在上面的实例中，像素#k已经划分成两个，但是像素#k的划分数目并不局限于二。而且，这里，高于原始图像(输入图像)的高分辨率图像已经试图通过划分像素#k来获得，但是具有期望分辨率的图像可以通过调节假设近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间没有从曝光开始时的位置运动而获得的曲面的积分范围来获得。也就是，如果我们假定曝光时间为1，具有期望分辨率的图像可以通过设置期望值为表达式(139)中的积分范围(α，β)而获得。
如果通过获得划分像素#k而获得的虚拟像素的像素值来产生具有高分辨率的图像，构成图像的虚拟像素的边界用原始像素#k的边界所约束，但是如果通过直接调节表达式(139)中积分范围(α，β)来产生具有期望分辨率的图像，图像不需要接收这种约束。
注意这里，用样条函数近似的现实世界1光信号考虑因x方向和时间t方向上的积分效应而引起的混合(空间混合和时间混合)来估计，所以该估计方法属于上面二维近似方法(和二维再积分方法)。因此，由近似现实世界1光信号的样条函数估计现实世界1光信号的方法可以考虑因时间-空间方向中任意二维方向上的积分效应而引起的混合来执行，例如除了x方向和t方向之外y方向和t方向，或者x方向和y方向，如关于二维近似方法描述的。例如，如果具有细线在某个倾斜方向上连续的连续性的细线显示在输入图像上，当处理考虑因x方向和y方向上的积分效应而引起的混合来执行时，当在y方向上前进一个像素时细线在x方向上前进的像素数目看作表示细线方向θ的连续性信息，并且表达式(166)至表达式(170)使用方向θ代替运动量v来计算，借此近似现实世界1的样条函数可以获得。
此外，由近似现实世界1光信号的样条函数估计现实世界1光信号的方法可以应用于上面一维近似方法(和一维再积分方法)，以及三维近似方法(和三维再积分方法)，除了二维近似方法之外。也就是说，现实世界1光信号通过使用样条函数近似现实世界1光信号，考虑因仅x方向、y方向或t方向上的积分效应而引起的混合来估计，借此具有高图像质量的图像可以产生。而且，现实世界1光信号通过使用样条函数近似现实世界1光信号，考虑因x方向、y方向和t方向所有方向上的积分效应而引起的混合来估计，借此具有高图像质量的图像可以产生。
接下来，图137说明图120中运动模糊调节单元17035的构造实例，其如上所述由近似现实世界1光信号(光信号函数F(x))的样条函数来产生不具有运动模糊的图像，如果必要的话进一步具有高分辨率的图像。
在图137中，运动模糊调节单元17035包括图120中的物理模型应用(adapting)单元17051，物理模型值获取单元17052，以及再混合单元17053。而且，在图137中，配置可以这样进行，其中用作从运动模糊调节量输出单元17032提供的连续性信息的运动量v，从前景背景分离单元17033提供的前景分量，以及从处理单元确定单元17034提供的处理单元信息提供给物理模型应用单元17051。
物理模型应用单元17051包括建模单元17061，公式创建单元17062，以及联立方程获取单元17063。
用作从图120中的运动模糊调节量输出单元17032提供的连续性信息的运动量v，以及从处理单元确定单元17034提供的处理单元信息提供给建模单元17061。
建模单元17061基于从处理单元确定单元17034提供的处理单元信息来识别构成处理单元的像素数目(例如，图125中物理模型中的N+1个像素)。此外，建模单元17061从构成处理单元的像素数目和运动量v中获得图125中的物理模型信息，例如表达式(166)至表达式(170)中的P(＝[v+0.5])，此外将包括构成处理单元的像素数目以及运动量v的物理模型信息提供给公式创建单元17062。而且，建模单元17061识别输入图像中处理单元的位置，并且将表示位置的信息经由公式创建单元17062提供给联立方程获取单元17063。
公式创建单元17062从建模单元17061提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，并且将这些提供给联立方程获取单元17063。注意，在公式创建单元17062处创建的表达式(166)至表达式(170)的公式是其变量v使用用作从图120中的运动模糊调节量输出单元17032提供给建模单元17061的连续性信息的运动量v的特定值取代的公式。
联立方程获取单元17063从建模单元17061经由公式创建单元17062提供的、表示输入图像中处理单元的位置的信息中识别输入图像中处理单元的位置，并且基于其位置从图120中的前景背景分离单元17033提供的前景分量中获取处理单元的像素的像素值。此外，联立方程获取单元17063将处理单元的像素的像素值代入从公式创建单元17062提供的表达式(166)至表达式(170)的公式，从而获取N+1个联立方程，并且将这些提供给物理模型值获取单元17052。
物理模型值获取单元17052包括联立方程计算单元17064，并且从联立方程获取单元17063提供的联立方程提供给联立方程计算单元17064。联立方程计算单元17064计算(求解)从联立方程获取单元17063提供的联立方程，从而获得定义近似现实世界1信号的表达式(137)和表达式(138)中样条函数的N+1个变量yk，并且将这些提供给再混合单元17053。
再混合单元17053通过仅在曝光时间期间在时间方向上积分通过假设用从联立方程计算单元17064提供的变量yk定义的样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，并且也在x方向上例如以预先确定增量例如处理单元的像素#k在x方向上的宽度来积分(再积分)，获得并输出不具有运动模糊的像素值。
而且，如果再混合单元17053在x方向上以处理单元的像素#k在x方向上的宽度为增量执行积分，表达式(171)至表达式(173)表示的像素值获得，并且像素值的图像由与输入图像相同数目的像素构成。而且，如果再混合单元17053在x方向上以例如处理单元的像素#k在x方向上的1/2宽度为增量执行积分，表达式(174)至表达式(179)表示的像素值获得，并且对于其像素值的图像，水平方向上的像素由输入图像水平方向上两倍数目的像素构成。
接下来，将参考图138中的流程图描述图137中的运动模糊调节单元17035的处理。
首先，在步骤S17051中，建模单元17061获取用作从图120中的运动模糊调节量输出单元17032提供的连续性信息的运动量v，以及从处理单元确定单元17034提供的处理单元信息，并且流程前进到步骤S17052。在步骤S17052中，建模单元17061使得投影在用步骤S17051中获取的处理单元信息表示的处理单元上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17061基于从处理单元确定单元17034提供的处理单元信息来识别构成处理单元的像素数目。此外，建模单元17061从构成处理单元的像素数目，以及在步骤S17051中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给公式创建单元17062，并且流程从步骤S17052前进到步骤S17053。
在步骤S17053中，公式创建单元17062从建模单元17061提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给联立方程获取单元17063，并且流程前进到步骤S17054。
注意步骤S17052和S17053中的处理关于图120中的处理单元确定单元17034确定的所有处理单元而执行。
在步骤S17054中，联立方程获取单元17063选择图120中的处理单元确定单元17034处获得的处理单元中，还没有取作关注处理单元的处理单元作为关注处理单元，从图120中的前景背景分离单元17033提供的前景分量中获取关注处理单元的像素的像素值Yk，并且流程前进到步骤S17055。在步骤S17055中，联立方程获取单元17063将关注处理单元的像素的像素值Yk代入从公式创建单元17062提供的关于关注处理单元的表达式(166)至表达式(170)的公式，因此获取与关注处理单元的像素数目相同数量的联立方程，并且将这些提供给物理模型值获取单元17052。
随后，流程从步骤S17055前进到步骤S17056，在那里联立方程获取单元17063确定在图120中的处理单元确定单元17034处获得的所有处理单元是否都已取作关注处理单元，如果确定并不是所有处理单元都已取作关注处理单元，流程返回到步骤S17054。在该情况下，在步骤S17054中，联立方程获取单元17063重新选择在步骤S120中的处理单元确定单元17034处获得的处理单元中还没有取作关注处理单元的处理单元作为关注处理单元，此后重复相同的处理。
而且，如果在步骤S17056中确定在图120中的处理单元确定单元17034处获得的所有处理单元都已取作关注处理单元，也就是如果联立方程已经关于在图120中的处理单元确定单元17034处获得的所有处理单元而获得，流程前进到步骤S17057，在那里联立方程计算单元17064计算(求解)从联立方程获取单元17063提供的联立方程，从而获得近似现实世界1信号的表达式(137)和表达式(138)中的样条函数，将这些提供给再混合单元17053，并且流程前进到步骤S17058。
在步骤S17058中，再混合单元17053使用从联立方程计算单元17064提供的样条函数执行再混合(再积分)。也就是说，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设从联立方程计算单元17064提供的、为每个处理单元而获得的样条函数的每个在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理单元的像素#k在x方向上的宽度积分(再积分)，来获得每个处理单元的不具有运动模糊的像素值，并且流程从步骤S17058前进到步骤S17059。在步骤S17059中，再混合单元17053输出由对每个处理单元而获得的不具有运动模糊的像素值构成的图像，也就是不具有运动模糊的前景对象的图像，并且处理结束。
如上所述，假设与输入图像的空间方向的x方向上位置相对应的每个像素的像素值，其中现实世界1光信号投影在每个具有时间-空间积分效应的多个像素上，并且现实世界1光信号连续性的一部分丢失的图像数据内前景对象的运动量被设置，是由与样条函数近似的现实世界1光信号相对应的光信号函数(现实世界函数)F(x)在x方向和时间方向上积分根据前景对象的运动量在时间方向上相移时运动的物理模型而获取的像素值，配置可以进行以估计光信号函数F(x)，并且作为其估计的结果，近似光信号函数F(x)的样条函数可以获得。
此外，配置已经进行，其中由输入图像中前景对象的运动模糊去除的像素值构成的图像通过在x方向和在时间方向上以预先确定的增量积分(再积分)近似其光信号函数F(x)的样条函数来产生，借此通过从输入图像中去除运动模糊而获得的图像可以获得。
也就是说，通常，一定程度的运动模糊在摄影中允许，例如普通电视广播，以及电影，而且运动模糊有时通过调节照相机的曝光时间而用作视觉效果。但是，如果运动模糊在通过用照相机成像而获得的图像上发生，基本上难以从包括运动模糊的图像中去除运动模糊，并且如果过多的运动模糊在获得的图像上发生，包括运动模糊的图像作为摄影失败而丢弃。
而且，用于去除运动模糊的常规方法的实例包括使用对其运动方向和运动量最适合的维纳滤波器来执行处理的方法。但是，使用维纳滤波器的处理带来理想状态中(关于理想图像)的优点，但是失败有时关于例如经历量化且另外包含噪声的图像而发生。
另一方面，如上所述，如果估计光信号函数F(x)，并且积分作为其估计结果近似光信号函数F(x)的样条函数，运动模糊去除的清晰图像可以甚至从例如经历量化且另外包含噪声的真实图像中获得。
注意使用通过估计光信号函数F(x)，并且积分作为其估计结果近似光信号函数F(x)的样条函数来去除运动模糊的技术，即使在作为运动模糊原因的前景对象等的运动量小于像素大小的情况下，运动模糊可以精确地去除。
而且，如果估计光信号函数F(x)，并且积分作为其估计结果近似光信号函数F(x)的样条函数，运动模糊可以去除，并且可获得的图像的像素数目可以根据积分样条函数时积分范围的设置而增加。也就是说，图像的像素数目可以随着例如类型分类适应处理，线性内插处理等而增加，但是例如当其运动模糊通过使用维纳滤波器的处理而去除的图像经历类型分类适应处理或线性内插处理时，因使用维纳滤波器的处理而引起的失败有时加重。另一方面，如果估计光信号函数F(x)，并且积分作为其估计结果近似光信号函数F(x)的样条函数，运动模糊的去除以及可获得的图像的像素数目的增加可以同时进行，而不执行类型分类适应处理，线性内插处理等。这里，根据图像的像素数目的增加，图像的分辨率可以提高，或者图像可以放大。而且，时间方向上的分辨率同样可以依赖于积分近似光信号函数F(x)的样条函数时积分范围的设置而提高，与可获得的图像的像素数目，也就是空间方向上分辨率的增大一样。
注意如果估计光信号函数F(x)，除了使用图125中所示现实世界1光信号用平滑改变的函数(这里样条函数)近似，并且平滑改变的函数连续运动的物理模型之外，现实世界1光信号使用以像素宽度为增量取稳定值的阶式函数近似，并且阶式函数以像素宽度为增量以离散方式运动的物理模型可以使用。在该情况下，近似投影在像素上的现实世界1光信号的阶式函数的值在像素内是恒定的，所以空间混合不发生，但是阶式函数以像素宽度为增量以离散方式运动，所以对于其运动之前和之后，阶式函数的不同值投影在像素上，使得时间混合发生。因此，现实世界1光信号使用以像素宽度为增量取稳定值的阶式函数来近似，并且阶式函数以像素宽度为增量以离散方式运动的物理模型可以看作不考虑空间混合而仅考虑时间混合的模型。
使用阶式函数的物理模型考虑时间混合，与使用平滑改变的函数的物理模型一样，所以即使在利用使用阶式函数的物理模型的情况下，运动模糊可以去除。但是，使用平滑改变的函数的物理模型不仅考虑时间混合而且考虑空间混合，所以在利用使用平滑改变的函数的物理模型的情况下，可以执行比使用阶式函数的物理模型的情况更高精度的处理。
接下来，例如，如果集中于投影在小区域例如图像传感器的一个像素上的现实世界1光信号，这种小区域中的光信号的变化通常小。因此，如果估计现实世界1光信号，现实世界1光信号可以通过引入像素处光信号的变化(混乱)小的约束条件更精确地估计。
现在，例如，如上所述，让我们假定现实世界1光信号用三维样条函数近似，并且像素处光信号的变化小的约束条件被引入。现在，术语“像素处光信号的变化小”意思是相当于比像素更细微分辨率的部分的像素值中的变化小。而且，术语“像素处光信号的变化小”意思是像素内倾斜小，如果我们假定像素内某个位置处像素值的变化量是像素内倾斜。
像素处光信号的变化小的约束条件可以使用例如像素处光信号的最大值和最小值之间的差等于或小于(小于)预先确定阈值的表达式来描述。
现在，以下，描述这种约束条件的表达式称作约束条件表达式，如果适当的话。
为了描述假设像素处光信号的最大值和最小值之间的差等于或小于预先确定阈值的约束条件表达式，一个像素处光信号的最大值和最小值是必需的。但是，根据上面三维样条函数，一个像素处的现实世界1光信号用相当于用三维表达式表示的曲线的曲线来近似，使用这种曲线上像素处的最大值和最小值来描述约束条件表达式是困难的。
因此，这里，例如，如图139中所示，让我们假定假设通过将一个像素区域平均划分成三个区域而获得的三个小区域处的像素值相等的约束条件表达式用作描述假设像素内光信号的变化小的约束条件的约束条件表达式。
这里，使用假设一个像素划分成不同于三个的数目的小区域的约束条件表达式，并且各个小区域的像素值相等，是可能的。但是，如果使用三维样条函数作为近似现实世界1光信号的样条函数，一个像素需要划分成三个或更多小区域。
图139说明，假设水平方向为x方向，且垂直方向为现实世界1光信号的光度方向，近似光信号的三维样条函数。
现在，让我们假定通过将用样条函数近似的现实世界1光信号投影在通过将某个像素的x方向划分成三个相等区域而获得的三个小区域上而获得的像素值，如图139中所示，用从左侧小区域的像素值开始顺序地SL，SC和SR表示。注意，像素值SL，SC和SR等于通过关于将一个像素的x方向平均划分成三份的每个区域积分用样条函数近似的现实世界1光信号的曲线而获得的积分值，也就是，等于由用样条函数近似的现实世界1光信号的曲线，x轴，以及将一个像素的x方向平均划分成三份的、平行于光度方向的直线所包围的面积。
假设通过将一个像素的区域平均划分成三份而获得的三个小区域处的像素值SL，SC和SR相等的约束条件表达式可以使用下面的表达式表示。
SL＝SC＝SR ...(180) 注意，通过将一个像素的区域平均划分成三份而获得的三个小区域处的像素值相等的条件相当于像素处光信号的变化小的条件。
表达式(180)的约束条件表达式可以分成下面两个约束条件表达式。
SL-SC＝0 ...(181) SC-SR＝0 ...(182) 如上所述，像素值SL，SC和SR是通过对于将一个像素的x方向平均划分成三份的每个范围积分用样条函数近似的现实世界1光信号的曲线而获得的积分值，所以可以通过假设表达式(139)的积分范围(α，β)是将一个像素的x方向平均划分成三份的范围根据下面的表达式获得。
注意，表达式(183)至表达式(185)中的Mk用上面表达式(140)和表达式(141)表示。
根据表达式(181)的约束条件表达式，下面表达式中所示的N-1个约束条件表达式可以通过将表达式(183)和表达式(184)分别代入像素值SL和SC而获得。
其中(k＝1，…，N-1) ...(186) 而且，根据表达式(182)的约束条件表达式，下面表达式中所示的N-1个约束条件表达式可以通过将表达式(184)和表达式(185)分别代入像素值SC和SR而获得。
其中(k＝1，…，N-1) ...(187) 因此，根据约束条件的引入，表达式(186)和表达式(187)的总共2(N-1)个约束条件表达式可以获得。
图140是描述使用约束条件表达式估计现实世界的方法的图。
根据图125中所示的物理模型，表达式(166)至表达式(170)中所示N+1个公式可以获得(产生)。现在，在上面的情况中，平坦假设已经引入，表达式(166)至表达式(170)中所示的N+1个公式中，表达式(166)至表达式(168)的三个是受平坦假设影响的表达式，而表达式(169)和表达式(170)的另外两个表达式是不受平坦假设影响的表达式。
另外，根据约束条件的引入，用表达式(186)和表达式(187)表示的2(N-1)个约束条件表达式可以获得。
因此，根据约束条件的引入，表达式(166)至表达式(170)，表达式(186)以及表达式(187)的总共3N-1(＝N+1+2(N-1))个公式可以获得。
也就是说，对于图125中所示的物理模型，定义近似现实世界1光信号的样条函数的变量yk的数目是N+1，但是另一方面，大于变量yk数目的3N-1个公式可以获得。
大于未知变量yk的数目的3N-1个公式不能作为联立方程求解。因此，这里，让我们假定使得在3N-1个公式的每个发生的误差平方和达到最小的变量yk被获得，也就是，由受平坦假设影响的表达式(166)至表达式(168)，不受平坦假设影响的表达式(169)至表达式(170)，以及表达式(186)和表达式(187)的约束条件表达式构成的3N-1个公式使用最小二乘法求解，如图140中所示。
首先，让我们考虑表达式(166)至表达式(170)的N+1个公式的误差平方和。
现在，让我们假定表达式(166)至表达式(170)的N+1个公式用矩阵和列向量表示，如下面表达式中所示。
在表达式(188)中，右侧和左侧的误差ek用表达式(189)表示。
其中(k＝0，…，N) ...(189) 现在，如上所述，表达式(166)至表达式(170)中所示的N+1个公式中，表达式(166)至表达式(168)的三个是受平坦假设影响的表达式，而表达式(169)和表达式(170)的另外两个表达式是不受平坦假设影响的表达式。
因此，让我们考虑将表达式(166)至表达式(170)的N+1个公式中的误差平方和划分成受平坦假设影响的表达式(166)至表达式(168)的误差平方和E1，以及不受平坦假设影响的表达式(169)和表达式(170)的误差平方和E2。
误差平方和E1和E2与用表达式(189)表示的误差平方和ek一样如下表示。
注意在表达式(190)和表达式(191)中，P是用使用运动量v的表达式P＝[v+0.5]表示的值，也就是等于或小于v+0.5的最大整数值。
接下来，让我们考虑表达式(186)的N-1个约束条件表达式的误差平方和。
现在，让我们假定表达式(186)的N-1个约束条件表达式用矩阵和列向量表示，如下面表达式中所示。
在表达式(192)中，右侧和左侧的误差ek用表达式(193)表示。
其中(k＝1，…，N-1) ...(193) 因此，如果我们将表达式(193)的误差ek的平方和表示为E3，误差ek的平方和E3如下表示。
接下来，让我们考虑表达式(187)的N-1个约束条件表达式的误差平方和。
现在，让我们假定表达式(187)的N-1个约束条件表达式用矩阵和列向量表示，如下面表达式中所示。
在表达式(195)中，右侧和左侧的误差ek用表达式(196)表示。
其中(k＝1，…，N-1)...(196) 因此，如果我们将表达式(196)的误差ek的平方和表示为E4，误差ek的平方和E4如下表示。
如果我们将表达式(166)至表达式(170)，表达式(186)和表达式(187)的3N-1个公式左侧和右侧的误差平方和表示为E，误差平方和E是表达式(190)的平方和E1，表达式(191)的平方和E2，表达式(194)的平方和E3，以及表达式(197)的平方和E4的和，所以可以通过计算下面的表达式获得。
E＝E1+E2+E3+E4 ...(198) 获得使得表达式(198)表示的误差平方和E达到最小的变量yk允许由变量yk定义的样条函数更精确地近似图125中所示物理模型中的现实世界1光信号，并且也减小像素中的变化。
现在，用表达式(198)表示的误差平方和E可以粗略地划分成受平坦假设影响的表达式中的误差平方和E1，不受平坦假设影响的表达式中的误差平方和E2，以及约束条件表达式中的误差平方和E3+E4三种类型。
因此，这里，让我们假定上面三种类型误差中，例如，以关于不受平坦假设影响的表达式中误差平方和E2的权重作为标准(作为1)，如图140中所示，关于受平坦假设影响的表达式中误差平方和E1的权重用W1表示，以及关于约束条件表达式中误差平方和E3+E4的权重用W2表示，表达式(166)至表达式(170)，表达式(186)以及表达式(187)的3N-1个表达式左侧和右侧中的误差平方和E用表达式(199)表示，代替表达式(198)。
E＝W1·E1+E2+W2(E3+E4) ...(199) 表达式(199)中的权重W1和权重W2允许受平坦假设影响的表达式中引起的误差，不受平坦假设影响的表达式中引起的误差，以及约束条件表达式中引起的误差之间的均衡被调节。
权重W1表示在获得近似现实世界1光信号的样条函数的情况下在平坦假设上放置权重的程度。例如，如果设置权重W1为1，近似现实世界1光信号的样条函数可以通过平等地对待受平坦假设影响的表达式以及不受平坦假设影响的表达式而获得。而且，例如，如果设置权重W1为0，近似现实世界1光信号的样条函数可以获得，而不考虑因平坦假设而导致的误差。
权重W2表示在获得近似现实世界1光信号的样条函数的情况下在约束条件上放置权重的程度。用作权重W2的值越大，请求作为近似现实世界1光信号的样条函数的变化越小。关于权重W1，等于或大于0的值可以使用，例如。如果平坦假设精确地近似现实世界1光信号，精确近似现实世界1光信号的样条函数可以通过设置等于或大于1的值给权重W1而获得。关于权重W2，大约10-5～0.1的值可以使用，例如。
现在，根据表达式(199)，关于在不受平坦假设影响的表达式中引起的误差的权重可以通过调节关于受平坦假设影响的表达式中引起的误差的权重W1，以及关于约束条件表达式中引起的误差的权重W2来相对地调节。但是，在表达式(199)中，除了权重W1和权重W2之外，配置可以这样进行，其中关于不受平坦假设影响的表达式中引起的误差的权重被提供，从而直接调节该权重。
使得表达式(199)表示的误差平方和E达到最小的变量yk是将0设置为使得误差平方和E经历关于变量yk的偏微分的值的变量yk，如下面的表达式中所示。
其中(n＝0，…，N) ...(200) 当表达式(190)的平方和E1，表达式(191)的平方和E2，表达式(194)的平方和E3，以及表达式(197)的平方和E4代入表达式(200)中并计算时，表达式(200)的正则方程获得。
其中(n＝0，…，N) ...(201) 表达式(201)的正则方程是N+1维联立线性方程，并且用变量yk定义的表达式(137)的样条函数Ck(x)可以通过求解该表达式(201)而获得。
当表达式(201)的正则方程用矩阵和列向量表示时，这些变成例如表达式(202)中所示。

在近似现实世界1光信号的样条函数Ck(x)获得之后，具有任意分辨率且不具有运动模糊的图像可以通过执行再积分而获得，与约束条件表达式没有引入的情况一样。
也就是，如果我们假定曝光时间为1，具有期望分辨率且不具有运动模糊的图像可以通过设置期望值给表达式(139)中的积分范围(α，β)来获得。
特别地，例如，与原始图像具有相同分辨率的图像可以通过计算上面表达式(171)至表达式(173)而获得。而且，例如，具有原始图像水平方向上两倍分辨率的图像可以通过计算上面表达式(174)至表达式(179)而获得。
现在，可以设想平坦假设提供除处理单元的区域之外的区域中现实世界1光信号是稳定值的约束条件。在该情况下，权重W2可以看作关于描述这种约束条件的约束条件表达式的权重。
接下来，图141说明图120中运动模糊调节单元17035的另一种构造实例，其如上所述由近似现实世界1光信号(光信号函数F(x))的样条函数来产生不具有运动模糊的图像，如果必要的话进一步具有高分辨率的图像。注意在附图中，与图12025的情况中那些相对应的部分用相同的参考数字表示，以下如果适当的话，其描述将省略。
对于图141中的运动模糊调节单元17035，近似关于输入图像的现实世界1光信号的样条函数可以使用描述约束条件的表达式(186)和表达式(187)中所示2(N-1)个约束条件表达式，以及基于图125中所示物理模型而获得的表达式(166)至表达式(170)中所示N+1个公式来获得，从而产生具有期望分辨率且不具有运动模糊的图像。
也就是说，在图141中，运动模糊调节单元17035包括物理模型应用单元17081，像素内约束公式创建单元17082，物理模型值获取单元17083，以及再混合单元17053。在图141中，配置可以这样进行，其中用作从运动模糊调节量输出单元17032提供的连续性信息的运动量v，以及从处理单元确定单元17034提供的处理单元信息提供给物理模型应用单元17081。而且，从图120中的前景背景分离单元17033提供的前景分量被安排提供给物理模型值获取单元17083。
物理模型应用单元17081包括建模单元17091，和公式创建单元17092。
用作从图120中的运动模糊调节量输出单元17032提供的连续性信息的运动量v，以及从处理单元确定单元17034提供的处理单元信息提供给建模单元17091。
建模单元17091基于从处理单元确定单元17034提供的处理单元信息识别构成处理单元的像素数目(例如，图125中物理模型中的N+1个像素)，与图137中的建模单元17061一样。此外，建模单元17091从构成处理单元的像素数目以及运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给像素内约束条件创建单元17082，和公式创建单元17092，与图137中的建模单元17061一样。
公式创建单元17092从建模单元17091提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，并且将这些提供给物理模型值获取单元17083。注意，将在公式创建单元17092处创建的表达式(166)至表达式(170)的公式是其变量v使用用作从图120中的运动模糊调节量输出单元17032提供给建模单元17091的连续性信息的运动量v的特定值取代的公式。
像素内约束公式创建单元17082从建模单元17091提供的信息中识别构成处理单元的像素数目N+1，创建表达式(186)至表达式(187)中所示的约束条件表达式，并且将这些提供给物理模型值获取单元17083。
物理模型值获取单元17083，其包括最小二乘法应用单元17093，通过将最小二乘法应用于从公式创建单元17092提供的表达式(166)至表达式(170)，以及从像素内约束公式创建单元17082提供的表达式(186)和表达式(187)中所示的约束条件表达式，并求解这些，获得表达式(137)的样条函数(定义样条函数的变量yk)。
也就是说，最小二乘法应用单元17093从图120中的前景背景分离单元17033提供的前景分量中获取处理单元的像素的像素值，通过将其像素值代入从公式创建单元17092提供的表达式(166)至表达式(170)，以及从像素内约束公式创建单元17082提供的表达式(186)和表达式(187)中所示的约束条件表达式的公式中获得的表达式(201)(或表达式(202))的正则方程并且求解这些，获得表达式(137)的样条函数(定义样条函数的变量yk)，并将获得的样条函数提供给再混合单元17053。
注意如果最小二乘法应用单元17093求解表达式(201)的正则方程，权重W1和权重W2是必需的，但是让我们假定固定值在最小二乘法应用单元17093处预先设置给权重W1和权重W2，例如。
接下来，将参考图142中的流程图描述图141中运动模糊调节单元17035的处理。
首先，在步骤S17081中，建模单元17091获取用作从图120中的运动模糊调节量输出单元17032提供的连续性信息的运动量v，以及从处理单元确定单元17034提供的处理单元信息，并且流程前进到步骤S17082。在步骤S17082中，建模单元17091使得投影在用步骤S17081中获取的处理单元信息表示的处理单元上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17091基于从处理单元确定单元17034提供的处理单元信息来识别构成处理单元的像素数目。此外，建模单元17091从构成处理单元的像素数目，以及在步骤S17081中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给像素内约束公式创建单元17082和公式创建单元17092，并且流程从步骤S17082前进到步骤S17083。
在步骤S17083中，公式创建单元17092从建模单元17091提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17084。
在步骤S17084中，像素内约束公式创建单元17082创建表达式(186)和表达式(187)中所示的约束条件表达式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17085。
注意步骤S17082至S17084中的处理关于图120中的处理单元确定单元17034确定的所有处理单元而执行。
在步骤S17085中，物理模型值获取单元17083的最小二乘法应用单元17093选择图120中的处理单元确定单元17034处获得的处理单元中，还没有取作关注处理单元的处理单元作为关注处理单元，从图120中的前景背景分离单元17033提供的前景分量中获取关注处理单元的像素的像素值Yk，并且流程前进到步骤S17086。
在步骤S17086中，最小二乘法应用单元17093通过将关注处理单元的像素的像素值Yk代入从公式创建单元17092提供的关于关注处理单元的表达式(166)至表达式(170)，以及从像素内约束公式创建单元17082提供的表达式(186)和表达式(187)中所示的约束条件表达式，并进一步使用权重W1和权重W2列出表达式(201)的正则方程，来获得表达式(201)的正则方程，并且流程前进到步骤S17087。
在步骤S17087中，最小二乘法应用单元17093确定在图120中的处理单元确定单元17034处获得的所有处理单元是否都已取作关注处理单元，并且如果确定并不是所有处理单元都已取作关注处理单元，流程返回到步骤S17085。在该情况下，在步骤S17085中，最小二乘法应用单元17093重新选择在步骤S120中的处理单元确定单元17034处获得的处理单元中还没有取作关注处理单元的处理单元作为关注处理单元，此后重复相同的处理。
而且，如果在步骤S17087中确定在图120中的处理单元确定单元17034处获得的所有处理单元都已取作关注处理单元，也就是如果正则方程已经关于在图120中的处理单元确定单元17034处获得的所有处理单元而获得，流程前进到步骤S17088，在那里最小二乘法应用单元17093通过求解关于所有处理单元而获得的正则方程来获得关于每个处理单元的表达式(137)的样条函数(定义样条函数的变量yk)，也就是获得近似现实世界1信号的表达式(137)和表达式(138)的样条函数，将这些提供给再混合单元17053，并且流程前进到步骤S17089。
在步骤S17089中，再混合单元17053使用从最小二乘法应用单元17093提供的样条函数执行再混合(再积分)。也就是说，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设从最小二乘法应用单元17093提供的、为每个处理单元而获得的样条函数的每个在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理单元的像素#k在x方向上的宽度积分(再积分)，来获得每个处理单元的不具有运动模糊的像素值，并且流程从步骤S17089前进到步骤S17090。在步骤S17090中，再混合单元17053输出由对每个处理单元而获得的不具有运动模糊的像素值构成的图像，也就是不具有运动模糊的前景对象的图像，并且处理结束。
如上所述，假设与输入图像的空间方向的x方向上位置相对应的每个像素的像素值，其中现实世界1光信号投影在每个具有时间-空间积分效应的多个像素上，并且现实世界1光信号连续性的一部分丢失的输入图像内前景对象的运动量被设置，是由与样条函数近似的现实世界1光信号相对应的光信号函数(现实世界函数)F(x)在x方向和时间方向上积分根据前景对象的运动量在时间方向上相移时运动的物理模型而获取的像素值，配置可以进行以通过使用提供用近似光信号函数F(x)的样条函数表示的像素内像素值变化小的约束条件的约束条件表达式来估计光信号函数F(x)，并且作为其估计的结果，近似光信号函数F(x)的样条函数可以获得。
此外，配置已经进行，其中由输入图像中前景对象的运动模糊去除的像素值构成的图像通过在x方向和在时间方向上以预先确定的增量积分(再积分)近似其光信号函数F(x)的样条函数来产生，借此通过从输入图像中去除运动模糊而获得的图像可以获得。
注意，像素值变化小的约束条件可以应用于时间方向，以及空间方向(上面情况中x方向)。
接下来，对于图113中的信号处理设备4，在现实世界估计单元17003处估计现实世界的处理，以及在图像生成单元17004处使用现实世界的估计结果产生图像的处理以下整体称作现实处理。
图143说明执行现实处理的现实处理单元17100的构造实例。
现实处理单元17100提供有经历现实处理的输入图像，以及现实处理(估计现实世界的处理以及使用现实世界估计结果产生图像的处理)所需的参数。现实处理单元17100包括现实世界处理单元17003和图像生成单元17004。对于现实世界估计单元17003，估计现实世界的处理使用输入图像和现实处理所需参数来执行。对于图像生成单元17004，例如，通过从输入图像中去除运动模糊而获得的图像，具有比输入图像更高分辨率的图像，通过从输入图像中去除运动模糊而获得的而且具有比输入图像更高分辨率的图像等使用现实世界的估计结果来产生。
现在，提供给现实处理单元17100的、现实处理所需的参数的实例包括从图113中的处理区域设置单元17001输出的处理区域信息，从连续性设置单元17002输出的连续性信息，以及另外在表达式(199)中引入的权重W1和权重W2。
图144说明在执行通过从包含运动模糊的输入图像中去除运动模糊来获得图像的处理，或者获得运动模糊从其中去除并且具有比输入图像更高分辨率的图像的处理的情况下图143中现实处理单元17100的构造实例。注意在附图中，与图137中运动模糊调节单元17035的情况下那些相对应的部分用相同的参考数字表示，以下如果适当的话，其描述将省略。
图144中的现实处理单元17100提供有输入图像，并且也提供有来自图113中的处理区域设置单元17001的处理区域信息作为现实处理的必需参数，以及提供有来自连续性设置单元17002的连续性信息作为现实处理的必需参数。现在，让我们假定在图144中，输入图像中用处理区域信息表示的处理区域中显示的对象例如以恒定速度在水平方向上运动，因此，运动模糊在处理区域中发生。此外，让我们假定在图144中，处理区域中显示的对象的运动量v用作连续性信息。注意，如上所述细线以倾斜方向显示的图像可以用作输入图像。在该情况下，处理区域信息需要是表示输入图像中包含细线的区域(处理区域)的信息，并且连续性信息需要是表示细线方向(角度)的信息。
在图144中，输入图像提供给预处理单元17101。而且，现实处理所需参数中的处理区域信息提供给物理模型应用单元17051的建模单元17061，以及预处理单元17101。此外，现实处理所需参数中的连续性信息提供给物理模型应用单元17051的建模单元17061。
预处理单元17101从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型应用单元17051的联立方程获取单元17063。
接下来，将参考图145中的流程图描述图144中现实处理单元17100的处理。
首先，在步骤S17101中，建模单元17061获取从图113中的处理区域设置单元17001提供的处理区域信息，以及用作从连续性设置单元17002提供的连续性信息的运动量v作为现实处理所需的参数，而且预处理单元17101获取从图113中的处理区域设置单元17001提供的处理区域信息作为现实处理所需的参数，并且流程前进到步骤S17102。在步骤S17102中，预处理单元17101从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型应用单元17051的联立方程获取单元17063。
随后，流程从步骤S17102前进到步骤S17103，在那里建模单元17061使得投影在用步骤S17101中获取的处理区域信息表示的处理区域上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17061基于从处理区域设置单元17001提供的处理区域信息来识别构成处理区域的每个水平线的像素数目。这里，处理区域的每个水平线相当于用图137中的运动模糊调节单元17035描述的处理单元。此外，建模单元17061从构成处理区域的每个水平线的像素数目，以及在步骤S17101中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给公式创建单元17062，并且流程从步骤S17103前进到步骤S17104。
在步骤S17104中，公式创建单元17062从建模单元17061提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给联立方程获取单元17063，并且流程前进到步骤S17105。
注意步骤S17103和S17104中的处理关于用处理区域信息表示的处理区域的所有水平线而执行。
在步骤S17105中，联立方程获取单元17063选择用处理区域信息表示的处理区域的水平线中还没有取作关注水平线的水平线，从预处理单元17101提供的处理区域的像素值中获取关注水平线的像素的像素值Yk，并且流程前进到步骤S17106。在步骤S17106中，联立方程获取单元17063将关注水平线的像素的像素值Yk代入从公式创建单元17062提供的关于关注水平线的表达式(166)至表达式(170)的公式，因此获取与关注水平线的像素数目相同数量的联立方程，并且将这些提供给物理模型值获取单元17052。
随后，流程从步骤S17106前进到步骤S17107，在那里物理模型值获取单元17052的联立方程计算单元17064计算(求解)从联立方程获取单元17063提供的关于关注水平线的联立方程，因此获得近似投影在关注水平线上的现实世界1信号的表达式(137)和表达式(138)中的样条函数，将这些提供给再混合单元17053，并且流程前进到步骤S17108。
在步骤S17108中，再混合单元17053使用从联立方程计算单元17064提供的样条函数执行再混合(再积分)。也就是说，对于从联立方程计算单元17064提供的关于水平线的样条函数，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设其样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的宽度积分(再积分)，来获得关于关注水平线的不具有运动模糊的像素值，并且流程从步骤S17108前进到步骤S17109。
在步骤S17109中，联立方程获取单元17063确定用处理区域信息表示的处理区域的所有水平线是否都已取作关注水平线，如果确定并不是所有水平线都已取作关注水平线，流程返回到步骤S17105。在该情况下，在步骤S17105中，联立方程获取单元17063重新选择处理区域的水平线中还没有取作关注水平线的处理区域作为关注水平线，此后重复相同的处理。
而且，在步骤S17109中，如果确定处理区域的所有水平线都已取作关注水平线，也就是如果不具有运动模糊的像素关于处理区域的所有水平线而获得，流程前进到步骤S17110，在那里再混合单元17053输出关于处理区域的所有水平线而获得的不具有运动模糊的像素值，也就是不具有运动模糊的处理区域的图像，并且处理结束。
如上所述，图144中的现实处理单元17100可以获得运动模糊从其中去除，如果必要的话具有高分辨率的图像，与图137中的运动模糊调节单元17035的情况一样。
接下来，图146说明在执行通过从包含运动模糊的输入图像中去除运动模糊来获得图像的处理，或者获得运动模糊从其中去除并且具有比输入图像更高分辨率的图像的处理的情况下图143中现实处理单元17100的另一种构造实例。注意在附图中，与图141中运动模糊调节单元17035或者图144中的现实处理单元17100的情况下那些相对应的部分用相同的参考数字表示，以下如果适当的话，其描述将省略。
图146中的现实处理单元17100提供有输入图像，并且也提供有来自图113中的处理区域设置单元17001的处理区域信息，以及提供有来自连续性设置单元17002的连续性信息。现在，让我们假定在图146中，与上面图144中的情况一样，输入图像中用处理区域信息表示的处理区域中显示的对象例如以恒定速度在水平方向上运动，因此，运动模糊在处理区域中发生。此外，让我们假定在图146中，在处理区域中显示的对象的运动量v例如用作连续性信息。
在图146中，输入图像提供给预处理单元17101。而且，现实处理所需参数中的处理区域信息提供给物理模型应用单元17081的建模单元17091，以及预处理单元17101。此外，现实处理所需参数中的连续性信息提供给物理模型应用单元17081的建模单元17091。
而且，在图146中，配置可以这样进行，其中表达式(201)中的权重W1和权重W2与处理区域信息和连续性信息一样作为现实处理所需的参数提供给物理模型值获取单元17083的最小二乘法应用单元17093。注意在图146中，对于作为现实处理所需参数的权重W1和权重W2，例如，固定值预先设置给它们。而且，权重W1和权重W2可以通过例如用户操作用户I/F 17006作为帮助信息输入。此外，对于权重W1和权重W2，例如根据处理区域的图像特征的可变值可以使用。
接下来，将参考图147中的流程图描述图146中现实处理单元17100的处理。
首先，在步骤S17131中，建模单元17091获取从图113中的处理区域设置单元17001提供的处理区域信息，以及用作从连续性设置单元17002提供的连续性信息的运动量v作为现实处理所需的参数。此外，在步骤S17131中，物理模型值获取单元17083的最小二乘法应用单元17093获取用作从用户I/F 17006等提供的帮助信息的权重W1和权重W2作为现实处理所需的参数，并且流程前进到步骤S17132。在步骤S17132中，预处理单元17101从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型值获取单元17083的最小二乘法应用单元17093。
随后，流程从步骤S17132前进到步骤S17133，在那里建模单元17091使得投影在用步骤S17131中获取的处理区域信息表示的处理区域的水平线上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17091基于从处理区域设置单元17001提供的处理单元信息来识别构成处理区域的每个水平线的像素数目。此外，建模单元17091从构成处理区域的每个水平线的像素数目，以及在步骤S17131中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给像素内约束公式创建单元17082和公式创建单元17092，并且流程从步骤S17133前进到步骤S17134。
在步骤S17134中，公式创建单元17092从建模单元17091提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17135。
在步骤S17135中，像素内约束公式创建单元17082创建表达式(186)和表达式(187)中所示的约束条件表达式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17136。
注意步骤S17133至S17135中的处理关于处理区域的所有水平线而执行。
在步骤S17136中，物理模型值获取单元17083的最小二乘法应用单元17093选择处理区域的水平线中还没有取作关注水平线的水平线，从预处理单元17101提供的处理区域的像素值中获取关注水平线的像素的像素值Yk，并且流程前进到步骤S17137。
在步骤S17137中，最小二乘法应用单元17093通过将关注水平线的像素的像素值Yk代入从公式创建单元17092提供的关于关注水平线的表达式(166)至表达式(170)，以及从像素内约束公式创建单元17082提供的表达式(186)和表达式(187)中所示的约束条件表达式的公式，并且使用权重W1和权重W2列出表达式(201)的正则方程，来获取表达式(201)的正则方程，并且流程前进到步骤S17138。
在步骤S17138中，最小二乘法应用单元17093通过求解关于关注水平线而获得的正则方程来获得关于关注水平线的表达式(137)的样条函数(定义样条函数的变量yk)，也就是，获得近似现实世界1信号的表达式(137)和表达式(138)的样条函数，并且将这些提供给再混合单元17053，并且流程前进到步骤S17139。
在步骤S17139中，再混合单元17053使用从最小二乘法应用单元17093提供的样条函数执行再混合(再积分)。也就是说，对于从最小二乘法应用单元17093提供的关于关注水平线而获得的样条函数的每个，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设其样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的宽度积分(再积分)，来获得关于关注水平线的不具有运动模糊的像素值，并且流程从步骤S17139前进到步骤S17140。
在步骤S17140中，最小二乘法应用单元17093确定处理区域的所有水平线是否都已取作关注水平线，如果确定并不是所有水平线都已取作关注水平线，流程返回到步骤S17136。在该情况下，在步骤S17136中，最小二乘法应用单元17093重新选择处理区域中还没有取作关注水平线的水平线作为关注水平线，此后重复相同的处理。
而且，在步骤S17140中，如果确定处理区域的所有水平线都已取作关注水平线，也就是如果不具有运动模糊的像素关于处理区域的所有水平线而获得，流程前进到步骤S17141，在那里再混合单元17053输出关于处理区域的所有水平线而获得的不具有运动模糊的像素值，也就是不具有运动模糊的处理区域的图像，并且处理结束。
如上所述，图146中的现实处理单元17100可以获得运动模糊从其中去除，如果必要的话具有高分辨率的图像，与图141中的运动模糊调节单元17035的情况一样。
接下来，图144和图146中的现实处理单元17100已经产生通过从输入图像中去除运动模糊而获得的图像，或者通过从输入图像中去除运动模糊，并且提高超过输入图像中的分辨率的图像，假设运动模糊在输入图像上发生，但是现实处理单元17100可以从不具有运动模糊的输入图像中产生具有高分辨率的图像。注意产生具有高分辨率的图像从另一个观点看可以看作产生放大的图像。
如果使用图125中所示的物理模型，从不具有运动模糊的输入图像中产生具有高分辨率的图像，运动量v为0的物理模型应当被考虑。
图148是在运动量v为0的图125中物理模型的情况下说明物理模型的图。
因此，图148表示这种物理模型，其中用样条函数Ck(x)近似的光信号函数F(x)表示的光信号在图像传感器的曝光时间期间以静止状态投影在处理单元的像素上，并且电荷在像素上充电，从而获得图像。
这里，图148的左侧视图说明近似光信号函数F(x)的样条函数Ck(x)，与图124中的情况一样。而且，图148的右侧视图说明近似光信号函数F(x)的样条函数Ck(x)的光度，假设水平方向是图像传感器的水平方向(处理单元的像素排列于其中的x方向)，正面方向是曝光时间，且垂直方向是光度。
根据图148中所示的物理模型，用作由近似光信号函数F(x)的样条函数Ck(x)在图像传感器的曝光时间的方向上运动而获得的轨迹的曲面仅在曝光时间期间在时间方向上积分，并且在x方向上关于处理单元的像素#k在x方向上的长度积分，从而获得像素#k的像素值Yk。
对于图148中的物理模型，近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间不在空间方向上运动，所以因图像传感器的空间积分效应而引起的对象信号在空间方向上的混合(空间混合)在像素#k处发生，其中像素值Yk由该物理模型获得，但是因图像传感器的时间积分效应而引起的对象信号在时间方向上的混合(时间混合)不发生。
根据图148中的物理模型，像素#k的像素值Yk可以通过设置像素#k在x方向上的开始边缘和结束边缘(从左端到右端)之间的范围为上面表达式(139)中的积分范围(α，β)来获得，如果曝光时间假设为1，与图135描述的情况一样。也就是说，对于图148中的物理模型，像素Yk可以使用下面的表达式获得。
其中(k＝1，2，…，N-1) ...(204) 现在，让我们假定对于图148中的物理模型，平坦假设被使用。情况分成三类，也就是k＝0，k＝1～N-1，以及k＝N以获得像素值Yk的原因由平坦假设引起，与图135中描述的情况一样。注意平坦假设不是必不可少的。
关于表达式(203)至表达式(205)，N+1个公式总共可以列出，并且定义样条函数Ck(x)的未知变量yk同样存在N+1个的数量。因此，光信号函数F(x)可以估计，也就是，这里，近似光信号函数F(x)的样条函数Ck(x)可以通过将从图像传感器获得的像素值Yk代入表达式(203)至表达式(205)，列出N+1个联立方程，也就是，N+1维联立线性方程，并且求解N+1维联立线性方程来获得。
在近似光信号函数F(x)的样条函数Ck(x)获得之后，具有任意分辨率的像素的像素值可以通过在x方向上预先确定范围中积分样条函数Ck(x)而获得。也就是，如果我们假定曝光时间为1，具有任意分辨率的像素的像素值可以通过设置期望范围给上面表达式(139)中的积分范围(α，β)来获得。
特别地，例如，现在，让我们考虑通过在x方向上将像素#k划分成两个而获得的虚拟像素，并且让我们将通过在x方向上将像素#k划分成两个而获得的右侧像素和左侧像素表示为虚拟像素#k，left和#k，right。此外，让我们将虚拟像素#k，left和#k，right的像素值分别表示为Xk，left和Xk，right。
像素值Xk，left和Xk，right，如图149中所示，与图136中一样，可以通过仅在曝光时间期间在时间方向上积分通过假设近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，并且以通过划分处理单元的像素#k而获得的虚拟像素#k，left和#k，right在x方向上的宽度为增量在x方向上积分(再积分)来获得。
在该情况下，像素值Xk，left和Xk，right可以用下面的表达式获得。
X0，left＝y0 ...(206) 其中(k＝1，2，…，N-1)...(208) 其中(k＝1，2，…，N-1) ...(209) XN，right＝yN...(211) 根据使用表达式(206)至表达式(211)获得的像素值Xk，left和Xk，right，横向上像素数目为像素原始数目两倍的高分辨率图像(横向上两倍密度的图像)可以获得。
在上面的实例中，像素#k已经划分成两个，但是像素#k的划分数目并不局限于二。而且，这里，高于原始图像(输入图像)的高分辨率图像已经试图通过划分像素#k来获得，但是具有期望分辨率的图像可以通过调节假设近似光信号函数F(x)的样条函数Ck(x)在曝光时间期间没有从曝光开始时的位置运动而获得的曲面的积分范围来获得。也就是，如果我们假定曝光时间为1，具有期望分辨率的图像可以通过设置期望值为表达式(139)中的积分范围(α，β)而获得。
注意，在上面的实例中，现实世界1光信号不随着时间改变，所以时间方向上的积分效应不需要考虑。也就是说，这里，用样条函数近似的现实世界1光信号仅考虑因x方向上的积分效应而引起的混合(空间混合)来估计，所以该估计方法属于上面一维近似方法(和一维再积分方法)。
而且，在上面的实例中，横向上分辨率增加的图像已经考虑因x方向上的积分效应而引起的混合(空间混合)而产生，但是横向和纵向上分辨率都增加的图像可以通过关于横向上分辨率增加的图像考虑因y方向上的积分效应而引起的混合(空间混合)使用图148中的物理模型来产生。另外，例如，横向和纵向上分辨率都增加的图像可以通过关于输入图像考虑因x方向和y方向的二维方向上的积分效应而引起的混合(空间混合)使用图148中的物理模型而产生。
如上所述，图143中的现实处理单元17100允许从不具有运动模糊的输入图像中产生高分辨率图像，也就是创建所谓图像分辨率(空间方向上的分辨率)。
图150说明如上所述从不具有运动模糊的输入图像中产生高分辨率图像的现实处理单元17100的构造实例。
图150中的现实处理单元17100提供有输入图像，并且也提供有来自图113中的处理区域设置单元17001的处理区域信息作为现实处理的必需参数，以及提供有来自连续性设置单元17002的连续性信息作为现实处理的必需参数。现在，让我们假定在图150中，输入图像中用处理区域信息表示的处理区域上显示的对象是静止的。此外，让我们假定在图150中，表示处理区域中显示的对象静止，例如，也就是对象的运动量v为0的信息用作连续性信息。
对于现实处理单元17100，输入图像提供给预处理单元17200。而且，现实处理所需参数中的处理区域信息提供给物理模型应用单元17201的建模单元17211，以及预处理单元17200。此外，现实处理所需参数中的连续性信息提供给物理模型应用单元17201的建模单元17211。
预处理单元17200从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型应用单元17201的联立方程获取单元17213。
物理模型应用单元17201包括建模单元17211，公式创建单元17212，以及联立方程获取单元17213。
建模单元17211基于从处理区域设置单元17001提供的处理区域信息来识别构成处理区域的每个水平线的像素数目(例如图148中物理模型中的N+1个像素)。此外，建模单元17211从表示用作连续性信息的运动量v为0的信息中确定应用图148中的物理模型，并且将构成处理区域的每个水平线的像素数目作为图148中的物理模型信息提供给公式创建单元17212。而且，建模单元17211识别输入图像中的处理区域的位置，并且将表示其位置的信息经由公式创建单元17212提供给联立方程获取单元17213。
公式创建单元17212从建模单元17211提供的物理模型信息中创建表达式(203)至表达式(205)中所示的公式，并且将这些提供给联立方程获取单元17213。
联立方程获取单元17213从建模单元17211经由公式创建单元17212提供的表示输入图像中处理区域的位置的信息中识别输入图像中处理区域的位置，并且基于其位置从预处理单元17200提供的处理区域的像素值中获取处理区域的每个水平线的像素的像素值。此外，联立方程获取单元17213将处理区域的每个水平线的像素的像素值代入从公式创建单元17212提供的表达式(203)至表达式(205)的公式，因此，获取每个水平线的N+1个联立方程，并且将这些提供给物理模型值获取单元17202。
物理模型值获取单元17202包括联立方程计算单元17214，并且从联立方程获取单元17213提供的联立方程提供给联立方程计算单元17214。联立方程计算单元17214计算(求解)从联立方程获取单元17213提供的联立方程，因此，获得定义近似现实世界1信号的表达式(137)和表达式(138)中样条函数的N+1个变量yk，并且将这些提供给再混合单元17203。
再混合单元17203通过仅在曝光时间期间在时间方向上积分通过假设用从联立方程计算单元17214提供的变量yk定义的样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，并且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的1/2宽度积分(再积分)，来获得并输出高分辨率像素的像素值。
注意，如果再混合单元17203在x方向上，例如以处理区域的像素#k在x方向上的1/2宽度为增量执行积分，用表达式(206)至表达式(211)表示的像素值被获得，并且对于其像素值的图像，水平方向上的像素由输入图像水平方向上两倍数目的像素构成。
接下来，将参考图151中的流程图描述图150中现实处理单元17100的处理。
首先，在步骤S17201中，建模单元17211获取从图113中的处理区域设置单元17001提供的处理区域信息，以及表示用作从连续性设置单元17002提供的连续性信息的运动量v为0的信息作为现实处理所需的参数，而且预处理单元17200获取从图113中的处理区域设置单元17001提供的处理区域信息作为现实处理所需的参数，并且流程前进到步骤S17202。在步骤S17202中，预处理单元17200从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型应用单元17201的联立方程获取单元17213。
随后，流程从步骤S17202前进到步骤S17203，在那里建模单元17211使得投影在用步骤S17201中获取的处理区域信息表示的处理区域上的现实世界1光信号，经历依照图148中所示的物理模型的建模。
也就是说，建模单元17211基于从处理区域设置单元17001提供的处理区域信息来识别构成处理区域的每个水平线的像素数目。此外，建模单元17211从表示用作连续性信息的运动量v为0的信息中确定应用图148中的物理模型，并且将构成处理区域的每个水平线的像素数目作为图148中的物理模型信息提供给公式创建单元17212，并且流程从步骤S17203前进到步骤S17204。
在步骤S17204中，公式创建单元17212从建模单元17211提供的物理模型信息中创建表达式(203)至表达式(205)中所示的公式，将这些提供给联立方程获取单元17213，并且流程前进到步骤S17205。
注意步骤S17203和S17204中的处理关于用处理区域信息表示的处理区域的所有水平线而执行。
在步骤S17205中，联立方程获取单元17213选择用处理区域信息表示的处理区域的水平线中还没有取作关注水平线的水平线作为关注水平线，从预处理单元17200提供的处理区域的像素值中获取关注水平线的像素的像素值Yk，并且流程前进到步骤S17206。在步骤S17206中，联立方程获取单元17213将关注水平线的像素的像素值Yk代入从公式创建单元17212提供的关于关注水平线的表达式(203)至表达式(205)的公式，因此获取与关注水平线的像素数目相同数量的联立方程，并且将这些提供给物理模型值获取单元17202。
随后，流程从步骤S17206前进到步骤S17207，物理模型值获取单元17202的联立方程计算单元17214计算(求解)从联立方程获取单元17213提供的关于关注水平线的联立方程，因此获得近似投影在关注水平线上的现实世界1信号的表达式(137)和表达式(138)中的样条函数，将这些提供给再混合单元17203，并且流程前进到步骤S17208。
在步骤S17208中，再混合单元17203使用从联立方程计算单元17214提供的样条函数执行再混合(再积分)。也就是说，对于从联立方程计算单元17214提供的关于水平线的联立方程，再混合单元17203通过仅在曝光时间期间在时间方向上，积分通过假设其样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的1/2宽度积分(再积分)，来获得关于关注水平线的高分辨率像素值，并且流程从步骤S17208前进到步骤S17209。
在步骤S17209中，联立方程获取单元17213确定用处理区域信息表示的处理区域的所有水平线是否都已取作关注水平线，如果确定并不是所有水平线都已取作关注水平线，流程返回到步骤S17205。在该情况下，在步骤S17205中，联立方程获取单元17213重新选择处理区域的水平线中还没有取作关注水平线的处理区域作为关注水平线，此后重复相同的处理。
而且，在步骤S17209中，如果确定处理区域的所有水平线都已取作关注水平线，也就是如果不具有运动模糊的像素关于处理区域的所有水平线而获得，流程前进到步骤S17210，在那里再混合单元17203输出关于处理区域的所有水平线而获得的高分辨率像素值，也就是处理区域的高分辨率图像，并且处理结束。
如上所述，图150中的现实处理单元17100可以从不具有运动模糊的图像中获得高分辨率图像。
注意，现实世界1的估计，也就是如果获得近似现实世界1信号的表达式(137)和表达式(138)的样条函数，最小二乘法可以使用表达式(203)至表达式(205)，以及使用图139和图140描述的约束条件表达式以及求解表达式(203)至表达式(205)的表达式作为联立方程来使用。
如上所述，光信号函数F(x)被估计，假设与图像数据的时间-空间方向的x方向上位置相对应的每个像素的像素值，其中现实世界光信号投影在每个具有时间-空间积分效应的多个像素上，并且现实世界光信号连续性的一部分丢失，是通过积分与用样条函数近似的现实世界1光信号相对应的光信号函数(现实世界函数)F(x)而获得的像素值。图像通过在x方向上以预先确定的增量积分用作估计结果的样条函数来产生，借此高分辨率图像可以关于静止图像而获得。
接下来，将描述在图113中的处理区域设置单元17001，连续性设置单元17002，或现实世界估计单元17003使用帮助信息执行处理的情况下，图113中的信号处理设备4的处理。
图152是描述在图113中的处理区域设置单元17001，连续性设置单元17002，或现实世界估计单元17003使用帮助信息执行处理的情况下，图113中的信号处理设备4的处理的流程图。
对于图113中的信号处理设备4，现实世界基于连续性来估计，因此，去除因传感器2的时间积分效应而引起的对象信号的时间方向混合(时间混合)而发生的运动模糊的处理等被执行。
也就是说，在通过使用作为图像传感器的传感器2获取对象例如汽车等正在运动的现实世界1中的图像而获得的输入图像中，对象随着时间而运动，所以该对象的光信号与除该对象之外的部分的光信号因传感器2的时间积分效应而混合(时间混合)，从而引起对象边界部分等处的所谓运动模糊。使用图113中的信号处理设备4，因这种时间混合而引起的运动模糊从输入图像中去除的高图像质量输出图像产生，因此，运动模糊从输入图像中去除的输出图像被获得。
对于图113中所示的信号处理设备4，首先，在步骤S17301中，执行预处理，并且流程前进到步骤S17302。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的例如输入图像的一帧或一场提供给处理区域设置单元17001，连续性设置单元17002，现实世界估计单元17003，图像生成单元17004，以及图像显示单元17005。也就是说，信号处理设备4将从用作图像传感器(图1)的传感器2作为数据3提供的例如输入图像的一帧或一场提供给处理区域设置单元17001，连续性设置单元17002，现实世界估计单元17003，图像生成单元17004，以及图像显示单元17005。此外，信号处理设备4将输入图像显示在图像显示单元17005上。
注意这里，例如，通过使用传感器2获取对象例如汽车以恒定速度在水平方向上运动的场景而获得的、因时间混合而具有运动模糊的图像作为输入图像输入到信号处理设备4。
在步骤S17302中，用户I/F 17006确定是否存在由用户操作用户I/F 17006的某种用户输入。在步骤S17302中，如果确定用户输入没有执行，也就是如果用户没有执行任何操作，流程返回到步骤S17302。
而且，在步骤S17302中，如果确定已经存在用户输入，也就是如果用户已经观看显示在图像显示单元17005上的输入图像并且操作用户I/F 17006，从而做出指示某种指令或信息的用户输入，流程前进到步骤S17303，在那里用户I/F 17006确定用户输入是否是指示信号处理设备4处理结束的用户指令。
如果在步骤S17303中确定用户输入是结束指令，信号处理设备4结束处理。
而且，如果在步骤S17303中确定用户输入不是结束指令，流程前进到步骤S17304，在那里用户I/F 17006确定用户输入是否是帮助信息。在步骤S17304中，如果确定用户输入不是帮助信息，流程返回到步骤S17302。
而且，如果在步骤S17304中确定用户输入是帮助信息，流程前进到步骤S17305，在那里用户I/F 17006将帮助信息提供给处理区域设置单元17001，连续性设置单元17002，或现实世界估计单元17003，并且流程前进到步骤S17306。
在步骤S17306中，处理区域设置单元17001基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元17002，现实世界估计单元17003，以及图像生成单元17004，并且流程前进到步骤S17307。现在，如果帮助信息已经在前一个步骤S17305中从用户I/F 17006提供，处理区域设置单元17001使用该帮助信息执行处理区域的设置。
在步骤S17307中，连续性设置单元17002从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元17002设置在处理区域的图像数据中丢失的现实世界1信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元17003，并且流程前进到步骤S17308。现在，如果帮助信息已经在前一个步骤S17305中从用户I/F 17006提供，连续性设置单元17002使用该帮助信息执行连续性的设置。
在步骤S17308中，现实世界估计单元17003根据相应现实世界1信号的连续性，关于输入图像处理区域中的图像数据估计现实世界1信号。
也就是说，在现实世界估计单元17003处，模型生成单元17011从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元17002提供的连续性信息中识别与处理区域中图像数据相对应的现实世界1信号的连续性(这里，例如，显示在处理区域上的对象的运动量)。此外，模型生成单元17011根据构成输入图像中处理区域的像素，以及与处理区域的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的关系模型的函数，并且将其提供给公式生成单元17012。
公式生成单元17012从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像的每个像素的像素值代入用作从模型生成单元17011提供的关系模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元17013。
注意这里，样条函数用作近似函数，如上所述。
现实世界波形估计单元17013通过求解从公式生成单元17012提供的公式来估计现实世界1信号的波形。也就是，现实世界波形估计单元17013通过求解从公式生成单元17012提供的公式来获得用作模拟现实世界1信号的近似模型的近似函数，并且将近似函数提供给图像生成单元17004。
注意，对于现实世界估计单元17003，如果帮助信息已经在前一个步骤S17305中从用户I/F 17006提供，在模型生成单元17011和公式生成单元17012处，处理使用该帮助信息执行。
在步骤S17308的处理之后，流程前进到步骤S17309，在那里图像生成单元17004基于从现实世界估计单元17003(的现实世界波形估计单元17013)提供的近似函数来产生更接近现实世界1信号的信号。也就是说，图像生成单元17004从处理区域设置单元17001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，基于从现实世界估计单元17003提供的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的近似图像。此外，图像生成单元17004产生输入图像的处理区域的部分已经用近似图像取代的图像作为输出图像，并且将其提供给图像显示单元17005，并且流程从步骤S17309前进到步骤S17310。
在步骤S17310中，图像显示单元17005用从图像生成单元17004提供的输出图像代替步骤S17301中显示的输入图像，或者与步骤S17301中显示的输入图像一起显示从图像生成单元17004提供的输出图像，流程返回到步骤S17302，以后重复相同的处理。
如上所述，处理区域设置单元17001，连续性设置单元17002，以及现实世界估计单元17003可以获得具有更高图像质量的图像，如果使用由用户操作用户I/F 17006输入的帮助信息执行处理。
也就是说，对于图像显示单元17005，例如，如果运动对象反映在其中的输入图像或输出图像被显示，观看图像的用户可以基于用户已经实际观看的真实对象(现实世界1)的记忆来确定运动模糊发生的区域。因此，如图153中所示，通过提示用户通过操作用户I/F17006使得显示在图像显示单元17005上的图像中运动模糊发生的区域经历指向等，表示经历指向的位置的信息等可以作为帮助信息提供给处理区域设置单元17001，借此处理区域设置单元17001可以基于帮助信息容易地识别运动模糊发生的部分。此外，处理区域设置单元17001可以确定的方式设置包括运动模糊发生的部分的处理区域，因此，输入图像上发生的运动模糊可以由使得这种处理区域经历处理的随后阶段块精确地去除。
而且，操作用户I/F 17006可以提示用户输入关于在图像上显示的对象的运动量的信息。在该情况下，提示用户直接输入对象的运动量是可能的，但是通常用户难以直接输入对象的运动量。为此，例如，用户I/F 17006包括操纵杆、鼠标等，并且操作操纵杆可以提示用户输入运动量，另外如果必要的话运动的方向。在该情况下，用户I/F 17006将操纵杆的操作量和操作方向作为帮助信息提供给连续性设置单元17002，并且连续性设置单元17002可以基于操纵杆的操作量和操作方向设置对象的运动矢量。也就是说，连续性设置单元17002基于操纵杆的操作量设置对象的运动量，并且也基于操纵杆的操作方向设置对象的运动方向。连续性设置单元17002的随后阶段块基于表示在连续性设置单元17002处设置的运动矢量的连续性信息执行处理。
在该情况下，由用户操作操纵杆从一开始准确地输入对象的运动矢量是困难的。但是，例如，如果重复该过程同时基于用户对操纵杆的操作以一个像素的增量改变对象的运动矢量，并且图像显示单元17005实时地显示关于运动矢量而获得的输出图像，用户可以识别根据操纵杆的操作显示在图像显示单元17005上的输出图像的图像质量的变化。因此，如图153中所示，用户可以通过操作操纵杆同时观看显示在图像显示单元17005上的输出图像获得具有高图像质量的输出图像，也就是，这里，运动模糊从输入图像中去除的图像。
注意当运动模糊从输入图像中去除的图像获得时，在连续性设置单元17002处设置的运动矢量精确地表示对象的运动。
接下来，图154说明在基于用户输入执行作为因用作图像传感器的图像传感器2的积分效应而在图像数据上引起的畸变的运动模糊的去除的情况下，相当于图113中信号处理设备4的设备的构造实例。
输入图像获取单元17301获取输入图像，并且将其提供给运动模糊去除处理单元17303和输出图像合成单元17304。这里，让我们假定如上所述，输入图像是可以通过使用图像传感器成像对象例如汽车以恒定速度在水平方向上运动的场景而获得的、运动模糊因时间混合而引起的图像。
用户输入信息获取单元17302获取由用户操作用户I/F 17006从用户I/F 17006提供的用户输入信息(用户输入)，并且将其作为帮助信息提供给运动模糊去除处理单元17303和输出图像合成单元17304，如果必要的话。
这里，用户输入信息的实例包括表示处理区域的信息，表示输入图像中对象的运动量v的信息，用于指示处理结束的结束指令，此外表示在上面表达式(199)中引入的权重W1和权重W2的信息。
运动模糊去除处理单元17303执行使用从输入图像获取单元17301提供的输入图像，以及从用户输入信息获取单元17302提供的帮助信息，去除图像上引起的运动模糊的运动模糊去除处理，并且将运动模糊去除处理的结果提供给输出图像合成单元17304。
输出图像合成单元17304合成从输入图像获取单元17301提供的输入图像，以及基于从用户输入信息获取单元17302提供的帮助信息从运动模糊去除处理单元17303提供的用作运动模糊去除处理结果的近似图像，并且将作为其结果而获得的输出图像提供给输出单元17305。
这里，包括上面输入图像获取单元17301，用户输入信息获取单元17302，运动模糊去除处理单元17303，以及输出图像合成单元17304的部分对应于图113中包括处理区域设置单元17001，连续性设置单元17002，现实世界估计单元17003，以及图像生成单元17004的部分。
输出单元17305显示从输出图像合成单元17304提供的图像。
包括输出图像17305的部分对应于图113中包括图像显示单元17005的部分。
接下来，将参考图155中的流程图描述图154中所示设备的处理。
首先，在步骤S17331中，输入图像获取单元17301获取输入图像，并将其提供给运动模糊去除处理单元17303和输出图像合成单元17304，并且流程前进到步骤S17332。
在步骤S17332中，用户输入信息获取单元17302确定用户输入信息是否由用户操作用户I/F 17006提供，并且如果确定用户输入信息没有提供，流程返回到步骤S17332。
随后，在步骤S17332中，如果确定用户输入信息已经从用户I/F 17006提供，流程前进到步骤S17334，在那里用户输入信息获取单元17302获取从用户I/F 17006提供的用户输入信息，并且流程前进到步骤S17333。
在步骤S17333中，用户输入信息获取单元17302确定用户输入信息是否是指示处理结束的结束指令。在步骤S17333中，如果确定用户输入信息不是指示处理结束的结束指令，也就是，如果用户输入信息例如是帮助运动模糊去除处理单元17303的运动模糊去除处理的帮助信息，例如表示处理区域的信息，表示输入图像中对象的运动量v的信息，以及表示表达式(199)中的权重W1和权重W2的信息，流程前进到步骤S17334，在那里用户输入信息获取单元17302将用户输入信息作为帮助信息提供给运动模糊去除处理单元17303，如果必要的话还提供给输出图像合成单元17304，并且流程前进到步骤S17335。
在步骤S17335中，运动模糊去除处理单元17303执行使用从输入图像获取单元17301提供的输入图像，以及从用户输入信息获取单元17302提供的帮助信息，去除图像上引起的运动模糊的运动模糊去除处理，并且将运动模糊去除处理的结果提供给输出图像合成单元17304，并且流程前进到步骤S17336。
在步骤S17336中，输出图像合成单元17304将从输入图像获取单元17301提供的输入图像中用作为从用户输入信息获取单元17302提供的帮助信息的表示处理区域的信息识别的处理区域的图像，用用作从运动模糊去除处理单元17303提供的运动模糊去除处理的结果的近似图像取代，从而合成输入图像和近似图像，将作为其结果而获得的输出图像提供给输出单元17305，并且流程前进到步骤S17337。
在步骤S17337中，输出单元17305显示从输出图像合成单元17304提供的输出图像，流程返回到步骤S17332，以后重复步骤S17332～S17337的上面处理。
随后，在步骤S17333中，如果确定用户输入信息是指示处理结束的结束指令，也就是，例如，如果具有由用户满意的图像质量的输出图像(这里，运动模糊充分去除的图像)通过步骤S17332～S17337的处理重复而显示在输出单元17305上，并且用户操作用户I/F17006以便结束处理，流程前进到步骤S17338，在那里输出单元17305存储此时显示的输出图像，并且处理结束。
接下来，图156说明图154中运动模糊去除处理单元17303的构造实例。注意在附图中，与图144中的现实处理单元17100的情况下那里相对应的部分用相同的参考数字表示，并且以下如果适当的话，其描述将省略。也就是说，图156中的运动模糊去除处理单元17303与图144中的现实处理单元17100一样来构造。
因此，对于图156中的运动模糊去除处理单元17303，近似关于输入图像的现实世界1光信号的样条函数可以使用基于图125中所示物理模型而获得的表达式(166)至表达式(170)中所示的N+1个公式获得，从而产生具有期望分辨率且不具有运动模糊的图像(近似图像)。
但是，对于图144中的现实处理单元17100，处理区域信息和表示运动量v的连续性信息已经被安排作为现实处理所需的参数而提供，但是对于图156中的运动模糊去除处理单元17303，处理区域信息和表示运动量v的连续性信息被安排由用户操作用户I/F 17006经由用户输入信息获取单元17302作为帮助信息而提供。
接下来，将参考图157中的流程图描述图156中的运动模糊去除处理单元17303的处理。
首先，在步骤S17351中，建模单元17061获取作为帮助信息从图154中的用户输入信息获取单元17302提供的处理区域信息，以及用作连续性信息的运动量v，而且预处理单元17101获取作为帮助信息从图154中的用户输入信息获取单元17302提供的处理区域信息，并且流程前进到步骤S17352。在步骤S17352中，预处理单元17101从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型应用单元17051的联立方程获取单元17063。
随后，流程从步骤S17352前进到步骤S17353，在那里建模单元17061使得投影在用步骤S17351中获取的处理区域信息表示的处理区域上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17061基于从用户输入信息获取单元17302提供的处理区域信息来识别构成处理区域的每个水平线的像素数目。此外，建模单元17061从构成处理区域的每个水平线的像素数目，以及在步骤S17351中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给公式创建单元17062，并且流程从步骤S17353前进到步骤S17354。
在步骤S17354中，公式创建单元17062从建模单元17061提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给联立方程获取单元17063，并且流程前进到步骤S17355。
注意步骤S17353和S17354中的处理关于用处理区域信息表示的处理区域的所有水平线而执行。
在步骤S17355中，联立方程获取单元17063选择用处理区域信息表示的处理区域的水平线中还没有取作关注水平线的水平线作为关注水平线，从预处理单元17101提供的处理区域的像素值中获取关注水平线的像素的像素值Yk，并且流程前进到步骤S17356。在步骤S17356中，联立方程获取单元17063将关注水平线的像素的像素值Yk代入从公式创建单元17062提供的关于关注水平线的表达式(166)至表达式(170)的公式，因此获取与关注水平线的像素数目相同数量的联立方程，并且将这些提供给物理模型值获取单元17052。
随后，流程从步骤S17356前进到步骤S17357，物理模型值获取单元17052的联立方程计算单元17064计算(求解)从联立方程获取单元17063提供的关于关注水平线的联立方程，因此获得近似投影在关注水平线上的现实世界1信号的表达式(137)和表达式(138)中的样条函数，将这些提供给再混合单元17053，并且流程前进到步骤S17358。
在步骤S17358中，再混合单元17053使用从联立方程计算单元17064提供的样条函数执行再混合(再积分)。也就是说，对于从联立方程计算单元17064提供的关于关注水平线的样条函数，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设其样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的宽度或1/2宽度积分(再积分)，来获得关于关注水平线的不具有运动模糊的像素值，并且流程从步骤S17358前进到步骤S17359。注意调节步骤S17358中的积分单元(积分范围)使得通过其积分而获得的图像的分辨率能够改变，如上所述。该积分单元可以预先设置，或者可以由用户操作用户I/F 17006输入。
这里，在步骤S17358中，如果x方向上的积分例如以像素#k在x方向上的宽度为增量执行，不具有运动模糊的像素值Xk可以根据表达式(171)至表达式(173)获得。而且，在步骤S17358中，如果x方向上的积分例如以像素#k在x方向上的1/2宽度为增量执行，不具有运动模糊的像素值Xk可以根据表达式(174)至表达式(179)获得。
在步骤S17359中，联立方程获取单元17063确定用处理区域信息表示的处理区域的所有水平线是否都已取作关注水平线，如果确定并不是所有水平线都已取作关注水平线，流程返回到步骤S17355。在该情况下，在步骤S17355中，联立方程获取单元17063重新选择处理区域的水平线中还没有选作关注水平线的处理区域作为关注水平线，此后重复相同的处理。
而且，在步骤S17359中，如果确定处理区域的所有水平线都已取作关注水平线，也就是如果不具有运动模糊的像素关于处理区域的所有水平线而获得，流程前进到步骤S17360，在那里再混合单元17053输出关于处理区域的所有水平线而获得的不具有运动模糊的像素值，也就是不具有运动模糊的处理区域的图像，并且处理结束。
如上所述，图156中的运动模糊去除处理单元17303可以获得运动模糊从其中去除，如果必要的话具有提高的分辨率的图像，与图144中的现实处理单元17100的情况一样。
接下来，图158说明图154中运动模糊去除处理单元17303的另一种构造实例。注意在附图中，与图146中现实处理单元17100的情况下那些相对应的部分用相同的参考数字表示，并且以下如果适当的话，其描述将省略。也就是说，图158中的运动模糊去除处理单元17303与图146中的现实处理单元17100一样来配置。
因此，对于图158中的运动模糊去除处理单元17303，近似关于输入图像的现实世界1光信号的样条函数可以使用描述约束条件的表达式(186)和表达式(187)中所示2(N-1)个约束条件表达式，以及基于图125中所示物理模型获得的表达式(166)至表达式(170)中所示N+1个公式而获得，从而产生具有期望分辨率且不具有运动模糊的图像(近似图像)。
但是，对于图146中的现实处理单元17100，处理区域信息、表示运动量v的连续性信息，以及在表达式(199)中引入的表达式(201)中的权重W1和权重W2已经安排由用户操作用户I/F 17006作为帮助信息经由用户输入信息获取单元17302提供。
接下来，将参考图159中的流程图描述图158中的运动模糊去除处理单元17303的处理。
首先，在步骤S17381中，建模单元17091获取作为帮助信息从图154中的用户输入信息获取单元17302提供的处理区域信息，以及用作连续性信息的运动量v，而且预处理单元17101获取作为帮助信息从图154中的用户输入信息获取单元17302提供的处理区域信息。此外，在步骤S17381中，物理模型值获取单元17083的最小二乘法应用单元17093获取作为帮助信息从图154中的用户输入信息获取单元17302提供的权重W1和权重W2，并且流程前进到步骤S17382。在步骤S17382中，预处理单元17101从处理区域信息中识别处理区域，从输入图像中提取构成处理区域的像素的像素值，并且将这些提供给物理模型值获取单元17083的最小二乘法应用单元17093。
随后，流程从步骤S17382前进到步骤S17383，在那里建模单元17091使得投影在用步骤S17381中获取的处理区域信息表示的处理区域的水平线上的现实世界1光信号，经历依照图125中所示的物理模型的建模。
也就是说，建模单元17091基于从用户输入信息获取单元17302提供的处理单元信息来识别构成处理区域的每个水平线的像素数目。此外，建模单元17091从构成处理区域的每个水平线的像素数目，以及在步骤S17381中获取的运动量v中获得图125中的物理模型信息，并且将物理模型信息提供给像素内约束公式创建单元17082和公式创建单元17092，并且流程从步骤S17383前进到步骤S17384。
在步骤S17384中，公式创建单元17092从建模单元17091提供的物理模型信息中创建表达式(166)至表达式(170)中所示的公式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17385。
在步骤S17385中，像素内约束公式创建单元17082创建表达式(186)和表达式(187)中所示的约束条件表达式，将这些提供给物理模型值获取单元17083，并且流程前进到步骤S17386。
注意步骤S17383至S17385中的处理关于处理区域的所有水平线而执行。
在步骤S17386中，物理模型值获取单元17083的最小二乘法应用单元17093选择处理区域的水平线中还没有取作关注水平线的水平线，从预处理单元17101提供的处理区域的像素值中获取关注水平线的像素的像素值Yk，并且流程前进到步骤S17387。
在步骤S17387中，最小二乘法应用单元17093通过将关注水平线的像素的像素值Yk代入从公式创建单元17092提供的关于关注水平线的表达式(166)至表达式(170)，以及从像素内约束公式创建单元17082提供的表达式(186)和表达式(187)中所示的约束条件表达式的公式，并且使用权重W1和权重W2列出表达式(201)的正则方程，来获取表达式(201)的正则方程，并且流程前进到步骤S17388。
在步骤S17388中，最小二乘法应用单元17093通过求解关于关注水平线而获得的正则方程来获得关于关注水平线的表达式(137)的样条函数(定义样条函数的变量yk)，也就是，获得近似现实世界1信号的表达式(137)和表达式(138)的样条函数，并且将这些提供给再混合单元17053，并且流程前进到步骤S17389。
在步骤S17389中，再混合单元17053使用从最小二乘法应用单元17093提供的样条函数执行再混合(再积分)。也就是说，对于从最小二乘法应用单元17093提供的关于关注水平线而获得的样条函数的每个，再混合单元17053通过仅在曝光时间期间在时间方向上，积分通过假设其样条函数在曝光时间期间没有从曝光开始时的位置运动而获得的曲面，而且在x方向上例如以预先确定的增量例如处理区域的像素#k在x方向上的宽度或其1/2积分(再积分)，来获得关于关注水平线的不具有运动模糊的像素值，并且流程从步骤S17390前进到步骤S17391。注意调节步骤S17389中的积分单元(积分范围)使得通过其积分而获得的图像的分辨率能够改变，如上所述。该积分单元可以预先设置，或者可以由用户操作用户I/F 17006输入。
这里，在步骤S17389中，如果x方向上的积分例如以像素#k在x方向上的宽度为增量执行，不具有运动模糊的像素值Xk可以根据表达式(171)至表达式(173)获得。而且，在步骤S17389中，如果x方向上的积分例如以像素#k在x方向上的1/2宽度为增量执行，不具有运动模糊的像素值Xk可以根据表达式(174)至表达式(179)获得。
在步骤S17390中，最小二乘法应用单元17093确定处理区域的所有水平线是否都已取作关注水平线，如果确定并不是所有水平线都已取作关注水平线，流程返回到步骤S17386。在该情况下，在步骤S17386中，最小二乘法应用单元17093重新选择处理区域中还没有取作关注水平线的水平线作为关注水平线，此后重复相同的处理。
而且，在步骤S17390中，如果确定处理区域的所有水平线都已取作关注水平线，也就是如果不具有运动模糊的像素关于处理区域的所有水平线而获得，流程前进到步骤S17391，在那里再混合单元17053输出关于处理区域的所有水平线而获得的不具有运动模糊的像素值，也就是不具有运动模糊的处理区域的图像，并且处理结束。
如上所述，图158中的运动模糊去除处理单元17303可以获得运动模糊从其中去除，如果必要的话具有提高的分辨率的图像，与图146中的现实处理单元17100的情况一样。
如上所述，如果现实世界1光信号投影在每个具有时间-空间积分效应的多个像素上，并且现实世界光信号1连续性的一部分丢失的图像数据中的处理区域被设置，作为在图像数据中丢失的真实世界光信号连续性的图像数据中对象的运动量被设置，并且光信号函数F(x)被估计，假设与处理区域中图像数据的时间-空间方向的x方向上的位置相对应的每个像素的像素值是由与样条函数近似的现实世界1光信号相对应的光信号函数(现实世界函数)F(x)在x方向和时间方向上积分当根据运动量在时间方向上相移时运动的模型而获得的像素值，处理区域、运动量、权重W1和权重W2等根据用户输入设置。因此，光信号函数F(x)可以通过用户调节处理区域、运动量、权重W1和权重W2等，同时观看从光信号函数F(x)的估计结果中产生的图像来精确地估计，结果，用户可以最终获得具有高图像质量的图像。
注意在上面的实例中，配置已经进行，其中运动图像显示在输入图像中，对象以恒定速度在水平方向(从左到右的方向)上运动，也就是，对象的运动方向固定在水平方向，并且用作运动量值的运动量用作连续性信息，但是作为连续性信息，具有方向信息以及运动量值的运动矢量可以使用。在该情况下，关于对象的运动(连续性)用运动矢量表示的输入图像，图125中的物理模型例如可以通过取运动矢量所示的运动方向作为x方向来应用。
而且，在上面的实例中，静止图像已经用作输入图像，但是运动图像同样可以用作输入图像。也就是说，信号处理设备4例如以帧或场为增量执行运动图像的处理。
此外，关于处理区域，除矩形之外的任意形状可以使用。
接下来，使用图113中的连续性设置单元17002，用作连续性信息的运动不仅可以基于用户操作而且可以通过从输入图像中检测运动来设置。
现在，将描述连续性设置单元17002中检测运动的方法。
如果某一对象在输入图像中运动，关于检测用作对象运动的运动矢量的方法例如，所谓块匹配方法已知。
但是，对于块匹配方法，匹配在关注帧与关注帧之前和之后的帧之间执行，所以运动不能仅使用关注帧容易地检测。
为此目的，连续性设置单元17002被配置以便从仅具有一帧的输入图像中检测运动。
也就是说，图160说明连续性设置单元17002的构造实例。
使用其构造如图160中所示的连续性设置单元17002，输入图像的处理区域中对象的运动方向被检测，并且输入图像被校正使得运动方向变成水平方向。随后，在输入图像中对象的运动方向上经历一维微分的特征，其是运动方向上相邻的像素的像素值的差值被检测。
此外，关注像素的特征与在运动方向上具有预先确定距离的相应像素的特征之间的相关性被检测，并且对象的运动量根据相应像素与关注像素之间的距离来检测，其表现出最大检测相关性。
也就是说，其构造如图160中所示的连续性设置单元17002包括运动方向检测单元11201，运动方向校正单元11202，特征检测单元11203，以及运动量检测单元11204。
此外，运动方向检测单元11201包括活动性计算单元11211，以及活动性评估单元11212。运动方向校正单元11202包括仿射变换单元11213。
特征检测单元11203包括差值计算单元11214，差值评估单元11215，中间图像创建单元11216，中间图像创建单元11217，帧存储器11218，符号反转单元11219，以及帧存储器11220。
此外，运动量检测单元11204包括相关性检测单元11221，以及相关性评估单元11222。
对于其构造如图160中所示的连续性设置单元17002，存储在图122中图像存储器11061中的输入图像提供给运动方向检测单元11201和运动检测校正单元11202。此外，从处理区域设置单元17001输出的处理区域信息也提供给运动方向检测单元11201和运动方向校正单元11202。
运动方向检测单元11201获取输入图像和处理区域信息，并且从获取的输入图像中检测处理区域中的运动方向。
当捕捉运动对象时，运动模糊在对象的图像上发生。这是由用作捕捉对象图像的传感器2的照相机或摄影机的图像传感器的动作所引起。
也就是说，图像传感器例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器在曝光时间(快门时间)期间对于每个像素将入射光连续地转换成电荷，进一步将电荷转换成一个像素值。当捕捉的对象处于静止状态时，对象的同一部分的图像(光)在曝光时间期间转换成一个像素值。如此捕捉的图像不包括运动模糊。
另一方面，当对象运动时，投射到一个像素中的对象部分的图像在曝光时间期间改变，并且对象的不同部分的图像偶然地转换成一个像素值。反过来说，对象的一个部分的图像投射到多个像素值中，这就是运动模糊。
运动模糊在对象的运动方向上发生。
当集中在运动模糊发生的部分(包括运动模糊的区域)的运动方向上排列的像素的像素值时，对象的通常相同范围部分的图像投影到在运动方向上排列的像素的像素值。因此，我们可以说在运动模糊发生的部分处运动方向上排列的像素的像素值的变化进一步减小。
运动方向检测单元11201基于这种变化，也就是输入图像的处理区域中像素的像素值中的活动性检测运动方向。
更具体地说，运动方向检测单元11201的活动性计算单元11211对于每个预先确定的方向计算在各个方向上排列的像素的像素值的变化(活动性)。例如，活动性计算单元11211对于每个预先确定的方向计算与每个方向对应放置的像素的像素值之间的差值作为活动性。活动性计算单元11211将指示计算的像素值变化的信息提供给活动性评估单元11212。
活动性评估单元11212从活动性计算单元11211提供的对于每个预先确定方向的像素的像素值变化中选择最小的像素值变化，并且将与所选像素值变化相对应的方向取作运动方向。
运动方向检测单元11201将如此检测的指示运动方向的运动方向信息提供给运动方向校正单元11202。
运动方向校正单元11202同样提供有处理区域信息。运动方向校正单元11202基于从运动方向检测单元11201提供的运动方向信息转换输入图像中处理区域内的图像数据，使得运动方向变成图像的水平方向。
例如，运动方向校正单元11202的仿射变换单元11213使得输入图像中处理区域内的图像数据经历基于从运动方向检测单元11201提供的运动方向信息的仿射变换，使得运动方向信息中所示的运动方向变成图像的水平方向。
运动方向校正单元11202将转换使得运动方向变成图像水平方向的输入图像中处理区域内的图像数据提供给特征检测单元11203。
特征检测单元11203检测从运动方向校正单元11202提供的图像的特征。
也就是说，特征检测单元11203的差值计算单元11214将通过从输入图像处理区域中的像素中选择一个像素而选择的像素设置为关注像素。随后，特征检测单元11203的差值计算单元11214通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得差值。
差值计算单元11214通过将输入图像处理区域中的像素顺序地取作关注像素而获得差值。也就是说，差值计算单元11214关于输入图像处理区域中的所有像素获得差值。差值计算单元11214将如此计算的差值，与指示对应于每个获得差值的关注像素位置的信息(指示每个差值的屏幕上位置的位置信息)一起提供给差值评估单元11215。
差值评估单元11215确定差值是否为0或更多，将等于或大于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11216，并且将小于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11217。
中间图像创建单元11216基于从差值评估单元11215提供的等于或大于0的差值，连同指示差值的屏幕上位置的位置信息一起，创建由每个差值构成的中间图像。也就是说，中间图像创建单元11216通过将从差值评估单元11215提供的等于或大于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11216将这样创建的中间图像(以下，称作未反转中间图像)提供给帧存储器11218。
中间图像创建单元11217基于从差值评估单元11215提供的小于0的差值(负值)，与指示差值的屏幕上位置的位置信息一起，创建由差值构成的中间图像。也就是说，中间图像创建单元11217通过将从差值评估单元11215提供的小于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11216将这样创建的中间图像提供给符号反转单元11219。
符号反转单元11219反转设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值的符号。设置到中间图像的像素的值0的符号不反转。也就是说，符号反转单元11219选择设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值，并且将小于0的所选差值转换成与差值具有相同绝对值的大于0的值。例如，差值-15通过反转其符号而转换成15。符号反转单元11219将这样符号反转的中间图像(以下称作反转的中间图像)提供给帧存储器11220。
帧存储器11218将由等于或大于0的差值以及0构成的未反转中间图像作为特征提供给运动量检测单元11204。帧存储器11220将由其符号反转的大于0的差值以及0构成的反转中间图像作为特征提供给运动量检测单元11204。
运动量检测单元11204基于从特征检测单元11203提供的特征检测运动。也就是说，运动量检测单元11204检测输入图像处理区域中对象图像的像素中至少关注像素的特征，与关于关注像素在运动方向上定位的相应像素的特征之间的相关性，并且根据检测的相关性检测输入图像处理区域中对象图像的运动量。
运动量检测单元11204的相关性检测单元11221检测用作从特征检测单元11203的帧存储器11218提供的特征的未反转中间图像，与用作从特征检测单元11203的帧存储器11220提供的特征的反转中间图像之间的相关性。相关性检测单元11221将检测的相关性提供给相关性评估单元11222。
更具体地描述，例如运动量检测单元11204的相关性检测单元11221在屏幕水平方向上关于从特征检测单元11203的帧存储器11218提供的、由等于或大于0的差值以及0构成的未反转中间图像以像素为单位，运动(移位)从特征检测单元11203的帧存储器11220提供的、由其符号反转以便大于0的差值以及0构成的反转中间图像。也就是说，相关性检测单元11221在水平方向上运动构成反转中间图像的像素的屏幕上位置。
未反转中间图像的像素与反转中间图像的像素之间屏幕上的位置关系通过在屏幕水平方向上运动反转中间图像(的像素)而改变。例如，运动之前屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素导致在运动之后以运动距离与对应于未反转中间图像关注像素的位置相离。更具体地说，当未反转中间图像向右运动20个像素时，反转中间图像的相应像素向右距离与未反转中间图像的关注像素相对应的位置20个像素。反过来说，运动之后屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素在运动之前以运动距离与对应于关注像素的位置相离。
相关性检测单元11221计算与未反转中间图像以及运动的反转中间图像相对应的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。
例如，相关性检测单元11221在关于未反转中间图像的屏幕左向上70个像素至屏幕右向上70像素的范围内以一个像素的增量，在屏幕的水平方向上运动(移位)反转中间图像，关于未反转中间图像以及对于每个运动位置(每个运动距离)而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。
例如，当反转中间图像关于未反转中间图像运动到屏幕左向时，运动距离用负数(负)表示。当反转中间图像关于未反转中间图像运动到屏幕右向时，运动量用正数(正)表示。相关性检测单元11221关于未反转中间图像以及对于-70像素至+70像素的每个运动距离而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。
相关性检测单元11221将与运动距离相对应的相关性值提供给相关性评估单元11222。也就是说，相关性检测单元11221将一对运动距离和相关性值提供给相关性评估单元11222。
相关性评估单元11222根据相关性检测输入图像处理区域中对象图像的运动量。更具体地说，相关性评估单元11222将从相关性检测单元11221提供的相关性中，与最大(最强)相关性相对应的运动距离取作运动量。
例如，相关性评估单元11222选择用作从相关性检测单元11221提供的相关性值的差的绝对值的和中的最小值，并且设置与所选最小值相对应的运动距离为运动量。
相关性评估单元11222输出检测的运动量。
图161至图163是描述由图160中的连续性设置单元17002检测运动的原理的图。
现在，让我们假定用作待捕捉对象的白色前景对象位于用作另一个待捕捉对象的黑色背景对象的前面，且从左侧向右侧运动，并且具有图像传感器例如CCD或CMOS传感器的照相机使用预先确定的曝光时间(快门时间)捕捉前景对象和背景对象。
在该情况下，当集中在从照相机输出的图像的一帧上时，背景对象是黑色的，使得照相机关于背景对象图像输出例如像素值0。前景对象是白色的，所以照相机关于前景对象图像输出例如像素值255。这里，让我们假定照相机输出0至28-1范围内的像素值。
图161上侧的图是说明当前景对象在照相机快门打开的时刻(开始曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。
图161下侧的图是说明当前景对象在照相机快门关闭的时刻(结束曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。
如图161中所示，前景对象的图像的运动量是从照相机快门打开的时候直到照相机快门关闭的时刻前景对象的图像运动的距离。
图162是说明当在背景对象前面运动的前景对象由照相机捕捉时从照相机输出的图像的像素值的图。照相机的图像传感器在曝光时间(快门时间)期间对于每个像素将对象的图像(光)连续地转换成电荷，并且进一步将电荷转换成一个像素值，因此，前景对象11251的图像投影到多个像素的像素值中。图162中所示图像的最大像素值与图161中所示图像的最大像素值相比较小。
图162中所示像素值的斜坡宽度对应于背景对象的图像的宽度。
当关于图162中所示图像的每个像素相对于右侧相邻像素的差值被计算，并设置到像素时，图163中所示由差值构成的图像被获得。
也就是说，一个像素从图162中所示图像的像素中选择，并且设置为注意的关注像素。随后，差值通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得。差值设置到与关注像素相对应的位置处的像素。图162中所示图像的像素顺序地取作关注像素，并且图163中所示由差值构成的图像被获得。
具有负(负)符号的差值在关于图161上侧的图中所示照相机快门打开的时刻前景对象位置的左侧一个像素上出现，并且具有正(正)符号的差值在关于图161下侧的图中所示照相机快门关闭的时刻前景对象位置的左侧一个像素上出现。
因此，当匹配在通过反转具有负(负)符号的差值的符号而获得的值与图163中所示具有正(正)符号的差值之间执行时，通过反转具有负(负)符号的差值的符号而获得的值的运动距离与当执行匹配时基于具有正(正)符号的差值的运动量相同，例如。
例如，基于具有正(正)符号的差值，通过反转具有负(负)符号的差值的符号而获得的值在水平方向上运动，通过反转负差值而获得的值与正差值之间的相关性对于其每个运动距离而检测，从而检测最大(最强)相关性。当最大相关性被检测时的运动距离与运动量相同。
更具体地说，例如，基于具有正(正)符号的差值，通过反转具有负(负)符号的差值的符号而获得的值在水平方向上运动，作为对于其每个运动距离通过反转负差值而获得的值与正差值之间的相关性，正差值从每个像素的反转值中减去。随后，减法结果中的最小值，也就是最大相关性被检测。与检测的最大相关性相对应的运动距离与运动量相同。
如上所述，作为对象图像运动的量的运动量可以从曝光时间(快门时间)期间一帧图像中检测。
也就是说，特征检测单元11203的差值计算单元11214从输入图像处理区域中的像素中选择一个像素，将其设置为关注像素，并且从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值，从而计算图163中所示的差值，例如。差值评估单元11215基于差值的符号将差值分类成正差值和负差值。
中间图像创建单元11216从分类的正差值中，创建由其正差值构成的未反转中间图像。中间图像创建单元11217从分类的负差值中，创建由其负差值构成的中间图像。符号反转单元11219通过反转由负差值构成的中间图像的负像素值的符号来创建未反转中间图像。
运动量检测单元11204获得具有最强相关性的未反转中间图像和反转中间图像的运动距离，并且取获得的运动距离作为运动量。
当特征检测单元11203检测运动对象的图像，并且检测运动对象的图像的特征时，运动量检测单元11204基于特征检测相关性，并且根据检测的相关性来检测输入图像中对象的图像的运动量。
而且，当特征量检测单元11203从属于运动对象的图像的像素中选择注意的关注像素，并且检测关注像素的特征时，运动量检测单元11204检测关注像素的特征与在运动方向上关于关注像素定位的相应像素的特征之间的相关性，并且根据检测的相关性来检测输入图像处理区域中对象的图像的运动量。
图164是描述由图160中的连续性设置单元17002检测运动量的处理的流程图。
在步骤S11201中，运动方向检测单元11201和运动方向校正单元11202获取输入图像和处理区域信息，并且流程前进到步骤S11202。
在步骤S11202中，运动方向检测单元112011的活动性计算单元11211关于在步骤S11201的处理中获取的输入图像中处理区域的像素计算活动性，并且流程前进到步骤S11203。
例如，活动性计算单元11211选择输入图像处理区域的像素中注意的关注像素。活动性计算单元11211在关注像素附近提取预先确定数目的周围像素。例如，活动性计算单元11211提取由以关注像素为中心的5×5像素(5像素乘5像素)构成的周围像素。
随后，活动性计算单元11211从提取的周围像素中检测与图像上预先确定方向相对应的活动性。
对于下面的描述，水平方向上的像素阵列称作行，垂直方向上的像素阵列称作列。
关于例如5×5周围像素，活动性计算单元11211通过计算在屏幕上和下(垂直)方向上相邻像素的像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果作为活动性，来检测关于基于屏幕水平方向的90度的角度(屏幕垂直方向)的活动性。
例如，像素值的差关于20对的屏幕上和下方向上相邻的两个像素而计算，计算的差的绝对值的和除以20，并且结果(商)设置为关于90度角度的活动性。
关于例如5×5周围像素，活动性计算单元11211通过计算最低行中最左侧像素至从左侧起第四像素的各个像素值，与关于各个像素上方四个像素以及右侧一个像素的像素的各个像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果为活动性，检测关于基于屏幕水平方向的76度角度(tan-1(4/1))的活动性。
例如，像素值的差关于四对具有垂直方向上四个像素以及水平方向上一个像素的距离的右上方的两个像素而计算，计算的差的绝对值的和除以四，并且结果(商)设置为关于76度角度的活动性。
活动性计算单元11211使用相同的处理检测关于基于屏幕水平方向的90度至180度范围内角度的活动性。如果检测关于90度至180度范围内角度的活动性，活动性基于位于左上方的像素的像素值的差来计算。
这样检测的活动性取作关于关注像素的活动性。
注意，检测的活动性可能是关于周围像素的活动性。
而且，已经描述周围像素由5×5像素(5像素乘5像素)构成，但是具有期望范围的像素可以使用而不是5×5像素。如果使用大量周围像素，角度分辨率提高。
活动性计算单元11211将指示与多个方向相对应的活动性的信息提供给活动性评估单元11212。
返回到图164，在步骤S11203中，活动性评估单元11212通过基于在步骤S11202的处理中计算的与预先确定方向相对应的活动性来选择最小活动性，并且将所选方向取作运动方向来获得运动方向，并且流程前进到步骤S11204。
在步骤S11204中，运动方向校正单元11202基于在步骤S11203的处理中获得的运动方向转换输入图像处理区域中的图像数据，使得运动方向变成图像的水平方向，并且流程前进到步骤S11205。例如，在步骤S11204中，运动方向校正单元11202的仿射变换单元11213使得输入图像处理区域中的图像数据经历基于步骤S11203的处理中获得的运动方向的仿射变换，使得运动方向变成图像的水平方向。更具体地说，例如，当运动方向是18度的角度时，仿射变换单元11213使得输入图像处理区域中的图像数据经历仿射变换以便基于屏幕水平方向以顺时针方向旋转18度。
在步骤S11205中，特征检测单元11203的差值计算单元11214关于被转换使得运动方向在步骤S11204的处理中变成屏幕水平方向的输入图像处理区域中的每个像素计算相对于水平方向上相邻的像素的像素值的差值，并且流程前进到步骤S11206。
例如，在步骤S11205中，差值计算单元11214通过从输入图像处理区域中的像素中选择一个像素来设置注意的关注像素。随后，差值计算单元11214通过从关注像素的像素值中减去右侧与关注像素相邻的像素的像素值来获得差值。
在步骤S11206中，特征检测单元11203的差值评估单元11215基于差值的符号分配差值，并且流程前进到步骤S11207。也就是说，差值评估单元11215将等于或大于0的差值提供给中间图像创建单元11216，而将小于0的差值提供给中间图像创建单元11217。在该情况下，差值评估单元11215将差值与指示屏幕上每个差值位置的位置信息一起提供给中间图像创建单元11216或中间图像创建单元11217。
在步骤S11207中，特征检测单元11203的中间图像创建单元11216基于在步骤S11206的处理中分配的等于或大于0的差值(正差值)来创建由正差值构成的中间图像，并且流程前进到步骤S11208。也就是说，在步骤S11207中，中间图像创建单元11216通过将正差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。
因此，未反转中间图像在步骤S11207的处理中创建。
在步骤S11208中，特征检测单元11203的中间图像创建单元11217基于在步骤S11206的处理中分配的小于0的差值(负差值)来创建由负差值构成的中间图像，并且流程前进到步骤S11209。也就是说，在步骤S11208中，中间图像创建单元11217通过将负差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。
在步骤S11209中，特征检测单元11203的符号反转单元11219反转在步骤S11208的处理中创建的、由负差值构成的中间图像的负差值的符号。也就是说，在步骤S11209中，设置到负中间图像的像素的负差值转换成具有相同绝对值的正值。
因此，在步骤S11209中，未反转中间图像创建，然后流程前进到步骤S11210。
在步骤S11210中，运动量检测单元11204执行相关性检测处理。步骤S11210中处理的细节将参考图165中的流程图随后描述。
在步骤S11211中，相关性评估单元11222选择在步骤S11210的处理中检测的相关性中的最强相关性，并且流程前进到步骤S11212。
例如，在步骤S11211中，用作像素值的差的绝对值的和的相关性值中，最小相关性值被选择。
在步骤S11212中，相关性评估单元11222将与步骤S11211的处理中选择的最强相关性相对应的运动距离设置为运动量，并且流程前进到步骤S11213。例如，在步骤S11212中，用作像素值的差的绝对值的和的相关性值中，与所选最小相关性值相对应的、在随后描述的步骤S11223的处理中存储的反转中间图像的运动距离设置为运动量。
在步骤S11213中，运动量检测单元11204输出在步骤S11210的处理中检测的运动量，并且处理结束。
图165是描述与步骤S11210中的处理相对应的相关性检测处理的流程图。
在步骤S11221中，运动量检测单元11204的相关性检测单元11221在水平方向上以像素为增量运动在步骤S11209的处理中创建的反转中间图像的像素的位置，并且流程前进到步骤S11222。
在步骤S11222中，相关性检测单元11221检测未反转中间图像与其像素位置在步骤S11221的处理中运动的反转中间图像之间的相关性，并且流程前进到步骤S11223。例如，在步骤S11222中，差值在未反转中间图像的像素的像素值与在屏幕上相应位置处的反转中间图像的像素的像素值之间计算，并且计算的差的绝对值的和检测为相关性值。相关性检测单元11221将指示检测的相关性的相关性信息与步骤S11221的处理中反转中间图像的像素的运动距离一起，提供给相关性评估单元11222。
在步骤S11223中，相关性评估单元11222存储在步骤S11222的处理中检测的相关性，以及步骤S11221的处理中反转中间图像的像素的运动距离，并且流程前进到步骤S11224。例如，相关性评估单元11222存储用作像素值的差的绝对值的和的相关性值，以及步骤S11221的处理中反转中间图像的像素的运动距离。
在步骤S11224中，相关性检测单元11221确定是否关于所有运动距离的相关性都已检测，并且如果确定相关性还没有对一些运动距离而检测，流程返回到步骤S11221，在那里检测关于下一个运动距离的相关性的处理被重复。
例如，在步骤S11224中，相关性检测单元11221确定是否所有相关性都已检测，在图像中左向上70个像素至图像中右向上70个像素的范围内运动反转中间图像的像素的情况下。
如果在步骤S11224中确定所有运动量的相关性都已检测，处理结束(返回)。
因此，相关性检测单元11221可以检测相关性。
如上所述，其构造如图160中所示的连续性设置单元17002可以从图像的一帧中检测运动量。
现在，虽然运动已经在这里关于处理区域而检测，配置可以这样进行，其中例如因手摇动而导致的整个屏幕上的运动，可以通过处理整个屏幕而检测。
而且，即使在输入图像中存在大量具有相同设计的各个图案的情况下，这些可以准确地检测，只要待处理的输入图像中处理区域的运动距离和运动方向是恒定的。
虽然从图像的一帧中的运动距离检测已经在上面描述，无需说，配置可以这样进行，其中运动距离从一个场检测。
而且，配置可以这样进行，其中运动量关于仅所选关注像素的周围而检测。
注意除了在权利要求书中描述的本发明的实施方案之外，上述实施方案包括关于下面给出的第一至第十四信号处理设备的实施方案。
第一信号处理设备包括处理区域设置装置，用于设置图像数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置装置，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；以及现实世界估计装置，用于估计现实世界函数，假设与处理区域中图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与样条函数近似的现实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值，其中处理区域设置装置和运动矢量设置装置的至少一个根据用户输入设置处理区域或运动矢量。
第二信号处理设备，其除了第一信号处理设备的特征之外，还包括图像生成装置，用于通过在预先确定一维方向上和在时间方向上以预先确定增量，积分作为现实世界函数估计结果的近似现实世界函数的样条函数来产生图像；以及显示装置，用于显示由图像生成装置产生的图像；其中处理区域设置装置和运动矢量设置装置的至少一个根据用户输入设置处理区域或运动矢量，在图像显示在显示装置上之后。
第三信号处理设备，其中，除了第二信号处理设备的特征之外，运动矢量设置装置设置多个运动矢量，现实世界估计装置根据多个运动矢量估计多个现实世界函数，图像生成装置根据多个现实世界函数的估计结果产生多个图像，显示装置显示多个图像，并且运动矢量设置装置根据用于选择多个图像的任何一个的用户输入进一步设置多个运动矢量中的一个。
第四信号处理设备，其中，除了第一信号处理设备的特征之外，现实世界估计装置包括模型生成装置，用于产生模拟图像数据中每个像素的像素值与现实世界函数之间关系的关系模型，假设与处理区域中图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值；公式生成装置，用于将图像数据中每个像素的像素值代入由模型生成装置产生的关系模型以产生公式；以及现实世界波形估计装置，用于通过计算使用公式生成装置产生的公式来估计与真实世界光信号相对应的现实世界函数。
第五信号处理设备，其中，除了第四信号处理设备的特征之外，模型生成装置产生关系模型，假设处理区域外部的现实世界函数的光度是稳定值。
第六信号处理设备，其中，除了第四信号处理设备的特征之外，还包括图像生成装置，用于产生由这种像素值构成的图像，其中图像数据中对象的运动模糊通过在预先确定一维方向上和在时间方向上以预先确定的增量，积分作为现实世界函数估计结果的近似现实世界函数的样条函数而去除。
第七信号处理设备包括运动矢量设置装置，用于设置图像数据中对象的运动矢量，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；以及现实世界估计装置，用于估计现实世界函数，假设与图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与样条函数近似的真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值。
第八信号处理设备，其中，除了第七信号处理设备的特征之外，现实世界估计装置包括模型生成装置，用于产生模拟图像数据中每个像素的像素值与现实世界函数之间关系的关系模型，假设与图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与样条函数近似的真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值；公式生成装置，用于将图像数据中每个像素的像素值代入由模型生成装置产生的关系模型以产生公式；以及现实世界波形估计装置，用于通过计算由公式生成装置产生的公式来估计与真实世界光信号相对应的现实世界函数。
第九信号处理设备，其中，除了第八信号处理设备的特征之外，模型生成装置产生关系模型，假设图像数据区域外部的现实世界函数的光度是稳定值。
第十信号处理设备，其中，除了第八信号处理设备的特征之外，还包括图像生成装置，用于产生由这种像素值构成的图像，其中图像数据中对象的运动模糊通过在预先确定一维方向上和在时间方向上以预先确定的增量，积分作为现实世界函数估计结果的近似现实世界函数的近似模型而去除。
第十一信号处理设备包括运动矢量设置装置，用于设置图像数据中对象的运动矢量，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；模型生成装置，用于产生模拟图像数据中每个像素的像素值与用样条函数近似的现实世界函数之间关系的关系模型，假设与图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值；公式生成装置，用于将图像数据中每个像素的像素值代入由模型生成装置产生的关系模型以产生公式，并且也产生提供假设用近似现实世界函数的样条函数表示的像素内像素值变化的约束条件的公式；以及现实世界波形估计装置，用于通过计算由公式生成装置产生的公式来估计与真实世界光信号相对应的现实世界函数。
第十二信号处理设备，其中，除了第十一信号处理设备的特征之外，公式生成装置还产生提供假设图像数据的区域外部的现实世界函数的光度是稳定值的约束条件的公式。
第十三信号处理设备，其中，除了第十二信号处理设备的特征之外，还包括权重修改装置，用于修改关于假设用近似现实世界函数的样条函数表示的像素内像素值变化的约束条件的公式，以及关于提供假设图像数据的区域外部的现实世界函数的光度是稳定值的约束条件的公式的权重，其中现实世界波形估计装置通过计算公式来估计现实世界函数。
第十四信号处理设备，其中，除了第十三信号处理设备的特征之外，还包括图像生成装置，用于产生由这种像素值构成的图像，其中图像数据中对象的运动模糊通过在预先确定一维方向上和在时间方向上以预先确定的增量，积分作为现实世界函数估计结果的近似现实世界函数的样条函数而去除；以及显示装置，用于显示由图像生成装置产生的图像，其中在图像显示在显示装置上之后，权重修改装置根据用户输入修改权重。
上述实施方案也包括关于下面给出的第一至第三信号处理方法、程序和记录介质的实施方案。
第一信号处理方法、程序和记录介质，包括处理区域设置步骤，用于设置图像数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其是在图像数据中丢失的真实世界光信号的连续性；以及现实世界估计步骤，用于估计现实世界函数，假设与处理区域中图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与样条函数近似的真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值，其中处理区域设置步骤和运动矢量设置步骤的至少一个根据用户输入设置处理区域或运动矢量。
第二信号处理方法、程序和记录介质，包括运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；以及现实世界估计步骤，用于估计现实世界函数，假设与图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与样条函数近似的现实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值。
第三信号处理方法、程序和记录介质，包括运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其中真实世界的光信号已经投影到每个具有时间-空间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；模型生成步骤，用于产生模拟图像数据中每个像素的像素值与用样条函数近似的现实世界函数之间关系的关系模型，假设与图像数据的空间方向的预先确定一维方向上的位置相对应的每个像素的像素值是由与真实世界光信号相对应的现实世界函数在预先确定一维方向上和在时间方向上，积分根据其运动矢量当在时间方向上相移时运动的模型而获得的像素值；公式生成步骤，用于将图像数据中每个像素的像素值代入由在模型生成步骤中产生的关系模型以产生公式，并且也产生提供假设用近似现实世界函数的样条函数表示的像素内像素值变化的约束条件的公式；以及现实世界波形估计步骤，用于通过计算在公式生成步骤中产生的公式来估计与真实世界光信号相对应的现实世界函数。
工业适用性 如上所述，根据本发明，更接近真实世界信号的图像等可以获得。
权利要求
1.一种信号处理设备，包括
处理区域设置单元，其被配置为设置图像数据内的处理区域，在该图像数据中真实世界光信号被投影到每个均具有时间-空间积分效应的多个像素上，并且真实世界光信号的一部分连续性被丢失；
运动矢量设置单元，其被配置为设置所述图像数据内的对象的运动矢量，该运动矢量用作所述图像数据的丢失的真实世界光信号的连续性；以及
真实世界估计单元，其被配置为估计真实世界函数，假定与所述处理区域内的图像数据的空间方向的预定的一维方向上的位置相对应的每个像素的像素值，是由与样条函数近似的与所述真实世界光信号相对应的真实世界函数在所述预定的一维方向和时间方向上对进行相移的同时与运动矢量相对应地沿时间方向运动的模型进行积分而获得的像素值；
其中所述处理区域设置单元和运动矢量设置单元中的至少一个被配置为根据来自用户的输入来设置所述处理区域或运动矢量。
2.根据权利要求1所述的信号处理设备，还包括
图像生成器，其被配置为通过在预定的一维方向和时间方向上以预定增量对作为所述真实世界函数的估计结果的、近似于所述真实世界函数的样条函数进行积分来生成图像；以及
显示器，其被配置为显示由所述图像生成器生成的图像；
其中所述处理区域设置单元和运动矢量设置单元中的至少一个被配置为在图像显示在显示器上之后，根据来自用户的输入来设置所述处理区域或运动矢量。
3.根据权利要求2所述的信号处理设备，其中
所述运动矢量设置单元被配置为设置多个运动矢量；
所述真实世界估计单元被配置为根据所述多个运动矢量中的每一个来估计多个真实世界函数；
所述图像生成器被配置为根据所述多个真实世界函数的各个估计结果生成多个图像；
所述显示器被配置为显示所述多个图像中的每一个；并且
所述运动矢量设置单元被配置为根据来自选择了所述多个图像之一的用户的输入来设置所述多个运动矢量之一。
4.根据权利要求1所述的信号处理设备，其中所述真实世界估计单元包括
模型生成器，其被配置为生成对所述图像数据内的每个像素的像素值与所述真实世界函数之间的关系进行建模的关系模型，假定与所述处理区域内的所述图像数据的空间方向的预定的一维方向上的位置相对应的每个像素的像素值，是由与所述真实世界光信号相对应的真实世界函数在所述预定的一维方向和时间方向上对进行相移的同时与运动矢量相对应地沿时间方向运动的模型进行积分而获得的像素值；
方程生成器，其被配置为通过将所述图像数据内的每个像素的像素值代入由所述模型生成器生成的关系模型来生成方程；以及
真实世界波形估计单元，其被配置为通过计算由所述方程生成器生成的方程来估计与所述真实世界光信号相对应的所述真实世界函数。
5.根据权利要求4所述的信号处理设备，其中，所述模型生成器被配置为生成所述关系模型，假定所述处理区域外部的所述真实世界函数的光度是稳定值。
6.根据权利要求4所述的信号处理设备，还包括
图像生成器，其被配置为生成由这样的像素值构成的图像，其中通过在所述预定的一维方向和时间方向上以预定增量，对作为所述真实世界函数的估计结果的、近似于所述真实世界函数的样条函数进行积分，去除了所述图像数据内的对象的运动模糊。
7.一种信号处理方法，包括
处理区域设置步骤，用于设置图像数据内的处理区域，在该图像数据中真实世界光信号被投影到每个均具有时间-空间积分效应的多个像素上，并且真实世界光信号的一部分连续性被丢失；
运动矢量设置步骤，用于设置所述图像数据内的对象的运动矢量，该运动矢量用作所述图像数据的丢失的真实世界光信号的连续性；以及
真实世界估计步骤，用于估计真实世界函数，假定与所述处理区域内的图像数据的空间方向的预定的一维方向上的位置相对应的每个像素的像素值，是由与样条函数近似的与所述真实世界光信号相对应的真实世界函数在所述预定的一维方向和时间方向上对进行相移的同时与所述运动矢量相对应地沿时间方向运动的模型进行积分而获得的像素值；
其中所述处理区域或运动矢量是根据来自用户的输入在所述处理区域设置步骤和运动矢量设置步骤中的至少一个步骤中被设置的。
全文摘要
本发明提供一种能够获得近似真实世界信号的图像的信号处理设备、信号处理方法、程序以及记录介质。真实世界估计部件(17003)通过假设真实世界的光信号投影到每个具有时间/空间积分效应的多个像素并且与缺少真实世界光信号稳定性的一部分的图像数据的x方向上的位置相对应的每个像素的像素值是通过x方向积分与样条函数近似的真实世界光信号相对应的真实世界函数而获得的像素值，来估计真实世界函数。图像生成部件(17004)通过在x方向上在预先确定的单元中积分真实世界函数来产生图像。本发明可以应用于例如从图像中去除运动模糊并提高图像分辨率的情况、或者当放大图像时的情况。
文档编号G06T5/50GK101231743SQ200810086090
公开日2008年7月30日 申请日期2004年6月15日 优先权日2003年6月27日
发明者近藤哲二郎, 金丸昌宪, 永野隆浩 申请人:索尼株式会社