专利名称：信号处理装置、方法及程序的制作方法
技术领域：
本发明涉及信号处理装置、方法及程序，尤其涉及考虑从其获取数据的现实世界的信号处理装置、方法和程序。
背景技术：
利用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到了广泛使用。例如，这样的图像处理技术得到了广泛的使用，其中利用成像传感器成像现实世界并处理作为图像数据的采样数据。
另外，日本未审查专利申请公开号2001-250119中公开了通过利用传感器检测第一信号获得比第一维的维数低的第二维，所述第一信号是具有第一维的现实世界信号；获得第二信号，该第二信号包括相对于第一信号的畸变；以及，基于第二信号进行信号处理，从而产生比第二信号具有减轻的畸变的第三信号。
然而，用于从第二信号估计第一信号的信号处理还没有考虑这样的事实，即通过作为具有第一维的现实世界的信号的第一信号产生的、比第一维的维数低的第二维的、其中丢失了现实世界信号的部分连续性的第二信号具有对应于已经丢失的现实世界信号的稳定性的数据连续性。
发明内容
本发明考虑上述情况而获得，本发明的一个目的是考虑从其获得数据的现实世界，从获得相对于现实世界的现象更准确和更精确的处理结果。
根据本发明的信号处理装置包括数据连续性检测装置，用于检测第二信号的数据连续性，所述第二信号具有维数低于第一维的第二维，所述第一维为第一信号所具有，所述第一信号为现实世界信号，并被投影从而丢失了所述现实世界信号的部分连续性，所述将要检测的连续性对应于已经丢失的所述现实世界信号的连续性；以及现实世界估计装置，用于基于由所述数据连续性检测装置检测的所述数据连续性，通过估计已经丢失的所述现实世界信号的连续性而估计所述第一信号。
数据连续性检测装置可检测由多个像素构成的图像数据的数据连续性，从所述多个像素丢失了所述现实世界光信号的部分连续性，并且所述多个像素为所述第二信号，其通过将作为所述第一信号的现实世界光信号投影到每个具有时间空间积分效应的多个检测单元上而获得；其中所述现实世界估计装置基于由所述数据连续性检测装置检测的所述数据连续性，产生模拟表示所述现实世界光信号的第一函数的第二函数。
所述现实世界估计装置基于由所述数据连续性检测装置检测的所述数据连续性，通过假设在对应于所述图像数据的时间空间方向中的至少一维方向上的位置的所述像素的像素值为通过在所述至少一维方向上的积分效应获取的像素值而模拟所述图像数据产生模拟表示所述现实世界光信号的第一函数的第二函数。
现实世界估计装置通过假设对应于所述图像数据的时间空间方向中的一维方向上的位置的所述像素的像素值为通过在所述一维方向上的积分效应获取的像素值而模拟所述图像数据产生模拟表示所述现实世界光信号的第一函数的第二函数，所述一维方向对应于由所述数据连续性检测装置检测的所述数据连续性。
所述现实世界估计装置通过假设对应于沿所述至少一维方向离参考点预定距离的每个像素的像素值为通过在所述至少一维方向上的积分效应获取的像素值而模拟所述图像数据而产生模拟表示所述现实世界光信号的第一函数的第二函数，所述至少一维方向对应于由所述连续性检测装置检测的所述数据连续性。
所述信号处理装置还可包括像素值产生装置，用于通过以希望的增量在所述至少一维方向上积分由所述现实世界估计装置产生的所述第二函数，而产生对应于希望大小的像素的像素值。
像素值产生装置通过以对应于所述每个像素的增量在所述至少一维方向上积分所述第二函数而产生像素值；其中，所述信号处理装置还包括输出装置，用于检测由所述像素值产生装置产生的像素值和构成所述图像数据的多个像素的像素值之间的差值，并根据所述差值选择性地输出所述第二函数。
所述现实世界估计装置通过假设对应于所述图像数据的时间空间方向中的至少二维方向上的位置的所述像素的像素值为通过在所述至少二维方向上的积分效应获取的像素值，而通过利用多项式模拟所述图像数据而产生模拟表示所述现实世界光信号的第一函数的第二函数，所述至少二维方向对应于由所述数据连续性检测装置检测的所述数据连续性。
所述现实世界估计装置通过假设对应于沿所述至少二维方向离参考点预定距离的像素的像素值为通过在所述至少二维方向上的积分效应获取的像素值，利用多项式模拟所述图像数据而产生模拟表示所述现实世界光信号的第一函数的第二函数，所述至少二维方向对应于由所述连续性检测装置检测的所述数据连续性的。
所述信号处理装置还可包括像素值产生装置，用于通过以希望的增量在所述至少二维方向上积分由所述现实世界估计装置产生的所述第二函数，而产生对应于希望大小的像素的像素值。
根据本发明的信号处理方法，包括数据连续性检测步骤，用于检测第二像素的数据连续性，所述第二像素具有低于第一维的第二维，所述第一维为第一信号所具有，所述第一信号为现实世界信号，并被投影从而丢失了所述现实世界信号的部分连续性，所述将要检测的连续性对应于已经丢失的所述现实世界信号的连续性；以及现实世界估计步骤，用于基于由所述数据连续性检测步骤检测的所述数据连续性，通过估计已经丢失的所述现实世界的连续性而估计所述第一信号。
根据本发明的程序使计算机执行如下步骤，所述步骤包括数据连续性检测步骤，用于检测第二信号的数据连续性，所述第二信号具有低于第一维的第二维，所述第一维为第一信号所具有，所述第一信号为现实世界信号，并被投影从而丢失了所述现实世界信号的部分连续性，所述将要检测的连续性对应于已经丢失的所述现实世界信号的连续性；以及现实世界估计步骤，用于基于由所述数据连续性检测步骤检测的所述数据连续性，通过估计已经丢失的所述现实世界信号的连续性而估计所述第一信号。
图1示出了本发明的原理； 图2是示出信号处理装置的结构实例的方框图； 图3是示出信号处理装置的方框图； 图4示出了常规图像处理装置的处理原理； 图5示出了本发明图像处理装置的处理原理； 图6详细示出了本发明原理； 图7详细示出了本发明原理； 图8示出了图像传感器上的像素布置的实例； 图9示出了作为CCD的检测装置的操作； 图10示出了被投影到对应于像素D到F的检测元件上的光与像素值之间的关系； 图11示出了经过时间、被投影到对应于一个像素的检测元件上的光以及像素值之间的关系； 图12示出了现实世界中线形对象的图像实例； 图13示出了通过实际图像拍摄获得的图像数据的像素值的实例； 图14是图像数据的示意图； 图15示出了具有不同于背景颜色的单色的线形的现实世界1的图像的实例； 图16示出了通过实际图像拍摄获得的图像数据的像素值的实例； 图17是图像数据的示意图； 图18示出了本发明原理； 图19示出了本发明原理； 图20示出了产生高分辨率数据的实例； 图21示出了通过模型进行的模拟； 图22示出了具有M块数据的模型的估计； 图23示出了现实世界信号和数据之间的关系； 图24示出了在产生表达时的关注数据的实例； 图25示出了用于现实世界中的两个对象的信号、以及在产生表达时属于混合区域的值； 图26示出了由公式(18)、公式(19)以及公式(20)表示的连续性； 图27示出了从数据选取的M块数据的实例； 图28示出了其中获得作为数据的像素值的区域； 图29示出了在空间-时间方向中对像素位置的模拟； 图30示出了在数据中的时间方向和二维空间方向上对现实世界的信号的积分； 图31示出了在产生具有空间方向中更高分辨率的高分辨率数据时的积分区域； 图32示出了在产生具有时间方向中更高分辨率的高分辨率数据时的积分区域； 图33示出了在除去由于移动引起的模糊而产生高分辨率数据时的积分区域； 图34示出了在产生具有空间方向中更高分辨率的高分辨率数据时的积分区域； 图35示出了输入图像的原始图像； 图36示出了输入图像的实例； 图37示出了通过应用常规类型分类适应处理获得的图像； 图38示出了对具有细线的区域的检测结果； 图39示出了从信号处理装置输出的输出图像的实例； 图40是示出利用信号处理装置的信号处理的流程图； 图41是示出数据连续性检测单元的结构的方框图； 图42示出了在背景前具有细线的现实世界中的图像； 图43示出了利用平面对背景的模拟； 图44示出了其上投影有细线图像的图像数据的截面形状； 图45示出了其上投影有细线图像的图像数据的截面形状； 图46示出了其上投影有细线图像的图像数据的截面形状； 图47示出了检测峰值和检测单调增/减区域的处理； 图48示出了检测这样的细线区域的处理，其中峰值的像素值超过阈值，而其相邻像素的像素值等于或小于阈值； 图49示出了在由图48中的点线AA’表示的方向上排列的像素的像素值； 图50示出了检测单调增/减区域中的连续性的处理； 图51示出了其中通过在平面上的模拟选取连续性分量的图像的实例； 图52示出了对单调减小的区域的检测结果； 图53示出了其中被检测出连续性的区域； 图54示出了其中检测出连续性的区域上的像素值； 图55示出了用于检测其中被投影了细线图像的区域的另一处理实例； 图56是示出连续性检测处理的流程图； 图57示出了用于在时间方向上检测数据连续性的处理； 图58是示出非连续性分量选取单元的结构的方框图； 图59示出了排除的次数； 图60示出了输入图像的实例； 图61示出这样的图像，其中取作为没有排除的平面模拟的结果获得的标准误差为像素值； 图62示出了这样的图像，其中取作为具有排除的平面模拟的结果获得的标准误差为像素值； 图63示出了其中取排除次数为像素值的图像； 图64示出了其中取平面的空间方向X上的梯度为像素值的图像； 图65示出了其中取平面的空间方向Y上的梯度为像素值的图像； 图66示出了由平面模拟值形成的图像； 图67示出了由平面模拟值与像素值之差形成的图像； 图68是示出用于选取非连续性分量的处理的流程图； 图69是示出用于选取连续性分量的处理的流程图； 图70是示出用于选取连续性分量的其它处理的流程图； 图71是示出用于选取连续性分量的再一处理的流程图； 图72是示出连续性分量选取单元的另一结构的方框图； 图73示出了具有数据连续性的输入图像上的活度； 图74示出了用于检测活度的块； 图75示出了数据连续性相对于活度的角度； 图76是示出数据连续性检测单元的详细结构的方框图； 图77示出了一组像素； 图78示出了像素组的位置与数据连续性角度的关系； 图79是示出用于检测数据连续性的处理的流程图； 图80示出了在检测在时间方向和空间方向上的数据连续性的角度时选取的一组像素； 图81是示出数据连续性检测单元的另一详细结构的方框图； 图82示出了由对应于设置直线的角度范围的个数的像素构成的一组像素； 图83示出了设置直线的角度范围； 图84示出了设置直线的角度范围、像素组数、以及每个像素组的像素个数； 图85示出了像素组数和每个像素组的像素个数； 图86示出了像素组数和每个像素组的像素个数； 图87示出了像素组数和每个像素组的像素个数； 图88示出了像素组数和每个像素组的像素个数； 图89示出了像素组数和每个像素组的像素个数； 图90示出了像素组数和每个像素组的像素个数； 图91示出了像素组数和每个像素组的像素个数； 图92示出了像素组数和每个像素组的像素个数； 图93是示出用于检测数据连续性的处理的流程图； 图94是示出数据连续性检测单元的另一详细结构的方框图； 图95是示出数据连续性检测单元的再一详细结构的方框图； 图96示出了块的实例； 图97示出了用于计算关注块和参考块之间的像素值之差的绝对值的处理； 图98示出了关注像素附近的像素的位置与具有角度θ的直线之间在空间方向X上的距离； 图99示出了平移量γ和角度θ之间的关系； 图100示出了相对于平移量γ，关注像素附近的像素的位置与经过关注像素并具有角度θ的直线之间在空间方向X上的距离； 图101示出了这样的参考块，其中相对于经过关注像素并具有角度θ的直线在空间方向X轴上的距离最小； 图102示出了用于平分将要检测的数据连续性的角度的范围的处理； 图103是示出用于检测数据连续性的处理的流程图； 图104示出了在检测空间方向和时间方向中的数据连续性的角度时选取的块； 图105是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理； 图106是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理； 图107是示出数据连续性检测单元的另一结构的方框图； 图108示出了输入图像中以参考轴为参考的数据连续性的角度； 图109示出了输入图像中以参考轴为参考的数据连续性的角度； 图110示出了输入图像中以参考轴为参考的数据连续性的角度； 图111示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系； 图112示出了回归线A与表示空间方向X的轴之间的角度，所述轴例如为参考轴； 图113示出了区域的实例； 图114是示出用于利用具有图107所示结构的数据连续性检测单元检测数据连续性的处理的流程图； 图115是示出数据连续性检测单元的另一结构的方框图； 图116示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系； 图117示出了标准偏差和具有数据连续性的区域间的关系； 图118示出了区域的实例； 图119是示出用于利用具有图115所示结构的数据连续性检测单元检测数据连续性的处理的流程图； 图120是示出用于利用具有图115所示结构的数据连续性检测单元检测数据连续性的其它处理的流程图； 图121是示出采用本发明的用于检测细线或二值边缘的角度作为数据连续性信息的数据连续性检测单元的结构的方框图； 图122示出了对数据连续性信息的检测方法； 图123示出了对数据连续性信息的检测方法； 图124示出了数据连续性检测单元的另一详细结构； 图125示出了水平/垂直确定处理； 图126示出了水平/垂直确定处理； 图127A示出了现实世界中的细线与由传感器成像的细线之间的关系； 图127B示出了现实世界中的细线与由传感器成像的细线之间的关系； 图127C示出了现实世界中的细线与由传感器成像的细线之间的关系； 图128A示出了现实世界中的细线与背景之间的关系； 图128B示出了现实世界中的细线与背景之间的关系； 图129A示出了由传感器成像的图像中的细线与背景之间的关系； 图129B示出了由传感器成像的图像中的细线与背景之间的关系； 图130A示出了由传感器成像的图像中的细线与背景之间的关系的实例； 图130B示出了由传感器成像的图像中的细线与背景之间的关系的实例； 图131A示出了现实世界的图像中的细线与背景之间的关系； 图131B示出了现实世界的图像中的细线与背景之间的关系； 图132A示出了由传感器成像的图像中的细线与背景之间的关系； 图132B示出了由传感器成像的图像中的细线与背景之间的关系； 图133A示出了由传感器成像的图像中的细线与背景之间的关系的实例； 图133B示出了由传感器成像的图像中的细线与背景之间的关系的实例； 图134示出了获得细线角度的模型； 图135示出了获得细线角度的模型； 图136A示出了对应于关注像素的动态范围块中的像素的最大值和最小值； 图136B示出了对应于关注像素的动态范围块中的像素的最大值和最小值； 图137A示出了如何获得细线角度； 图137B示出了如何获得细线角度； 图137C示出了如何获得细线角度； 图138示出了如何获得细线角度； 图139示出了选取块和动态范围块； 图140示出了最小二乘法求解； 图141示出了最小二乘法求解； 图142A示出了二值边缘； 图142B示出了二值边缘； 图142C示出了二值边缘； 图143A示出了由传感器成像的图像的二值边缘； 图143B示出了由传感器成像的图像的二值边缘； 图144A示出了由传感器成像的图像的二值边缘的实例； 图144B示出了由传感器成像的图像的二值边缘的实例； 图145A示出了由传感器成像的图像的二值边缘； 图145B示出了由传感器成像的图像的二值边缘； 图146示出了用于获得二值边缘的角度的模型； 图147A示出了用于获得二值边缘的角度的方法； 图147B示出了用于获得二值边缘的角度的方法； 图147C示出了用于获得二值边缘的角度的方法； 图148示出了用于获得二值边缘的角度的方法； 图149是示出用于检测细线或二值边缘沿数据连续性的角度的处理的流程图； 图150是示出数据选取处理的流程图； 图151是示出对正规方程的相加处理的流程图； 图152A是比较通过应用本发明获得的细线的梯度与利用相关值获得的细线的角度的图； 图152B是比较通过应用本发明获得的细线的梯度与利用相关值获得的细线角度的图； 图153A是比较通过应用本发明获得二值边缘的梯度与利用相关值获得的细线角度的图； 图153B是比较通过应用本发明获得的二值边缘的梯度与利用相关值获得的细线角度的图； 图154是示出用于应用本发明检测混合比值作为数据连续性信息的数据连续性检测单元的结构的方框图； 图155A示出了如何获得混合比值； 图155B示出了如何获得混合比值； 图155C示出了如何获得混合比值； 图156是示出检测沿数据连续性的混合比值的处理的流程图； 图157是示出对正规方程的相加处理的流程图； 图158A示出了细线的混合比值分布的实例； 图158B示出了细线的混合比值分布的实例； 图159A示出了二值边缘的混合比值分布的实例； 图159B示出了二值边缘的混合比值分布的实例； 图160示出了对混合比值的线性模拟； 图161A示出了用于获得对象的移动作为数据连续性信息的方法； 图161B示出了用于获得对象的移动作为数据连续性信息的方法； 图162A示出了用于获得对象的移动作为数据连续性信息的方法； 图162B示出了用于获得对象的移动作为数据连续性信息的方法； 图163A示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法； 图163B示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法； 图163C示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法； 图164示出在获得根据对象的移动的混合比值作为数据连续性信息时对混合比值的线性模拟； 图165是示出了用于应用本发明检测处理区域作为数据连续性信息的数据连续性检测单元的结构的方框图； 图166是示出利用图165所示的数据连续性检测单元检测连续性的处理的流程图； 图167示出了利用图165所示的数据连续性检测单元检测连续性的处理的积分范围； 图168示出了利用图165所示的数据连续性检测单元检测连续性的处理的积分范围； 图169是示出了用于检测本发明所应用到的处理区域作为数据连续性信息的数据连续性检测单元的另一结构的方框图； 图170是示出利用图169所示的数据连续性检测单元检测连续性的处理的流程图； 图171示出了利用图169所示的数据连续性检测单元检测连续性的处理的积分范围； 图172示出了利用图169所示的数据连续性检测单元检测连续性的处理的积分范围； 图173是示出现实世界估计单元102的结构的方框图； 图174示出了用于检测现实世界信号中的细线宽度的处理； 图175示出了用于检测现实世界信号中的细线宽度的处理； 图176示出了用于估计现实世界信号中的细线信号水平的处理； 图177是示出估计现实世界的处理的流程图； 图178是示出现实世界估计单元的另一结构的方框图； 图179是示出边界检测单元的结构的方框图； 图180示出了计算分配比值的处理； 图181示出了计算分配比值的处理； 图182示出了计算分配比值的处理； 图183示出了计算表示单调增/减区域的边界的回归线的处理； 图184示出了计算表示单调增/减区域的边界的回归线的处理； 图185是示出估计现实世界的处理的流程图； 图186是示出边界检测处理的流程图； 图187是示出现实世界估计单元的结构的方框图，所述单元估计空间方向中的导数值作为现实世界估计信息； 图188是示出利用图187所示的现实世界估计单元的现实世界估计处理的流程图； 图189示出了参考像素； 图190示出了获得空间方向中的导数值的位置； 图191示出了空间方向中的导数值与平移量之间的关系； 图192是示出现实世界估计单元的结构的方框图，所述单元估计空间方向中的梯度作为现实世界估计信息； 图193是示出利用图192所示的现实世界估计单元的现实世界估计处理的流程图； 图194示出了获得空间方向中的梯度的处理； 图195示出了获得空间方向中的梯度的处理； 图196是示出现实世界估计单元的结构的流程图，所述单元用于估计帧方向中的导数值作为现实世界估计信息； 图197是示出利用图196所示的现实世界估计单元的现实世界估计处理的流程图； 图198示出了参考像素； 图199示出了获得帧方向中的导数值的位置； 图200示出了帧方向中的导数值与平移量之间的关系； 图201是示出现实世界估计单元的结构的方框图，所述单元估计帧方向中的梯度作为现实世界估计信息； 图202是示出利用图201所示的现实世界估计单元的现实世界估计处理的流程图； 图203示出了获得帧方向中的梯度的处理； 图204示出了获得帧方向中的梯度的处理； 图205示出了函数模拟的原理，其为图3所示的现实世界估计单元的实施例的实例； 图206示出了在传感器为CCD的情况下的积分效应； 图207示出了如图206所示的传感器的积分效应的具体实例； 图208示出了如图206所示的传感器的积分效应的具体实例； 图209示出了图207所示的包括细线的现实世界区域； 图210作为图205所示的实例的对比，示出了图3所示的现实世界估计单元的实施例的实例的原理； 图211示出了图207所示的包括细线的数据区域； 图212示出了其中将图211所示的包括细线的数据区域中包含的每个像素值画成曲线图的图； 图213示出了其中将模拟图212所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图； 图214示出了图207示出的包括细线的现实世界区域所具有的空间方向中的连续性； 图215示出了其中将图211所示的包括细线的数据区域中包含的每个像素值画成曲线图的图； 图216示出了其中将图215所示的每个输入像素值平移预定平移量的状态； 图217示出了其中考虑空间方向连续性，将模拟图212所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图； 图218示出了空间混合区域； 图219示出了模拟空间混合区域中的现实世界信号的模拟函数； 图220示出了其中同时考虑传感器积分特性和空间方向连续性，将模拟对应于图212所示的包括细线的数据区域的现实世界信号的模拟函数画成曲线图的图； 图221是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图205所示的原理的函数模拟技术中的基本多项式模拟； 图222是示出具有图221所示结构的现实世界估计单元执行的现实世界估计处理的流程图； 图223示出了分块范围； 图224示出了具有空间方向中的连续性的现实世界信号； 图225示出了在传感器为CCD的情况下的积分效应； 图226示出了截面方向中的距离； 图227是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图205所示的原理的函数模拟技术中的二次多项式模拟； 图228是示出具有图227所示结构的现实世界估计单元所执行的现实世界估计处理的流程图； 图229示出了分块范围； 图230示出时间空间方向中的连续性方向； 图231示出了在传感器为CCD的情况下的积分效应； 图232示出了具有空间方向中的连续性的现实世界信号； 图233示出了具有空间时间方向中的连续性的现实世界信号； 图234是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图205所示的原理的函数模拟技术中的三次多项式模拟； 图235是示出具有图234所示结构的现实世界估计单元所执行的现实世界估计处理的流程图； 图236示出了再积分的原理，再积分为图3所示的图像产生单元的实施例的实例； 图237示出了输入像素和用于模拟对应于输入像素的现实世界信号的模拟函数的实例； 图238示出了从图237所示的模拟函数，在图237所示的所述一个输入像素中产生4个高分辨率像素的实例； 图239是示出图像产生单元的结构实例的方框图，所述单元利用具有图236所示的原理的再积分技术的一维再积分； 图240是示出具有图239所示的结构的图像产生单元所执行的图像产生处理的流程图； 图241示出了输入图像的原始图像的实例； 图242示出了对应于图241所示的图像的图像数据的实例； 图243示出了输入图像的实例； 图244示出了对应于图243所示的图像的图像数据的实例； 图245示出了对输入图像进行常规类型分类适应处理获得的图像的实例； 图246示出了对应于图245所示的图像的图像数据的实例； 图247示出了对输入图像进行根据本发明的一维再积分技术处理获得的图像的实例； 图248示出了对应于图247所示的图像的图像数据的实例； 图249示出了具有空间方向连续性的现实世界信号； 图250是示出图像产生单元的结构实例的方框图，所述单元使用具有图236所示的原理的再积分技术的二维再积分技术； 图251示出了截面方向中的距离； 图252是示出具有图250所示的结构的图像产生单元所执行的图像产生处理的流程图； 图253示出了输入像素的实例； 图254示出了利用二维再积分技术，在图253所示的一个输入像素中产生4个高分辨率像素的实例； 图255示出了空间时间方向中的连续性方向； 图256是示出图像产生单元的结构实例的方框图，所述单元使用具有图236所示的原理的再积分技术的三维再积分技术； 图257是示出具有图256所示的结构的图像产生单元所执行的图像产生处理的流程图； 图258是示出应用本发明的图像产生单元的另一结构的方框图； 图259是示出利用图258所示的图像产生单元的图像产生处理的流程图； 图260示出了从输入像素产生四倍密度像素的处理； 图261示出了表示像素值的模拟函数与平移量之间的关系； 图262是示出应用本发明的图像产生单元的另一结构的方框图； 图263是示出利用图262所示的图像产生单元的图像产生处理的流程图； 图264示出了从输入像素产生四倍密度像素的处理； 图265示出了表示像素值的模拟函数与平移量之间的关系； 图266是示出利用类型分类适应处理校正技术中的一维再积分技术的图像产生单元的结构实例的方框图，所述单元是图3所示的图像产生单元的实施例的实例； 图267是示出图266所示的图像产生单元的类型分类适应处理单元的结构实例的方框图； 图268是示出图266所示的类型分类适应处理单元、以及用于通过学习确定类型分类适应处理校正单元使用的系数的学习装置的结构实例的方框图； 图269是示出图268所示的类型分类适应处理单元的学习单元的详细结构实例的方框图； 图270示出了图267所示的类型分类适应处理单元的处理结果的实例； 图271示出了图270所示的预测图像与HD图像之间的差值图像； 图272示出了图270中的HD图像的特定像素值、SD图像的特定像素值、对应于图271所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。
图273示出了图270中的预测图像与HD图像之间的差值图像； 图274示出了图270中的HD图像的特定像素值、SD图像的特定像素值、对应于图273所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。
图275示出了基于图272到图274所示的内容获得的结论； 图276是示出图266所示的图像产生单元的类型分类适应处理校正单元的结构实例的方框图； 图277是示出类型分类适应处理校正单元的学习单元的详细结构实例的方框图； 图278示出了像素内梯度； 图279示出了图270所示的SD图像、以及以SD图像的每个像素的像素内梯度作为其像素值的特征图像； 图280示出了像素内梯度计算方法； 图281示出了像素内梯度计算方法； 图282是示出具有266所示结构的图像产生单元所执行的图像产生处理的流程图； 图283是详细示出图282所示的图像产生处理中的输入图像类型分类适应处理的流程图； 图284是详细示出图282所示的图像产生处理中的类型分类适应处理的校正处理的流程图； 图285示出了类型分块阵列的实例； 图286示出了类型分类实例； 图287示出了预测分块阵列实例； 图288是示出图268所示的学习装置的学习处理的流程图； 图289是示出图288所示的学习处理中的类型分类适应处理的具体学习处理的流程图； 图290是示出图288所示的学习处理中的类型分类适应处理的具体学习处理的流程图； 图291，示出了图270所示的预测图像，以及其中将校正图像加到预测图像上的图像(通过如图266所示的图像产生单元产生的图像)； 图292是示出利用混合技术的信号处理装置的第一结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例； 图293是示出图292所示的信号处理装置的用于执行类型分类适应处理的图像产生单元的结构实例的方框图； 图294是示出相对于图293所示的图像产生单元的学习装置的结构实例的方框图； 图295是示出由具有图292所示的结构的信号处理装置执行的信号处理的流程图； 图296是示出图295所示的信号处理的类型分类适应处理的具体处理执行的流程图； 图297是示出图294所示的学习装置的学习处理的流程图； 图298是示出利用混合技术的信号处理装置的第二结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例； 图299是示出具有图296所示的结构的信号处理装置所执行的信号处理的流程图； 图300是示出利用混合技术的信号处理装置的第三结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例； 图301是示出具有图298所示的结构的信号处理装置所执行的信号处理的流程图； 图302是示出利用混合技术的信号处理装置的第四结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例； 图303是示出具有图300所示的结构的信号处理装置所执行的信号处理的流程图； 图304是示出利用混合技术的信号处理装置的第五结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例； 图305是示出具有图302所示的结构的信号处理装置所执行的信号处理的流程图； 图306是示出数据连续性检测单元的另一实施例的结构的方框图； 图307是示出利用图306所示的数据连续性检测单元的数据连续性检测处理的流程图。
具体实施例方式 图1示出了本发明原理。如图所示，由传感器2获取在现实世界1中具有例如空间、时间、质量等的事件(现象)，并将其形成数据。现实世界1中的事件指光(图像)、声音、压强、温度、质量、湿度、亮度/暗度或动作等。现实世界1中的事件被分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。
注意传感器2，由传感器2在现实世界1中的具有空间、时间和质量的维度的事件中，将在现实世界1中可以由传感器2获取的事件转换成数据3。可以说由传感器2获取表示现实世界1中的事件的信息。
也就是说，传感器2将表示现实世界1中的事件的信息转换成数据3。可以说成，由传感器2获取作为表示具有例如空间、时间和质量的维度的现实世界1中的事件(现象)的信息的信号，并将其形成为数据。
下面，将现实世界1中的例如光(图像)、声音、压强、温度、质量、湿度、亮度/暗度或气味等的事件的分布称为现实世界1的信号，所述信号是表示事件的信息。另外，作为表示现实世界1的事件的信息的信号还可以简单地称为现实世界1的信号。在本说明书中，将信号理解为包括现象和事件，并且还包括这样的事物，其没有传输方面的目的。
从传感器2输出的数据3(检测到的信号)是通过将表示现实世界1的事件的信息投影到维度比现实世界1低的空间-时间上而获得的信息。例如，作为移动图像的图像数据的数据3，是通过将现实世界1的三维空间方向和时间方向上的图像投影到二维空间方向和时间方向的时空上而获得的信息。另外，在数据3是例如数字数据的情况中，根据采样增量对数据3进行舍入。在数据3是模拟数据的情况中，或者根据动态范围压缩数据3的信息，或者通过限幅器等删除信息的一部分。
从而，通过将示为表示具有预定维数的现实世界1中的事件的信息的信号投影到数据3上(检测的信号)，减少了表示现实世界1中的事件的信息的一部分。也就是说，从传感器2输出的数据3减少了表示现实世界1中的事件的信息的一部分。
然而，即使由于投影减少了表示现实世界1中的事件的信息的一部分，数据3也包括用于估计作为表示现实世界1中的事件(现象)的信息的信号的有用信息。
对于本发明，将在数据3中包括的具有连续性的信息用作作为现实世界1的信息的用于估计信号的有用信息。连续性是新定义的概念。
关注现实世界1，现实世界1中的事件包括在预定维度方向上不变的特征。例如，现实世界1中的对象(有形对象)或者具有在空间方向或时间方向上连续的形状、图形或颜色，或者具有重复模式的形状、图形或颜色。
因此，表示现实世界1中的事件的信息包括在预定维度方向上不变的特征。
对于更具体的实例，例如线、细绳或粗绳的线形对象具有在长度方向上即空间方向上的不变的特征，也就是，在长度方向中的任意位置上的横截面形状是相同的。在长度方向上的任意位置上的横截面形状相同的在空间方向中的不变的特征来自于线形对象为长形的特征。
因此，线性对象的图像具有在长度方向即空间方向上不变的特征，即在长度方向中的任意位置上的横截面形状是相同的。
另外，在空间方向上展开的作为有形对象的单个对象，可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。
同样，在空间方向上展开的作为有形对象的单个对象的图像可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。
这样，现实世界1(真实世界)中事件具有在预定维度方向上不变的特征，因此现实世界1的信号具有在预定维度方向上不变的特征。
在本说明书中，该在预定维度方向上不变的特征被称为连续性。现实世界(真实世界)1的信号的连续性表示在预定维度方向上不变的特征，所述维度方向被表示现实世界(真实世界)1的事件的信号所具有。
在现实世界1(真实世界)中存在无数这样的连续性。
下面，关注数据3，通过作为表示由传感器2投影的具有预定维的现实世界1的事件的信息的信号而获得数据3，其包括对应于在真是世界中的信号的连续性的连续性。可以说，数据3包括其中现实世界信号的连续性被投影的连续性。
然而，如上所述，在从传感器2输出的数据3中，已经丢失了现实世界1的部分信息，因此丢失了在现实世界1(真实世界)的信号中包含的部分连续性。
换句话说，数据3包括现实世界1(真实世界)的信号连续性中的部分连续性作为数据连续性。数据连续性表示数据3具有的在预定维度方向上不变的特征。
对于本发明，将数据3具有的数据连续性用作用于估计作为表示现实世界1的事件的信息的信号的重要数据。
例如，对于本发明，利用数据连续性，通过对数据3的信号处理，产生已经丢失的表示现实世界1中的事件的信息。
现在，在本发明中，利用长度(空间)、时间和质量在空间方向上或时间方向上的连续性，所述长度、时间和质量是用为表示现实世界1中的时间的信息的信号的维度。
再参考图1，传感器2的形式包括例如数字静物照相机、视频摄影机等，其拍摄现实世界1的图像，并将作为获取数据3的图像数据输出到信号处理装置4。传感器2还可以是温度记录装置、利用光致弹性的压力传感器等。
信号处理装置4由例如个人计算机等构成。
信号处理装置4被例如如图2所示构成。CPU(中央处理单元)21执行存储在ROM(只读存储器)22或存储器单元28中的各种处理顺序程序(processing following program)。RAM(随机存取存储器)23在适当的时候存储将要由CPU21执行的程序、数据等。CUP21、ROM22和RAM23通过总线24互相连接。
在CPU21上还通过总线24连接输入/输出接口25。输入/输出接口25连接由键盘、鼠标、麦克风等构成的输入装置26、以及由显示器、扬声器等构成的输出单元27。CPU21对应于从输入单元26输入的命令执行各种处理。然后，CPU21输出获得的图像和音频等作为处理输出单元27的结果。
连接输入/输出接口25的存储单元28由例如硬盘构成，并存储由CPU21执行的程序和各种数据。通信单元29通过互联网和其它网络与外部装置通信。在该实例的情况下，通信单元29用作获取单元，用于采集从传感器2输出的数据3。
另外，可以进行这样的设置，其中通过通信单元29获得程序，并将其存储在存储单元28中。
连接输入/输出接口25的驱动器30驱动磁盘51、光盘52、磁光盘53、或安装在其中的半导体存储器54等，并获得记录在其中的程序和数据。当需要时，将获得的程序和数据传输到存储单元28并存储。
图3是示出信号处理装置4的方框图。
注意，信号处理装置4的功能是由硬件实现或还由软件实现，是不想关的。也就是说，在本说明书中的方框图可以用为硬件方框图或用为软件功能方框图。
在如图3所示的信号处理装置4中，输入作为数据3的实例的图像数据，并且从输入图像数据(输入图像)检测数据的连续性。然后，从检测到的数据连续性估计由传感器2获取的现实世界1的信号。然后，根据现实世界1的估计信号，生成图像，并输出生成的图像(输出图像)。也就是说，图3示出了作为图像处理装置的信号处理装置4的结构。
将输入信号处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。
数据连续性检测单元101检测来自输入图像的数据的连续性，并将表示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如具有数据连续性的像素区域的位置、具有数据连续性的像素的区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素的区域的长度、或输入图像中的类似信息。下面将描述数据连续性检测单元101的详细结构。
现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，估计现实世界1的信号。也就是说，现实世界估计单元102在获取输入图像时估计作为现实世界投射到传感器2上的信号的图像。现实世界估计单元102将表示对现实世界1的信号的估计的结果的现实世界估计信息提供给图像生成单元103。下面将描述现实世界估计单元102的详细结构。
图像生成单元103根据从现实世界估计单元102提供的、表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。或者，图像生成单元103根据从数据连续性检测单元101提供的数据连续性信息、和从现实世界估计单元102提供的表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。
也就是说，图像生成单元103根据现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。
例如，图像生成单元103通过根据现实世界估计信息集成在空间方向或时间方向的希望范围内的现实世界1的估计图像，生成比输入图像在空间方向或时间放上上具有更高的分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外推/内插生成图像，并输出生成的图像作为输出图像。
下面将描述图像生成单元103的详细结构。
接着将参考图4至7描述本发明的原理。
图4描述了利用常规信号处理装置121进行处理的原理图。常规信号处理装置121采用数据3作为处理参考，并以数据3作为处理对象执行例如增加分辨率等的处理。在常规信号处理装置121中，从未考虑过现实世界1，并且数据3是最终的参考，从而不能获得超过在数据3中包含的信息的信息作为输出。
另外，在常规信号处理装置121中，没有考虑由于传感器2的任何数据3中的畸变(作为现实世界1的信息的信号、以及数据3之间的差异)，从而常规信号处理装置121输出仍包含畸变的信号。另外，根据由信号处理装置121进行的处理，还进一步放大数据3中存在的由于传感器2的畸变，并输出包含放大的畸变的数据。
从而，在常规的信号处理中，从未考虑过从其获得数据3的现实世界1(的信号)。换句话说，在常规的信号处理中，认为现实世界1被包括在数据3包含的信息帧中，从而由数据3中包含的信息和畸变决定了信号处理的极限。本申请人已经单独地提出了考虑现实世界1的信号处理，但是这没有考虑下文描述的连续性。
相比于此，在根据本发明的信号处理中，明确地考虑现实世界1(的信号)而进行处理。
图5示出了在根据本发明的信号处理装置4中的处理的原理图。
其中与常规设置相同的是，由传感器2获得作为表示现实世界1中的事件的信息的信号，并且传感器2输出数据3，在数据3中被投影有作为现实世界1的信息的信号。
然而，在本发明中，由传感器2获得的作为表示现实世界1的事件的信息的信号被明确地考虑。也就是说，在已知数据3包含由于传感器2的畸变(作为现实世界1的信息的信号、以及数据之间的差异)的事实下进行信号处理。
从而，在根据本发明的信号处理中，处理结果不会由于包含在数据3中的信息和畸变而受到约束，并且，例如，对于现实世界1中的事件，可以获得更精确、并且比常规方法具有更高精度的处理结果。也就是说，在本发明中，对于输入到传感器2中的、作为表示现实世界1的事件的信息的信号，可以获得更精确、并且具有更高精度的处理结果。
图6和图7更详细地描述了本发明的原理。
如图6所示，例如为图像的现实世界的信号，是通过由透镜、光学LPF(低通滤镜)等构成的光学系统141，在作为传感器2的实例的CCD(电荷耦合装置)的感光面上的图像。作为传感器2的实例的CCD具有积分特性，从而在从CCD输出的数据3中生成与现实世界1的图像差异。下面将详细描述传感器2的积分特性。
在根据本发明的信号处理中，明确地考虑由CCD获得的现实世界1的图像和由CCD的数据取得并输出的数据3之间的关系。也就是说，明确地考虑数据3与作为由传感器2获得的现实世界的信息的信号之间的关系。
更具体的是，如图7所示，信号处理装置4使用模型161模拟(描述)现实世界。模型161由例如N个变量表示。更精确的是，模型161模拟(描述)现实世界1的信号。
为了预测模型161，信号处理装置4从数据3提取M页数据162。当从数据3提取M块数据162时，信号处理装置4使用包含在数据3中的数据的连续性。换句话说，信号处理装置4根据包含在数据3中的数据的连续性，提取用于预测模型161的数据162。随后，由数据的连续性约束模型161。
也就是说，模型161模拟(信息(信号)表示)具有连续性(在预定维度方向上的不变特征)的现实世界中的事件，所述连续性产生了数据3中的数据连续性。
现在，在数据162的数M为N或更大的情况中，所述数是模型变量的数目，可以从M块数据162预测由N个变量表示的模型161。
这样，信号处理装置4通过预测模拟(描述)现实世界1(的信号)的模型161，可以考虑作为现实世界1的信息的信号。
接着，将描述传感器2的积分效应。
作为用于拍摄图像的传感器2的图像传感器，例如CCD或CMOS(互补金属氧化物半导体)在成像现实世界时将作为现实世界的信息的信号投影到二维数据上。图像传感器的像素每个都具有预定面积称为光敏面(光敏区域)。对每个像素积分在空间方向和时间方向上的到达具有预定面积的光敏面上的入射光，并将所述入射光转换成每个像素的单个像素值。
下面将参考图8至图11描述对图像的空间-时间积分。
图像传感器对现实世界中的主体(客体)成像，并将获得的图像数据输出为多个单帧累加成像的结果。也就是说，图像传感器获取现实世界1的信号，所述信号为从现实世界1的主体反射的光，并输出数据3。
例如，图像传感器输出30帧/秒的图像数据。在这种情况下，可以使图像传感器的曝光时间为1/30秒。曝光时间是图像传感器开始将入射光转换成电荷到结束将入射光转换成电荷的时间。下文中，还将曝光时间称为快门时间。
图8描述了在图像传感器上的像素阵列的实例。在图8中，A至I表示各个像素。像素被设置在对应于由图像数据显示的图像的平面中。在图像传感器上对应于单个像素设置单个检测元件。当图像传感器拍摄现实世界1的图像时，一个检测元件对应于构成图像数据的一个像素输出一个像素值。例如，在检测元件的空间方向X(X坐标)中的位置对应于由图像数据显示的图像上的水平位置，以及在检测元件的空间方向Y(Y坐标)中的位置对应于由图像数据显示的图像上的垂直位置。
现实世界1中的光强分布在三维空间方向和时间方向中展开，但是图像传感器在二维空间方向和时间方向中获取现实世界1的光，并生成显示在二维空间方向和时间方向中的光强分布的数据3。
如图9所示，例如是CCD的检测装置，在对应于快门时间的期间将投射到光敏面(光敏区域)(检测区域)上的光转换成电荷，并积累转换的电荷。所述光是现实世界1的信息(信号)，其强度由三维空间位置和时刻决定。可以由函数F(x，y，z，t)表示现实世界1的光强分布，其中在三维空间中的位置x、y、z，以及时刻t为变量。
在检测装置CCD中积累的电荷量近似正比于投射到具有二维空间范围的整个光敏面上的光强分布、以及光被投射到其上的时间量。检测装置将从投射到整个光敏面上的光转换的电荷加到在对应于快门时间的期间已经积累的电荷上。也就是说，检测装置积分投射到具有二维空间范围的整个光敏面上的光，并累加对应于在对应快门时间期间积分的光的变化量。还可以认为检测装置具有对空间(光敏面)和时间(快门时间)的积分效应。
通过未示出的电路将在检测装置中积累的电荷转换成电压值，再将电压值转换成例如数字数据的像素值，并输出为数据3。因此，从图像传感器输出的各个像素值具有投影到一维空间的值，所述值是积分现实世界1的信息(信号)的部分的结果，所述现实世界具有关于快门时间的时间方向、和检测装置的光敏面的空间方向的时空范围。
也就是说，一个像素的象素值被表示为积分F(x，y，t)。F(x，y，t)是表示再检测装置的光敏面上的光强分布的函数。例如，像素值P由公式(1)表示。
公式(1) 在公式(1)中，x1表示在检测装置的光敏面的左侧范围上的空间坐标(X坐标)。x2表示在检测装置的光敏面的右侧范围上的空间坐标(X坐标)。在公式(1)中，y1表示在检测装置的光敏面的上侧范围上的空间坐标(Y坐标)。y2表示在检测装置的光敏面的下侧范围上的空间坐标(Y坐标)。另外，t1表示开始将入射光转换成电荷的时刻。t2表示结束将入射光转换成电荷的时刻。
注意实际上，从图像传感器输出的图像数据获得的像素值对于整个帧被校正。
图像数据的每个像素值是投射到图像传感器的每个检测元件的光敏面上的光的积分值，并且，对于被投射到图像传感器上的光，比检测元件的光面面更微小的现实世界1的光的波形被隐藏在成为积分值的像素值中。
下面，在本说明书中，将用预定维表示的作为参考的信号波形简单称为波形。
从而，在空间方向和时间方向中将现实世界1的图像积分为像素的累加，从而在图像数据中减少了现实世界1的图像的连续性的一部分，从而在图像数据中只剩下现实世界1的图像连续性的另一部分。或者，可能有这样的情况，其中在图像数据中包括从现实世界1的图像的连续性改变的连续性。
对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在空间方向上的积分效应。
图10描述了到达对应于像素D至像素F的检测元件的入射光与像素值之间的关系。图10中的F(x)是表示现实世界1的光强分布的函数的实例，其中在空间(在检测装置上)X空间方向中的坐标x为变量。换句话说，F(x)是表示现实世界1的光强分布的函数的实例，其中空间坐标Y和时间方向不变。在图10中，L表示检测装置的光敏面的空间方向X中对应于像素D至像素F的长度。
将单个像素的像素值表示为积分F(x)。例如，像素E的像素值P由公式(2)表示。
公式(2) 在公式(2)中，x1表示对应于像素E的在检测装置的光敏面的左侧范围上的空间方向X中的空间坐标。x2表示对应于像素E的在检测装置的光敏面的右侧范围上的空间方向X中的空间坐标。
同样，对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在时间方向上的积分效应。
图11描述了经过的时间与到达对应于单个像素的检测元件的入射光之间的关系，并且图11中的像素值F(t)是表示现实世界1的光强分布的函数，其中时刻t为变量。换句话说，F(t)是表示现实世界1的光强分布的实例，其中空间方向Y和空间方向X不变。Ts表示快门时间。
帧#n-1是在时间上比帧#n靠前的帧，而帧#n+1是在时间上在帧#n后的帧。也就是说，以帧#n-1、帧#n和帧#n+1的顺序显示#n-1、帧#n和帧#n+1。
注意，在图11所示的实例中，快门时间ts和帧间隔是相同的。
将单个像素的像素值表示为积分F(x)。例如，将例如帧n的像素的像素值由公式(3)表示。
公式(3) 在公式(3)中，t1表示开始将入射光转换成电荷的时刻。t2表示结束将入射光转换成电荷的时刻。
下文中，将由传感器2在空间方向的积分效应简单称为空间积分效应，并将传感器2在时间方向的积分效应简单称为时间积分效应。另外，将空间积分效应或时间积分效应简单称为积分效应。
下面，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。
图12示出了现实世界1的线形对象(例如细线)，即光强分布的实例。在图12中，附图上侧的位置表示光强(水平)，图中上左侧的位置表示在空间方向X中的位置，所述空间方向X是图像的空间方向的一个方向，而图中右侧的位置表示在空间方向Y中的位置，所述空间方向Y是图像的空间方向的另一个方向。
现实世界1的线形对象的图像包括预定连续性。也就是说，图12中所示的图像具有长度方向中的任意位置上的横截面的形状连续性(当在垂直于长度方向的方向上的位置变化时的变化水平)。
图13示出了通过对应于图12的图像的实际图像拍摄获得的图像数据的像素值的实例。
图14是图13所示的图像数据的模型图。
图14所示的模型图是利用图像传感器对线形对象的图像成像而获得的图像数据的模型图，所述线形对象的直径比每个像素的光敏面的长度L短，并在偏离图像传感器的像素阵列(像素的垂直或水平阵列)的方向上延伸。当获取图14的图像数据时被投射到图像传感器中的图像是如图12所示的现实世界1的线形对象的图像。
在图14中，图中的上侧位置表示像素值，图中上右侧的位置表示在空间方向X中的位置，空间方向X是图像的空间方向中的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像的空间方向的另一个方向。图14中表示像素值的方向对应图12中的水平的方向，图14中空间方向X和空间方向Y与图12中的所示方向相同。
在利用图像传感器拍摄直径比每个像素的光敏面的长度L窄的线形对象的图像时，将线形对象在作为图像拍摄结果的图像数据中表示为多个弧形(半圆)，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述弧形基本具有近似相同的形状。将一个弧形垂直地形成在一行像素上，或水平地形成在一行像素上。例如，将如图14所示的一个弧形垂直地形成在一行像素上。
从而，通过由例如图像传感器拍摄并获得图像数据，丢失了这样的连续性，其中现实世界1的线形对象图像的连续性为，在长度方向的任何位置上在空间方向Y上的横截面相同。也可以说，现实世界1的线形对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的弧形以预定间隔排列。
图15示出了对象在现实世界1中的图像，即光强分布的实例，所述对象具有直边缘并与背景有单色差。在图15中，图中上侧位置表示光强(水平)，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。
具有直边缘并且与背景有单色差的现实世界1的对象的图像包括预定连续性。也就是说，图15所示的图像的连续性为，在长度方向上的任意位置上的横截面(对于在垂直于长度方向的方向上的位置的变化，水平的变化)相同。
图16示出了由现实图像拍摄获得的图像数据的像素值的实例，其对应于如图15所示的图像。如图16所示，图像数据为阶形，因为图像数据由具有像素增量的像素值构成。
图17是示出如图16所示的图像数据的模型图。
图17所示的模型图是用图像传感器拍摄现实世界1的对象的图像而获得的图像数据的模型图，所述对象具有直边缘并与背景具有单色差，所述模型图以偏离图像传感器的像素的阵列的方向延伸(像素的垂直或水平阵列)。在获取如图17所示的图像数据时被投射到图像传感器中的图像是现实世界1的对象的图像，所述对象如图15所示具有直边缘并与背景有单色差。
在图17中，图中上侧位置表示像素值，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。图17中表示像素值的方向对应于图15中的水平方向，并且图17中的空间方向X和空间方向Y与图15中相同。
在用图像传感器拍摄现实世界1的对象的图像的情况中，所述对象具有直边缘并与背景有单色差，在作为图像拍摄的结果获得的图像数据中将直边缘表示为多个爪形，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述爪形具有近似相同的形状。将一个像素垂直地在一行像素上形成，或水平地在一行像素上形成。例如，将如图17所示的一个爪形垂直地在一行像素上形成。
从而，具有直边缘并与背景有单色差的现实世界1的对象的图像的连续性在用图像传感器成像而获得的图像数据中丢失，所示连续性例如为在边缘的长度方向中的任意位置上的横截面形状相同。也可以说，具有直边缘并与背景有单色差的现实世界1的对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的爪形以预定间隔排列。
数据连续性检测单元101检测例如作为输入图像的数据3的该数据连续性。例如，数据检测单元101通过检测在预定维度方向上具有不变特征的区域而检测数据连续性。例如，数据连续性检测单元101检测这样的区域，其中相同的弧形以不变的间隔排列，如图14所示。另外，数据连续性检测单元101检测这样的区域，其中相同的爪形以不变的间隔排列，如图17所示。
另外，数据连续性检测单元101通过检测空间方向中的角度(梯度)而检测数据的连续性，所述角度表示相同形状的阵列。
另外，例如，数据连续性检测单元101通过检测空间方向和时间方向中的角度(移动)而检测数据的连续性，所述角度表示相同形状在空间方向和时间方向中的阵列。
另外，例如，数据连续性检测单元101通过检测在预定维度方向上具有不变特征的区域的长度而检测数据的连续性。
下文中，将数据3中传感器2投影现实世界1的对象的图像的部分还称为二值边缘，所述对象具有直边缘并与背景有单色差。
接着，将更详细地描述本发明原理。
如图18所示，在常规信号处理中，从数据3产生例如希望的高分辨率数据181。
相反，在根据本发明的信号处理中，从数据3估计现实世界1，并根据估计的结果产生高分辨率数据181。也就是说，如图19所示，从数据3估计现实世界1，并根据考虑数据3估计的现实世界1产生高分辨率数据181。
为了从现实世界1产生高分辨率数据181，需要考虑现实世界1和数据3之间的关系。例如，考虑为CCD的传感器2如何将现实世界1投影到数据3上。
传感器2 CCD如上所述具有积分特性。也就是说，可以通过用传感器2的检测装置(如CCD)的检测区域(如光敏面)积分现实世界1的信号而计算数据3的一个单元(如像素值)。
将此应用到高分辨率数据181，可以通过施加处理而获得高分辨率数据181，其中虚拟高分辨率传感器将从现实世界1到数据3的信号投影到估计的现实世界1上。
换句话说，如图20所示，如果可以从数据3估计现实世界1的信号，通过对虚拟高分辨率传感器的检测元件的每个检测区域积分现实世界1的信号(在时空方向)，可以获得包含在高分辨率数据191中的一个值。
例如，在这样的情况中，其中现实世界1的信号中的变化比传感器2的检测元件的检测区域的尺寸小，则数据3不能表达现实世界1中的信号的小变化。因此，通过用比现实世界1的信号中的变化小的每个区域(在时间-空间方向)积分从数据3估计的现实世界1的信号，可以获得表示现实世界1的信号变化的高分辨率数据181。
也就是说，用相关于虚拟高分辨率传感器的每个检测元件的每个区域积分估计的现实世界1的信号，使得可以获得高分辨率数据18。
在本发明中，图像生成单元103通过在虚拟高分辨率传感器的检测元件的时间-空间区域积分估计的现实世界1的信号，而生成高分辨率数据181。
接着，在本发明中，为了从数据3估计现实世界1，使用数据3与现实世界1之间的关系、连续性以及数据3中的空间混合。
这里，混合表示数据3中的值，其中混合现实世界1中的两个对象的信号而获得信号值。
空间混合表示由于传感器2的空间积分效应，两个对象的信号在空间方向上的混合。
现实世界1自身由无数的事件构成，因此，为了用数学表达表示现实世界1自身，例如，需要无数个变量。从数据3不可能预测现实世界1的所有事件。
同样，不可能从数据3预测现实世界1的所有信号。
因此，如图21所示，在本实施例中，对于现实世界1的信号，具有连续性并且可以由函数函数f(x，y，z，t)表达的部分得到关注，并且用由N个变量表示的模型161模拟现实世界1的信号的可以由函数f(x，y，z，t)表示并具有连续性的部分。如图22所示，从数据3中的M块数据162预测模型161。
为了可以从M块数据162预测模型161，首先，需要根据连续性用N变量表示模型161，第二，利用N个变量产生表达式，所述表达式根据传感器2的积分特性表示由N个变量表示的模型161和M块数据162之间的关系。因为模型161是根据连续性由N个变量表示，可以说，利用N个变量的表示由N个变量表示的模型161和M块数据162之间的关系的表达式，描述了现实世界1的信号的具有连续性的部分与数据3的具有数据连续性的部分之间的关系。
换句话说，具有连续性的现实世界1的信号的部分产生了数据3中的数据连续性，所述部分通过由N个变量表示的模型161模拟。
数据连续性检测单元101检测数据3中具有由现实世界1的信号中具有连续性的部分产生的数据连续性的部分、以及其中产生数据连续性的部分的特征。
例如，如图23所示，在现实世界1的对象的图像中，其中具有直边缘并与背景有单色差，在图23中由A表示的关注位置上的边缘具有梯度。图23中的箭头B表示边缘的梯度。预定边缘梯度可以被表示为与左边轴或与到参考位置的方向所成的角度。例如，可以将预定边缘梯度表示为空间方向X坐标轴与边缘之间的角度。例如，可以将预定边缘梯度表示为由空间方向X的长度和空间方向Y的长度表示的方向。
当在传感器2中获得具有直边缘并与背景有单色差的现实世界1的对象的图像并输出数据3时，在对应于现实世界1的图像中的边缘的关注位置(A)的位置上，在数据3中排列对应于所述边缘的爪形，所述关注位置在图23中由“A”表示，并且，在对应于现实世界1的图像的边缘梯度的方向上，在图23中由“B”表示的梯度的方向上，排列对应于边缘的爪形。
由N个变量表示的模型161模拟在数据3中产生数据连续性的现实世界1的信号中的部分。
在利用N个变量列出表达式时，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系，使用数据3中被产生有数据连续性的部分。
在该情况下，在如图24所示的数据3中，关注被产生有数据连续性并属于混合区域的值，用积分现实世界1的信号、等于由传感器2的检测元件输出的值列出表达式。例如，可以关于被产生有数据连续性的数据3中的多个值列出多个表达式。
在图24中，A表示关注边缘的位置，A’表示对应于现实世界1的图像中的关注边缘的位置(A)的像素(位置)。
现在，混合区域表示数据3中的这样的数据区域，其中混合现实世界1的两个对象的信号并将其变为一个值。例如，这样的像素值属于混合区域，其中在数据3中的现实世界1的对象的图像中积分具有直边缘的对象的图像和背景的图像，所述对象具有直边缘并与背景有单色差。
图25示出了现实世界1中的两个对象的信号以及在列出表达式的情况下属于混合区域的值。
图25的左边示出了对应于现实世界1的两个对象的现实世界1的信号，所述现实世界具有在空间方向X和空间方向Y中的预定范围，所述信号在传感器2的单个检测元件的检测区域获取。图25的右边示出了数据3中的单个像素的像素值P，其中已经由传感器2的单个检测元件投影图25的左边示出的现实世界1的信号。也就是说，在数据3中示出了单个像素的像素值P，其中由传感器2的单个检测元件获取的对应于现实世界1的两个对象的现实世界1的信号已经被投影，所述现实世界1在空间方向X和空间方向Y上具有预定范围。
图25中的L表示现实世界1的信号水平，其在图25中被示为白色，对应于现实世界1中的一个对象。图25中的R表示现实世界1的信号水平，其在图25中被示为阴影，对应于现实世界1中的另一个对象。
这里，混合比值α是对应于被投射到传感器2的一个检测元件的检测区域中的两个对象的信号(面积)比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。例如，混合比值α表示被投射到到传感器2的一个检测元件的检测区域中的水平L信号的面积与传感器2的一个检测元件的检测区域的面积的比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。
在该情况下，水平L、水平R和像素值P之间的关系可以表达为公式(4)。
α×L+(1-α)×R＝P公式(4) 注意，可能存在这样的情况，其中可以取水平R作为数据3中位于关注像素右侧的像素的像素值，从而可能存在这样的情况，其中可以取水平L作为数据3中位于关注像素左侧的像素的像素值。
另外，对于混合值α和混合区域，可以以与空间方向相同的方式考虑时间方向。例如，在其中作为图像拍摄对象的现实世界1中的对象正移向传感器2的情况中，被投射到传感器2的单个检测元件的检测区域中的两个对象的信号的比值在时间方向上变化。关于其的比值在时间方向上变化、已经被投射到传感器2的单个检测元件的检测区域中的两个对象的信号通过传感器2的检测元件被投影到数据3的单个值上。
由于传感器2的时间积分效应，两个对象的信号在时间方向上的混合被称为时间混合。
数据连续性检测单元101检测数据3中这样的像素区域，其中已经被投影有例如现实世界1中的两个对象的现实世界1的信号。数据连续性检测单元101对应于例如现实世界1中的图像边缘的梯度检测数据3中的梯度。
现实世界估计单元102通过如下估计现实世界的信号，其中，基于例如具有由数据连续性检测单元101检测的预定混合比值α、和区域梯度的像素区域，列出利用N个变量的表达式，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系；并求解所列出的表达式。
下面将描述对现实世界1的具体估计。
在由函数F(x，y，z，t)表示的现实世界的信号中，考虑用由在空间方向X中的位置x、在空间方向Y中的位置y以及时刻t确定的模拟函数f(x，y，t)来模拟在空间方向Z中的横截面上(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。
现在，传感器2的检测区域具有在空间方向X和空间方向Y中的范围。换句话说，模拟函数f(x，y，t)是模拟由传感器2获取的具有在空间方向和时间方向中的范围的现实世界1的信号的函数。
可以说，现实世界1的信号的投影获得数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如图像传感器传感器2输出的像素值。
现在，在可以公式化通过传感器2的投影的情况中，可以将通过投影模拟函数f(x，y，t)所获得的值表示为投影函数S(x，y，t) 获得投影函数S(x，y，t)具有下面的问题。
首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无限阶数的函数。
第二，即使可以将现实世界的信号描述为函数，通常不能确定借助传感器2的投影的投影函数S(x，y，t)。也就是说，传感器2的投影的动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以不能确定投影函数S(x，y，t) 对于第一个问题，考虑用可描述函数(即具有有限阶数的函数)fi(x，y，t)与变量wi的乘积的和表达模拟现实世界1的信号的函数f(x，y，t) 另外，对于第二个问题，传感器2的公式化投影允许从对函数fi(x，y，t)的描述来描述Si(x，y，t)。
也就是说，用函数fi(x，y，t)与变量wi的乘积的和表达模拟现实世界1的信号的函数f(x，y，t)，则可以获得公式(5)。
公式(5) 例如，如公式(6)所示，通过公式化传感器2的投影，从公式(5)可以公式化如公式(7)所示的数据3与现实世界的信号之间的关系。
Si(x，y，t)＝∫∫∫fi(x，y，t)dx dy dt公式(6) 公式(7) 在公式(7)中，j表示数据的指数。
在M个数据组(j＝1至M)与N个变量wi(I＝1至N)共存于公式(7)中的情况下，满足公式(8)，则可以从数据3获得现实世界的模型161。
N≤M公式(8) N是表示模拟现实世界1的模型161的变量的个数。M是包括在数据3中的数据块162的个数。
用公式(5)表示模拟现实世界1的函数f(x，y，t)允许可以独立地处理变量部分wi。这里，I便是变量数。另外，可以独立地处理由fi表示的函数的形式，并且对于fi可以使用希望的函数。
因此，变量wi的个数N可以不依赖于函数fi而确定，并且可以从变量wi的个数N与数据M的块数之间的关系获得变量wi。
也就是说，利用下面三条允许从数据3估计现实世界1。
首先，N个变量是确定的。也就是说，公式(5)是确定的。这使得可以利用连续性描述现实世界1。例如，可以用模型161描述现实世界1的信号，其中用多项式表达横截面，并且相同的横截面形状持续在不变的方向上。
第二，例如将通过传感器2的投影公式化为表达公式(7)。例如，这被公式化以使得对现实世界2的信号的积分的结果为数据3。
第三，选取M块数据162满足公式(8)。例如，从已经用数据连续性检测单元101检测的具有数据连续性的区域选取数据162。例如，选举这样区域的数据162，其中作为连续性的实例持续有不变的横截面。
这样，用公式(5)描述了数据3与现实世界1之间的关系，选取M块数据162，从而满足公式(8)，从而可以估计现实世界1。
尤其是，在N＝M的情况中，变量数N和表达式数M相等，从而可以通过公式化模拟方程而获得变量wi。
另外，在N＜M的情况中，可以使用各种解决方法。例如，可以通过最小二乘法获得变量wi。
现在，将详细描述利用最小二乘法的解决方法。
首先，根据公式(7)可以示出用于从现实世界1预测数据3的公式(9)。
公式(9) 在公式(9)中，P’j(xj，yj，tj)是预测值。
公式(10)表示预测值P’与观察之P的方差E的和。
公式(10) 获得这样的变量wi，使得方差和E最小。因此，对公式(10)的每个变量wk的微分值为0。也就是说，公式(11)成立。
公式(11) 公式(11)推出公式(12)。
公式(12) 当公式(12)对K＝1至N成立时，获得通过最小二乘的解。公式(13)示出了其正态方程。
公式(13) 注意，在公式(13)中，将Si(xj，yj，tj)描述为Si(j)。
公式(14) 公式(15) 公式(16) 从公式(14)至公式(16)，可以将公式(13)表达为SMATWMAT＝PMAT。
在公式(13)中，Si表示现实世界1的投影。在公式(13)中，Pj表示数据3。在公式(13)中，wi表示描述和获得现实世界1的信号的特征的变量。
因此，通过将数据3输入公式(13)并获得矩阵解的WMAT，使得可以估计现实世界1。也就是说，可以用计算公式(17)估计现实世界1。
WMAT＝SMAT-1PMAT公式(17) 注意，在SMAT不是正则的情况下，可以使用SMAT的转置矩阵来获得WMAT。
现实世界估计单元102通过例如将数据3输入公式(13)并获得矩阵解的WMAT等，估计现实世界1。
现在，将描述更详细的实例。例如，将用多项式描述现实世界1的信号的横截面形状，即对于位置变化的水平变化。假设现实世界1的信号的横截面形状不变，并且现实世界1的信号的横截面以恒定的速度移动。从传感器2将现实世界1的信号到数据3的投影通过在现实世界1的信号的时间-空间方向的三维积分而被公式化。
现实世界1的信号的横截面以恒定速度移动的假设推出公式(18)和公式(19)。
公式(18) 公式(19) 这里，vx和vy都是不变的。
利用公式(18)和公式(19)，可以将现实世界1的信号的横截面形状表示为公式(20)。
f(x′y′)＝f(x+vxt，y+vyt)公式(20) 通过在现实世界1的信号的时间-空间方向的三维积分公式化从传感器2将现实世界1的信号到数据3的投影，推出公式(21)。
公式(21) 在公式(21)中，S(x，y，t)表示在如下区域上的积分值，所述区域为，在空间方向X上从位置xs到位置xe，在空间方向Y上从位置ys到位置ye，以及在时间方向t上从时刻ts到时刻te，即所述区域被表示为空间-时间立方体。
利用确定公式(21)的希望的函数f(x’，y’)求解公式(13)，使得可以估计现实世界1的信号。
下面，将利用在公式(22)中表示的函数作为函数f(x’，y’)的实例。
f(x′，y′)＝w1x′+w2y′+w3 ＝w1(x+vxt)+w2(y+vxt)+w3 公式(22) 也就是说，将现实世界1的信号估计为包括在公式(18)、公式(19)以及公式(22)中表示的连续性。这表示，具有恒定形状的横截面在空间-时间方向中移动，如图26所示。
将公式(22)代入公式(21)推出公式(23)。
公式(23) 其中 体积＝(xe-xs)(ye-ys)(te-ts) S0(x，y，t)＝体积/2×(xe+xs+vx(te+ts)) S1(x，y，t)＝体积/2×(ye+ys+vy(te+ts)) S2(x，y，t)＝1 成立 图27示出了从数据3中选取的M块数据162的实例。例如，可以说将27个像素值提取作为数据162，并且选取的像素值为Pj(x，y，t)。在该情况下，j为0至26。
在图27的实例中，在这样的情况下，其中对应于在t＝n的时刻上的关注位置的像素的像素值为P13(x，y，t)，并且具有数据连续的像素的像素值的阵列方向(例如这样的方向，其中排列有由数据连续性检测单元101检测的形状相同的爪形)是连接P4(x，y，t)、P13(x，y，t)和P22(x，y，t)的方向，则选取在t＝n的时刻上的像素值P9(x，y，t)至P17(x，y，t)、在t为先于n的时刻n-1的时刻上的像素值P0(x，y，t)至P8(x，y，t)，以及在t为n时刻后的n+1时刻上的像素值P18(x，y，t)至P26(x，y，t)。
现在，关于其已经获得了从为传感器2的图像传感器输出的数据3的数据，具有时间方向和二维空间方向的范围，如图28所示。现在，如图29所示，可以将对应于像素值的立方体的重心(关于其的像素值已经被获得的区域)用作在空间-时间方向中的像素位置。
通过从27个像素值P0(x，y，t)至P26(x，y，t)和公式(23)产生公式(13)，并获得W，使得可以估计现实世界1。
这样，现实世界估计单元102从27个像素值P0(x，y，t)至P26(x，y，t)和公式(23)产生公式(13)，并获得W，从而估计现实世界1的信号。
注意，对于函数f(x，y，t)可以使用Gaussian函数、∑函数等。
下面将参考图30至图34描述这样的处理的实例，所述处理从估计的现实世界1的信号，产生比数据3的分辨率更高的高分辨率数据181。
如图30所示，数据3具有这样的值，其中将现实世界1的信号在时间方向和二维空间方向上积分。例如，从为传感器2的图像传感器输出的像素值数据3具有这样的值，其中以在作为时间方向上的检测时间的快门时间、以及以在空间方向中的检测元件的光敏区域积分成为被投射到检测装置中的光的现实世界1的信号。
相反，如图31所示，通过在时间方向上以与输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，积分估计的现实世界1的信号，而产生在空间方向上分辨率更高的高分辨率数据181。
注意，当产生在空间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的区域设置为完全脱离输出数据3的传感器2的检测元件的光敏区域。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大例如5/3倍的比值。
另外，如图32所示，通过在空间方向上以与输出数据3的传感器2的检测元件的光敏区域相同的区域、以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向上分辨率更高的高分辨率数据181。
注意，当产生在时间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的时间设置为完全脱离输出数据3的传感器2的检测元件的快门时间。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大例如7/4倍的比值。
如图33所示，通过只在空间方向而不在时间方向积分现实世界1的信号，产生了具有去除移动斑点的高分辨率数据181。
另外，如图34所示，通过在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的高分辨率数据181。
在该情况下，可以将在其上积分估计的现实世界1的信号的区域和时间设置为完全不相关于输出数据3的传感器2的检测元件的光敏区域和快门时间。
从而，例如，图像生成单元103通过在希望的空间-时间区域积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的数据。
因此，通过估计现实世界1的信号，可以产生关于现实世界1的信号更精确、并在时间方向或空间方向具有更高分辨率的数据。
下面将参考图35至39描述利用根据本发明的信号处理装置4的输入图像和处理结果的实例。
图35示出了输入图像的原始图像。图36示出了输入图像的实例。如图36所示的输入图像通过取像素的像素值的平均值作为单个像素的像素值而产生的图像，所述像素属于由如图35所示的图像的2×2个像素构成的块。也就是说，输入图像是通过模仿传感器的积分特性对图35中的图像施加空间方向积分而获得的图像。
图35中的原始图像包含从垂直方向顺时针倾斜约5度的细线的图像。同样，图36中的输入图像包含从垂直方向顺时针倾斜约5度的细线的图像。
图37示出了通过对图36的输入图像施加常规分类适应处理而获得的图像。这里，分类处理由分类处理和适应处理构成，其中由分类调节处理根据数据的种类分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低图像质量或标准图像质量图像转换成高图像质量图像。
可以理解，在图37所示的图像中，细线的图像与图35中的原始图像的细线不同。
图38示出了由数据连续性检测单元101从图36中的实例所示的输入图像检测细线区域的结果。在图38中，白色区域表示细线区域，即其中排列由如图14所示的弧形的区域。
图39示出了从根据本发明的信号处理装置4输出的输出图像的实例，其以图36所示的图像为输入图像。如图39所示，根据本发明的信号处理装置4获得了更接近图35中的原始图像的细线图像的图像。
图40是描述利用根据本发明的信号处理装置4处理信号的流程图。
在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在成为数据3的输入图像中的数据连续性，并将表示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。
数据连续性检测单元101检测对应于现实世界的信号的连续性的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1的图像的连续性的一部分，或者是从现实世界1的信号的连续性变化的连续性。
数据连续性检测单元101通过在预定维度方向上检测具有恒定特征的区域，而检测数据连续性。另外，数据连续性检测单元101通过检测表示相同形状的阵列的空间方向中的角度(梯度)而检测数据连续性。
在后文中将描述在步骤S101中的连续性检测处理的细节。
注意，可以将数据连续性信息用作表示数据3的特征的特征。
在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，根据现实世界的信号。在例如步骤S102的处理中，现实世界估计单元102通过预测模拟(描述)现实世界1的模型161，估计现实世界1的信号。现实世界估计单元102将表示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。
例如，现实世界估计单元102通过预测线形对象的宽度估计现实世界1。另外，例如，现实世界估计单元102通过预测表示线形对象的颜色的水平估计现实世界1的信号。
在后文中将描述在步骤S102中估计现实世界的处理细节。
注意，可以将现实世界估计信息用作表示数据3的特征的特征。
在步骤S103中，图像生成单元103执行图像生成处理，并且所述处理结束。也就是说，图像生成单元103根据现实世界估计信息生成图像，并输出生成的图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成图像，并输出生成的图像。
例如，在步骤S103的处理中，图像生成单元103根据现实世界估计信息，积分模拟在空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在空间方向上具有更高分辨率的图像，并输出生成的图像。例如，图像生成单元103根据现实世界估计信息，积分模拟在时间-空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在时间方向和空间方向上具有更高分辨率的图像，并输出生成的图像。在后文中将描述在步骤S103中的图像生成处理中的细节。
从而，根据本发明的信号处理装置4从数据3检测数据连续性，并从检测的数据连续性估计现实世界1。信号处理装置4然后根据估计的现实世界1产生更近似地模拟现实世界1的信号。
如上所述，在执行估计现实世界的信号的处理的情况中，可以获得精确度和高精度处理结果。
另外，在投影具有第一维度的作为现实世界的信号的第一信号的情况中，检测出对应于现实世界的信号的丢失连续性的第二维度的第二信号的数据连续性，所述第二维度的维数比第一维数少，从其角已丢失了现实世界的信号连续性的一部分，并且通过根据检测的数据连续性估计丢失的现实世界的信号连续性而估计第一信号，对于现实世界中的事件可以获得精确和高精度的处理结果。
接着，将描述数据连续性检测单元101的结构细节。
图41是示出数据连续性检测单元101的结构的方框图。
一旦拍摄其为细线的对象的图像，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中为对象所具有的横截面形状相同的连续性产生。也就是说，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中在长度方向上的任意位置，相对于垂直于长度方向的方向中的位置变化，光的水平的变化相同的连续性产生，后一连续性为其为细线的现实世界1的图像所具有。
尤其是，其结构如图41所示的数据连续性检测单元101检测通过用具有空间积分效应的传感器2拍摄细线的图像而获得的在数据3中的这样的区域，在所述区域中，以对角偏离相邻的方式排列具有预定长度的多个弧形(半圆形)。
数据连续性检测单元101选取除以下部分的图像数据部分，所述没有被选取的部分为，其中具有数据连续性的细线的图像已经被从其为数据3的输入图像投影(下文中，其中具有数据连续性的细线的图像已经被投影的图像数据的部分也被称为连续性分量，并且将其它部分称为非连续性分量)，从选取的非连续性分量和输入图像检测其中现实世界1的细线的图像已经被投影的像素，并检测由其中现实世界1的细线的图像已经被投影的像素构成的输入图像的区域。
非连续性分量选取单元201从输入图像选取非连续性分量，并将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增加/减少检测单元203。
例如，如图42所示，将其中在具有近似恒定的光水平的背景上存在细线的现实世界1的图像投影到数据3中的情况中，非连续性分量选取单元201通过模拟在其为数据3的输入图像中的背景，而在平面中选取其为背景的非连续性分量，如图43所示。在图43中，实线表示数据3的像素值，虚线示出了由模拟背景的平面表示的近似值。在图43中，A表示其中细线的图像已经被投影的像素的像素值，PL表示模拟背景的平面。
这样，在具有数据连续性的图像数据的部分上的多个像素的像素值对于非连续性分量是不连续的。
非连续性分量选取单元201检测其为数据3的图像数据的多个像素的像素值的非连续部分，在所述非连续部分中，其为现实世界1的光信号的图像已经被投影，并且现实世界1的图像的连续性的部分已经被丢失。
下文将描述用非连续性分量选取单元201选取非连续性分量的处理的细节。
峰值检测单元202和单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像中除去非连续性分量。例如，峰值检测单元202和单调增/减检测单元203通过将只投影了背景图像的输入图像的像素的像素值设为0，而从输入图像中除去非连续性分量。另外，例如，峰值检测单元202和单调增/减检测单元203通过从输入图像的每个像素的像素值减去由平面PL模拟的值，而从输入图像中除去非连续性分量。
由于可以从输入图像中除去背景，峰值检测单元202至连续性检测单元204可以只处理投影了细线的图像数据的部分，从而进一步简化了峰值检测单元202至连续性检测单元204的处理。
注意，非连续性分量选取单元201可以将其中已经从输入图像除去非连续性分量的图像数据提供给峰值检测单元202和单调增/减检测单元203。
在下述的处理的实例中，对象为其中已经从输入图像除去非连续性分量的图像数据，即只由包含连续性分量的像素构成的图像数据。
现在，将描述其上被投影了细线图像的图像数据，峰值检测单元202至连续性检测单元204将检测所述图像数据。
在没有光学LPF的情况中，可以认为其上投影了如图42所示的细线图像的图像数据在空间方向Y中的截面形状(对于在空间方向中的位置的变化，像素值的变化)为如图44所示的梯形，或如图45所示的三角形。然而，普通的图像传感器具有获得通过光学LPF的图像的光学LPF，并将获得的图像投影到数据3上，因此，实际中，在空间方向Y中具有细线的图像数据的截面形状为类似高斯分布的形状，如图46所示。
峰值检测单元202至连续性检测单元204检测由其上已经投影了细线图像的像素构成的区域，其中相同的截面形状(对于在空间方向中的位置的变化，像素值的变化)以恒定间隔垂直排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的区域连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个垂直行像素上形成的弧形(半圆形)的区域，并确定检测的区域在水平方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。
另外，峰值检测单元202至连续性检测单元204检测由其上投影了细线图像的像素构成的区域，其中相同的截面形状以恒定间隔水平排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的检测区域的连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个水平行像素上形成的弧形的区域，并确定检测的区域在垂直方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。
首先，将描述用于检测其上投影了细线图像的像素的区域的处理，在所述区域中，相同的弧形以恒定的间隔垂直排列在屏幕中。
峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将表示峰值位置的峰值信息提供给单调增/减检测单元203。在对象为在屏幕中排列成单个垂直行的像素的情况中，峰值检测单元202比较像素位置在屏幕上方的像素值与像素位置在屏幕下方的像素值，并检测具有最大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像检测一个或多个峰值。
单个屏幕包括帧或场。这在下面的描述中也成立。
例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。
存在峰值检测单元202未检测到峰值的情况。例如，在图像的所有像素的像素值相同的情况中，或像素值在一个或两个方向减少的情况中，检测不到峰值。在这些情况中，在图像数据上没有投影细线图像。
单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息检测关于由峰值检测单元202检测的峰值的备选区域，所述区域由其上投影了细线图像的像素构成，其中所述像素垂直排列成单行，并且，所示单元203将表示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。
尤其是，单调增/减检测单元203检测由具有从峰值像素值单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调减小表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。
另外，单调增/减检测单元203检测由具有从峰值像素值单调增大的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调增大表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。
下面，对像素值单调增大的像素的区域的处理与对像素值单调减小的像素的区域的处理相同，因此省略对其的描述。另外，在关于如下的处理的描述中，其中检测由其上投影了细线图像的像素构成的区域，其中相同的弧形以恒定间隔水平排列在屏幕中，关于像素值单调增大的像素的区域的处理与关于像素值单调减小的像素的区域的处理相同，从而省略对其的描述。
例如，单调增/减检测单元203检测经过峰值的垂直行中的每个像素的像素值、到上方像素的像素值的差、以及到下方像素的像素值的差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。
另外，单调增/减检测单元203从其中像素值单调减小的区域利用峰值的像素值的符号作为参考，检测由具有与峰值像素值的正负相同的像素值的像素构成的区域作为由其上投影了细线图像的像素构成的备选区域。
例如，单调增/减检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并检测像素值的符号改变的像素，从而检测像素值符号相同的像素区域作为其中像素值单调减小的区域中的峰值。
从而，单调增/减检测单元203检测由在垂直方向排列的像素形成的区域，其中像素值关于峰值单调减小，并以相同符号的像素值作为峰值。
图47描述了峰值检测和单调增/减区域检测的处理，用于从相对于在空间方向Y中的位置的像素值，检测其中投影了细线图像的像素的区域。
在图47到图49中，P表示峰值。在其结构在图41中示出的数据连续性检测单元101的说明中，P表示峰值。
峰值检测单元202比较在空间方向Y上的像素的像素值与相邻于其的像素的像素值，并通过检测在空间方向Y上像素值大于其相邻两个像素的像素值的像素，而检测峰值P。
由峰值P和在空间方向Y上的在峰值P两侧的像素构成的区域是单调减小的区域，其中在空间方向Y中的两侧像素的像素值相对于峰值P的像素值单调减小。在图47中，由A标出的箭头和由B标出的箭头表示在峰值P的两侧的单调减小区域。
单调增/减检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值的差，并检测其中差的符号改变的像素。单调增/减检测单元203取在其上差的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为由其中投影了细线图像的像素构成的细线区域的边界。
在图47中，由C表示细线区域的边界，其为其上的差的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。
另外，单调增/减检测单元203比较每个像素的像素值与在空间方向Y上与其相邻的像素的像素值，并检测其中像素值的符号在单调减小区域改变的像素。单调增/减检测单元203取在其上像素值的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为细线区域的边界。
在图47中，由P表示细线区域的边界，其为其上的像素值的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。
如图47所示，由其中投影了细线图像的像素构成的细线区域F为在细线区域边界C和细线区域边界D之间的区域。
单调增/减检测单元203从由这种单调增/减区域构成的细线区域F获得长于预定阈值的细线区域F，即具有比预定阈值更多的像素个数的细线区域F。例如，在阈值为3的情况下，单调增/减检测单元203检测出包括4个或更多像素的细线区域F。
另外，单调增/减检测单元203从检测的细线区域F将峰值P的像素值、峰值P的右侧的像素的像素值、以及峰值P的左侧的像素的像素值中的每个与阈值比较，检测具有峰值P的细线像素区域F，其中峰值P的像素值超过阈值，以及其中峰值P右侧的像素的像素值为阈值或更小、以及其中峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像的分量的像素构成的备选区域。
换句话说，确定出，这样的具有峰值P的细线区域F不包括细线图像的分量，其中峰值P的像素值为阈值或更小，或其中峰值P右侧的像素的像素值超过阈值，或其中峰值P左侧的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。
也就是说，如图48所示，单调增/减检测单元203比较峰值P的像素值与阈值，并比较在空间方向X(由虚线AA’表示的方向)中相邻于峰值P的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值。
图49示出了在由图48中的AA’表示的空间方向X中排列的像素的像素值。这样的峰值P所属的细线区域F包括细线分量，在所述细线区域中，峰值P的像素值超过阈值Ths，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值Ths。
注意，可以这样设置，其中单调增/减检测单元203取背景像素值为参考，比较峰值P的像素值和背景的像素值之差与阈值，并且还比较在空间方向上相邻于峰值P的像素的像素值和背景的像素值之差与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之差超过阈值，以及其中在空间方向X上相邻的像素的像素值和背景的像素值之差等于或小于阈值。
单调增/减检测单元203将表示如下区域的单调增/减区域信息输出给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值以峰值P作为参考单调减小，并且像素值的符号与峰值P的符号相同，其中峰值P超过阈值，并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。
在检测这样的像素的区域的情况下，所述像素在屏幕的垂直方向中排列成单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素被排列在垂直方向上，并包括其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的垂直方向上排列成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。
这样，顶点检测单元202和单调增/减检测等于203检测由其上投影了细线的图像的像素构成的连续性区域，利用这样的性质，对于其中被投影了细线的图像的像素，其像素值在空间方向Y上的变化近似于高斯分布。
在由在垂直方向上排列的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化并在垂直方向上重复的区域作为连续区域，并输出峰值信息和表示检测的连续区域的数据连续性信息。数据连续性信息包括单调增/减区域信息、表示区域的连接的信息等。
对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。
检测的连续区域包括这样的像素，其中弧形相邻地以恒定间隔对准，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔对准，所述连续性由于现实世界1中的细线的图像的连续性而被产生，所述连续性的实质为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。
图50描述了检测单调增/减区域的连续性的处理。
如图50所示，在由在屏幕的垂直方向上对准为单行的像素形成的细线区域F包括在水平方向中相邻的像素的情况下，连续性检测单元204确定在两个单调增/减区域之间存在连续性，并且在不包括在水平方向中相邻的像素的情况下，确定在两个细线区域F之间不存在连续性。例如，在包括在水平方向中相邻于细线区域F0的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F-1与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F0是连续的。在包括在水平方向中相邻于细线区域F1的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F0与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F1是连续的。
这样，通过峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。
如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像，并且还检测在屏幕的水平方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。
注意，处理顺序并不约束本发明，并且当然可以并行执行。
也就是说，峰值检测单元202对于在屏幕中的水平方向上对准为单行的像素检测作为峰值的像素，其具有比在屏幕上位于左侧和右侧的像素的像素值更大的像素值，并且，所示单元202将表示检测的峰值的位置的峰值信息提供给单调增/减检测单元203。峰值检测单元202从例如一帧图像的一个图像中检测一个或多个峰值。
例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于其左侧像素的像素值并大于其右侧像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元202将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。
存在峰值检测单元202未检测到峰值的情况。
单调增/减检测单元203检测相对于由峰值检测单元202检测的峰值的备选区域，所述区域由在水平方向中对准为单行的像素构成，并且其中已经被投影细线图像，以及，所述单元203将表示检测区域的单调增/减区域信息与峰值信息一起提供给连续性检测单元204。
尤其是，单调增/减检测单元203检测由具有以峰值像素值为参考单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。
例如，对于相对峰值的在水平方向的单行中的每个像素，单调增/减检测单元203获得每个像素的像素值、与左侧像素的像素值之差、以及与右侧像素的像素值之差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。
另外，单调增/减检测单元以峰值的像素值的符号为参考，检测由具有与峰值像素值的符号相同的像素值的像素构成的区域作为由其中已经被投影细线图像的像素构成的备选区域。
例如，单调增/减检测单元203比较每个像素的像素值的符号与左侧的像素的像素值的符号或右侧的像素的像素值的符号，并检测像素值的符号改变的像素，从而从像素值单调减小的区域检测出由具有与峰值符号相同的像素值的像素构成的区域。
这样，单调增/减检测单元203检测在水平方向上对准、并具有与峰值的符号相同的像素值的像素构成的区域，其中所述像素值相对于峰值单调减小。
从由这种单调增/减区域构成的细线区域，单调增/减检测单元203获得比预先设置的阈值长的细线区域，即比阈值具有更多像素个数的细线区域。
另外，从如此检测的细线区域，单调增/减检测单元203比较峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值中的每一个与阈值，检测这样的包括峰值的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值范围内、以及峰值下方的像素的像素值在阈值范围内，并取检测的细线区域作为由包含细线图像的分量的像素构成的备选区域。
换句话说，确定出，这样的具有峰值的细线区域不包括细线图像的分量，其中峰值的像素值在阈值范围内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。
注意，可以将单调增/减检测单元203设置为取背景像素值为参考，比较像素的像素值和背景的像素值之差与阈值，并且还比较背景的像素值和在垂直方向上相邻于峰值的像素的像素值之差与阈值，从而取这样的检测的细线区域作为由包括细线图像分量的像素构成的备选区域，其中峰值的像素值和背景的像素值之差超过阈值，以及背景的像素值和在垂直方向上相邻的像素的像素值之差在阈值范围内。
单调增/减检测单元203将表示如下区域的单调增/减区域信息提供给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值的符号与峰值的符号相同，并以峰值P作为参考单调减小，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值范围内，以及峰值左侧的像素的像素值在阈值范围内。
在检测由这样的像素构成的区域的情况下，所述像素在屏幕的水平方向中对准为单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素包括被对准在水平方向上的像素，其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的水平方向上对准成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。
在由在水平方向上对准的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化并在水平方向上重复的区域作为连续区域，并输出表示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括表示区域的连接的信息等。
对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。
检测的连续区域包括这样的像素，其中弧形以恒定间隔排列，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。
也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔排列，所述连续性从现实世界1中的细线的图像的连续性而产生，所述连续性为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。
图51示出了其中通过平面模拟选取连续性分量的图像的实例。
图52示出了检测图51中的图像的峰值、并检测单调减小区域的结果。在图52中，白色表示的部分为检测的区域。
图53示出了其中通过检测图52中的图像的相邻区域的连续性而检测连续性的区域。在图53中，示出为白色的部分是已经被确定连续性的区域。可以理解，对连续性的检测还识别了所述区域。
图54示出了如图53所示的区域的像素值，即已经被检测连续性的区域的像素值。
从而，数据连续性检测单元101可以检测在作为输入图像的数据3中包含的连续性。也就是说，数据连续性检测单元101可以检测包括在数据3中的数据连续性，所述数据连续性由现实世界1的图像产生，所述图像为被投影到数据3上的细线。数据连续性检测单元101从数据3检测由这样的像素构成的区域，在所述像素中被投影有为细线的现实世界的图像。
图55示出了利用数据连续性检测单元101检测具有连续性的区域的其它处理的实例，其中被投影有细线图像。如图55所示，数据连续性检测单元101每个像素与相邻像素的像素值差的绝对值。对应像素放置计算出的差的绝对值。例如，在例如如图55所示的情况中，其中存在具有各个像素值P0、P1和P2的对准的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。
在包含在像素值P0、P1和P2中的非连续性分量相同的情况下，只将对应于细线分量的值设置为差d0和差d1。
因此，对于对应于像素放置的差的绝对值，在相邻差值相同的情况下，数据连续性检测单元101确定，对应于两个差的绝对值的像素(在两个差的绝对值之间的像素)包含细线分量。另外，对于根据像素放置的差的绝对值，在相邻差值相同但是差的绝对值小于预定阈值的情况下，数据连续性检测单元确定，对应于两个差的绝对值的像素(在两个差的绝对值之间的像素)不包含细线的分量。
数据连续性检测单元101还可以利用例如这样的简单方法检测细线。
图56是描述连续性检测处理的流程图。
在步骤S201，非连续性分量选取单元201从输入图像选取非连续性分量，所述分量是除了已经被投影细线的部分的部分。非连续性分量选取单元201将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增/减检测单元203。下面将描述用于选取非连续性分量的处理的细节。
在步骤S202，峰值检测单元202根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S202，峰值检测单元202检测峰值。
也就是说，在以屏幕的垂直方向作为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与上方和下方的像素的像素值，并确定像素值比上方像素的像素值和下方像素的像素值都大的像素，从而检测峰值。另外，在步骤S202中，在以屏幕的水平方向为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与右侧和左侧的像素的像素值，并确定像素值比右侧像素的像素值和左侧像素的像素值都大的像素，从而检测峰值。
峰值检测单元202将表示检测的峰值的峰值信息提供给单调增/减检测单元203。
在步骤S203，单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S203，单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息，通过检测相对于峰值的单调增/减，检测由具有数据连续性的像素构成的区域。
在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值垂直对准的一行像素的像素值，检测由垂直对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值垂直对准的一行像素，获得每个像素的像素值与上方和下方的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值垂直对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与上方或下方的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值右侧和左侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值右侧和左侧的像素的像素值在阈值范围之内的像素构成的区域。
单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。
在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值水平对准的一行像素的像素值，检测由水平对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值水平对准的一行像素，获得每个像素的像素值与右侧和左侧的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值水平对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与右侧或左侧的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值上侧和下侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值上侧和下侧的像素的像素值在阈值范围之内的像素构成的区域。
单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。
在步骤S204，单调增/减检测单元203确定对所有像素的处理是否结束。例如，非连续性分量选取单元201检测单屏(例如帧、场等)输入图像的所有像素，并确定是否已经检测单调增/减区域。
当在步骤S204中确定对所有像素的处理没有结束的情况下，即，还存在没有经过峰值检测和单调增/减区域检测的处理的像素，则流程返回步骤S202，将还没有经过峰值检测和单调增/减区域检测的处理的像素选作为处理的对象，并且重复峰值检测和单调增/减区域检测的处理。
当在步骤S204中确定对所有像素的处理已经结束的情况下，在已经对所有像素检测峰值和单调增/减区域的情况下，则流程进到步骤S205，其中，连续性检测单元204根据单调增/减区域信息，检测检测出的区域的连续性。例如，在由在屏幕的垂直方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在水平方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在水平方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。例如，在由在屏幕的水平方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在垂直方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在垂直方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。
连续性检测单元204取检测的连续性区域作为具有数据连续性的连续性区域，并输出表示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含表示区域的连接的信息。从连续性检测单元204输出的数据连续性信息表示作为连续性区域的细线区域，其由其中已经被投影现实世界1的细线图像的像素构成。
在步骤S206中，连续性方向检测单元205确定对所有像素的处理是否已经结束。也就是说，连续性方向检测单元205确定是否已经对特定帧的输入图像的所有像素检测区域连续性。
当在步骤S206中确定对所有像素的处理还没有结束的情况下，即，还存在没有被取作为区域连续性检测的对象的像素，则流程返回步骤S205，选取还没有经过的像素，并重复检测区域连续性的处理。
当在步骤S206中确定对所有像素的处理已经结束的情况下，即，所有像素已经被取作为区域连续性检测的对象，则流程结束。
从而，检测了在作为输入图像的数据3中的连续性。也就是说，检测了在数据3中包含的这样数据连续性，所述连续性由现实世界1的图像产生，所述图像是已经被投影到数据3上的细线，并且，从数据3中检测出具有数据连续性的区域，所述区域由这样的像素构成，在所述像素上已经投影了作为细线的现实世界1的图像。
现在，在图41中示出的数据连续性检测单元101可以根据具有从数据3的帧中检测的数据连续性的区域，检测时间维度的数据连续性。
例如，如图57所示，连续性检测单元204通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的边缘，而检测时间维度的数据连续性。
帧#n-1是在时间方向在帧#n之前的帧，而帧#n+1是在时间方向在帧#n之后的帧。也就是说，以帧#n-1、帧#n以及#n+1的顺序显示帧#n-1、帧#n以及#n+1。
尤其是，在图57中，G表示通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的移动矢量，而G’表示通过具有检测的数据连续性的区域的另一个边缘所获得的移动矢量。移动矢量G和移动矢量G’是在时间方向上的数据连续性的实例。
另外，具有如图41所示的结构的数据连续性检测单元101可以输出表示具有数据连续性的区域的长度的信息作为数据连续性信息。
图58是示出非连续性分量选取单元201的方框图，其进行对非连续性分量的平面模拟，并选取非连续性分量，所示非连续性分量是图像数据中不具有数据连续性的部分。
具有如图58所示的结构的非连续性分量选取单元201从输入图像选取由预定数的像素构成的块，进行对所述块的平面模拟，使得在所述块与平面值之间的误差小于预定阈值，从而选取非连续性分量。
将输入图像提供给块选取单元221，并将其不变的输出。
块选取单元221从输入图像选取由预定数的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221以光栅扫描的顺序移动用作将被选取的块的中心的像素，从而从输入图像顺序选取块。
平面模拟单元222在预定平面上模拟在所述块中包括的像素的像素值。例如，平面模拟单元222在由公式(24)表达的平面上模拟在所述块中包括的像素的像素值。
Z＝ax+by+c公式(24) 在公式(24)中，x表示在屏幕一个方向中的像素的位置(空间方向X)，而y表示在屏幕另一个方向中的像素的位置(空间方向Y)。z表示由平面表示的应用值。a表示平面的空间方向X的梯度、而b表示平面的空间方向Y的梯度。在表达式(24)中，c表示平面的偏移(截距)。
例如，平面模拟单元222通过回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。平面模拟单元222通过包括舍选的回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。
例如，平面模拟单元222获得由表达式(24)表达的平面，其中利用最小二乘法，而使得所述块的像素的像素值的误差最小，从而在所述平面上模拟包含在块中的像素的像素值。
注意，尽管平面模拟单元222已被描述为在由公式(24)表达的平面上模拟块，但是其不限于由公式(24)表达的平面，而是，可以在由具有更高自由度的函数表示的平面上模拟所述块，例如n阶多项式(其中n为任意整数)。
重复确定单元223计算模拟值与对应的块的像素的像素值之间的误差，所述模拟值由在其上模拟块的像素值的平面表示。公式(25)是示出模拟值与对应的块的像素的像素值zi之差的误差ei的表达式，其中所述模拟值由在其上模拟块的像素值的平面表示。
公式(25) 在公式(25)中，z-帽(在z上的^符号将被描述为z-帽在本说明书的下文中将使用相同的描述)表示由在其上模拟块的像素值的平面表示的模拟值，a-帽表示在其上模拟块的像素值的平面的空间方向X的梯度，b帽表示在其上模拟块的像素值的平面的空间方向Y的梯度，以及c帽表示在其上模拟块的像素值的平面的偏移(截距)。
重复确定单元223排除这样的像素，所述像素的模拟值与对应的块的像素的像素值的误差ei如公式(25)所示。从而，其中已经被投影细线的像素，即具有连续性的像素被排除。重复确定单元223将表示排除像素的排除信息提供给平面模拟单元222。
另外，重复确定单元223计算标准误差，并这样的情况下，其中标准误差等于或大于预先设置以确定模拟的结束的阈值，并且块的像素的一半或更多的像素没有被排除，则重复确定单元223使平面模拟单元222重复在包含在块中的像素上的平面模拟处理，所述所述块已经被除去排除的像素。
具有连续性的像素被排除，从而，在平面上模拟已经除去排除像素的像素表示，平面模拟非连续性分量。
在标准误差低于用于确定模拟结束的阈值的情况下，或者块的像素的一半或更多的像素已被排除，则重复确定单元223结束平面模拟 在由5×5个像素构成的块中，可以利用例如公式(26)计算标准误差es。
公式(26) 这里，n是像素个数。
注意，重复确定单元223不限于标准误差，并可以被设置为计算包含在块中的所有像素的方差和，并进行下面的处理。
现在，当对块的平面模拟移动在光栅扫描方向中的一个像素时，如图59所示，具有连续性、在图中由黑圆点表示的像素，即包含细线分量的像素，将被多次排除。
一旦完成平面模拟，重复确定单元223将表示用于模拟块的像素值的平面的信息(公式24的平面的梯度和截距)输出为非连续性信息。
注意，可以进行这样的设置，其中重复确定单元223比较排除每个像素的次数与预设的阈值，并取被排除了等于或大于阈值的多次的像素作为包含连续性分量的像素，并将表示包含连续性分量的像素的信息输出为连续性分量信息。在该情况下，峰值检测单元202至连续性检测单元205在包含由连续性分量信息表示的连续性分量的像素上实施其各自的处理。
下面将参考图60至图67描述非连续性分量选取处理的结果的实例。
图60示出了由原始图像中的2×2个像素的像素值的平均值产生的输入图像的实例，所述原始图像包含已经被生成为像素值的细线。
图61示出了从图60所示的图像获得的图像，其中将作为无排除的平面模拟的结果获得标准误差取为像素值。在图61所示的实例中，对由相关于单个关注像素的5×5个像素值构成的块进行平面模拟。在图61中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。
从图61可以确定，在将作为无排除的平面模拟的结果获得标准误差取为像素值的情况中，在非连续性部分的边界处的大面积上获得较大的值。
在图62至图67的实例中，对由相关于单个关注像素的7×7个像素值构成的块进行平面模拟。在对7×7个像素构成的块进行平面模拟的情况中，一个像素被重复包括在块49中，表示，包含连续性分量的像素被排除49次。
图62中，将通过具有图60中的图像排除的平面模拟获得的标准误差取为像素值。
在图62中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。可以理解，标准误差在进行排除的情况中比在不进行排除的情况中总体较小。
图63中，将在具有图60中的图像排除的平面模拟中的排除次数取为像素值。在图63中，白色像素是具有更大像素值的像素，即被排除更多次数的像素，而黑色像素是具有较小像素值的像素，即被排除较少次数的像素。
从图63可以理解，其中被投影细线图像的像素被排除更多的次数。利用其中取排除次数作为像素值的图像，可以生成用于掩盖输入图像的非连续性部分的图像。
在图64中示出的图像中，取用于模拟块的像素值的平面的空间方向X的梯度作为像素值。在图65中示出的图像中，取用于模拟块的像素值的平面的空间方向Y的梯度作为像素值。
图66是由用于模拟块的像素值的平面表达的模拟值构成的图像。可以理解，在图像66中，细线已经消失。
图67是由图60中的图像与图66中的被表达为平面的模拟值构成的图像的差构成的图像，其中图60通过取原始图像中的2×2个像素的块的平均值作为像素值而产生。图67所示的图像的像素值已经将非连续性分量除去，从而只剩下其上被投影细线图像的值。从图67可以理解，在由原始图像的像素值与由进行模拟的平面表示的模拟值之差构成的图像中，较好地选取了原始图像的连续性分量。
可以将以下值用作输入图像的特征排除次数、用于模拟块的像素的像素值的平面的空间方向X的梯度、用于模拟块的像素的像素值的平面的空间方向Y的梯度、由用于模拟块的像素的像素值的平面表达的模拟值、以及误差ei。
图68是描述利用具有图58所示的结构的非连续性分量选取单元201选取非连续性分量的处理的流程图。
在步骤S221中，块选取单元221从输入图像选取由预定数的像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221选择还没有被选取的输入图像的像素的一个像素，并选取以选择块为中心的由7×7个像素构成的块。例如，块选取单元221可以以光栅扫描的顺序选择像素。
在步骤S222中，平面模拟单元222在平面上模拟所选取的块。例如，平面模拟单元222通过回归处理在平面上模拟选取块的像素的像素值。例如，平面模拟单元222通过回归处理在平面上模拟除排除的像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，通过从块的像素的像素值和平面模拟值计算标准误差，并计算排除像素的个数。
在步骤S224，重复确定单元223确定标准误差是否等于或大于阈值，并且在确定标准误差等于或大于阈值的情况下，流程进到步骤S225。
注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。
在步骤S225，重复确定单元223计算块的每个像素的像素值与模拟的平面模拟值之间的误差，排除具有最大误差的像素，并通知平面模拟单元222。该过程返回到步骤S222，并且对除被排除的像素以外的块的像素重复平面模拟处理和重复确定处理。
在步骤S225，在这样的情况下，其中在步骤S221的处理中选取这样的块，所述块被移动在栅格扫描方向中的一个像素，包括细线分量的像素(图中由黑色圆点表示)被排除多次，如图59所示。
在其中在步骤S224中确定标准误差不等于或大于阈值的情况下，所述块已经在平面上被模拟，从而流程进到步骤S226。
注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。
在步骤S226，重复确定单元223输出用于模拟块的像素的像素值的平面的梯度和截距作为非连续性分量信息。
在步骤S227，块选取单元221确定对一屏输入图像的所有像素的处理是否已经结束，并在确定仍然存在未被取作为处理对象的像素的情况下，流程返回到步骤S221，从仍未经过处理的像素选取块，并重复上述处理。
在步骤S227中确定对一屏输入图像的所有像素的处理已经结束的情况下，该处理结束。
从而，具有图58所示结构的非连续性分量选取单元201可以从输入图像选取非连续性分量。非连续性分量选取单元201从输入图像选取非连续性分量，从而峰值检测单元202和单调增/减检测单元203可以获得输入图像与由非连续性分量选取单元201选取的非连续性分量之差，从而执行关于包含连续性分量的差的处理。
注意，可以使用在平面模拟处理中计算的如下值作为特征在进行排除的情况下的标准误差、在不进行排除的情况下的标准误差、排除像素的次数、平面的空间方向X的梯度(在公式(24)中的a-帽)、平面的空间方向Y的梯度(在公式(24)中的b-帽)、平面平移的水平(在公式(24)中的c-帽)、以及在输入图像的像素值与由平面表示的模拟值之差。
图69是描述用于用具有图58所示的结构的非连续性分量选取单元201选取连续性分量的处理的流程图，该处理代替了用于对应于步骤S201选取非连续性分量的处理。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，从而省略对其的描述。
在步骤S246中，重复确定单元223输出由平面表示的模拟值与输入图像的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面模拟值与实际像素值之差。
注意，可以将重复确定单元223设置为关于其由平面表示的模拟值与输入图像的像素值之差等于或大于预定阈值的像素的像素值，输出由平面表示的模拟值与输入图像的像素值之差，作为输入图像的连续性分量。
步骤S247的处理与步骤S227的处理相同，因此省略对其的描述。
平面模拟非连续性分量，因此，非连续性分量选取单元201通过从在输入图像的每个像素的像素值中减去由用于模拟像素值的平面表示的模拟值，可以从输入图像中除去非连续性分量。在这种情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即已经被投影细线图像的值，从而利用峰值检测单元202至连续性检测单元204的处理变得更加容易。
图70是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此省略对其的描述。
在步骤S266中，重复确定单元223存储对每个像素的排除次数，该流程返回到步骤S262，并且重复所述处理。
在步骤S264，在确定标准误差不等于或大于阈值的情况下，所述块已经在平面上模拟，从而流程进到步骤S267，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，并且在确定仍存在没有被取作为处理对象的像素的情况下，流程回到标准S261，关于仍未经过处理的像素，选取块，并重复上述处理。
在步骤S627中确定对一屏输入图像的所有像素的处理已经结束的情况下，则流程进到步骤S268，重复确定单元223选择未被选择的像素，并确定对选择像素的排除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定对选择图像的排除次数是否等于或大于预先存储的阈值。
在步骤S268中确定对选择的像素的排除次数等于或大于阈值的情况下，则选择的像素包含连续性分量，从而流程进到步骤S269，在该步骤中，重复确定单元223输出选择像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程进到步骤S270。
在步骤S268中确定对选择图像的排除次数不等于或大于阈值的情况下，则选择图像不包含连续性分量，从而跳过在步骤S269中的处理，并且过程进到步骤S270。也就是说，不输出这样的像素的像素值，关于所述像素，已经确定排除次数不等于或大于阈值。
注意，可以这样设置，其中重复确定单元223输出关于已经被确定对其的排除次数不等于或大于阈值的像素的设为0的像素值。
在步骤S270中，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，以确定排除次数是否等于或大于阈值，并在确定所述处理对于所有像素还没有结束的情况下，这表示仍然存在没有被取作为处理对象的像素，从而流程返回步骤S268，选择仍未经过处理的像素，并重复上述处理。
在步骤S270中确定对于一屏输入图像的所有像素的处理已经结束的情况下，则处理结束。
从而，对于输入图像的像素，非连续性分量选取单元201可以输入包含连续性分量的像素的像素值作为连续性分量信息。也就是说，对于输入图像的像素，非连续性分量选取单元201可以输出包含细线图像的分量的像素的像素值。
图71是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此省略对其的描述。
在步骤S289中，重复确定单元223输出由平面表示的模拟值与选择像素的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出已经从输入图像中除去非连续性分量的图像作为连续性细线。
步骤S290的处理与步骤S270的处理相同，因此省去对其的描述。
从而，非连续性分量选取单元201可以输出其中已经从输入图像除去非连续性分量的图像作为连续性信息。
如上所述，在已经投影现实世界光信号的情况下，检测出其中现实世界光信号的部分连续性已经被丢失的第一图像数据的多个像素的像素值的非连续性部分，从检测的非连续性部分检测数据连续性，通过根据检测的数据连续性估计现实世界光信号的连续性，产生了用于模拟光信号的模型(函数)，并根据产生的函数生成第二图像数据，可以获得对于现实世界中的事件更精确并具有更高精度的处理结果。
图72是示出数据连续性检测单元101的另一结构的方框图。
在具有图72所示的结构的数据连续性检测单元101中，检测关注像素的像素值，所述关注像素是在输入图像的空间方向中的关注像素，即在输入图像的空间方向中的活度，对于根据关注像素的每个角度和根据检测活度的参考轴，选取在垂直方向或在水平方向中的一行中的预定个数的像素构成的多组像素，检测选取的像素组的相关性，并根据相关性检测在输入图像中基于参考轴的数据连续性的角度。
数据连续性的角度表示由参考轴和预定维度方向所成的角度，在所示预定维度方向上，恒定特征在数据3中重复出现。恒定特征重复出现表示这样的情况，其中，例如对于在数据3中的位置变化的值的变化、即界面形状相同等。
参考轴可以是例如表示空间方向X(屏幕的水平方向)的轴、表示空间方向Y(屏幕的垂直方向)的轴等。
将输入图像提供给活度检测单元401和数据检测单元402。
活度检测单元401检测像素值对于输入图像的空间方向的变化，即在空间方向中的活度，并将表示检测结果的活度信息提供给数据检测单元402和连续性方向推导单元404。
例如，活度检测单元401像素值对于屏幕水平方向的变化和像素值对于平面垂直方向的变化，并比较检测的像素值在水平方向的变化与像素值在垂直方向的变化，从而检测像素值在水平方向中的变化是否大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化是否大于像素值在水平方向中的变化。
活度检测单元401将活度信息提供给数据选择单元402和连续性方向推导单元404，所述活度信息是表示测像素值在水平方向中的变化大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化大于像素值在水平方向中的变化的检测结果。
在其中像素值在水平方向中的变化大于像素值在垂直方向中的变化的情况中，例如如图73所示，在垂直方向的一行中形成弧形(半圆形)或爪形，并在垂直方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在水平方向上的变化大于像素值在垂直方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是45度到90度之间的任意值。
在其中像素值在垂直方向中的变化大于像素值在水平方向中的变化的情况中，例如在水平方向的一行中形成弧形(半圆形)或爪形，并在水平方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在垂直方向上的变化大于像素值在水平方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是0度到45度之间的任意值。
例如，活度检测单元401从输入图像选取由以关注像素为中心的3×3的9个像素构成的块，如图74所示。活度检测单元401计算垂直相邻的像素的像素值之差的和、以及水平相邻的像素的像素值之差的和。水平相邻的像素的像素值之差hdiff的和可以通过公式(27)获得。
hdiff＝∑(Pi+1，j-Pi，j)公式(27) 同样，垂直相邻的像素的像素值之差Vdiff的和可以通过公式(28)获得。
vdiff＝∑(Pi，j+1 -Pi，j)公式(28) 在公式(27)和公式(28)中，P表示像素值，i表示像素在水平方向中的位置，以及j表示像素在垂直方向中的位置。
可以这样设置，其中活度检测单元401比较计算的水平相邻的像素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的和，从而确定在输入图像中数据连续性与参考轴所成的角度范围。也就是说，在该情况下，活度检测单元401确定由像素值对于在空间方向中的位置的变化表示的形状是否在水平方向上重复形成、或在垂直方向上重复形成。
例如，在一行水平行上形成的弧形在水平方向上的像素值的变化大于在垂直方向上的像素值的变化，在一行水平行上形成的弧形在垂直方向上的像素值的变化大于在水平方向上的像素值的变化，从而可以认为，数据连续性的方向，即恒定特征在预定维度方向上的变化小于数据连续性在正交的方向上的变化，所述恒定特征是作为数据3的输入图像所具有的特征。换句话说，在垂直于数据连续性方向的方向(下文中也称为非连续性方向)上的差大于在数据连续性方向上的差。
例如，如图75所示，活度检测单元401比较计算的水平相邻的像素的像素值之差hdiff的和与垂直相邻的像素的像素值之差Vdiff的和，并在水平相邻的像素的像素值之差hdiff的和较大的情况下，确定数据连续性与参考轴的角度是从45度到135度之间的任意值，而在垂直相邻的像素的像素值之差Vdiff的和较大的情况下，确定数据连续性与参考轴的角度是从0度到45度之间的任意值、或135度到180度之间的任意值。
例如，活度检测单元401将表示确定结果的活度信息提供给数据检测单元402和连续性方向推导单元404。
注意，活度检测单元401可以检测选取任意尺寸的块的活度，所述块例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等。
数据检测单元402随后从输入图像的像素中选择关注像素，并根据来自活度检测单元401的活度信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上的一行预定个数的像素或水平方向上的一行预定个数的像素构成的多组像素。
例如，在其中活度信息指示在水平方向上的像素值的变化大于在垂直方向上的像素值的变化的情况下，这表示，数据连续性的角度是从45度到135之间的任意值，从而数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。
在活度信息指示在垂直方向上的像素值的变化大于在水平方向上的像素值的变化的情况下，这表示，数据连续性的角度是从0度到45中、或从135度到180度中的任意值，从而数据选择单元402对于根据关注像素和参考轴的从0度到45中、或从135度到180度中的任意值中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。
另外，例如，在活度信息指示数据连续性的角度是从45度到135度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。
在活度信息指示数据连续性的角度是从0度到45中、或从135度到180度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在从0度到45中、或从135度到180度范围中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。
数据选择单元402将由选取的像素构成的多组提供到误差估计单元403。
误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。
例如，对于对应于一个角度的、由在垂直方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。对于对应于一个角度的、由在水平方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。
误差估计单元403将表示检测的相关性的相关性信息提供到连续性方向推导单元404。误差估计单元403计算从数据检测单元402提供的包括关注像素的一组像素的像素值的和作为表示相关性的值，还计算在其它组的相应位置上的像素的像素值之差的绝对值，并将差的绝对值的和提供给连续性方向推导单元404作为相关性信息。
根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中数据连续性与参考轴的角度，并输出表示角度的数据连续性信息，其中所述数据连续性对应于现实世界1的光信号的丢失连续性。例如，根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测对应于具有最大相关性的像素组的角度作为数据连续性的角度，并输出表示对应于检测出的具有最大相关性的像素组的角度的数据连续性信息。
下面将描述对在0度到90度范围(所谓的第一象限)中的数据连续性角度。
图76是示出图72中的数据连续性检测单元101的更具体的结构的方框图。
数据选择单元402包括像素选择单元411-1到像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1到估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。
首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。
像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素中的像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及关注像素作为一组。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素中的像素中选择以关注像素为中心的9个像素作为一组像素。
在图77中，一个格形方块(一个方格)表示一个像素。在图77中，中心所示的圆形表示关注象素。
像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素左侧的垂直行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，在关注像素左下方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂直行像素的左侧的垂直行像素中的像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素左侧的垂直行像素中的像素中选择在最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素次左侧的垂直行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，最左的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂直行像素的第二左的垂直行像素中的像素中选择在所选像素上方的预定个数的像素、在所选像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素次左侧的垂直行像素的像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素右侧的垂直行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，在关注像素右上方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂直行像素的右侧的垂直行像素中的像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素右侧的垂直行像素中的像素中选择在最接近直线的位置上的像素为中心的9个像素作为一组像素。
像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素次右侧的垂直行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。在图77中，最右的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后从包括关注像素的垂直行像素的第二右的垂直行像素中的像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。
例如，如图77所示，像素选择单元411-1到像素选择单元411-L从包括关注像素的垂直行像素次右侧的垂直行像素中的像素中选择在最接近直线的位置上的像素为中心的9个像素作为一组像素。
从而，像素选择单元411-1到像素选择单元411-L每一个选择五组像素。
像素选择单元411-1到像素选择单元411-L选择(设置为)互不相同角度的(直线)的像素组。例如，像素选择单元411-1选择45度的像素组，像素选择单元411-2选择选择47.5度的像素组，以及像素选择单元411-3选择50度的像素组。像素选择单元411-1到像素选择单元411-L选择从52.5度到135度的每隔2.5度的角度的像素组。
注意，像素组的个数是可选的，例如为3或7，并且并不限制本发明。另外，被选择为一组的像素个数是可选的数目，例如为5或13，并且并不限制本发明。
注意，可以将像素选择单元411-1到像素选择单元411-L设置为从在垂直方向上的预定范围内的像素选择像素组。例如，像素选择单元411-1到像素选择单元411-L可以从在垂直方向上的121个像素(在关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测出达到88.09度的数据连续性与由空间方向X表示的轴线所成的角度。
像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。
估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上的像素的像素值的相关性。例如，估计误差计算单元412-1到估计误差计算单元412-L计算包括关注像素的组的像素的像素值与从像素选 择单元411-1到像素选择单元411-L中的一个提供的另一组的相应位置的像素的像素值之差的绝对值的和作为表示相关性的值。
尤其是，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端像素的像素值之差，然后计算次顶端像素的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。
然后，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端像素的像素值之差，然后计算次顶端像素的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。
估计误差计算单元412-1到估计误差计算单元412-L将全部这样算出的全部像素值之差的绝对值相加，从而计算像素值之差的绝对值的总和。
估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1到估计误差计算单元412-L将计算的像素值之差的绝对值总和提供给最小误差角度选择单元413。
注意，估计误差计算单元412-1到估计误差计算单元412-L并不限于像素值之差的绝对值总和，还可以计算其它值作为相关值，如像素值的平方差的和、或根据像素值的相关性系数等。
最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的互不相同角度的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性角度对应于作为丢弃的现实世界1的光信号的图像连续性。也就是说，根据由估计误差计算单元412-1到估计误差计算单元412-L检测的互不相同角度的相关性，最小误差角度选择单元413选择最大相关性，并取在其上检测出选择的相关性的角度作为数据连续性与参考轴的角度，从而在输入图像中检测出数据连续性与参考轴所成的角度。
例如，在从估计误差计算单元412-1到估计误差计算单元412-L提供的像素值之差的绝对值的总和中，最小误差角度选择单元413选择最小总和。对于计算出其的选择的总和的像素值，最小误差角度选择单元413参考(make reference to)属于在关注像素再次左的一行垂直行像素中的、并位于离直线最近的位置上的像素、和属于在关注像素再次右的一行垂直行像素中的、并位于离直线最近的位置上的像素。
如图77所示，最小误差角度选择单元413获得参考像素的位置在垂直方向上距离关注像素的位置的距离S。如图78所示，最小误差角度选择单元413根据公式(29)计算数据连续性与表示空间方向X的轴线所成的角度θ，所述轴线是作为图像数据的输入图像中的参考轴线，所述连续性对应于丢弃的现实世界1的光信号连续性。
θ＝tan-1(s/2)公式(29) 下面，将描述在由活度信息表示的数据连续性角度是从0度到45度和135度到180度中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。
像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有预定角度的直线，其中以表示空间方向X的轴线为参考轴线，并且，在包括关注像素的水平行像素中的像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及关注像素作为一组。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素上方的水平行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素上方的水平行像素中的像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素上方两行的水平行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的上方两行的垂直行像素中的像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素下方的水平行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的下方的水平行像素中的像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素下方二行的水平行像素中的像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的下方二行的垂直行像素中的像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。
从而，像素选择单元411-1到像素选择单元411-L每一个选择五组像素。
像素选择单元411-1到像素选择单元411-L选择互不相同角度的像素组。例如，像素选择单元411-1选择0度的像素组，像素选择单元411-2选择2.5度的像素组，以及像素选择单元411-3选择5度的像素组。像素选择单元411-1到像素选择单元411-L选择从7.5度到45度和从135度到180度的每隔2.5度的角度的像素组。
像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。
估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组中各位置上的像素的像素值的相关性。估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。
最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性对应于作为丢弃的现实世界1的光信号的图像连续性。
接着，下面将参考图79的流程图描述对应于步骤S101中的处理的、利用具有如图72所示的结构的数据连续性检测单元101进行的数据连续性检测处理。
在步骤S401中，活度检测单元401和数据选择单元402选择关注像素，所述像素是输入图像中的关注像素。活度检测单元401和数据选择单元402选择同一个关注像素。例如，活度检测单元401和数据选择单元402以栅格扫描的顺序从输入图像中选择关注像素。
在步骤S402中，活度检测单元401检测关注像素的活度。例如，活度检测单元401根据在以关注像素为中心的预定个数的像素构成的块的垂直方向上对准的像素的像素值之差、以及在水平方向上对准的像素的像素值之差而检测活度。
活度检测单元401检测关注像素在空间方向中的活度，并将表示检测结果的活度信息提供给数据选择单元402和连续性方向推导单元404。
在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择预定个数的以关注像素为中心的像素作为像素组。例如，数据选择单元402择预在关注像素的上方或左侧的预定个数的像素、以及在关注像素下方或右侧的预定个数的像素、以及关注像素，作为像素组，其中所述预定个数的像素属于包括关注像素的垂直或水平像素行。
在步骤S404中，数据选择单元402根据由在步骤S402中的处理检测的活度，每次从对于在预定范围中的每个角度的预定个数的像素行中选择预定个数的像素作为像素组。例如，数据选择单元402设置具有在预定范围内的角度的、经过关注像素的直线，以表示空间方向X的轴线作为参考轴线，选择在水平方向或垂直方向上距离关注像素一行或两行、并且离直线最近的像素，并且选择在选择的像素上方或左侧的预定个数的像素、在选择的像素的下方或右侧的预定个数的像素、以及最接近直线的选择的像素作为像素组。数据选择单元402选择每个角度的像素组。
数据选择单元402将选择的像素组提供给误差估计单元403。
在步骤S405，误差估计单元403计算以关注像素为中心的像素组与每个角度的被选像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的像素组的像素值与在其它组中的相应位置的像素的像素值之差的绝对值的和。
根据每个角度的选定像素组之间的相关性，可以检测数据连续性的角度。
误差估计单元403将表示算出的相关性的信息提供给连续性方向推导单元404。
在步骤S406中，根据在步骤S405中的处理计算的相关性，从具有最强相关性的像素组的位置，连续性方向推导单元404基于作为图像数据的输入图像中的参考轴检测数据连续性角度，所述连续性角度对应于现实世界1的光信号连续性。例如，连续性方向推导单元404选择像素值之差的绝对值的总和中的最小总和，并从被计算出选择的总和的像素组的位置检测数据连续性角度θ。
连续性方向推导单元404输出表示被检测出的数据连续性的角度的数据连续性信息。
在步骤S407中，数据选择单元402确定对所有像素的处理是否已经结束，并在确定对所有像素的处理仍未结束时，流程回到步骤S401，从仍未被取为关注像素的像素中选择关注像素，并重复上述处理。
在步骤S407中确定已经结束对所有像素的处理的情况下，该处理结束。
从而，数据连续性检测单元101可以基于图像数据中的参考轴检测数据连续性角度，所述数据连续性角度对应于丢失的现实世界1的光信号连续性。
注意，可以这样设置，其中，具有图72中的结构的数据连续性检测单元101检测关注像素在输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素；根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，从关注帧和从在时间方向上在关注帧之前或之后的每个帧中选取由在垂直方向上一行或水平方向上一行中的预定个数的像素构成的多个像素组；检测选取的像素组的相关性；以及根据该相关性，检测在输入图像的时间方向和空间方向中的数据连续性的角度。
例如，如图80所示，根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，数据选择单元402从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由在垂直方向上一行或水平方向上一行中的预定个数的像素构成的多个像素组。
帧#n-1在时间方向上在帧#n之前，而帧#n+1在时间方向上在帧#n之后。也就是说，以帧#n-1、#n和#n+1的顺序显示帧#n-1、#n和#n+1。
误差估计单元403对于选取的多组像素检测每个单独角度和单独移动矢量的像素组的相关性。连续性方向推导单元404根据像素组的相关性检测输入图像中的时间方向和空间方向中的数据连续性角度，所述数据连续性角度对应于丢失的现实世界1的光信号连续性，并输出表示角度的数据连续性信息。
图81是更详细地示出图72中所示的数据连续性检测单元101的另一结构的方框图。其中用相同的标号表示与图76中相同的部分，并省略对其的描述。
数据选择单元402包括像素选择单元421-1至像素选择单元421-L。误差估计单元403包括估计误差计算单元422-1至估计误差计算单元422-L。
利用图81中所示的数据连续性检测单元101，选取对应于角度范围的数量的组，其中像素组由对应于角度范围的数量的像素构成，检测选取的像素组的相关性，并根据检测的相关性检测在输入图像中基于参考轴的数据连续性角度。
首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。
如图82左边所示，利用图76所示的数据连续性检测单元101，选取无关于设置直线角度的预定个像素的像素组，而如图82右边所示，利用如图81所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素的像素组。另外，利用如图81所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素组。
像素选择单元421-1到像素选择单元421-L设置在45度到135度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。
像素选择单元421-1到像素选择单元421-L在属于包括关注像素的一垂直行像素的像素中选择在关注像素上方的对应于为每个设置的每个直线的角度范围的个数的像素、在关注像素下方的多个像素以及关注像素作为一组。
像素选择单元421-1到像素选择单元421-L从包括关注像素的一垂直行像素左侧和右侧的、在水平方向上以关注像素为参考距离关注像素为预定距离的垂直行像素中选择位于最接近为每个角度的设置直线的像素，并从对于选择像素的一行垂直行像素中，选择在选择像素上方的对应于设置直线的角度范围的个数的像素、在选择像素下方的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。
也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素组。
例如，当用传感器2成像细线的图像的情况下，所述细线与空间方向X成约45度的角度，并在检测元件的检测区域具有近似相同宽度的宽度，将细线的图像投影到数据3上，使得在空间方向Y的一行上对准的三个像素上形成弧形作为细线图像。相反，当用传感器2成像细线的图像的情况下，所述细线与空间方向X近似垂直，并在检测元件的检测区域具有近似相同的宽度，将细线的图像投影到数据3上，使得在空间方向Y的一行上对准的多个像素上形成弧形作为细线图像。
对于像素组中包括的相同个数的像素，在细线与空间方向X成约45度角度的情况下，像素组中的其上被投影细线图像的像素的个数更小了，这表示分辨率下降。另一方面，在细线与空间方向近似垂直的情况下，在其上投影细线图像的部分像素上进行的处理可能导致精度的降低。
因此，为了使其上被投影细线图像的像素的个数近似相等，像素选择单元421-1到像素选择单元421-L选择像素和像素组，使得在设置直线与空间方向X成接近45度角度的情况下减少在每个像素组中包括的像素个数、并增加像素组的组数，而在设置直线与空间方向X接近垂直的情况下增加每个像素组中的像素的个数，并减少像素组的组数。
例如，如图83和84所示，在设置直线的角度在大于等于45度并小于63.4度的情况下(该范围由图83和84中的A表示)，则像素选择单元421-1到像素选择单元421-L从关注像素的一垂直行中选择以关注像素为中心的五个像素作为像素组，并且还从这样的像素中选择五个像素作为像素组，所述像素属于在关注像素的水平方向上五个像素范围内的左侧和右侧的行上。
也就是说，在设置直线的角度在大于等于45度但小于63.4度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择每个由5个像素构成的11个像素组。在该情况下，被选作为最接近设置直线的像素的像素是在垂直方向上离关注像素为5个像素到9个像素的位置上。
在图84中，行数表示在关注像素左侧或右侧的像素行数，从其上选择像素作为像素组。在图84中，一行中的像素数表示从关注像素的垂直行、或在关注像素的左侧或右侧的行中选作为像素组的像素个数。在图84中，像素的选择范围表示将被选择的像素在垂直方向中的位置，所述像素的位置最接近关注像素的设置直线。
如图85所示，例如，在设置直线的角度为45度的情况下，像素选择单元421-1在关注像素的一垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的一行的像素中选取五个像素作为像素组。也就是说，像素选择单元421-1从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中的像素中，离关注像素最远的像素在垂直方向上离关注像素有五个像素。
注意，在图85到图92中，由虚线表示的方形(由虚线分开的单个方格)表示单个像素，由实线表示的方形表示像素组。在图85到图92中，关注像素在空间方向X上的坐标为0，并且关注像素在空间方向Y上的坐标为0。
另外，在图85到图92中，阴影方形表示关注像素或最接近设置直线的像素。在图85到图92中，由深色线表示的方形表示选择的以关注像素为中心的像素组。
如图86所示，例如，在设置直线的角度为60.9度的情况下，像素选择单元421-2在关注像素的一垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是说，像素选择单元421-2从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离关注像素最远的像素在垂直方向上离关注像素有九个像素。
例如，如图83和84所示，在设置直线的角度为大于等于63.4度但小于71.6度(在图83和84中由B表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的一行中选取7个像素作为像素组。
也就是说，在设置直线的角度为大于等于63.4度但小于71.6度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择9个每个由7个像素构成的像素组。在该情况下，被选为最接近设置直线的像素的像素在垂直方向上离关注像素为8到11个像素。
如图87所示，例如，在设置直线的角度为63.4度的情况下，像素选择单元421-3在关注像素的一垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-3从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。
如图88所示，例如，在设置直线的角度为70.0度的情况下，像素选择单元421-4在关注像素的一垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-4从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。
例如，如图83和84所示，在设置直线的角度为大于等于71.6度但小于76度(在图83和84中由C表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。
也就是说，在设置直线的角度为大于等于71.6度但小于76度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择7个每个由9个像素构成的像素组。在该情况下，被选为最接近设置直线的像素的像素在垂直方向上离关注像素为9到11个像素。
如图89所示，例如，在设置直线的角度为71.6度的情况下，像素选择单元421-5在关注像素的一垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-5从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有9个像素。
如图90所示，例如，在设置直线的角度为74.7度的情况下，像素选择单元421-6在关注像素的一垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-6从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。
例如，如图83和84所示，在设置直线的角度为大于等于76度但小于87.7度(在图83和84中由D表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的一垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取9个像素作为像素组。也就是说，在设置直线的角度为大于等于76度但小于87.7度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择5个每个由11个像素构成的像素组。在该情况下，被选为最接近设置直线的像素的像素在垂直方向上离关注像素为8到50个像素。
如图91所示，例如，在设置直线的角度为76度的情况下，像素选择单元421-7在关注像素的一垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-7从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。
如图92所示，例如，在设置直线的角度为87.7度的情况下，像素选择单元421-8在关注像素的一垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-8从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有50个像素。
从而，像素选择单元421-1到像素选择单元421-L每个选择对应于角度范围的预定个数的像素组，所示像素组由对应于角度范围的预定个数的像素构成。
像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。
估计误差计算单元422-1到估计误差计算单元422-L检测从像素选择单元421-1到像素选择单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。例如，估计误差计算单元422-1到估计误差计算单元422-L计算从像素选择单元421-1到像素选择单元421-L中的每个提供包括关注像素的像素组的像素的像素值与在其它多组中的相应位置上的像素的像素值之差的绝对值的和，并用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数。用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数是为了归一化表示相关性的值，因为被选的像素个数根据设置的直线的角度而不同。
估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。例如，估计误差计算单元422-1到估计误差计算单元422-L将像素值之差的归一化的和提供给最小误差角度选择单元413。
接着，将描述在由活度信息表示的数据连续性的角度是在0度到45度和135度到180度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。
像素选择单元421-1到像素选择单元421-L设置在0到45度或135度到180度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。
像素选择单元421-1到像素选择单元421-L，在包括关注像素的一水平行像素中选择在关注像素左侧的对应于设置直线的角度范围的个数的像素、在关注像素右侧的对应于设置直线的角度范围的个数的像素、以及选择像素作为一组。
像素选择单元421-1到像素选择单元421-L在距离包括关注像素的水平行像素上方和下方的、在垂直方向上以像素为参考并离该像素为预定距离的水平行像素中选择位于最接近每个角度的设置直线的像素，并从选择像素的一行水平行像素中，选择在选择像素左侧的对应于设置直线的角度范围的个数的像素、在选择像素右侧的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。
也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素组。
像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L的每一个将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L的每个。
估计误差计算单元422-1到估计误差计算单元422-L检测从像素选择单元421-1到像素选择单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。
估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。
接着，将参考图93中的流程图描述利用具有图81所示的结构的数据连续性检测单元101进行的对应于在步骤S101中的数据连续性检测的处理。
步骤S421和步骤S422的处理与步骤S401和步骤S402的处理相同，因此省略对其的描述。
在步骤S423中，对于对应于在步骤S422中的处理中检测的活度的范围中的每个角度，数据检测单元402从包括关注像素的像素行中选择以关注像素为中心的、对应于角度范围的预定多个像素作为像素组。例如，数据选择单元402从属于像素的垂直行或水平行的像素中选择由设置直线的角度范围确定的个数、在关注像素的上方或左侧、在关注像素的下方或右侧的像素以及关注像素作为像素组。
在步骤S424，对于根据在步骤S422的处理中检测的活度的范围中的每个预定角度，数据检测单元402从对应于角度范围的预定个数的像素行中选择对应于角度范围的预定个数的像素作为像素组。例如，数据选择单元402设置具有预定范围角度的、经过关注像素的直线，其中以表示空间方向X的轴线为参考轴线，选择最接近直线、同时在水平方向或垂直方向上距离关注像素为根据设置直线的角度范围的预定范围的像素，并选择在选择像素的上方或左侧的对应于设置直线的角度范围的个数的像素、在像素的下方或右侧的对应于设置直线的角度范围的个数的像素、以及最接近选择直线的像素作为像素组。数据检测单元402选择每个角度的像素组。
数据选择单元402将选择的像素提供给误差估计单元403。
在步骤S425中，误差估计单元403计算以关注像素为中心的像素组与为每个角度选择的像素组之间的相关性。例如，误差估计单元403计算包括关注像素的像素组的像素的像素值与在其它组的相应位置的像素的像素值之差的绝对值的和，并用像素值之差的绝对值的和除以所述其它组的像素的个数，从而计算相关性。
可以这样设置，其中根据为每个角度选择的像素组之间的互相关性检测数据连续性的角度。
误差估计单元403将表示计算的相关性的信息提供给连续性方向推导单元404。
步骤S426和步骤S427与步骤S406和步骤S407的处理相同，因此省略对其的描述。
从而，数据连续性检测单元101可以更精密并准确地检测基于图像数据中的参考轴线的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。利用具有图81所示的结构的数据连续性检测单元101，在数据连续性角度为约45度的情况下，可以尤其估计其上被投影了细线图像的更多像素的相关性，从而可以更精确地检测数据连续性的角度。
注意，可以这样设置，同样利用具有图81所示结构的数据连续性检测单元101，其中对于特定关注像素检测输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素，并从根据空间角度范围确定的一定个数的在一垂直行或一水平行上的像素组，选取对应于空间角度范围的个数的像素，根据检测的活度，对于基于关注像素和在空间方向中的参考轴线的每个角度和移动矢量，从关注帧和在时间方向上在关注帧之前和之后的帧中检测选取像素组的相关性，并根据相关性检测在输入图像中的时间方向和空间方向上的数据连续性角度。
图94是示出数据连续性检测单元101的另一结构的方框图。
利用具有图94所示的结构的数据连续性检测单元101，对于作为关注像素的像素，选取由以关注像素为中心的预定个数的像素构成的块、以及每个由围绕关注像素的预定个数的像素构成的多个块，检测以预定像素为中心的块与周围块的相关性，并且根据相关性，检测输入图像中基于参考轴的数据连续性角度。
数据检测单元441随后从输入图像的像素中选择关注像素，选取由以关注像素为中心的预定个数的像素构成的块、以及由关注像素周围的预定个数的像素构成的多个块，并将选取的块提供给误差估计单元442。
例如，数据选择单元441对于基于关注像素和参考轴的每个预定角度范围，选取由以关注像素为中心的5×5个像素构成的块，以及由在关注像素周围的5×5个像素构成的两个块。
误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与在关注像素周围的块的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。
例如，误差估计单元442检测相对于每个角度的由以关注像素为中心的5×5个像素构成的块的像素值与对应于一个角度范围的由5×5个像素构成的两个块的像素值的相关性。
根据从误差估计单元442提供的相关性信息，从具有最大相关性的在关注像素周围的块的位置，连续性方向推导单元443检测输入图像中基于参考轴的数据连续性的角度，所述连续性的角度对应于丢失的现实世界1的光信号的连续性，并输出表示角度的数据连续性信息。例如，连续性方向推导单元443根据从误差根据单元442提供的相关性信息，检测与由以关注像素为中心的5×5个像素构成的块具有最大相关性的、由关注像素周围的5×5个像素构成的两个块的角度范围，作为连续性数据的角度，并输出表示检测的角度的数据连续性信息。
图95为示出图94所示的数据连续性检测单元101的更详细结构的方框图。
数据选择单元441包括像素选择单元461-1到像素选择单元461-L。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-L。连续性方向推导单元443包括最小误差角度选择单元463。
例如，数据选择单元441包括像素选择单元461-1到像素选择单元461-8。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-8。
每个像素选择单元461-1到像素选择单元461-8选取由以关注像素为中心的预定个数的像素构成的块、以及由根据基于关注像素和参考轴的预定角度范围的预定个数的像素构成的两个块。
图96描述了由像素选择单元461-1到像素选择单元461-L选取的5×5个像素块的实例。图96的中心位置表示关注像素的位置。
注意，5×5像素块只是一个实例，但是在块中包括的像素的个数并不限制本发明。
例如，像素选择单元461-1选取以关注像素为中心的5×5像素块，并对应于0度到18.4度和161.6度到180度，选取以从关注像素向右平移5个像素的像素为中心的5×5像素块(图96中由A表示)、选取以从关注像素向左平移5个像素的像素为中心的5×5像素块(图96中由A’表示)。像素选择单元461-1将选取的三个5×5像素块提供给估计误差计算单元462-1。
像素选择单元461-2选取以关注像素为中心的5×5像素块，并对应于18.4度到33.7度的角度范围，选取以从关注像素向右平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由B表示)、选取以从关注像素向左平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由B’表示)。像素选择单元461-2将选取的三个5×5像素块提供给估计误差计算单元462-2。
像素选择单元461-3选取以关注像素为中心的5×5像素块，并对应于33.7度到56.3度的角度范围，选取以从关注像素向右平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由C表示)、选取以从关注像素向左平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由C’表示)。像素选择单元461-3将选取的三个5×5像素块提供给估计误差计算单元462-3。
像素选择单元461-4选取以关注像素为中心的5×5像素块，并对应于56.3度到71.6度的角度范围，选取以从关注像素向右平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图96中由D表示)、选取以从关注像素向左平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图96中由D’表示)。像素选择单元461-4将选取的三个5×5像素块提供给估计误差计算单元462-4。
像素选择单元461-5选取以关注像素为中心的5×5像素块，并对应于71.6度到108.4度的角度范围，选取以从关注像素向上平移5个像素的像素为中心的5×5像素块(图96中由E表示)、选取以从关注像素向下平移5个像素的像素为中心的5×5像素块(图96中由E’表示)。像素选择单元461-5将选取的三个5×5像素块提供给估计误差计算单元462-5。
像素选择单元461-6选取以关注像素为中心的5×5像素块，并对应于108.4度到123.7度的角度范围，选取以从关注像素向左平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图96中由F表示)、选取以从关注像素向右平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图96中由F’表示)。像素选择单元461-6将选取的三个5×5像素块提供给估计误差计算单元462-6。
像素选择单元461-7选取以关注像素为中心的5×5像素块，并对应于123.7度到146.3度的角度范围，选取以从关注像素向左平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由G表示)、选取以从关注像素向右平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由G’表示)。像素选择单元461-7将选取的三个5×5像素块提供给估计误差计算单元462-7。
像素选择单元461-8选取以关注像素为中心的5×5像素块，并对应于146.3度到161.6度的角度范围，选取以从关注像素向左平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图96中由H表示)、选取以从关注像素向右平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图96中由H’表示)。像素选择单元461-8将选取的三个5×5像素块提供给估计误差计算单元462-8。
下文中，将由以关注像素为中心的预定个数的像素构成的块称为关注块。
下文中，将由对应于基于关注像素和参考轴的预定角度范围的预定个数的像素称为参考块。
这样，例如，像素选择单元461-1到像素选择单元461-8从以关注像素为中心的25×25个像素的范围中选取关注块和参考块。
估计误差计算单元462-1到估计误差计算单元462-L检测关注块与从像素选择单元461-1到像素选择单元461-L提供的两个参考块之间的相关性，并将表示检测的相关性的相关性信息提供给最小误差角度选择单元463。
例如，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度获取的、以从关注像素向右平移5个像素的像素为中心的5×5像素参考块，计算关注块中的像素的像素值与参考块中的像素的像素值之差的绝对值。
在该情况下，如图97所示，为了在计算像素值之差的绝对值中使用关注像素的像素值，以关注块的中心像素与参考块的中心像素重叠的位置作为参考，估计误差计算单元462-1计算在这样的情况下重叠的位置上的像素像素值之差的绝对值，在所述情况中，将关注块的位置对于参考块向左平移两个像素或向右平移两个像素的任一个，并向上平移两个像素或向下平移两个像素的任一个。这表示在关注块和参考块的25种位置中的相应位置上的像素的像素值之差的绝对值。换句话说，在计算像素值之差的绝对值的情况中，由相对移动的关注块和参考块构成的范围为9×9个像素。
在图97中，方块表示像素，A表示参考块，B表示关注块。在图97中，深色线表示关注像素。也就是说，图97示出了将关注块对于参考块向右平移两个像素并向上平移一个像素的情况。
另外，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度选取的、以从关注像素向左平移5个像素的像素为中心的5×5像素参考块，计算关注块中的像素的像素值与参考块中的像素的像素值之差的绝对值。
估计误差计算单元462-1然后获得已经计算的差的绝对值之和，并将差的绝对值之和提供给最小误差角度选择单元463作为表示相关性的相关性信息。
估计误差计算单元462-2对于由5×5个像素构成的关注块、以及对应于18.4度到33.7以选取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-2将算出的差的绝对值之和提供给最小误差角度选择对于463作为表示相关性的相关性信息。
同样，估计误差计算单元462-3到估计误差计算单元462-8对于5×5个像素构成的关注块、以及对应于预定角度范围选取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-3到估计误差计算单元462-8每个将差的绝对值之和提供给最小误差角度选择单元463作为表示相关性的相关性信息。
最小误差角度选择单元463检测对应于在这样的参考块位置上的两个参考块的角度作为数据连续性角度，在所示位置上，从估计误差计算单元462-1到估计误差计算单元462-8提供的作为相关性信息的像素值之差的绝对值的和中获得为表示最强相关性的最小值，并且，所述单元463输出表示检测的角度的数据连续性信息。
现在将描述参考块的位置和数据连续性的角度范围之间的关系。
在用n阶一维多项式近似用于模拟现实世界信号的模拟函数f(x)的情况中，可以将模拟函数f(x)表达为公式(30)。
公式(30) 在由模拟函数f(x)模拟的现实世界1的信号的波形具有与空间方向Y的特定梯度(角度)时，由通过将公式(30)中的x取为x+γy而获得的公式(31)表达用于模拟现实世界1的信号的模拟函数f(x，y)。
公式(31) γ表示在空间方向X中的位置变化与在空间方向Y中的位置变化的比值。下文中，将γ称为平移量。
图98示出了，在关注像素的位置与角度θ为0度的直线之间在空间方向X上的距离为0，即直线经过关注像素的情况下，从关注像素的周围像素的位置到在空间方向X中具有角度θ的直线的距离。这里，像素的位置是像素的中心。另外，在所述位置在直线左侧的情况下，位置与直线之间的距离由负值表示，在所述位置在直线右侧的情况下，位置与直线之间的距离由正值表示。
例如，在关注像素右侧的相邻像素的位置，即其中在空间方向X上的坐标x增1，与具有角度θ的直线在空间方向X上的距离为1，以及，在关注像素左侧的相邻像素的位置，即其中在空间方向X上的坐标x减1，与具有角度θ的直线在空间方向X上的距离为-1。在关注像素上方的相邻像素的位置，即其中在空间方向Y上的坐标y增1，与具有角度θ的直线在空间方向X上的距离为-γ，以及，在关注像素下方的相邻像素的位置，即其中在空间方向Y上的坐标y减1，与具有角度θ的直线在空间方向X上的距离为γ。
在角度θ大于45度但小于90度的情况下，平移量γ大于0但小于1，平移量γ和角度θ之间存在关系式γ＝1/tanθ。图99示出了平移量γ和角度θ之间的关系。
现在，注意关注像素附近的像素的位置与经过关注像素并具有角度θ的直线之间在空间方向X上的距离相对于平移量γ的变化的变化。
图100示出了关注像素附近的像素的位置与经过关注像素并具有角度θ的直线之间在空间方向X上的距离相对于平移量γ的图。在图100中，朝向右上方的单点虚线表示在其底部与关注像素相邻的像素的位置与直线在空间方向X上的距离相对于平移量γ。朝向左下方的单点虚线表示在其上部与关注像素相邻的像素的位置与直线在空间方向X上相对于平移量γ的距离。
在图100中，朝向右上方的两点虚线表示在关注像素的向下两个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上两个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。
在图100中，朝向右上方的三点虚线表示在关注像素的向下一个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上一个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。
从图100中可以找出对于平移量γ的具有最小距离的像素。
也就是说，在平移量γ为0到1/3的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。也就是说，在角度θ是71.6度到90度的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。
在平移量γ为1/3到2/3的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是56.3度到71.6度的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。
在平移量γ为2/3到1的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是45度到56.3度的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。
角度θ范围在0度到45度的直线与像素之间的关系也可以同样考虑。
可以用关注块和参考块代替图98中的像素，以考虑参考块和直线在空间方向X上的距离。
图101示出了这样的参考块，其与经过关注像素并具有角度θ的直线相对于空间方向X的轴线的距离最小。
图101中的A到H和A’到H’表示图96中的参考块A到H和A’到H’。
也就是说，在具有在0度到18.4度和161.6到180.8度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块A和A’之间的距离是最小的。因此，反之，在关注块与参考块A和A’之间的相关性最大的情况下，这意味着，在连接关注块和参考块A和A’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在0度到18.4度和161.6到180.0度的范围内。
在具有在18.4度到33.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块B和B’之间的距离是最小的。因此，反之，在关注块与参考块B和B’之间的相关性最大的情况下，这意味着，在连接关注块和参考块B和B’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在18.4度到33.7度的范围内。
在具有在33.7度到56.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到 H’之间的在空间方向X上的距离中，直线与参考块C和C’之间的距离是最小的。因此，反之，在关注块与参考块C和C’之间的相关性最大的情况下，这意味着，在连接关注块和参考块C和C’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在33.7度到56.3度的范围内。
在具有在56.3度到71.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块D和D’之间的距离是最小的。因此，反之，在关注块与参考块D和D’之间的相关性最大的情况下，这意味着，在连接关注块和参考块D和D’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在56.3度到71.6度的范围内。
在具有在71.6度到108.4度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块E和E’之间的距离是最小的。因此，反之，在关注块与参考块E和E’之间的相关性最大的情况下，这意味着，在连接关注块和参考块E和E’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在71.6度到108.4度的范围内。
在具有在108.4度到123.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块F和F’之间的距离是最小的。因此，反之，在关注块与参考块F和F’之间的相关性最大的情况下，这意味着，在连接关注块和参考块F和F’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在108.4度到123.7度的范围内。
在具有在123.7度到146.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块G和G’之间的距离是最小的。因此，反之，在关注块与参考块G和G’之间的相关性最大的情况下，这意味着，在连接关注块和参考块G和G’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在123.7度到146.3度的范围内。
在具有在146.3度到161.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块H和H’之间的距离是最小的。因此，反之，在关注块与参考块H和H’之间的相关性最大的情况下，这意味着，在连接关注块和参考块H和H’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在146.3度到161.6度的范围内。
这样，数据连续性检测单元101可以根据关注块与参考块之间的相关性检测数据连续性的角度。
注意，利用具有图94所示的结构的数据连续性检测单元101，可以这样设置，其中将数据连续性的角度范围输出为数据连续性信息，或这样设置，其中将表示数据连续性的角度范围的代表值输出为数据连续性信息。例如，可以将数据连续性的角度范围的中间值用作代表值。
另外，利用具有图94所示的结构的数据连续性检测单元101，通过使用关注块与参考块之间的最大相关性，允许减半要检测的数据连续性的角度范围，即，要检测的数据连续性的角度分辨率被两倍了。
例如，当关注块与参考块E和E’之间的相关性最大，最小误差角度选择单元463比较参考块D和D’与关注块的相关性与参考块F和F’与关注块的相关性，如图102所示。在参考块D和D’与关注块之间的相关性比参考块F和F’与关注块的相关性大的情况下，则最小误差角度选择单元463将71.6度到90度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元463可以将81度设置为数据连续性角度的代表值。
在参考块F和F’与关注块之间的相关性比参考块D和D’与关注块的相关性大的情况下，则最小误差角度选择单元463将90度到108.4度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元463可以将99度设置为数据连续性角度的代表值。
最小误差角度选择单元463利用相同的处理对于其它角度同样可以减半将要检测的数据连续性角度的范围。
参考图102所述的技术还称为简化16方向检测。
从而，具有图94所示的结构的数据连续性检测单元101利用简单的处理，可以在更窄的范围中检测数据连续性的角度。
接着，将参考图103中所示的流程图，描述对应于在步骤S101中的处理利用具有图94所示的结构的数据连续性检测单元101检测数据连续性的处理。
在步骤S441中，数据选择单元441从输入图像选择关注像素。例如，数据选择单元441以栅格扫描的顺序从输入图像中选择关注像素。
在步骤S442中，数据选择单元441选择由以关注像素为中心的预定个数的像素构成的关注块。例如，数据选择单元441选择由以关注像素为中心的5×5个像素构成的关注块。
在步骤S443中，数据选择单元441选择由在关注像素周围的预定位置的预定个数的像素构成的参考块。数据选择单元441对于每个基于关注像素和参考轴的预定角度范围，选择由以基于关注块的尺寸的预定位置为中心的5×5个像素构成的参考块。
数据选择单元441将关注块和参考块提供给误差估计单元442。
在步骤S444，误差估计单元442对于每个基于关注像素和参考轴的预定角度范围，计算关注块和对应于角度范围的参考块之间的相关性。误差估计单元442将表示计算的相关性的相关性信息提供给连续性方向推导单元443。
在步骤S445中，连续性方向推导单元443从具有与关注块的最大相关性的参考块的位置，检测输入图像中基于参考轴的数据连续性的角度，其对应于丢失的现实世界1的光信号的图像连续性。
连续性方向推导单元443将表示检测的数据连续性角度的数据连续性信息输出。
在步骤S446，数据选择单元441确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束的情况下，该流程返回步骤S441，从仍未被选的像素中选择关注的像素作为关注像素，并重复上述处理。
在步骤S446中，在确定对所有像素的处理已经结束的情况下，该处理结束。
从而，具有图94所示的结构的数据连续性检测单元101利用更容易的处理，可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。另外，具有图94所示的结构的数据连续性检测单元101可以利用输入图像中较窄范围的像素的像素值检测数据连续性的角度，从而，即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性的角度。
注意，对于具有图94所示的结构的数据连续性检测单元101，可以这样设置，其中，对于关注帧中的关注像素，除了选取以关注像素为中心、并由关注帧中的预定个数的像素构成的块，还可以选取每个由以关注像素周围的预定个数的像素构成的多个块、从在时间方向上在关注帧之前或之后的帧中，以对应于关注像素的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由以对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块，并检测以关注像素为中心的块与在空间方向和时间方向上在其周围的块的相关性，从而基于相关性，在时间方向和空间方向上检测输入图像的数据连续性的角度。
例如，如图104所示，数据选择单元441依次从作为关注帧的帧#n中选择关注像素、并从帧#n中选取以关注像素为中心、并由预定个数的像素构成的块、以及每个由以关注像素周围的预定个数的像素构成的多个块。另外，数据选择单元441从#n-1和帧#n+1中选取以对应于关注像素的位置的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块。数据选择单元441将选取的块提供给误差估计单元442。
误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与在时间方向和空间方向上其周围的块的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。根据从误差估计单元442提供的相关性信息，连续性方向推导单元443从具有最大相关性的块在空间方向或时间方向上的位置，检测输入图像的数据连续性在空间方向或时间方向上的角度，其对应于丢失的现实世界1的光信号连续性，并输出表示角度的数据连续性信息。
另外，数据连续性检测单元101可以根据输入图像的分量信号进行数据连续性检测处理。
图105示出数据连续性检测单元101根据输入图像的分量信号进行数据连续性检测处理的结构的方框图。
每个数据连续性检测单元481-1到481-3具有与上述或下文描述的数据连续性检测单元101相同的结构，并且在输入图像的每个分量信号上执行上述或下述的处理。
数据连续性检测单元481-1基于输入图像的第一分量信号检测数据连续性，并将表示从第一分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于输入图像的亮信号检测数据连续性，并将表示从亮信号检测的数据的连续性的信息提供给确定单元482。
数据连续性检测单元481-2基于输入图像的第二分量信号检测数据连续性，并将表示从第二分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-2基于作为输入图像的颜色差异信号的I信号检测数据连续性，并将表示从I信号检测的数据的连续性的信息提供给确定单元482。
数据连续性检测单元481-3基于输入图像的第三分量信号检测数据连续性，并将表示从第三分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于作为输入图像的颜色差异信号的Q信号检测数据连续性，并将表示从Q信号检测的数据的连续性的信息提供给确定单元482。
确定单元482基于从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的表示数据连续性的信息，检测输入图像的最终数据连续性，并输出表示检测的数据连续性的数据连续性信息。
例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中的取最大数据连续性取作为最终数据连续性。或者，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中的最小数据连续性取作为最终数据连续性。
另外，例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中的平均数据连续性取作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中的中点(中间值)取作为最终数据连续性。
另外，例如，基于外部输入的信号，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取由外部输入信号指定的数据连续性作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取预定数据连续性作为最终数据连续性。
而且，确定单元482可以被设置为基于在从数据连续性检测单元481-1到481-3提供的检测分量信号的数据连续性的处理中获得的误差确定最终数据连续性。下面将描述可以在检测数据连续性的处理中获得的误差。
图106示出了用于基于输入图像的分量信号检测数据连续性的数据连续性检测单元101的另一结构。
分量处理单元491根据输入图像的分量信号产生一个信号，并将其提供给数据连续性检测单元492。例如，分量处理单元491累加在屏幕的相同位置上的像素的输入图像的每个分量信号的值，从而产生由分量信号的和构成的信号。
例如，分量处理单元491对于在屏幕上的相同位置上的像素，对输入图像的每个分量信号的像素值取平均，从而产生由分量信号的像素值的平均值构成的信号。
数据连续性检测单元492基于从分量处理单元491提供的信号输入，检测输入图像中的数据连续性，并输出表示检测的数据连续性的数据连续性信息。
数据连续性检测单元492具有与上述或下文所述的数据连续性检测单元101相同的结构，并在从分量处理单元491提供的信号上执行上述或下文描述的处理。
从而，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性而可以检测数据连续性，从而即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性。例如，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性，可以更精确地检测数据连续性角度(梯度)、混合比例、以及具有数据连续性的区域。
注意，分量信号不限于亮信号和颜色差异信号，而可以是其它格式的其它分量信号，例如RGB信号、YUV信号等。
如上所述，在其中投影现实世界的亮信号的设置中，检测数据连续性相对于参考轴的角度，所述连续性对应于现实世界的光信号的连续性，其具有现实世界的光信号的部分丢失的连续性的图像数据中被丢失的部分，并通过基于检测的角度估计现实世界光信号的已经丢失的连续性估计光信号，从而可以获得更精确的处理结果。
另外，在这样的设置中，其中在图像数据中选取多组由每个角度的预定个数的像素构成的像素组，所述角度基于关注像素和参考轴，所述图像数据通过将现实世界的光信号投影到多个检测元件上获得，在所述图像中已经丢失了现实世界光信号的部分连续性，检测选取的每个角度的多组中对应位置上的像素的像素值的相关性，基于检测的相关性，检测对应于现实世界光信号的已经丢失的连续性的图像数据中的数据连续性基于参考轴的角度，以及基于检测的图像数据中基于参考轴的数据连续性的角度，通过估计现实世界光信号的已丢失的连续性而估计光信号，从而可以获得对现实世界事件的更精确的处理结果。
图107是示出数据连续性检测单元101的另一结构的方框图。
利用如图107所示的数据连续性检测单元101，投影现实世界的光信号，选择对应于关注像素的区域，关注像素是图像数据中的关注的像素，图像数据中已丢失了现实世界光信号的部分连续性，以及基于相关性值设置像素的分数，其中关注像素的像素值与属于被选区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并基于检测的分数检测回归线，从而检测对应于现实世界光信号的丢失的连续性的图像数据的数据连续性。
帧存储器501将输入图像存储在增加的帧中，并将构成存储的帧的像素的像素值提供给像素获取单元502。帧存储器501通过将输入图像的当前帧存储在一页中，将存储在另一页中的在当前帧前一帧(过去)的帧的像素的像素值提供给像素获取单元502，并在输入图像的帧的切换时间点上切换页，可以将作为移动图像的输入图像的帧的像素的像素值提供给像素获取单元502。
像素获取单元502基于从帧存储器501提供的像素的像素值选择作为关注的像素的关注像素，并选择由对应于所述关注像素的预定个数的像素构成的区域。例如，像素获取单元502选择由以关注像素为中心的5×5个像素构成的区域。
像素获取单元502选择的区域的尺寸不限制本发明。
像素获取单元502获取选择区域的像素的像素值，并将选择区域的像素的像素值提供给分数检测单元503。
基于从像素获取单元502提供的选择区域的像素的像素值，分数检测单元503通过基于相关性设置像素的分数，检测属于所述区域的像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值。下面将描述在分数检测单元503中基于相关性设置分数的处理的细节。
分数检测单元503将检测的分数提供给回归线计算单元504。
回归线计算单元504基于从分数检测单元503提供的分数计算回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数计算回归线。另外，回归线计算单元504基于从分数检测单元503提供的分数计算作为预定曲线的回归线。回归线计算单元504将表示计算的回归线和计算结果的计算结果参数提供给角度计算单元505。计算参数表示的计算结果包括下文描述的变分和共变分。
角度计算单元505基于由从回归线计算单元504提供的计算结果参数表示的回归线，检测作为图像数据的输入图像的数据的连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，基于由从回归线计算单元504提供的计算结果参数表示的回归线，角度计算单元505检测输入图像的数据连续性基于参考轴的角度，其对应于现实世界1的光信号的连续性。角度计算单元505输出表示输入图像中的数据连续性基于参考轴的角度的数据连续性信息。
下面将参考图108到图110描述输入图像中的数据连续性基于参考轴的角度。
在图108中，每个圆形表示单个像素，双圆形表示关注像素。圆形的颜色示意性地表示了像素的像素值，其中较亮色表示更大的像素值。例如，黑色表示30的像素值，而白色表示120的像素值。
在人观察由图108所示的像素构成的图像的情况下，看图像的人可以识别出直线在对角右上的方向上延伸。
一旦输入有图8所示的像素构成的输入图像，具有图107所示的结构的数据连续性检测单元101检测出直线在对角右上的方向上延伸。
图109示出了具有数值的图108所示的像素的像素值。每个圆形表示一个像素，圆形中的数值表示像素值。
例如，关注像素的像素值为120，在关注像素上方的像素的像素值为100，以及在关注像素下方的像素的像素值为100。另外，在关注像素左侧的像素的像素值为80，在关注像素的右侧的像素的像素值为80。同样，在关注像素左下的像素的像素值为100，以及在关注像素右上的像素的像素值为100。在关注像素左上的像素的像素值为30，以及在关注像素右下的像素的像素值为30。
具有图107所示结构的数据连续性检测单元101对图109所示的输入图像画出回归线A，如图110所示。
图111示出了输入图像中的像素值的变化与像素在空间方向中的位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素值以例如峰形变化，如图111所示。
具有图107所示结构的数据连续性检测单元101通过最小二乘法画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进行加权。由数据连续性检测单元101获得的回归线A表示在关注像素附近的数据连续性。
如图112所示，通过获得回归线A与表示例如作为参考轴的空间方向X的轴线之间的角度θ，而检测输入图像中的数据连续性基于参考轴的角度。
接着，将描述利用具有图107所示的结构的数据连续性检测单元101计算回归线的具体方法。
例如，根据从像素获取单元502提供的由以关注像素为中心、在空间方向X上的9个像素和在空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元503检测对应于属于该区域的像素的坐标的分数。
例如，分数检测单元503通过利用计算公式(32)计算分数，检测属于该区域的坐标(xi，yj)的分数Li，j。
公式(32) 在公式(32)中，P0，0表示关注像素的像素值，Pi，j表示在坐标(xi，yj)上的像素的像素值。Th表示阈值。
i表示在该区域中的空间方向X上的像素的序数，其中1≤i≤k。j表示在该区域中的空间方向Y上的像素的序数，其中1≤j≤l。
k表示在该区域中的空间方向X上的像素的个数，以及l表示在该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上9个像素、在空间方向Y上5个像素的总共45个像素构成的区域的情况下，K为9，而l为5。
图113示出了由像素获取单元502获取的区域的实例。在图113中，打点的方形每个表示一个像素。
例如，如图113所示，在由以关注像素为中心、在空间方向X上9个像素、在空间方向Y上5个像素的区域中，其中关注像素的坐标(x，y)为(0，0)的情况下，则在该区域左上的像素的坐标(x，y)为(-4，2)，该区域右上的像素的坐标(x，y)为(4，2)，该区域左下的像素的坐标(x，y)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向Y上的序数j为1，而该区域上侧的像素在空间方向Y上的序数i为5。
也就是说，以关注像素的坐标(x5，y3)为(0，0)，在区域的左上的像素的坐标(x1，y5)为(-4，2)，该区域右上的像素的坐标(x9，y5)为(4，2)，该区域左下的像素的坐标(x1，y1)为(-4，-2)以及该区域右下的像素的坐标(x9，y1)为(4，-2)。
分数检测单元503利用公式(32)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界1的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与背景有单色差的现实世界1的对象的图像。
注意，分数检测单元503不限于像素的像素值之差的绝对值，而可以被设置为检测基于其它相关性值的分数，例如相关性系数等。
另外，在公式(32)中应用指数函数是为了放大对于像素值之差的分数差，并可以设置为其中应用其它函数。
阈值Th可以是可选值。例如，阈值Th可以是30。
这样，分数检测单元503基于相关性值，利用属于选择区域的像素的像素值设置具有相关性的像素的分数，从而检测属于该区域的像素的分数。
另外，分数检测单元503进行公式(33)的计算，从而计算分数，从而检测属于所述区域的坐标(xi，yj)的分数Li，j。
公式(33) 当坐标(xi，yj)的分数为Li，j(1≤i≤k，1≤j≤l)时，空间方向Y上的坐标xi的分数Li，j的和qi由公式(34)表达，而空间方向X上的坐标yj的分数Li，j的和hj由公式(35)表达。
公式(34) 公式(35) 分数的和u由公式(36)表达。
公式(36) 在图113所示的实例中，关注像素的坐标的分数L5，3为3，在关注像素上方的像素的坐标的分数L5，4为1，在关注像素的右上的像素的坐标的分数L6，4为4，在关注像素上方两个像素、右侧一个像素的像素的坐标L6，5为2，在关注像素的上方两个像素、右侧两个像素的像素的坐标的分数L7，5为3。另外，在关注像素的下方的像素的坐标的分数L5，2为2，在关注像素左侧像素的坐标的分数L4，3为1，在关注像素的左下像素的坐标的分数L4，2为3，在关注像素的下方一个像素、左侧两个像素的像素的坐标的分数L3，2为2，以及，在关注像素的下方两个像素、左侧两个像素的像素的坐标的分数L3，1为4。在如图113所示的区域中的所有其它像素的分数为0，并且省略对图113中分数为0的像素的描述。
在如图113所示的区域中，由于其中i为1的所有分数L为0，空间方向Y上的分数的和q1为0，以及由于其中i为2的所有分数L为0，q2为0。由于L3，2为2和L3，1为4，因此q3为6。同样，q4为4、q5为6、q6为6、q7为3、q8为0、以及q9为0。
在如图113所示的区域中，由于L3，1为4，空间方向X上的分数的和h1为4。以及由于L3，2为2、L4，2为3、以及L5，2为2，因此h2为7。同样，h3为4，h4为5、以及h5为5。
在如图113所示的区域中，分数的和u为25。
在空间方向Y上的分数Li，j的和qi与坐标xi相乘的结果的和Tx由公式(37)示出。
公式(37) 在空间方向X上的分数Li，j的和hj与坐标yj相乘的结果的和Ty由公式(38)示出。
公式(38) 例如，在如图113所示的区域中，q1为0，x1为-4，所以q1x1为0，而q2为0，x2为-3，所以q2x2为0。同样，q3为6，x3为-2，所以q3x3为-12；q4为4，x4为-1，所以q4x4为-4；q5为6，x5为0，所以q5x5为0；q6为6，x6为1，所以q6x6为6；q7为3，x7为2，所以q7x7为6；q8为0，x8为3，所以q8x8为0；以及q9为0，x9为4，所以q9x9为0。因此，作为q1x1到q9x9的和的Tx为-4。
例如，在如图113所示的区域中，h1为4，y1为-2，所以h1y1为-8，而h2为7，y2为-1，所以h2y2为-7。同样，h3为4，y3为0，所以h3y3为0；h4为5，y4为1，所以h4y4为5；以及，h5为5，y5为2，所以h5y5为10。因此，作为h1y1到h5y5的和的Ty为0。
另外，Qi被如下定义。
公式(39) x的变分Sx由公式(40)表达。
公式(40) y的变分Sy由公式(41)表达。
公式(41) 共变分Sxy由公式(42)表达。
公式(42) 考虑获得在公式(43)中所示的基本回归线。
y＝ax+b公式(43) 通过最小二乘法可以如下获得的梯度a和截距b。
公式(44) 公式(45) 然而，应该注意，用于获得校正回归线的条件是，分数Li，j相对于回归线的分布为高斯分布。为了实现该另一方法，需要分数检测单元503将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。
回归线计算单元504进行公式(44)和公式(45)的计算以获得回归线。
角度计算单元505进行公式(46)的计算以将回归线的梯度a转换为与作为参考轴的空间方向X上的轴线的角度θ。
θ＝tan-1(a)公式(46) 现在，在回归线计算单元504计算为预定曲线的回归线的情况中，角度计算单元505在关注像素的位置上获得回归线对于参考轴的角度θ。
这里，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(47)所示的基本回归线。
y＝ax公式(47) 在该情况下，回归线计算单元504可以通过最小二乘法获得如公式(48)的梯度a。
公式(48) 下面将参考如图114所示的流程描述对应于步骤S101中的处理的、利用具有如图107所示结构的数据连续性检测单元101检测数据连续性的处理。
在步骤S501中，像素获取单元502从仍未被选作为关注像素的像素中选择关注像素。例如，像素获取单元502以栅格扫描顺序选择关注像素。在步骤S502中，像素获取单元502获取在以关注像素为中心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分数检测单元503。例如，像素获取单元502选择以关注像素为中心的9×5个像素构成区域，并获取在该区域中包括的像素的像素值。
在步骤S503，分数检测单元503将包括在所述区域中的像素的像素值转换为分数，从而检测分数。例如，分数检测单元503通过如公式(32)所示的计算将像素值转换为分数Li，j。在该情况下，分数检测单元503将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。分数检测单元503将转换的分数提供给回归线计算单元504。
在步骤S504中，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。尤其是，回归线计算单元504通过执行如公式(44)和公式(45)中所示的计算获得回归线。回归线计算单元504将表示作为计算结果的回归线的计算结果参数提供给角度计算单元505。
在步骤S505中，角度计算单元505计算回归线对于参考轴的角度，从而检测图像数据的数据连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，角度计算单元505通过公式(46)的计算，将回归线的梯度a转换为对于作为参考轴的空间方向X的角度θ。
注意，可以这样设置，其中角度计算单元505输出表示梯度a的数据连续性信息。
在步骤S506中，像素获取单元503确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束时，流程返回S501，从仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。
在确定在步骤S506中对所有像素的处理已经结束的情况下，该处理结束。
这样，具有如图107所示的结构的数据连续性检测单元101可以检测图像数据中的数据连续性基于参考轴的角度，其对应于现实世界1的光信号的丢失的连续性。
尤其是，具有图107所示的结构的数据连续性检测单元101基于在较窄区域中的像素的像素值，可以获得比像素更小的角度。
如上所述，在其中投影现实世界的光信号的情况下，选择对应于关注像素的区域，所述关注像素是在图像数据中关注的像素，图像数据中已丢失现实世界光信号的部分连续性，以及设置像素的基于相关性值的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其对应于现实世界光信号的已丢失的连续性，随后通过基于图像数据的检测数据估计丢失的现实世界光信号的连续性而估计光信号，从而可以获得对现实世界中的事件的更精确的处理结果。
注意，利用具有图107所示结构的数据连续性检测单元101，可以这样设置，其中将在包括关注像素的关注帧的预定区域中的、在时间方向上在关注帧之前或之后的帧中的像素的像素值转换成分数，并基于分数获得回归平面，从而可以同时检测数据连续性在空间方向中的角度和时间方向的数据连续性的角度。
图115是示出数据连续性检测单元101的另一结构的方框图。
利用具有图115所示结构的数据连续性检测单元101，投影现实世界的光信号，选择对应于关注像素的区域，所述关注像素是图像数据中的关注的像素，所述图像数据已丢失了现实世界光信号的部分连续性，并基于相关性值设置像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其对应于现实世界光信号的已丢失的连续性。
帧存储器601将输入图像存储在增加的帧中，并将构成存储的帧的像素的像素值提供给像素获取单元602。帧存储器601通过将输入图像的当前帧存储在一页中，将存储在另一页中的在当前帧前一帧(过去)的帧的像素的像素值提供给像素获取单元602，并在输入图像的帧的切换时间点上切换页，可以将为移动图像的输入图像的帧的像素的像素值提供给像素获取单元602。
像素获取单元602基于从帧存储器601提供的像素的像素值选择作为关注的像素的关注像素，并选择由对应于选择的关注像素的预定个数的像素构成的区域。例如，像素获取单元602选择由以关注像素为中心的5×5个像素构成的区域。
像素获取单元602选择的区域的尺寸不限制本发明。
像素获取单元602获取选择区域的像素的像素值，并将选择区域的像素的像素值提供给分数检测单元603。
基于从像素获取单元602提供的选择区域的像素的像素值，分数检测单元603通过基于相关性设置像素的分数，检测属于所述区域的像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值。下面将描述在分数检测单元603中基于相关性设置分数的处理的细节。
分数检测单元603将检测的分数提供给回归线计算单元604。
回归线计算单元604基于从分数检测单元603提供的分数计算回归线。例如，回归线计算单元604基于从分数检测单元603提供的分数计算回归线。另外，回归线计算单元604基于从分数检测单元603提供的分数计算为预定曲线的回归线。回归线计算单元604将表示计算的回归线和计算结果的计算结果参数提供给区域计算单元605。计算参数表示的计算结果包括下文描述的变分和共变分。
区域计算单元605基于由从回归线计算单元604提供的计算结果参数表示的回归线，检测具有作为图像数据的输入图像的数据的连续性的区域，其对应于现实世界的光信号的已经丢失的连续性。
图116示出了输入图像中的像素值的变化与像素在空间方向中的像素位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素值以例如峰形变化，如图116所示。
具有图115所示结构的数据连续性检测单元101通过最小二乘法画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进行计量。由数据连续性检测单元101获得的回归线A表示在关注像素附近的数据连续性。
画出回归线表示采用高斯函数的近似。如图117所示，具有图115所示的结构的数据连续性检测单元通过获得例如标准偏差，可以给出数据3中的区域的一般宽度，在数据3中已投影细线的图像。另外，具有图115所示的结构的数据连续性检测单元基于相关性系数，可以给出数据3中的区域的一般宽度，在数据3中已投影细线的图像。
接着，将描述利用具有图115所示的结构的数据连续性检测单元101计算回归线的具体方法。
根据从像素获取单元602提供的由以关注像素为中心、在空间方向X上的9个像素和在空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元603检测对应于属于该区域的像素的坐标的分数。
例如，分数检测单元603通过利用计算公式(49)计算分数，检测属于该区域的坐标(xi，yj)的分数Li，j。
公式(49) 在公式(49)中，P0，0表示关注像素的像素值，Pi，j表示在坐标(xi，yj)上的像素的像素值。Th表示阈值。
i表示在该区域中的空间方向X上的像素的序数，其中1≤i≤k。j表示在该区域中的空间方向Y上的像素的序数，其中1≤j≤l。
k表示在该区域中的空间方向X上的像素的个数，以及l表示在该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上9个像素、在空间方向Y上5个像素的总共45个像素构成的区域的情况下，K为9，而l为5。
图118示出了由像素获取单元602获取的区域的实例。在图118中，打点的方形每个表示一个像素。
例如，如图118所示，在由以关注像素为中心、在空间方向X上9个像素、在空间方向Y上5个像素的区域中，其中关注像素的坐标(x，y)为(0，0)的情况下，则在该区域左上的像素的坐标(x，y)为(-4，2)，该区域右上的像素的坐标(x，y)为(4，2)，该区域左下的像素的坐标(x，y)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。
该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向Y上的序数j为1，而该区域上侧的像素在空间方向Y上的序数i为5。
也就是说，以关注像素的坐标(x5，y3)为(0，0)，在区域的左上的像素的坐标(x1，y5)为(-4，2)，该区域右上的像素的坐标(x9，y5)为(4，2)，该区域左下的像素的坐标(x1，y1)为(-4，-2)以及该区域右下的像素的坐标(x9，y1)为(4，-2)。
分数检测单元603利用公式(49)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界1的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与背景有单色差的现实世界1的对象的图像。
注意，分数检测单元603不限于像素的像素值之差的绝对值，而可以被设置为检测基于其它相关性值的分数，例如相关性系数等。
另外，在公式(49)中应用指数函数是为了放大对于像素值之差的分数差，并可以设置为其中应用其它函数。
阈值Th可以是可选值。例如，阈值Th可以是30。
这样，分数检测单元603基于相关性值，利用属于选择区域的像素的像素值设置具有等于或大于阈值的相关性的像素的分数，从而检测属于该区域的像素的分数。
另外，分数检测单元603进行公式(50)的计算，从而计算分数，从而检测属于所述区域的坐标(xi，yj)的分数Li，j。
公式(50) 当坐标(xi，yj)的分数为Li，j(1≤i≤k，1≤j≤l)时，空间方向Y上的坐标xi的分数Li，j的和qi由公式(51)表达，而空间方向X上的坐标yj的分数Li，j的和hj由公式(52)表达。
公式(51) 公式(52) 分数的和u由公式(53)表达。
公式(53) 在图118所示的实例中，关注像素的坐标的分数L5，3为3，在关注像素上方的像素的坐标的分数L5，4为1，在关注像素的右上的像素的坐标的分数L6，4为4，在关注像素上方两个像素、右侧一个像素的像素的坐标L6，5为2，在关注像素的上方两个像素、右侧两个像素的像素的坐标的分数L7，5为3。另外，在关注像素的下方的像素的坐标的分数L5，2为2，在关注像素左侧像素的坐标的分数L4，3为1，在关注像素的左下像素的坐标的分数L4，2为3，在关注像素的下方一个像素、左侧两个像素的像素的坐标的分数L3，2为2，以及，在关注像素的下方两个像素、左侧两个像素的像素的坐标的分数L3，1为4。在如图118所示的区域中的所有其它像素的分数为0，并且省略对图118中分数为0的像素的描述。
在如图118所示的区域中，由于其中i为1的所有分数L为0，空间方向Y上的分数的和q1为0，以及由于其中i为2的所有分数L为0，q2为0。由于L3，2为2和L3，1为4，因此q3为6。同样，q4为4、q5为6、q6为6、q7为3、q8为0、以及q9为0。
在如图118所示的区域中，由于L3，1为4，空间方向X上的分数的和h1为4。以及由于L3，2为2、L4，2为3、以及L5，2为2，因此h2为7。同样，h3为4，h4为5、以及h5为5。
在如图118所示的区域中，分数的和u为25。
在空间方向Y上的分数Li，j的和qi与坐标xi相乘的结果的和Tx由公式(54)示出。
公式(54) 在空间方向X上的分数Li，j的和hj与坐标yj相乘的结果的和Ty由公式(55)示出。
公式(55) 例如，在如图118所示的区域中，q1为0，x1为-4，所以q1x1为0，而q2为0，x2为-3，所以q2x2为0。同样，q3为6，x3为-2，所以q3x3为-12；q4为4，x4为-1，所以q4x4为-4；q5为6，x5为0，所以q5x5为0；q6为6，x6为1，所以q6x6为6；q7为3，x7为2，所以q7x7为6；q8为0，x8为3，所以q8x8为0；以及q9为0，x9为4，所以q9x9为0。因此，作为q1x1到q9x9的和的Tx为-4。
例如，在如图118所示的区域中，h1为4，y1为-2，所以h1y1为-8，而h2为7，y2为-1，所以h2y2为-7。同样，h3为4，y3为0，所以h3y3为0；h4为5，y4为1，所以h4y4为5；以及，h5为5，y5为2，所以h5y5为10。因此，作为h1y1到h5y5的和的Ty为0。
另外，Qi被如下定义。
公式(56) x的变分Sx由公式(57)表达。
公式(57) y的变分Sy由公式(58)表达。
公式(58) 共变分Sxy由公式(59)表达。
公式(59) 考虑获得在公式(60)中所示的基本回归线。
y＝ax+b公式(60) 通过最小二乘法可以如下获得的梯度a和截距b。
公式(61) 公式(62) 然而，应该注意，用于获得校正回归线的条件是，分数Li，j相对于回归线的分布为高斯分布。为了实现该另一方法，需要分数检测单元603将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。
回归线计算单元604进行公式(61)和公式(62)的计算以获得回归线。
另外，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(63)所示的基本回归线。
y＝ax公式(63) 在该情况下，回归线计算单元604可以通过最小二乘法获得如公式(64)的梯度。
公式(64) 利用用于确定具有数据连续性的区域的第一技术，使用在公式(60)中示出的对回归线的估计误差。
利用公式(65)中的计算获得y的变分Sy·x。
公式(65) 利用变分通过公式(66)中的计算，获得估计误差的分散。
Vy·x＝Sy·x/(u-2) ＝(Sy-aSxy)/(u-2) 公式(66) 因此，下面的表达式获得了标准偏差。
公式(67) 然而，在处理其中已经投影细线图像的区域的情况中，标准偏差的量等于细线的宽度，因此不能分类地确定大标准偏差表示区域不是具有数据连续性的区域。然而，例如，可以使用表示利用标准偏差检测的区域的信息，以检测其中很可能发生级别分类调节处理失败的区域，因为在其中细线较窄的具有数据连续性的区域的部分中，发生级别分类调节处理的失败。
区域计算单元605通过公式(67)中的计算计算标准偏差，并例如基于标准偏差，计算具有数据连续性的输入图像的部分。区域计算单元605以预定系数乘以标准偏差以获得距离，并取在离回归线为获得距离内的区域作为具有数据连续性的区域。例如，区域计算单元605计算离回归线在标准偏差距离内的区域作为具有数据连续性的区域，所述区域以回归线为其中心。
利用第二技术，使用分数相关性检测具有数据连续性的区域。
通过公式(68)示出的计算可以获得相关性系数rxy，其基于x的变分Sx、y的变分Sy、以及共变分Sxy。
公式(68) 相关性包括正相关性和负相关性，从而区域计算单元604获得相关性系数rxy的绝对值，并确定相关性系数rxy的绝对值越接近1，则相关性越大。尤其是，区域计算单元605比较阈值与相关性系数rxy的绝对值，并检测其中相关性系数rxy等于或大于阈值的区域作为具有数据连续性的区域。
下面将参考如图119所示的流程图描述对应于步骤S101中的处理的、利用具有如图115所示结构的数据连续性检测单元101检测数据连续性的处理。
在步骤S601中，像素获取单元602从仍未被选作为关注像素的像素中选择关注像素。例如，像素获取单元602以栅格扫描顺序选择关注像素。在步骤S602中，像素获取单元602获取在以关注像素为中心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分数检测单元603。例如，像素获取单元602选择以关注像素为中心的9×5个像素构成区域，并获取在该区域中包括的像素的像素值。
在步骤S603，分数检测单元603将包括在所述区域中的像素的像素值转换为分数，从而检测分数。例如，分数检测单元603通过如公式(49)所示的计算将像素值转换为分数Li，j。在该情况下，分数检测单元603将该区域的像素的像素值转换为分数Li，j，使得分数Li，j具有高斯分布。分数检测单元603将转换的分数提供给回归线计算单元604。
在步骤S604中，回归线计算单元604基于从分数检测单元603提供的分数获得回归线。例如，回归线计算单元604基于从分数检测单元603提供的分数获得回归线。尤其是，回归线计算单元604通过执行如公式(61)和公式(62)中所示的计算获得回归线。回归线计算单元604将表示作为计算结果的回归线的计算结果参数提供给区域计算单元605。
在步骤S605中，区域计算单元605计算关于回归线的标准偏差。例如，可以这样设置，其中区域计算单元605通过公式(67)中的计算，计算关于回归线的标准偏差。
在步骤S606中，区域计算单元605从标准偏差确定具有数据连续性的输入图像的区域。例如，区域计算单元605用预定系数乘标准偏差以获得距离，并确定离回归线在获得的距离内的区域作为具有数据连续性的区域。
区域计算单元605输出表示具有数据连续性的区域的数据连续性信息。
在步骤S607中，像素获取单元603确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束时，流程返回S601，从仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。
在确定在步骤S607中对所有像素的处理已经结束的情况下，该处理结束。
下面将参考图120所示的流程图描述利用具有图115所示结构的数据连续性检测单元101检测数据连续性的对应于步骤S101中的处理的其它处理。步骤S621到步骤S624的处理与步骤S601到步骤S604的处理相同，从而省略对其的描述。
在步骤S625中，区域计算单元605计算关于回归线的相关系数。例如，区域计算单元605通过公式(68)的计算，计算关于回归线的相关系数。
在步骤S626中，区域计算单元605从相关性系数确定具有数据连续性的输入图像的区域。例如，区域计算单元605比较相关性系数的绝对值与预先存储的阈值，并确定其中相关性系数的绝对值等于或大于阈值的区域作为具有数据连续性的区域。
区域计算单元605输出表示具有数据连续性的区域的数据连续性信息。
步骤S627的处理与步骤S607的处理相同，从而省略对其的描述。
从而，具有图115所示结构的数据连续性检测单元101可以检测具有数据连续性的图像数据中的区域，所述数据连续性对应于丢失的现实世界1的光信号的连续性。
如上所述，在其中投影了现实世界的光信号的情况中，选择对应于关注像素的区域，所述关注像素是图像数据中的关注的像素，所述图像数据已经丢失了现实世界光信号的部分连续性，以及基于相关性值设置像素的分数，其中所述关注像素的像素值与属于选择区域的像素的像素值的相关值等于或大于阈值，从而检测属于所述区域的像素的分数，并基于检测的分数检测回归线，从而检测具有图像数据的数据连续性的区域，所述数据连续性对应于已经丢失的现实世界光信号的连续性，以及随后通过基于检测的图像数据的数据连续性估计丢失的现实世界的光信号的连续性，而估计光信号，从而可以获得对现实世界中的事件的更精确的处理结果。
图121示出了另一种形式的数据连续性检测单元101的结构。
图121所示的数据连续性检测单元101包括数据选择单元701、数据补充单元702、以及连续性方向推导单元703。
数据选择单元701取输入图像的每个像素作为关注像素，选择对应于每个关注像素的像素的像素值数据，以及将其输出到数据补充单元702。
数据补充单元702基于从数据选择单元701输入的数据进行最小二乘法补充计算，并将补充计算结果输出给连续性方向推导单元703。由数据补充单元702进行的补充计算是关于在后述最小二乘法计算中使用的求和项的计算，可以认为其计算结果是图像数据的用于检测角度连续性的特征。
连续性方向推导单元703从由数据补充单元702输入的补充计算结果计算连续性方向，即数据连续性具有的相对于参考轴的角度(例如细线或二值边缘的梯度或方向)，并将其输出作为数据连续性信息。
接着，将参考图122概括描述数据连续性检测单元101在检测连续性(方向或角度)中的操作。图122和图123中对应于图6和图7中的部分以相同的符号表示，并在下文适当地省略对其的描述。
如图122所示，通过光学系统141(例如由透镜、LPF(低通滤光器)等组成)将现实世界1的信号(例如图像)成像到传感器2(例如CCD(电荷耦合装置))或CMOS(互补金属氧化物半导体)的感光面上。传感器2由例如CCD或CMOS的具有积分特性的器件构成。由于这样的结构，从由传感器2输出的数据3获得的图像与现实世界1的图像不同(与现实世界1的图像的差异发生)。
因此，如图123所示，数据连续性检测单元101使用模型705通过模拟表达并从模拟表达中提取数据连续性，而以模拟方式描述现实世界1。模型705由例如N个变量表达。更精确的说，模型705模拟(描述)现实世界1的信号。
为了预计模型705，数据连续性检测单元101从数据3中选取M块数据706。随后，由数据的连续性约束模型705。
也就是说，模型705模拟现实世界1的事件(表示事件的信息(信号))的连续性，所述现实世界1具有的连续性(在预定维度方向上的不变特征)，在由传感器2获得数据3时产生数据3中的数据连续性。
现在，在数据706的个数M为N或更大时，所述N是模型705的变量个数N，可以从M块数据706预计由N个变量表示的模型705。
另外，通过预计模拟(描述)现实世界1(的信号)的模型705，数据连续性检测单元101得出包含在信号中的数据连续性，所述信号是作为例如细线或二值边缘方向(梯度、或在取预定方向为轴的情况下与该轴的角度)的现实世界的信息，并将其输出作为数据连续性信息。
接着，将参考图124描述数据连续性检测单元101，其输出来自输入图像的细线的方向(角度)作为数据连续性信息。
数据选择单元701由水平/垂直确定单元711、以及数据获取单元712构成。水平/垂直确定单元711从关注像素与周围像素的像素值之差确定关于输入图像中的细线的水平方向的角度是接近水平方向还是接近垂直方向，并将确定结果输出给数据获取单元712和数据补充单元702。
更具体的说，例如，在该技术中，还可以使用其它技术。例如，可以使用简化的16方向检测。如图125所示，在关注像素与周围像素之差(像素之间的像素值之差)中，水平/垂直确定单元711获得在水平方向上的像素之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)之间的差，并确定是关注像素和与其在垂直方向上的相邻像素之间的差之和更大、还是关注像素和与其在水平方向上的相邻像素之间的差之和更大。现在，在图125中，每个栅格表示一个像素，并且在图形中心的像素是关注像素。另外，图中由虚线箭头表示的像素之差是在水平方向上的像素之差，并且其和由hdiff表示。同样，图中由实线箭头表示的像素之差是在垂直方向上的像素之差，并且其和由vdiff表示。
基于已经获得的在水平方向上的像素的像素值的差之和hdiff和在垂直方向上的像素的像素值的差之和vdiff，在(hidff-vdiff)为正的情况下，这表示在水平方向上的像素的像素值的变化(活度)大于在垂直方向上的，从而在如图126所示的由θ(0度≤θ≤180度)表示与水平方向的角度的情况中，水平/垂直确定单元711确定像素属于45度≤θ≤135度的细线，即接近垂直方向的角度，相反，在(hidff-vdiff)为负的情况下，这表示在垂直方向上的像素的像素值的变化(活度)更大，从而水平/垂直确定单元711确定像素属于0度≤θ≤45度或者135度≤θ≤180度的细线，即接近水平方向的角度(在细线延伸的方向(角度)上的每个像素是表示细线的像素，因此在这些像素之间的变化(活度)应该更小)。
另外，水平/垂直确定单元711具有计数器(未示出)用于识别输入图像的各个像素，并且可以任何适当或需要的时间使用。
另外，尽管相关于图125中的实例进行了描述，其中在以关注像素为中心的3×3个像素范围中比较在垂直方向和水平方向上的像素之间的像素值之差的和，以确定细线是接近垂直方向还是接近水平方向，但是利用更多个数的像素可以以相同的技术确定细线的方向，例如，可以基于以关注像素为中心的5×5个像素、7×7个像素等，即更多个像素来进行确定。
基于从水平/垂直确定单元711输入的关于细线方向的确定结果，数据获取单元712读取(获取)在由多个排列在对应于关注像素的水平方向上的像素构成的块的增量上、或在由多个排列在对应于关注像素的垂直方向上的像素构成的块的增量的像素值，并且随同读出获取的每个关注像素的多个对应像素的在对应于从水平/垂直确定单元711提供的确定结果的方向上的相邻像素之差，将在预定个数像素的块中包含的像素的像素值的最大和最小值数据输出给数据补充单元702。下文中，将由数据获取单元712获得的对应于关注像素获得的多个像素构成的块称为获取块(由多个像素组成，每个像素由栅格表示)，如图139所示，其在下文中被作为实例描述，用黑色方形表示的像素为在关注像素，获取的块是上方和下方的三个像素和左侧和右侧的一个像素，共15个像素。
数据补充单元702的差异补充单元721检测从数据选择单元701输入的差数据，基于从数据选择单元701的水平/垂直确定单元711输入的水平方向或垂直方向的确定结果，执行在下文的最小二乘法方案中需要的补充处理，并将补充结果输出给连续性方向推导单元703。尤其是，在多个像素中，将在由水平/垂直确定单元711确定的方向上的相邻像素i与像素(i+1)的像素值之差的数据取为yi，并且在对应于关注像素获取的块由n个像素构成的情况下，差补充单元721计算每个水平方向或垂直方向上的(y1)2+(y2)2+(y3)2+...的补充，并将其输出给连续性方向推导单元703。
一旦获得为在从数据选择单元701输入的对应于关注像素的获取块中包括的每个像素设置的块中包括的像素的像素值的最大值和最小值(下文中称为动态范围块(对于在下述图139中示出的获取的块中的像素，在像素pix12的上方和下方3个像素共7个像素的动态范围块被示出为由黑实线围绕的动态范围块B1))，最大最小值获取单元722从其差计算(检测)动态范围Dri(在对应于获取块中第i个像素的动态范围块中包括的像素的像素值的最大值和最小值之差)，并将其输出到差值补充单元723。
差值补充单元723检测从最大最小值获取单元722输入的动态范围Dri和从数据选择单元701输入的差值数据，基于动态范围Dri和已经检测的差值数据对从数据选择单元701的水平/垂直确定单元711输入的每个水平方向或垂直方向补充通过将动态范围Dri乘以差值数据yi而获得的值，并将计算结果输出给连续性方向推导单元703。也就是说，差值补充单元723输出的计算结果在每个水平方向或垂直方向上为y1×Dr1+y2×Dr2+y3×Dr3+... 连续性方向推导单元703的连续性方向计算单元731基于从数据补充单元702输入的在每个水平方向或垂直方向上的补充计算结果计算细线的角度(方向)，并将计算的角度输出作为连续性信息。
现在，将描述计算细线的方向(细线的梯度或角度)的方法。
放大如图127A所示的输入图像中由白线围绕的部分示出了，细线(白线在图中右上方向上对角地延伸)实际如图127B所示。也就是说，在现实世界中，图像如图127C所示，细线水平(图127C中的更亮的阴影部分)和背景水平两个水平形成了边界，而没有其它的水平。相反，由传感器2拍摄的图像，即在像素增量上成像的图像，是其中如图127B所示的图像，存在在细线方向上的块的重复阵列，所述块由在垂直方向上排列的多个像素构成，其中由于积分效应使得背景水平和细线水平在空间上混合，使得其比值(混合比值)根据特定图形而变化。注意，在图127B中，每个方形栅格表示CCD的一个像素，可以认为其每边的长度为d_CCD。另外，被格形填充的栅格部分是像素值的最小值，等于背景水平，在其它阴影填充部分中，阴影密度越低，则具有的像素值更大(因此，没有阴影的白色栅格具有最大像素值)。
在如图128A所示细线存在于现实世界的背景上的情况下，可以将现实世界的图像显示为如图128B所示，其中将水平作为水平轴，并将对应于水平的部分的图像的面积作为垂直轴，示出了对应于图像中的背景的面积与对应于细线的部分的面积之间的在图像中的占用的面积的关系。
同样，如图129A所示，由传感器2拍摄的图像是这样的图像，其中存在在细线存在的方向上块的重复阵列，所述块由具有混合的背景水平和细线水平的像素构成，所述像素在垂直方向上排列在背景水平的像素中，使得其混合比值根据特定图形而变化，并且从而，如图129B所示，通过空间混合背景和细线获得由这样的像素构成的混合空间区域，所述像素的水平在背景水平(背景区域)和细线水平之间。现在，虽然图129B中的垂直轴为像素个数，但是每个像素的面积是(d_CDD)2，从而可以说图129B中的像素值水平与像素个数之间的关系与像素值水平与面积分布之间的关系相同。
关于图130A中(31像素×31像素的图像)示出的实际图像中的由白线围绕的部分获得了相同的结果，如图130B所示。在图130B中，图130A中的背景部分(在图130A中表现为黑色的部分)具有多个低像素值水平的像素的分布(像素值为约20)，这些很少变化的部分构成了图像的背景区域。相反，图130B中像素值水平不低的部分，即像素值水平分布为约40到约160的像素是属于构成细线图像的空间混合区域的像素，并且，当每个像素值的像素个数不多时，其被分布在宽的像素值范围上。
现在，例如沿图131A中所示的箭头方向(Y座标方向)观察现实世界图像中的背景和细线中的每个的水平，其如图131B所示地变化。也就是说，从箭头开始到细线的背景区域具有较低的背景水平，细线区域具有高水平的细线水平，并且通过细线区域返回到背景区域使得返回到低水平的背景水平。因此，这形成了脉冲形的波形，其中只有细线区域为高水平。
相反，在由传感器2拍摄的图像中，图132B中示出了对应于图131A中的箭头的图132A中X＝X1空间方向上的像素(在图132A中由黑点表示的像素)的像素值与这些像素的空间方向Y之间的关系。注意，在图132A中，沿右上延伸的两条白线之间表示现实世界图像的图像中的细线。
也就是说，如图132B所示，对应于图132A中的中心像素的像素具有最大的像素值，从而像素的像素值当空间方向Y的位置从图的底部移向中心像素时增大，然后当通过中心位置后逐渐减小。从而，如图132B所示形成峰形波形。另外，对应于图132A中X＝X0和X2的空间方向的像素的像素值的变化也具有相同的形状，只是峰值位置根据细线的梯度在空间方向Y上移动了。
即使在例如如图133A所示的由传感器2实际拍摄的图像的情况下，仍可以获得同样的结果，如图133B所示。也就是说，图133B示出了在图133A中的图像中由白线围出的范围中的细线附近的像素值在每个预定空间方向X(图中，X＝561、562、563)对应于空间方向Y的像素值变化。这样，由实际传感器2拍摄的图像也就有波形，其中X＝561时，峰值在Y＝730；X＝562时，峰值在Y＝705；以及X＝563时，峰值在Y＝685。
从而，表示现实世界图像的细线附近的水平变化的波形为脉冲波形，而表示由传感器2拍摄的图像中的像素值变化的波形为峰形波形。
也就是说，换句话说，现实世界图像的水平为如图131B所示的波形，但是由于经过由传感器2的拍摄在成像的图像的变化中发生了畸变，并且，因此可以说，这变成了与现实世界图像不同的波形(其中丢失了现实世界的信息)，如图132B所示。
因此，设置用于从由传感器2获得的图像数据近似描述现实世界的模型(相当于图123中的模型705)，以从由传感器2拍摄的图像获得现实世界图像的连续性信息。例如，在细线的情况中，如图134所示，设置现实世界图像。也就是说，这样设置参数，将在图像左边的具有背景部分的水平设置为B1，将在图像右边的背景部分水平设置为B2，将细线部分的水平设置为L，将细线的混合比值设置为α，将细线的宽度设置为W，以及将细线与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的模拟函数，并从模拟函数获得细线的角度(与参考轴的梯度或角度)。
此时，可以将背景区域的左边和右边模拟为相同，从而被统一为B(＝B1＝B2)，如图135所示。另外，细线的宽度为一个或更多个像素。当利用传感器2拍摄这样设置的现实世界时，将拍摄的图像成像为如图136A所示。注意，在图136A中，向右上方延伸的两个白线之间的空间表示现实世界图像中的细线。
也就是说，在现实世界的细线位置上的像素的水平最接近细线的水平，因此当在垂直方向(空间方向Y)上远离细线时像素值减小，并且在不接触细线区域的位置上的像素，即背景区域像素具有背景值的像素值。这里，位于细线区域和背景区域之间的像素的像素值具有这样的像素值，其中背景水平的像素值B与细线水平L的像素值L以混合比值α混合。
在通过这样取成像的图像中的每个像素作为关注像素的情况中，数据获取单元712选取对应于关注像素的获取块的像素，选取构成选取的获取块的每个像素的动态范围块，以及从构成动态范围块的像素选取具有最大像素值的像素和具有最小像素值的像素。也就是说，如图136A所示，在选取对应于获取块中的预定像素(在图中一个栅格中用黑实线描述的方格的像素pix4)的动态范围块(例如图中由黑实线围绕的7个像素pix1到7)中的像素的情况中，如图136A所示，对应于每个像素的现实世界的图像如图136B所示。
也就是说，如图136B所示，在像素pix1中，左边占约1/8的面积的部分是背景区域，而右边占约7/8的面积的部分是细线区域。在像素pix2中，基本上整个区域是细线区域。在像素pix3中，左边占约7/8的面积的部分是细线区域，而右边占约1/8的面积的部分是背景区域。在像素pix4中，左边占约2/3的面积的部分是细线区域，而右边占约1/3的面积的部分是背景区域。在像素pix5中，左边占约1/3的面积的部分是细线区域，而右边占约2/3的面积的部分是背景部分。在像素pix6中，左边占1/8的面积的部分是细线区域，而右边占约7/8的面积的部分是背景区域。另外，在像素pix7中，整个区域是背景区域。
因此，图136A和图136B中所示的动态范围块中的像素pix1到pix7的像素值是这样的像素值，其中背景水平和细线水平以对应于细线区域和背景区域的比例的混合比值混合。
也就是说，像素pix1的背景水平前景水平的混合比值为约1∶7，像素pix2的背景水平前景水平的混合比值为约0∶1，像素pix3的背景水平前景水平的混合比值为约1∶7，像素pix4的背景水平前景水平的混合比值为约1∶2，像素pix5的背景水平前景水平的混合比值为约2∶1，像素pix6的背景水平前景水平的混合比值为约7∶1，以及像素pix7的背景水平前景水平的混合比值为约1∶0。
因此，在选取的动态范围块中的像素pix1到pix7的像素值中，像素pix2的最大，其后是像素pix1和pix3，然后以像素pix4、5、6和7的像素值次序。因此，在如图136B所示的情况中，最大值是像素pix2的像素值，以及最小值是像素pix7的像素值。
另外，如图137A所示，可以说细线的方向是其中的像素连续具有最大像素值的方向，因此，其中排列具有最大值的像素的方向是细线的方向。
现在，表示细线方向的梯度Gf1是相对于空间方向X上的单位长度的在空间方向Y上的变化比(距离变化)，从而，在例如图137A中的图示情况下，图中相对于空间方向X上的一个像素的距离的空间方向Y上的距离为梯度Gf1。
空间方向X0到X2上的空间方向Y上的像素值的变化使得每个空间方向X的峰形波形以预定间隔重复，如图137B所示。如上所述，细线的方向在由传感器2拍摄的图像中是其中连续具有最大值的像素的方向，从而其上为空间方向X上的最大值的空间方向Y上的间隔S为细线的梯度Gf1。也就是说，如图137C所示，垂直方向上相对于水平方向上一个像素距离的变化量为Gf1。因此，当以对应于其梯度的水平方向作为参考轴，并将细线与其的角度表达为θ，如图137C所示，则可以将细线的梯度Gf1(对应于以水平方向作为参考轴的角度)表达为在下面公式(69)中示出的关系。
θ＝Tan-1(Gf1)(＝Tan-1(S))公式(69) 另外，在建立例如如图135所示的模型的情况中，还假设空间方向Y上的像素的像素值之间的关系使得如图137B所示的峰形波形由理想三角形形成(等腰三角波形，其中引导边沿或延伸边沿线性变化)，并且如图138所示，其中在预定关注像素的空间方向X上、在空间方向Y上存在的像素的像素值的最大值为Max＝L(这里，像素值对应于现实世界的细线的水平)，以及最小值为Min＝B(这里，像素值对应于现实世界的背景的水平)，如下面公式(70)所示的关系成立。
L-B＝Gf1×d_y公式(70) 这里，d_y表示空间方向Y上的像素之间的像素值之差。
也就是说，空间方向中的Gf1越大，细线越接近垂直，从而峰形波形为具有更大的底的等腰三角形的波形，相反，梯度S越小，波形的等腰三角形的底越小。因此，梯度Gf1越大，空间方向Y上的像素之间的像素值之差d_y越小，而梯度S越小，空间方向Y上的像素之间的像素值之差d_y越大。
因此，通过获得使上述公式(70)成立的梯度Gf1，使得可以获得细线相对于参考轴的角度θ。公式(70)是以Gf1为变量的单变量函数，因此这可以通过利用一组关注像素附近(垂直方向上)的像素之间的像素值之差d_y、以及最大值和最小值之差(L-B)获得，然而，如上所述，这使用了这样的近似表达，所述表达假设空间方向Y上的像素值的变化采用理想三角形，从而对对应于关注像素的选取块的每个像素选取动态范围块，并还从其最大值和最小值获得动态范围Dr，以及通过最小二乘法，利用空间方向Y上的像素之间的像素值之差d_y，对选取块中的每个像素，统计地获得动态范围Dr。
现在，在开始描述通过最小二乘法的统计处理之前，首先详细描述选取块和动态范围块。
例如如图139所示，选取的块可以是在空间方向Y上在关注像素(图中其中用黑实线画出的方形的栅格的像素)上方和下方的三个像素、以及在空间方向X上在右侧和左侧的一个像素，共15个像素，或类似的等。另外，在该情况中，对于选取块中的每个像素之间的像素值之差d_y，例如将对应于像素pix11的差表达为d_y11，在空间方向X＝X0的情况下，获得在像素pix11和pix12、pix12和pix13、pix13和pix14、pix15和pix16、以及pix16和pix17之间的像素值之差d_y11到d_y16。这里，对于空间方向X＝X1和X2等以同样的方法获得像素之间的像素值之差。从而，存在18个像素之间的像素值之差d_y。
另外，关于选取块的像素，基于水平/垂直确定单元711的确定结果为这样的情况确定例如关于pix11，动态范围块的像素在垂直方向上，从而如图139所示，取像素pix11以及其垂直方向(空间方向Y)上的上方和下方各3个像素，从而动态范围块B1的范围为7个像素，获得在该动态范围块B1中的像素的像素值的最大值和最小值，并还将从最大值和最小值获得的动态范围取为动态范围Dr11。同样，从图139中以相同方式示出的动态范围块B2的7个像素获得关于选取块的像素pix12的动态范围Dr12。从而基于对选取块中的18个像素差d_yi和相应的动态范围Dri的组合，利用最小二乘法统计地获得梯度Gf1。
接着，将描述单变量最小二乘法方案。假设这里水平/垂直确定单元711的确定结果是垂直方向。
单变量最小二乘法方案是用于获得例如由预测值Dri_c构成的直线的梯度Gf1，所述直线到图140中全部由黑点表示的实际测量值的距离最小。从而，从基于在上述公式(70)中表示的关系的下述技术获得梯度S。
也就是说，以最大值和最小值之差作为动态范围Dr，可以将上述公式(70)描述为下面的公式(71)。
Dr＝Gf1×a_y公式(71) 从而，通过将选取块中的每个像素之间的差d_yi代入上述公式(71)可以获得动态范围Dri_c。因此，下面的公式(72)的关系满足每个像素。
Dri_c＝Gf1×d_yi公式(72) 这里，差d_yi是每个像素i在空间方向Y上的像素之间的像素值之差(例如，与像素i上方或下方相邻的像素的像素值之差)，以及Dri_c是当公式(70)关于像素i成立时获得的动态范围。
如上所述，这里使用的最小二乘法是用于获得梯度Gf1的方法，其中选取块的像素i的动态范围Dri_c与作为利用参考图136A和图136B所述的方法获得的像素i的实际测量值的动态范围Dri_r的差方和Q对于图像中的所有像素最小。因此，通过下面的公式(73)可以获得差方和Q。
公式(73) 公式(73)中示出的差方和Q是二次函数，其采用关于变量Gf1(梯度Gf1)的如图141所示的下凸曲线，因此其上梯度Gf1最小的Gf1min是最小二乘法的解。
对公式(73)中的差方和Q的取对变量Gf1的微分，获得dQ/dGf1，如公式(74)所示。
公式(74) 对于公式(74)，采用图141中所示的差方和Q的最小值的Gf1min是0，从而通过扩展其中公式(74)为0的公式获得具有下面公式(75)的梯度Gf1。
公式(75) 上述公式(75)就是所谓的单变量(梯度Gf1)的正规方程。
从而，通过将获得的梯度Gf1代入上述公式(69)，获得对应于细线的梯度Gf1的以水平方向为参考轴的细线角度θ。
现在，在上述描述中，已经描述了这样的情况，其中关注像素在细线上，细线在以水平方向为参考轴的45度≤θ＜135度的角度范围内，但是在这样的情况中，其中关注像素在细线上，细线接近水平方向，在以水平方向为参考轴的0度≤θ＜45度或135≤θ＜108度的角度范围内，与像素i在水平方向上的相邻像素之间的像素值之差为d_xi，并以同样的方法，在从多个像素获得对应于像素i的最大像素值或最小像素值时，从相对于像素i的水平方向上的多个像素中选择将要选取的动态范围块的像素。在该情况的处理中，只是简单地替换上述中水平方向和垂直方向之间的关系，因此省略对其的描述。
另外，类似地处理可以用于获得对应于二值边缘的梯度的角度。
也就是说，放大输入图像中例如图142A中由白线包围的部分，示出了图像的边缘部分(图中在黑色横幅上以白色书写的叉形符号的下部)(下文中，由两个值水平构成的图像的边缘部分还称为二值边缘)实际如图142B所示。也就是说，在现实世界，图像具有由两种水平第一水平(横幅的场水平)和第二水平(符号水平(图142C中具有低浓度的阴影部分))形成的边界，而不存在其它水平。相反，在由传感器2拍摄的图像中，即以像素增量拍摄到的图像，其中排列第一水平像素的部分和其中排列第二水平的像素的部分在一个区域上相邻，在所述区域中，在这样的方向上存在重复的阵列，在所述方向上，边缘表现为由像素构成的块，所述像素是在空间上混合第一水平和第二水平所得，并排列在垂直方向上，从而其比值(混合比值)根据特定图形变化。
也就是说，如图143A所示，关于空间方向X＝X0、X1以及X2，空间方向Y上的像素值的各变化如图143B所示，像素值是从图的底部到接近二值边缘(图143A中朝向右上的直线)边界为预定最小像素值，但是像素值在二值边缘边界附近逐渐增大，并在图中穿过边缘的点PE上，像素值到达预定最大值。尤其是，空间方向X＝X0的变化使得像素值在经过具有像素值的最小值的点Ps后像素值逐渐增大，并到达像素值为最大值的点P0，如图143B所示。相比于此，在空间方向X＝X1上的像素的像素值变化表现为在空间方向上偏移的波形，并在图中通过点P1增大到像素值的最大值，其中像素值从像素值的最小值逐渐增大的位置在空间方向Y的正向上具有方向偏移，如图143B所示。另外，在空间方向X＝X2上空间方向Y中的像素值的变化经过图中的P2点而减小，其在空间方向Y的正方向上继续平移，并从像素值的最大值变到最小值。
在实际图像中用白线包围的部分上还可以观察类似的趋势。也就 是说，在图144A中的实际图像(31像素×31像素图像)中由白线包围的部分中，背景部分(图144A中显示为黑色的部分)分布由如图144B所示的具有低像素值的多个像素(像素值为约90)，这些具有较少变化的部分形成图像的背景区域。相反，图144B中像素值不低的部分，即像素值分布在约100到200的像素是属于符号区域和背景区域之间的空间混合区域的像素的分布，当每个像素值的像素个数较少时，该分布覆盖宽范围的像素值。另外，具有高像素值的符号区域中的多个像素(图144A中显示为白色的部分)分布在示为220的像素值附近。
因此，图145B示出了在图145A所示的图像边缘，对于预定空间方向X，在空间方向Y上的像素值的变化。
也就是说，图145B示出了关于图145A的图像中由白线围绕的范围的边缘附近的像素值，对于每个预定空间方向X(图中，X＝658、659、660)，像素值对应于空间方向Y的变化。可以看到，在由实际的传感器2等拍摄的图像中，当X＝658，像素值在Y＝374附近开始增大(图中由黑色圆形表示的分布)，并到达在X＝382附近的最大值。另外，当X＝659，像素值在Y＝378附近开始增大，其在空间方向Y的正向上被平移(图中由黑色三角形表示的分布)，并到达在X＝386附近的最大值。另外，当X＝660时，像素值在Y＝382附近开始增大，其在空间方向Y的正向上被进一步平移(图中由黑色方形表示的分布)，并到达在X＝390附近的最大值。
因此，为了从由传感器2拍摄的图像中获得现实世界的图像的连续性信息，建立模型以从由传感器2获取的图像数据近似描述现实世界。例如，在二值边缘的情况中，如图146所示设置现实世界图像。也就是说，这样设置参数，将在图像左边的符号部分水平设置为V1，将在图像右边的符号部分水平设置为V2，将在二值边缘附近的像素的混合比值设置为α，以及将边缘与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的函数，并从模拟函数获得边缘的方向(与参考轴的梯度或角度)。
这里，表示边缘方向的梯度是相对于空间方向X上的单位距离的在空间方向Y上的变化比(距离变化)，从而，在例如图147A中的图示情况下，图中相对于空间方向X上的一个像素距离的空间方向Y上的距离为梯度。
空间方向X0到X2每一个上的空间方向Y上的像素值的变化使得每个空间方向X的相同波形以预定间隔重复，如图147B所示。如上所述，边缘的方向在由传感器2拍摄的图像中是其中在空间上连续发生类似的像素值变化(在该情况下，在预定空间方向Y上的像素值变化从最小值变化到最大值)的方向，从而对于每个空间方向X，在像素值在空间方向Y上开始变化的位置、或空间方向Y上变化结束的位置上的间隔S为边缘的梯度Gfe。也就是说，如图147C所示，垂直方向上相对于水平方向上一个像素距离的变化量为梯度Gfe。
这里，该关系与关于上述参考图137A到C描述的细线的梯度Gf1的关系相同。因此，关系表述式相同。也就是说，在二值边缘情况下的关系式如图148所示，以背景区域的像素值为V1，以符号区域的像素值为V2，每个作为最小值和最大值。另外，以靠近边缘的像素的混合比值为α，以边缘梯度为Gfe，成立的关系式与上述公式(69)到(71)相同(其中用Gfe代替Gf1)。
因此，图124所示的数据连续性检测单元101可以利用相同的处理检测对应于细线的梯度的角度，以及对应于边缘的梯度的角度作为数据连续性信息。因此，下面，梯度将同指细线的梯度和二值边缘的梯度，并称为梯度Gf。另外，在上述公式(73)到(75)中的梯度Gf1可以是Gfe，因此，可以由Gf替换。
接着，将参考图149中的流程图描述检测数据连续性的处理。
在步骤S701，水平/垂直确定单元711起动计数器T，其识别输入图像的每个像素。
在步骤S702，水平/垂直确定单元711进行处理以选取在下面步骤中需要的数据。
这里，将参考图150的流程图描述用于选取数据的处理。
在步骤S711中，如参考图125描述的，对于每个关注像素T，数据选择单元701的水平/垂直确定单元711计算关于在水平、垂直和对角方向上相邻的9个像素的在水平方向上的像素的像素值的像素值之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)，并获得其差(hidff-vdiff)；在(hidff-vdiff)≥0并且关注像素T取水平方向为参考轴的情况下，确定像素接近靠近垂直方向的细线或二值边缘，其中与参考轴的角度θ为45度≤θ＜135度，并将表示使用的选取块对应于垂直方向的确定结果输出给数据获取单元712和数据补充单元702。
另一方面，在(hidff-vdiff)＜0并且关注像素取水平方向为参考轴的情况下，水平/垂直确定单元711确定像素接近靠近水平方向的细线或边缘，其中细线或二值边缘与参考轴的角度θ为0度≤θ＜45度或135度≤θ＜180度，并将表示使用的选取块对应于水平方向的确定结果输出给数据获取单元712和数据补充单元702。
也就是说，细线或二值边缘的梯度更接近垂直方向表示，例如如图131A所示，图中箭头交叉的细线部分更大，因此设置在垂直方向上具有增加个数的像素的选取块(设置垂直长的选取块)。同样，在细线的梯度更靠近水平方向的情况下，设置在水平方向上具有增加个数的像素的选取块(设置水平长的选取块)。这样，不需要增加不必的计算量而可以计算精确最大值和最小值。
在步骤S712中，数据获取单元712选取对应于从水平/垂直确定单元711输入的表示关注像素的水平方向或垂直方向的确定结果的选取块的像素。也就是说，例如如图139所示，选取以关注像素为中心的(水平方向上的3个像素)×(垂直方向上的7个像素)共21个像素作为选取块并存储。
在步骤S713，数据获取单元712选取对应于如下方向的动态范围块的像素并将其存储，所述方向对应于对选取块中的每个像素的水平/垂直确定单元711的确定结果。也就是说，如上文参考图139描述的，在该情况下，对于例如选取块的像素pix11，水平/垂直确定单元711的确定结果表示垂直方向，从而数据获取单元712选取在垂直方向上的动态范围块B1，并以同样的方法选取像素pix12的动态范围块B2。并同样地选取其它选取块的动态范围块。
也就是说，利用该数据选取处理(选择将要处理的区域)，将用于计算关于特定关注像素T的正规方程所需的像素信息存储在数据获取单元712中。
这里，返回到图149中的流程。
在步骤S703，数据补充单元702进行处理以补充正规方程(公式(74))中每项所需的值。
这里，将参考图151的流程图描述对正规方程的补充处理。
在步骤S721中，差值补充单元721根据数据选择单元701的水平/垂直确定单元711的确定结果，获得(检测)存储在数据获取单元712中的选取块的像素之间的像素值之差，并将其升高到第二阶(平方)并补充。也就是说，在水平/垂直确定单元711的确定结果是垂直方向的情况下，差值补充单元721获得垂直方向中的选取块的每个像素的相邻像素的像素值之差，并将其平方和补充。同样，在水平/垂直确定单元711的确定结果是水平方向的情况下，差值补充单元721获得水平方向中的选取块的每个像素的相邻像素的像素值之差，并将其平方和补充。从而，差值补充单元721产生各项的差方和作为上述公式(75)中的分母，并将其存储。
在步骤S722中，最大最小值获取单元722获得存储在数据获取单元712中的动态范围块中包括的像素的像素值的最大值和最小值，并在步骤S723中，从最大值和最小值获得(检测)动态范围，并将其输出给差值补充单元723。也就是说，在如图136B所示的由像素pix1到pix7构成的7像素动态范围块的情况下，检测出pix2的像素值为最大值，检测出pix7的像素值为最小值，以及获得其差作为动态范围。
在步骤S724中，差值补充单元723从存储在数据获取单元712中的选取块的像素，获得在对应于数据选择单元701的水平/垂直确定单元711的确定结果的方向上的相邻像素之间像素值之差，并补充由从最大最小值获取单元722输入的动态范围相乘的值。也就是说，差值补充单元721产生各项和作为上述公式(75)中的分子，并将其存储。
这里，返回到对图149中的流程图的描述。
在步骤S704中，差值补充单元721确定像素之间的像素值之差(在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差)是否被补充给选取块的所有像素，在确定例如像素之间的像素值之差没有被补充给选取块的所有像素时，流程返回步骤S702，并重复后面的处理。也就是说，重复步骤S702到步骤S704的处理直到确定像素之间的像素值之差已经被补充给选取块的所有像素。
当在步骤S704中确定像素之间的像素值之差已经被补充给选取块的所有像素的情况下，在步骤S705，差值补充单元721和723将存储在其中的补充结果输出给连续性方向推导单元703。
在步骤S706，连续性方向计算单元731利用最小二乘法求解上述公式(75)中给出的正规方程，所述求基于从数据补充单元702的差值补充单元721输入的获取块中的像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值的差方和；从差值补充单元723输入的获取块中像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差；以及对应于获得的块的像素的动态范围的乘积的和，从而统计地计算并输出表示连续性方向的角度(表示细线或二值边缘的梯度的角度)，作为关注像素的数据连续性信息。
在步骤S707中，数据获取单元712确定是否已经对所有输入图像的像素进行处理，在确定仍未对输入图像的所有像素处理的情况下，即仍没有输出输入图像的所有像素的细线或二值边缘的角度信息的情况下，在步骤S708中对计数器T加1，并且过程返回步骤S702。也就是说，重复步骤S702到步骤S708的处理，直到变化要处理的输入图像的像素，并对输入图像的所有像素进行处理。可以根据例如栅格扫描等由计数器T改变像素，或根据其它规则顺序改变。
当在步骤S707中确定已经对输入图像的所有像素进行处理的情况下，在步骤S709，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，处理返回步骤S701，并重复下面的处理。
当在步骤S709中确定不存在下一个输入图像时，处理结束。
根据上述处理，检测出细线或二值边缘的角度作为连续性信息并输出。
通过该统计处理获得的细线或二值边缘的角度近似地匹配利用相关性获得的细线或二值边缘的角度。也就是说，对于如图152A所示的图像中由白线围绕的范围的图像，如图152B所示，对于细线的在水平方向上的预定坐标的在空间方向Y上的梯度的变化表示通过利用相关性的方法获得的细线梯度的角度(图中的黑色圆形)与通过利用图124中的数据连续性检测单元101进行统计处理获得的细线角度(图中的黑色三角形)在细线附近的空间方向Y的坐标上近似符合。注意，在图152B中，在图中黑线之间的空间方向Y＝680到730是在细线上的坐标。
同样，对于如图153A所示的图像中由白线围绕的范围的图像，如图153B所示，对于二值边缘的在水平方向上的预定坐标的在空间方向Y上的梯度的变化表示通过利用相关性的方法获得的二值边缘的梯度的角度(图中的黑色圆形)与通过利用图124中的数据连续性检测单元101进行统计处理获得的二值边缘的角度(图中的黑色三角形)在细线附近的空间方向Y的坐标上近似符合。注意，在图153B中，空间方向Y＝(约)376到(约)388是在细线上的坐标。
因此，如图124所示的数据连续性检测单元101利用用于获得细线或二值边缘的角度的每个像素附近的信息，不同于利用与由预定像素构成的块的相关性的方法，可以统计地获得表示细线或二值边缘的梯度的角度(以水平方向作为参考轴的角度)作为数据连续性，并且因此，不存在如在利用相关性的方法中的根据预定角度的切换，从而，可以利用相同的处理获得所有细线或二值边缘的梯度的角度，从而可以简化处理。
另外，尽管描述了数据连续性检测单元101的实例，所述单元输出细线或二值边缘与预定参考轴的角度作为连续性信息，但是可以考虑，根据后面的处理，以改善处理效率地方式输出角度。在该情况下，数据连续性检测单元101的连续性方向推导单元703和连续性方向计算单元731可以不变地输出通过最小二乘法获得的细线或二值边缘的梯度Gf作为连续性信息。
另外，尽管描述了获得对选取块中的每个像素计算的公式(75)中的动态范围Dri_r，但是设置充分大的动态范围块，即设置较多关注像素及较多的周围像素的动态范围，将在动态范围的全部次数中选择图像中的像素的像素值的最大值和最小值。因此，可以这样设置，其中对动态范围Dri_r进行计算，其中以获得的为固定值的动态范围Dri_r作为选取块或图像数据中的像素的从最大值到最小值的动态范围，而不计算选取块的每个像素。
也就是说，可以如下面的公式(76)进行设置，通过只补充像素之间的像素值之差以获得细线的角度(梯度Gf)。通过这样固定动态范围可以简化计算处理，并以更快的速度进行处理。
公式(76) 接着，将参考图154描述数据连续性检测单元101检测像素的混合比值作为数据连续性信息。
注意，在如图154所示的数据连续性检测单元101中，对应于图124中所示的数据连续性检测单元101的部分的部分以相同的标号表示，并省略对其的描述。
在如图154所示的数据连续性检测单元101中，与图124所示的数据连续性检测单元101不同之处在于，提供数据补充单元751和混合比值推导单元761代替数据补充单元702和连续性方向推导单元703。
数据补充单元751的最大最小值获取单元752执行与图124中最大最小值获取单元722相同的处理，并获得动态范围块中像素的像素值的最大值和最小值，获得最大值和最小值的差(动态范围)，以及将其输出给补充单元753和755，并将最大值输出给差值计算单元754。
补充单元753平方由最大最小值获取单元获得的值，对选取块的所有像素进行补充，获得其和，以及将其输出给混合比值推导单元761。
差值计算单元754获得数据获取单元712获取的块中的每个像素之间的差和对应于动态范围块的最大值，并将其输出给补充单元755。
补充单元755将从最大最小值获取单元752输入的获取块的每个像素的最大值和最小值之差(动态范围)与从差值计算单元754输入的获取块中的每个像素的像素值与对应的动态范围块的最大值的差相乘，获得其和，并将其输出给混合比值推导单元761。
混合比值推导单元761的混合比值计算单元762基于从数据补充单元的补充单元753和755输入的值，通过最小二乘法统计地获得关注像素的混合比值，并将其输出作为数据连续性信息。
接着，将描述混合比值推导方法。
如图155A所示，在图像上存在细线的情况下，由传感器2拍摄的图像如图155B所示。在该图像中，关注图155B中在空间方向X＝X1上由黑色实线围绕的像素。注意，图155B中在白线之间的区域表示对应于现实世界细线区域的位置。该像素的像素值M应该是对应于背景区域的水平的像素值B和对应于细线区域的水平的像素值L之间的中间色，更具体的是，该像素值Ps应该是根据背景区域和细线区域之间的面积比值的每个水平的混合水平。因此，像素值Ps可以由下面的公式(77)表达。
Ps＝α×B+(1-α)×L公式(77) 这里，α是混合比值，尤其是，表示背景区域在关注像素中所占的面积比值。因此，可以说(1-α)表示细线区域所占的面积比值。这里，可以认为背景区域的像素是在背景中存在的对象的分量，从而可以称为背景对象分量。另外，可以认为细线区域的像素是在相对于背景对象的前景中存在的对象的分量，从而可以称为前景对象分量。
从而，可以通过扩展公式(77)由下面的公式(78)表达混合比值α。
α＝(Ps-L)/(B-L)公式(78) 另外，在这该情况下，假设像素值位于横跨第一像素值(像素值B)区域和第二像素值(像素值L)区域的位置上，因此，可以用像素值的最大值Max替换像素值L，并进而可以用像素值的最小值替换像素值B。因此，可以将混合比值α表达为下面的公式(79)。
α＝(Ps-Max)/(Min-Max)公式(79) 作为上述的结果，可以从关于关注像素的动态范围块的动态范围(等于(Min-Max))、以及关注像素与动态范围块中的像素的最大值之差获得混合比值α，但是，为了进一步改善精度，这里将通过最小二乘法统计地获得混合比值α。
也就是说，扩展上述公式(79)得到下面的公式(80)。
(Ps-Max)＝α×(Min-Max)公式(80) 在上述公式(71)的情况下，该公式(80)是单变量最小二乘方程。也就是说，在公式(71)中，通过最小二乘法获得梯度Gf，但是这里，获得混合比值α。因此，通过求解如公式(81)所示的正规方程可以统计地获得混合比值α。
公式(81) 这里，i用于标识选取块的像素。因此，在公式(81)中，选取块中的像素个数为n。
接着，将参考图156中的流程图描述利用混合比值作为数据连续性的用于检测数据连续性的处理。
在步骤S731中，水平/垂直确定单元711对计数器U进行初始化，其识别输入图像的像素。
在步骤S732中，水平/垂直确定单元711进行处理，以选取下面步骤所需的数据。注意，步骤S732的处理与参考图150中的流程图所述的处理相同，因此省略对其的描述。
在步骤S733中，数据补充单元751进行处理，以补充用于计算正规方程(这里指公式(81))的每项所需的值。
这里，将参考图157中的流程图描述用于补充正规方程的处理。
在步骤S751中，最大最小值获取单元752获取存储在数据获取单元712中的动态范围块中包含的像素的像素值的最大值和最小值，并将其中的最小值输出给差值计算单元754。
在步骤S752，最大最小值获取单元752从最大值和最小值之差获取动态范围，并将其输出给差值补充单元753和755。
在步骤S753，补充单元753对从最大最小值获取单元752输入的动态范围(Max-Min)求平方并进行补充。也就是说，补充单元753通过补充产生等于上述公式(81)中分母的值。
在步骤S754，差值计算单元754获得从最大最小值获取单元752输入的动态范围块的最大值与在选取块中当前正被处理的像素的像素值之差，并将其输出给补充单元755。
在步骤S755中，补充单元755将从最大最小值获取单元752输入的动态范围乘以从差值计算单元754输入的正被处理的像素的像素值与动态范围块的像素的最大值之差，并补充。也就是说，补充单元755产生等于上述公式(81)的分子项的值。
如上所述，数据补充单元751通过补充计算上述公式(81)的各项。
这里，返回到对图156中的流程图的描述。
在步骤S734中，差值补充单元721确定是否已结束对选取块的所有像素的补充，在确定例如对选取块的所有像素的补充仍未结束的情况下，该过程返回步骤S732，并重复随后的处理。也就是说，重复步骤S732到步骤S734的处理直到确定对选取块的所有像素的补充已经结束。
在步骤S734中，在确定对选取块的所有像素的补充已经结束的情况下，在步骤S735，补充单元753和755将存储在其中的补充结果输出给混合比值推导单元761。
在步骤S736，混合比值推导单元761的混合比值计算单元762通过最小二乘法统计地计算并输出关注像素的混合比值作为数据连续性信息，其中通过基于动态范围的平方和、以及从数据补充单元751的补充单元753和755输入的选取块的像素的像素值与动态块的最大值之差乘以动态范围的和，求解公式(81)所示的正规方程。
在步骤S737，数据获取单元712确定对输入图像中的所有像素的处理是否已经进行，在确定例如仍未进行对输入图像中的所有像素的处理的情况下，即在确定仍未输出输入图像的所有像素的混合比值的情况下，在步骤S738中，计数器加1，并且过程返回步骤S732。
也就是说，重复步骤S732到步骤S738的处理，直到改变输入图像中将要处理的像素，并对输入图像的所有像素计算混合值。可以例如根据栅格扫描等由计数器V改变像素，或根据其它规则顺序改变。
当在步骤S737中确定已经对输入图像的所有像素进行处理时，在步骤S739中，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，该过程返回步骤S731，并重复后面的处理。
当在步骤S739中确定没有下一个输入图像的情况下，处理结束。
由于上述处理，检测出像素的混合比值作为连续性信息，并输出。
图158B示出了例如根据上述技术，关于图158A所示图像中的白线内的细线图像，在预定空间方向X(＝561、562、563)上的混合比值的变化。如图158B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝563的情况下，混合比值在空间方向Y＝660附近开始上升，峰值为Y＝685附近，并下降到达Y＝710。另外，在空间方向X＝562的情况下，混合比值在空间方向Y＝680附近开始上升，峰值为Y＝705附近，并下降到达Y＝735。另外，在空间方向X＝561的情况下，混合比值在空间方向Y＝705附近开始上升，峰值为Y＝725附近，并下降到达Y＝755。
从而，如图158B所示，在连续空间方向X上的每个混合比值的变化与根据混合比值变化的像素值的变化相同(如图133B中示出的像素值的变化)，并且循环连续，因此可以理解，在细线附近的像素的混合比值被精确表示。
另外，同样，图159B示出了关于图159A所示图像中的白线内的二值边缘图像，在预定空间方向X(＝658、659、660)上的混合比值的变化。如图159B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝660的情况下，混合比值在空间方向Y＝750附近开始上升，峰值为Y＝765附近。另外，在空间方向X＝659的情况下，混合比值在空间方向Y＝760附近开始上升，峰值为Y＝775附近。另外，在空间方向X＝658的情况下，混合比值在空间方向Y＝770附近开始上升，峰值为Y＝785附近。
从而，如图159B所示，二值边缘的每个混合比值的变化与根据混合比值变化的像素值的变化近似相同(如图145B中示出的像素值的变化)，并且循环连续，因此可以理解，在二值边缘附近的像素值的混合比值被精确表示。
根据上述，通过最小二乘法可以统计地获得每个像素的混合比值作为数据连续性信息。另外，可以基于该混合比值直接产生每个像素的像素值。
另外，如果设混合比值的变化具有连续性，并且，混合比值的变化是线性的，则如下面的公式(82)表示的关系成立。
α＝m×y+n公式(82) 这里，m表示当混合比值α相对于空间方向Y变化时的梯度，另外，当混合比值α线性变化时，n相当于截距。
也就是说，如图160所示，表示混合比值的直线是表示等于背景区域水平的像素值B与等于细线水平的像素L之间的边界的直线，在该情况下，当相对空间方向Y前进单位距离时，混合比值的变化量为梯度m。
因此，将公式(82)代入公式(77)获得下面的公式(83)。
M＝(m×y+n)×B+(1-(m×y+n))×L公式(83) 另外，扩展公式(83)获得下面的公式(84) M-L＝(y×B-y×L)×m+(B-L)×n公式(84) 在公式(84)中，第一项m表示混合比值在空间方向中的梯度，第二项表示混合比值的截距。因此，可以这样设置，其中利用两个变量的最小二乘法产生正规方程以获得公式(84)中的m和n。
然而，混合比值α的梯度m是上述细线或二值边缘的梯度(上述梯度Gf)自身，因此可以这样设置，其中首先使用上述方法获得细线或二值边缘的梯度Gf，然后使用该梯度并将其代入公式(84)，从而形成关于截距项的单变量函数，并利用单变量最小二乘法获得与上述技术相同的结果。
尽管描述了用于检测细线或二值边缘在空间方向上的角度(梯度)或混合比值作为数据连续性信息的数据连续性检测单元101的上述例子，但是可以这样设置，其中通过用例如时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个，获得对应于空间方向中的角度的物理量。也就是说，对应于通过用时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个而获得的角度的物理量是对象的移动矢量(移动矢量方向)。
尤其是，如图161A所示，当对象相关于空间方向Y在时间上在图中向上移动时，对象的移动轨迹在相当于图中细线的部分示出(相比于图131A)。因此，在时间方向T上的细线的梯度表示图161A中对象的移动方向(表示对象的移动的角度)(相当于移动矢量的方向)。因此，在现实世界中，在由图161A中的箭头表示的预定时刻的帧中，如图161B所示获得脉冲形波形，其中将成为对象轨迹的部分是对象的水平(颜色)，以及其它部分是背景水平。
这样，利用传感器2成像具有移动的对象的情况下，如图162A所示，从时刻T1到T3的帧的每个像素的像素值分布都采用在空间方向Y上的峰形分布，如图162B所示。可以认为该关系与参考图132A和图132B所述的在空间方向X和Y上的关系相同。因此，在对象在帧方向T上具有移动时，可以以与利用上述细线的梯度或二值边缘的角度(梯度)信息相同的方法，获得对象的移动矢量的方向作为数据连续性信息。注意，在图162B中，帧方向T(时间方向T)中的每个栅格是构成一帧的图像的快门时间。
另外，同样，如图163A所示，对于每个帧方向T，存在对象在空间方向Y上的移动的情况下，如图163B所示，可以获得对应于对象在对应预定时刻的帧上相对于空间方向Y的移动的每个像素值。此时，图163B中由黑实线包围的像素的像素值是其中背景水平和对象水平在帧方向上以混合比值β混合的像素值，其对应于例如如图163C所示的对象的移动。
该关系与参考图155A、图155B以及图155C所述的关系相同。
另外，如图164所示，由在帧方向(时间方向)上的混合比值β可以线性近似对象的水平O和背景的水平B。该关系与参考图160所述的在空间方向上的混合比值的线性近似关系相同。
因此，利用与在空间方向中的混合比值α的情况下相同的技术可以获得在时间(帧)方向上的混合比值β作为数据连续性信息。
另外，可以这样设置，其中选择帧方向或一维空间方向，获得数据连续性角度或移动矢量方向，以及同样地选择性地获得混合比值α和β。
根据上述，投影现实世界的光信号，选择对应于图像数据中的关注像素的区域，所述图像中已丢失了现实世界光信号的部分连续性，检测选择的区域中的用于检测对应于丢失的现实世界光信号的连续性的图像数据连续性相对于参考轴的角度的特征，基于检测的特征统计地检测角度，以及基于检测的图像数据的连续性相对于参考轴的角度通过估计丢失的现实世界光信号的连续性而估计光信号，从而可获得连续性的角度(移动矢量的方向)或(时间-空间)混合比值。
接着，将参考图165描述数据连续性信息检测单元101，其将其中利用数据连续性信息进行处理的区域中的信息输出作为数据连续性信息。
角度检测单元801检测输入图像中具有连续性区域的空间方向角度，所述区域即构成图像中具有连续性的细线和二值边缘的部分，并将检测到的角度输出给现实世界估计单元802。注意，该角度检测单元801与图3中数据连续性检测单元101相同。
现实世界估计单元802基于从角度角度检测单元801输入的表示数据连续性方向的角度和输入图像的信息估计现实世界。也就是说，现实世界估计单元802从输入图像和输入图像的每个像素获得近似地描述现实世界光信号的光强分布的模拟函数的系数，并将获得的作为对现实世界的估计结果的系数输出给误差计算单元803。注意，该现实世界估计单元802与图3所示的现实世界估计单元102相同。
误差计算单元803基于从现实世界估计单元802输入的系数公式化表示近似描述的现实世界光强分布的模拟函数，并且还基于模拟函数积分对应于每个像素位置的光强，从而根据从模拟函数估计的光强分布产生每个像素的像素值，并将其输出给比较单元804，以与实际输入的像素值的差作为误差。
比较单元804比较每个像素的从误差计算单元803输入的误差与预先设置的阈值，从而分辨其中存在将被利用连续性信息处理的像素的处理区域和非处理区域，并输出分辨其中将要利用连续性信息进行处理的处理区域和非处理区域的区域信息作为连续性信息。
接着，将参考图166中的流程图描述利用图165中的数据连续性检测单元101的连续性检测处理。
角度检测单元801获取在步骤S801中输入的图像，并在S802中检测表示连续性方向的角度。尤其是，角度检测单元801检测当取水平方向为参考轴时的细线、或表示具有例如二值边缘的连续性方向的角度，并将其输出给现实世界估计单元802。
在步骤S803，现实世界估计单元802基于从角度检测单元801输入的角度信息和输入图像信息，获得由多项式构成的模拟函数f(x)的系数，所述函数近似地描述了表达现实世界的函数F(x)，并将其输出给误差计算单元803。也就是说，表达现实世界的模拟函数f(x)示出为如下面的公式(85)的初始多项式。
公式(85) 这里，wi是多项式的系数，现实世界估计单元802获得该系数wi并将其输出给误差计算单元803。另外，基于从角度检测单元801输入的角度可以获得来自连续性方向的梯度(Gf＝tan-1θ，Gf梯度，θ角度)，从而，通过代入该梯度Gf的约束条件可以用获得如下面的公式(86)所示的二元多项式描述上述公式(85)。
公式(86) 也就是说，上述公式(86)描述了通过用平移量α(＝-dy/Gfdy为在空间方向Y上的变化量)表示由于利用公式(85)描述的初始模拟函数f(x)平行于空间方向Y上移动发生的平移的宽度而获得的二元函数f(x，y)。
因此，现实世界估计单元802利用输入图像和在连续性方向上的角度信息解出上述公式(86)的每个系数wi，并将获得的系数wi输出给误差计算单元803。
这里，返回描述图166中的流程图。
在步骤S804，误差计算单元803基于现实世界估计单元802输入的系数，进行对每个像素的再积分。尤其是，误差计算单元803基于从现实世界估计单元802输入的系数如下面的公式(87)所示将上述公式(86)对每个像素积分。
公式(87) 这里，Ss表示在图167中示出的空间方向上的积分结果。另外，如图167所示，其积分范围是，在空间方向X上为xm到xm+B，在空间方向Y上为ym到ym+A。另外，在图167中，认为每个栅格(方格)表示一个像素，并且空间方向X和空间方向Y上的栅格都为1。
因此，如图168所示，误差计算单元803对每个像素进行如下面的公式(88)所示的积分算术运算，其中在模拟函数f(x，y)中所示的曲线表面的空间方向X上的积分范围是xm到xm+1，以及在空间方向Y上的范围是ym到ym+1(A＝B＝1)，并计算通过空间积分近似表达现实世界的模拟函数获得的每个像素的像素值Ps。
公式(88) 换句话说，根据该处理，误差计算单元803用作所谓的一种像素产生单元，并从模拟函数产生像素值。
在步骤S805中，误差计算单元803计算利用如上述公式(88)所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差输出给比较单元804。换句话说，误差计算单元803获得对应于如图167和168所示的积分范围(在空间方向X上为xm到xm+1，在空间方向Y上为ym到ym+1)的像素的像素值与利用在对应于像素的范围上的积分结果获得的像素值之差作为误差，并将其输出给比较单元804。
在步骤S806中，比较单元804确定利用从误差计算单元803输入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否等于预定的阈值或更小。
在步骤S806中，在确定所述误差是预定的阈值或更小的情况下，由于利用积分获得的像素值是接近输入图像的像素的像素值的值，比较单元804将用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的光强分布充分近似的函数，并在步骤S807中将正被处理的像素的区域看作其中基于连续性信息利用模拟函数进行处理的处理区域。更具体的是，比较单元804将现在处理过的像素存储在未示出的存储器中作为在随后处理区域中的像素。
另一方面，当在步骤S806中确定误差不是阈值或更小的情况下，由于通过积分获得的像素值是远离实际像素值的值，比较单元804将用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的光强分布不充分近似的函数，并在步骤S808中将正被处理的像素的区域看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理的非处理区域。更具体的是，比较单元804将现在处理过的像素的区域存储在未示出的存储器中作为随后的非处理区域。
在步骤S809中，比较单元804确定是否已经进行对所有像素的处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤S802，其中重复进行后面的处理。换句话说，重复进行步骤S802到S809中的处理，直到确定进行了其中比较利用积分获得的像素值与输入的像素值的处理，并确定该像素是否已经对所有像素确定该像素是处理区域。
在步骤S809中，在确定已经对所有像素完成其中进行对利用再积分获得的像素值与输入像素值的比较的确定处理、并且确定像素是否是处理区域后，在步骤S810中，比较单元804输出区域信息，其中关于存储在未示出的存储器中的输入图像，识别处理区域和非处理区域作为连续性信息，在处理区域中，在后面的处理中基于在空间方向上的连续性信息进行处理，而在非处理区域中，不进行基于在空间方向上的连续性信息的处理。
根据上述处理，基于通过利用基于连续性信息计算的模拟函数f(x)在对应于每个像素的区域上的积分结果获得的像素值与实际输入图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可靠存在的区域，而将除此以外的其它区域认为是非处理区域，从而，只有可靠区域可以基于空间方向中的连续性信息得到处理，并且可以进行需要的单独处理，从而可以改善处理速度，并且所述处理可以对可靠的区域单独进行，从而防止图像质量由于该处理而恶化。
接着，将参考图169描述数据连续性信息检测单元101的另一实施例，其输出其中存在将要利用数据连续性信息处理的像素的区域信息作为数据连续性信息。
移动检测单元821检测输入图像的具有连续性的区域，即在图像的帧方向上具有连续性的移动(移动矢量Vf的方向)，并将检测的移动输出给现实世界估计单元822。注意，该移动检测单元821与图3中数据连续性检测单元101相同。
现实世界估计单元822基于从移动检测单元821输入的数据连续性和输入图像信息的移动估计现实世界。具体为，现实世界估计单元822获得模拟函数的系数，所述函数基于输入的移动和输入图像的每个像素在帧方向(时间方向)上近似描述现实世界中光信号的光强分布，并将获得的系数作为在现实世界中的估计结果输出给误差计算单元823。注意，该现实世界估计单元822与图3中的现实世界估计单元102相同。
误差计算单元823形成表示现实世界在帧方向上的光强分布的模拟函数，其中基于从现实世界估计单元822输入的系数近似描述了所述现实世界，并且，从该模拟函数对每帧积分相当于每个像素位置的光强，从通过模拟函数估计的光强分布产生每个像素的像素值，并将与实际输入的像素值之差输出给比较单元824作为误差。
比较单元824通过比较从误差计算单元823输入的关于每个像素的误差与预定阈值，识别处理区域和非处理区域，在所述处理区域中存在将要利用连续性信息处理的像素，并将其中识别处理区域和非处理区域的区域信息输出作为连续性信息，其中在处理区域中利用连续性信息进行处理。
接着，将参考图170中的流程图描述利用图169的数据连续性检测单元101进行的连续性检测处理。
移动检测单元801在步骤S801中获取输入图像，并在步骤S822中检测表示连续性的移动。更具体的是，移动检测单元801检测例如物质在输入图像中的移动(移动方向矢量Vf)，并将其输出给现实世界估计单元822。
在步骤S823中，现实世界估计单元822获得由多项式构成的函数f(t)的系数，所述函数基于从移动检测单元821输入的移动信息和输入图像的信息近似地描述了表示现实世界的在帧方向上的函数F(t)，并将其输出给误差计算单元823。也就是说，表达现实世界的函数f(t)示出为如下述公式(89)的初始多项式。
公式(89) 这里，wi是多项式的系数，现实世界估计单元822获得该系数wi并将其输出给误差计算单元823。另外，基于从移动检测单元821输入的移动可以获得作为连续性的移动(Vf＝tan-1θv，Vf移动矢量在帧方向上的梯度，θv移动矢量在帧方向上的角度)，从而，通过代入该梯度的约束条件可以用如下面的公式(90)所示的二元多项式描述上述公式(89)。
公式(90) 也就是说，上述公式(90)描述了通过用平移量αt(＝-dy/Vfdy为在空间方向Y上的变化量)表示由于利用公式(89)描述的初始模拟函数f(t)平行于空间方向Y上移动发生的平移的宽度而获得的二元函数f(t，y)。
因此，现实世界估计单元822利用输入图像和连续性移动信息解出上述公式(90)的每个系数wi，并将获得的系数wi输出给误差计算单元823。
这里，返回描述图170中的流程图。
在步骤S824，误差计算单元823基于现实世界估计单元822输入的系数，在帧方向上进行对每个像素的积分。也就是说，误差计算单元823基于从现实世界估计单元822输入的系数如下面的公式(91)所示将上述公式(90)对每个像素积分。
公式(91) 这里，St表示在图171中示出的在帧方向上的积分结果。如图171所示，其积分范围是，在帧方向T上为Tm到Tm+B，在空间方向Y上为ym到ym+A。另外，在图171中，认为每个栅格(方格)表示一个像素，并且帧方向T和空间方向Y上的栅格都为1。这里“关于帧方向T为‘”是指对于一帧的数值的快门时间为1。
因此，如图172所示，误差计算单元823对每个像素进行如公式(92)所示的积分算术运算，其中在模拟函数f(t，y)中所示的曲线表面的帧方向T上的积分范围是Tm到Tm+1，以及在空间方向Y上的范围是ym到ym+1(A＝B＝1)，并计算从近似表达现实世界的模拟函数获得的每个像素的像素值Pt。
公式(92) 也就是说，根据该处理，误差计算单元823用作所谓的一种像素值产生单元，并从模拟函数产生像素值。
在步骤S825中，误差计算单元823计算利用如上述公式(92)所示的积分获得的像素值与输入图像的像素值之差，并将其作为误差输出给比较单元824。也就是说，误差计算单元823获得对应于如图171和172所示的积分范围(在帧方向T上为Tm到Tm+1，在空间方向Y上为ym到ym+1)的像素的像素值与利用在对应于该像素的范围上的积分结果获得的像素值之差作为误差，并将其输出给比较单元824。
在步骤S826中，比较单元824确定利用从误差计算单元823输入的积分获得的像素值与输入图像的像素值之间的误差的绝对值是否等于预定的阈值或更小。
在步骤S826中，在确定所述误差是预定阈值或更小的情况下，由于利用积分获得像素值是接近输入图像的像素的像素值的值，比较单元824将用于计算像素的像素值的模拟函数组看作利用现实世界中的光信号的光强分布充分近似的函数，并在步骤S827中将正被处理的像素的区域看作处理区域。更具体的是，比较单元824将现在处理过的像素存储在未示出的存储器中作为在后续处理区域中的像素。
另一方面，当在步骤S826中确定误差不是阈值或更小的情况下，由于通过积分获得的像素值是远离实际像素值的值，比较单元824将用于计算像素的像素值的模拟函数看作利用现实世界中的光信号的光强分布不充分近似的函数，并在步骤S828中将正被处理的像素的区域看作其中在随后的阶段不进行基于连续性信息利用模拟函数的处理的非处理区域。更具体的是，比较单元824将现在处理过的像素的区域存储在未示出的存储器中作为后续的非处理区域。
在步骤S829中，比较单元824确定是否已经进行对所有像素的处理，在确定仍未对所有的像素进行处理的情况下，处理返回步骤S822，其中重复进行后面的处理。换句话说，重复进行步骤S822到S829中的处理，直到已经对所有像素完成了确定处理，其中比较利用积分获得的像素值与输入的像素值的处理，并确定该像素是否是处理区域。
在步骤S829中，在确定已经对所有像素完成其中对利用再积分获得的像素值与输入像素值进行比较、并且确定像素是否是处理区域的确定处理后，在步骤S830中，比较单元824输出区域信息，其中关于存储在未示出的存储器中的输入图像，识别处理区域和非处理区域作为连续性信息，在处理区域中，在后面的处理中基于在帧方向上的连续性信息进行处理，而在非处理区域中，不进行基于在帧方向上的连续性信息的处理。
根据上述处理，基于通过利用基于连续性信息计算的模拟函数f(t)在对应于每个像素的区域上的积分结果获得的像素值与实际输入图像的像素值之间的误差，对每个区域(每个像素)进行对模拟函数的表达的可靠性的评估，从而，将具有最小误差的区域认为是处理区域，即只有其中的像素的通过基于模拟函数的积分获得的像素值是可靠存在的区域，而将除此以外的其它区域认为是非处理区域，从而，只有可靠区域可以基于帧方向中的连续性信息得到处理，并且可以进行必要的单独处理，从而可以提高处理速度，并且所述处理可以对可靠的区域单独进行，从而防止图像质量由于该处理而恶化。
可以这样设置，其中结合图165和图169中的数据连续性信息检测单元101的结构，选择任意一维空间方向和时间方向，以及选择性地输出区域信息。
根据上述结构，通过每个具有空间-时间积分效应的传感器的多个检测元件投影现实世界中的光信号，检测由多个像素构成的图像数据的数据连续性，所述像素具有由检测元件投影的像素值，其中丢失了现实世界的光信号的部分连续性，在对应于检测的连续性的每个像素的像素值的条件下模拟对应于现实世界的光信号的函数，并且图像数据的对应于在空间和时间方向的一个一维方向中的至少一个位置是利用至少在该一维方向上的积分效应获取的像素值，因此，检测通过估计对应于现实世界的光信号的函数、并至少在对应于初始方向上的每个像素的增量上对所估计的函数而进行积分获得的像素值与每个像素的像素值的差值，并根据该差值选择性地输出所述函数，从而，可以将这样的单独区域认为是处理区域，其中具有通过基于模拟函数的积分获得的像素值的像素可靠地存在，并且，将除此以外的其它区域认为是非处理区域，可以基于帧方向中的连续性信息单独地处理可靠区域，从而可以单独进行必要的处理，从而可以提高处理速度，另外，由于可以单独地对可靠区域进行处理，防止图像质量由于该处理而恶化。
接着，将描述对现实世界1的信号的估计。
图173是示出现实世界估计单元102的结构的方框图。
利用具有图173所示结构的现实世界估计单元102，基于输入图像和从连续性检测单元101提供的数据连续性信息，检测作为现实世界1中的信号的细线的宽度，并估计细线的水平(现实世界1的信号的光强)。
线宽检测单元2101基于从连续性检测单元101提供的、表示用作由像素构成的细线区域、其上投影有细线图像的连续性区域的数据连续性信息检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线宽度信息与数据连续性信息一起提供给信号水平估计单元2102。
信号水平估计单元2102基于输入图像、从线宽检测单元2101提供的表示细线宽度的细线宽度信息以及数据连续性信息估计细线图像的水平，所述图像用作现实世界1中的信号，即光强水平，并输出表示细线宽度和细线图像水平的现实世界估计信息。
图174和图175描述了检测现实世界1的信号中的细线的宽度的处理。
在图174和图175中，用粗线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示其上投影有细线图像的由像素构成的细线区域，以及圆形表示细线区域的重心。在图174和图175中，阴影线表示投影到传感器2上的细线图像。换句话说，可以认为阴影线表示其中将现实世界1的细线图像投影到传感器2上的区域。
在图174和图175中，S表示将要从细线区域的重心位置计算出的梯度，D是细线区域的重复。这里，细线区域彼此相邻，从而梯度S是像素增量中的重心之间的距离。另外，细线区域的重复D表示在两个细线区域中彼此相邻的像素个数。
在图174和图175中，W表示细线的宽度。
在图174中，梯度为2，重复D为2。
在图175中，梯度为3，重复D为1。
细线区域彼此相邻，并在细线区域彼此相邻方向上的其重心之间的距离为一个像素，从而WD＝1S成立，可以通过重复D/梯度S获得细线宽度W。
例如，如图174所示，当梯度S为2，重复D为2，2/2为1，因此细线宽度W为1。另外，例如，如图175所示，当梯度S为3，重复D为1，则细线宽度为1/3。
线宽检测单元2101从而基于从细线区域的重心位置计算的梯度和细线区域的重复检测细线的宽度。
图176是描述了用于估计现实世界1中的信号的细线信号的水平的处理的图示。
在图176中，用粗线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示由其上投影有细线图像的像素构成的细线区域。在图176中，E表示在细线区域中的像素增量上的细线区域的长度，D表示细线区域的重复(相邻于另一个细线区域的像素个数)。
当处理增量(细线区域)内的水平不变时，对细线信号的水平进行近似，并当水平等于对应于相邻像素的像素值的水平时，对除细线以外的图像的水平进行近似，其中细线被投影为像素的像素值。
将细线信号的水平表示为C，可以认为，对于被投影在细线区域上的信号(图像)，图中投影细线信号的部分的左侧部分的水平为A，图中投影细线信号的部分的右侧部分的水平为B。
这里，公式(93)成立。
细线区域的像素值之和＝(E-D)/2×A+(E-D)/2×B+D×C 公式(93) 细线宽度是不变的，细线区域的宽度为一个像素，从而在细线区域中的细线的面积(其中投影信号的部分)等于细线区域的重复D。细线区域的宽度是一个像素，从而在细线区域中的像素增量上的细线区域面积等于细线区域的长度E。
对于细线区域，细线左侧的面积为(E-D)/2。对于细线区域，细线右侧的面积为(E-D)/2。
公式(93)右边的第一项是其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于左侧的像素上的信号相同的水平，并可以被表示成公式(94)。
A＝∑αi×Ai＝∑1/(E-D)×(i+0.5)×Ai 公式(94) 在公式(94)中，Ai表示相邻于左侧的像素的像素值。
在公式(94)中，αi表示面积比例，在所述面积中具有与被投影到相邻于左侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，αi表示与相邻于左侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。
i表示相邻于细线区域的左侧的像素的位置。
例如，在图176中，与相邻于细线区域左侧的像素的像素值A0相同、被包括在细线区域的像素的像素值中的像素值的比例为α0。在图176中，与相邻于细线区域左侧的像素的像素值A1相同、被包括在细线区域的像素的像素值中的像素值的比例为α1。在图176中，与相邻于细线区域左侧的像素的像素值A2相同、被包括在细线区域的像素的像素值中的像素值的比例为α2。
公式(93)右边第二项表示其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于右侧的像素上的信号相同的水平，并可以被表示成公式(95)。
B＝∑βj×Bj＝∑1/(E-D)×(j+0.5)×Bj 公式(95) 在公式(95)中，Bj表示相邻于右侧的像素的像素值。
在公式(95)中，βj表示面积比例，在所述面积中具有与被投影到相邻于右侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，βj表示与相邻于右侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。
j表示相邻于细线区域的右侧的像素的位置。
例如，在图176中，与相邻于细线区域右侧的像素的像素值B0相同、被包括在细线区域的像素的像素值中的像素值的比例为β0。在图176中，与相邻于细线区域右侧的像素的像素值B1相同、被包括在细线区域的像素的像素值中的像素值的比例为β1。在图176中，与相邻于细线区域右侧的像素的像素值B2相同、被包括在细线区域的像素的像素值中的像素值的比例为β2。
从而，信号水平估计单元2102通过基于公式(94)和公式(95)计算除具有被包括在细线区域中的像素值的细线以外的图像的像素值、并基于公式(93)从细线区域中的像素值除去除细线以外的图像的像素值，获得只包括细线的图像的被包括在细线区域中的像素值。随后，信号水平估计单元2102基于只包括细线的图像的像素值和细线的面积获得细线信号的水平。更具体的是，信号水平估计单元2102通过将包括具有被包括在细线区域中的像素值的细线的图像的像素值除以在细线区域中的细线的面积，即细线区域的重复D，而计算细线信号的水平。
信号水平估计单元2102输出表示现实世界1的信号中的细线宽度和细线信号水平的现实世界估计信息。
利用本发明的技术，在几何形状上描述了细线的波形，而不是像素，从而可以采用任意分辨率。
接着，将参考图177中的流程图描述对应于在步骤S102中的处理的现实世界估计处理。
在步骤S2101，线宽检测单元2101基于数据连续性信息检测细线的宽度。例如，线宽检测单元2101通过将细线区域的重复除以由细线区域中的重心位置计算出的梯度而估计现实世界1的信号中的细线的宽度。
在步骤S2102，信号水平估计单元2102基于细线宽度和相邻于细线区域的像素的像素值估计细线的信号水平，并输出表示估计的细线的宽度和信号水平的现实世界估计信息，处理结束。例如，信号水平估计单元2102通过计算其上被投影除被包括在细线区域中的细线以外的图像的像素值、并除去其上被投影除来自细线区域的细线以外的图像的像素值而获得其上投影只包括细线的图像的像素值，并通过基于获得的其上只投影包括细线的图像的像素值、和细线的面积计算细线的信号水平而估计现实世界1的信号中的细线的水平。
从而，现实世界估计单元102可以估计现实世界1的信号的细线的宽度和水平。
如上所述，投影现实世界的光信号，检测其中丢失了现实世界的光信号的部分连续性的关于第一图像数据的数据连续性，基于表示对应于数据连续性的现实世界中的光信号的波形的模型从第一图像数据的连续性估计现实世界的光信号的波形，以及在将估计的光信号转换成第二图像数据的情况下，对于现实世界中的光信号可以获得更精确的更高精度处理结果。
图178是示出现实世界估计单元102的另一结构的方框图。
利用具有图178所示的结构的现实世界估计单元102，再次基于输入图像和从数据连续性检测单元101提供的数据连续性信息检测区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强(水平)。例如，利用具有图178所示的结构的现实世界估计单元102，再次检测由其上投影有细线图像的像素构成的连续性区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强。
从数据连续性检测单元101提供、被输入具有图178所示结构的现实世界估计单元102的数据连续性信息包括非连续性分量信息，其表示用作数据3的输入图像中的除其上投影有细线图像的连续性分量之外的非连续性分量；单调增/减区域信息，其表示连续性区域的单调增/减区域；表示连续性区域的信息等。例如，在数据连续性信息中包括的非连续性分量信息由模拟例如输入图像中的背景的非连续性分量的平面梯度和截距构成。
将输入现实世界估计单元102的数据连续性信息提供给边界检测单元2121。将输入到现实世界估计单元102的输入图像提供给边界检测单元2121和信号水平估计单元2102。
边界检测单元2121从数据连续性信息中包括的非连续性分量信息和输入图像产生只由其上投影有细线图像的连续性分量构成的图像，计算表示其中投影有用作现实世界1的信号的细线图像的比例的分配比值，以及同样通过从计算的分配比值计算表示细线区域的边界的回归线而检测用作连续性区域的细线区域。
图179是示出边界检测单元2121的结构的方框图。
分配比值计算单元2131从数据连续性信息、包括在数据连续性信息中的非连续性分量信息以及输入图像产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。更具体的是，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面处模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。
注意，分配比值计算单元2131通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。
分配比值计算单元2131基于只由连续性分量构成的图像，计算表示其中将用作现实世界1的信号的细线图像分配到属于连续性区域中的相邻单调增/减区域的两个像素上的比例的分配比值。分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。
将参考图180到图182描述在分配比值计算单元2131中的分配比值计算处理。
图180中左边两列的数值表示通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面处模拟的模拟值而计算出的图像的垂直排列成两列的像素的像素值。图180中用左边方形围绕的两个区域表示单调增/减区域2141-1和单调增/减区域2141-2，其为两个相邻的单调增/减区域。换句话说，在单调增/减区域2141-1和单调增/减区域2141-2中所示的数值表示属于由数据连续性检测单元101检测的、用作连续性区域的单调增/减区域的像素的像素值。
图180中右边一列的数值表示通过相加图180中左侧两列的像素的像素值中的水平排列的像素的像素值而获得的值。换句话说，图180中右边一列的数值表示通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值而获得的值。
例如，当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，并且水平相邻的像素的像素值为2和58时，相加的值是60。当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，并且水平相邻的像素的像素值为1和65时，相加的值是66。
可以理解，图180中右侧列中的数值，即通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平方向上相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。
类似，通过相加关于由水平排列的一列像素构成的两个单调增/减区域的垂直方向上相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。
分配比值计算单元2131通过利用相加关于两个单调增/减区域的相邻像素的其上投影有细线图像的像素值而获得的值通常是常数的特征来计算细线图像如何被分配到一列中的像素的像素值上。
分配比值计算单元2131通过将属于由垂直排列的一列像素构成的两个相邻单调增/减区域的每个像素的像素值除以通过相加每个水平相邻的、其上投影有细线图像的像素值而获得的值，而计算关于属于两个相邻的单调增/减区域的每个像素的分配比值。然而，再计算结果，即计算的分配比值超过100的情况下，将分配比值设为100。
例如，如图181所示，当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为2和58时，相加的值是60，因此，计算出对于对应的像素的分配比值分别是3.5和96.5。当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为1和65时，相加的值是66，因此，计算出对于对应的像素的分配比值分别是1.5和98.5。
在该情况中，在三个单调增/减区域相邻的情况下，考虑哪一列是第一个被计算的，在通过相加水平相邻的每个像素的其上投影有细线图像的像素值而获得的两个值中，基于更接近峰值P的像素值的值计算分配比值，如图182所示。
例如，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为79，在相邻于左侧的像素的像素值为3、并且相邻于右侧的像素的像素值为-1的情况下，通过相加相邻于左侧的像素值获得的值是82，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的82，从而基于相邻于左侧的像素计算分配比值。类似，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为75，在相邻于左侧的像素的像素值为0、并且相邻于右侧的像素的像素值为3的情况下，通过相加相邻于左侧的像素值获得的值是75，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的78，从而基于相邻于右侧的像素计算分配比值。
从而，分配比值计算单元2131计算关于由垂直排列的一列像素构成的单调增/减区域的分配比值。
利用相同的处理，分配比值计算单元2131计算关于由水平排列的一列像素构成的单调增/减区域的分配比值。
回归线计算单元2132假设单调增/减区域的边界是直线，并通过基于由分配比值计算单元2131计算的分配比值计算表示单调增/减区域的边界的回归线，而再次检测连续性区域内的单调增/减区域。
下面将参考图183和图184描述在回归线计算单元2132中计算表示单调增/减区域的边界的回归线的处理。
在图183中，白色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的回归线。例如，回归线计算单元2132计算出直线A，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素的距离的平方和变为最小值。
另外，在图183中，黑色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的回归线。例如，回归线计算单元2132计算出直线B，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素的距离的平方和变为最小值。
回归线计算单元2132通过基于计算的回归线确定单调增/减区域的边界而检测连续性区域内的单调增/减区域。
如图184所示，回归线计算单元2132基于计算的直线A确定单调增/减区域2141-1到单调增/减区域2141-5的上部边界。例如，回归线计算单元2132从最接近计算出的直线A的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的上侧边界。例如，回归线计算单元2132这样确定上侧边界，使得最接近计算出的回归线A的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。
如图184所示，回归线计算单元2132基于计算出的直线B确定单调增/减区域2141-1到单调增/减区域2141-5的下部边界。例如，回归线计算单元2132从最接近计算出的直线B的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的下侧边界。例如，回归线计算单元2132这样确定下侧边界，使得最接近计算出的回归线B的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。
从而，回归线计算单元2132同样基于用于再现由数据连续性检测单元101检测的连续性区域的边界的回归线检测其中像素值从峰值单调增或减的区域。换句话说，回归线计算单元2132同样通过基于计算出的回归线确定单调增/减区域的边界检测用作连续性区域内的单调增/减区域的区域，并将表示检测的区域的区域信息提供给线宽检测单元2101。
如上所述，边界检测单元2121计算表示其中用作现实世界1的信号的细线图像投影到像素上的比例的分配比值，并同样通过从计算的分配比值计算表示单调增加区域的边界的回归线而检测连续性区域内的单调增/减区域。从而可以检测更精确的单调增/减区域。
图178中所示的线宽检测单元2101以与图173所示情况相同的处理，基于从边界检测单元2121提供的表示检测的区域的区域信息而检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线宽度信息与数据连续性信息一起提供给信号水平估计单元2102。
图178中所示的信号水平估计单元2102的处理与图173所示的情况的处理相同，从而省略对其的描述。
图185是描述利用具有图178所示结构的现实世界估计单元102的对应于步骤S102中的处理的现实世界估计处理的流程图。
在步骤S2121，边界检测单元2121执行边界检测处理，用于同样基于属于由数据连续性检测单元101检测的连续性区域的像素的像素值来检测区域。下面将描述边界检测处理的细节。
在步骤S2122和步骤S2123中的处理与在步骤S2101和步骤S2102中的处理相同，因此省略对其的描述。
图186是用于描述对应于步骤S2121中的处理的边界检测处理的流程图。
在步骤S2131中，分配比值计算单元基于表示单调增/减区域的数据连续性信息和输入图像计算表示其中投影了细线图像的比例的分配比值。例如，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域中的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面处模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。随后，分配比值计算单元2131通过关于属于两个相邻单调增/减区域的每个像素将属于由一列像素构成的两个单调增/减区域的像素的像素值除以相邻像素的像素值的和，而计算分配比值。
分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。
在步骤S2132，回归线计算单元2132同样通过基于表示其中投影了信息图像的比例的分配比值计算表示单调增/减区域的边界的回归线，而检测连续性区域内的区域。例如，回归线计算单元2132假设单调增/减区域的边界是直线，并通过计算表示单调增/减区域的一端边界的回归线，并计算表示单调增/减区域的另一端边界的回归线，而再次检测连续性区域内的单调增/减区域。
回归线计算单元2132将表示在连续性区域中再次检测的区域的区域信息提供给线宽检测单元2101，该处理结束。
从而，具有图178所示结构的现实世界估计单元102再次检测由其上投影了细线图像的像素构成的区域，基于再次检测的区域检测用作现实世界1的信号的图像中的细线的宽度，以及估计现实世界1中的信号的光强(水平)分布。从而，可以更精确地检测细线的宽度，并关于现实世界1的信号更精确地估计光强。
如上所述，在投影了现实世界的光信号的情况下，检测第一图像数据中多个像素的像素值的非连续性部分，在所述第一图像数据中丢失现实世界的光信号的部分连续性，从检测的非连续性部分检测具有数据连续性的连续性区域，从检测的连续性部分检测具有数据连续性的连续性区域，基于属于检测的连续性区域的像素的像素值再次检测区域，以及基于检测的区域估计现实世界，对于现实世界中的事件可以获得更精确和更高精度的处理结果。
接着，将参考图187描述关于现实世界估计单元102，其输出具有连续性的区域中的每个像素在空间方向上的模拟函数的导数值作为现实世界估计信息。
参考像素选取单元2201基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度或区域信息)确定输入图像中的每个像素是否是处理区域，在是处理区域的情况下，选取用于获得模拟函数所需的参考像素信息，所述模拟函数用于模拟输入图像的像素的像素值(计算所需的关注像素周围多个像素的像素值和位置)，并将其输出给模拟函数估计单元2202。
模拟函数估计单元2202利用最小二乘法，基于从参考像素选取单元2201输入的参考像素信息估计用于近似描述关注像素周围的像素的像素值的模拟函数，并将估计的模拟函数输出给微分处理单元2203。
微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数，从根据数据连续性信息(例如细线或二值边缘的相对于预定轴的角度梯度)的角度获得将要从关注像素产生的像素位置的平移量，计算在该位置上的所述模拟函数根据平移量的微分(用于对应于沿一维方向的连续性的直线的距离模拟每个像素的像素值的函数的导数值)，另外，相加关于关注像素的像素值和位置的信息和梯度作为其连续性，以及将其输出给图像产生单元103作为现实世界估计信息。
接着，将参考图188中的流程图描述利用图187中的现实世界估计单元102的现实世界估计处理。
在步骤S2201中，参考像素选取单元2201从数据连续性检测单元101以及输入图像获取角度和区域信息作为数据连续性信息。
在步骤S2202，参考像素选取单元2201从输入图像的未处理的像素中设置关注像素。
在步骤S2203中，参考像素选取单元2201基于数据连续性信息的区域信息，确定关注像素是否被包括在处理区域中，在关注像素不是处理区域中的一个像素的情况下，处理进到步骤S2210，通过模拟函数估计单元2202通知微分处理单元2203关注像素是非处理区域，微分处理单元2203响应其将相应关注像素的导数值设为0，另外对其相加关注像素的像素值，并将其输出给图像产生单元103作为现实世界估计信息，并且处理进到步骤S2211。另外，在确定关注像素位于处理区域的情况下，则处理进到步骤S2204。
在步骤S2204，参考像素选取单元2201基于包括在数据连续性信息中的角度信息确定具有数据连续性的方向的角度更接近水平方向还是更接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2201确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。
在步骤S2205，参考像素选取单元2201选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给模拟函数估计单元2202。也就是说，参考像素变成将用于计算后面描述的模拟函数的数据，因此优选根据其梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图189所示，在梯度Gf接近垂直方向的情况下，确定方向为垂直方向。在该情况中，例如如图189所示，当取中心的像素(0，0)为关注像素时，参考像素选取单元2101选取(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图189中，可以说每个像素在水平方向和垂直方向上的长度为1。
换句话说，参考像素选取单元2201选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的两个像素和分别在水平方向(左/右)的1个像素。
相反，在确定方向为水平方向的情况下，参考像素选取单元2201选取水平方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的1个像素和分别在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。
在步骤S2206中，模拟函数估计单元2202利用最小二乘法基于从参考像素选取单元2201输入的参考像素的信息估计模拟函数f(x)，并将其输出给微分处理单元2203。
也就是说，模拟函数f(x)是如下述公式(96)所示的多项式。
f(x)＝w1xn+w2xn-1+…+wn+1 公式(96) 从而，如果获得公式(96)中的多项式的每个系数W1到Wn+1，则可以获得用于模拟每个参考像素的像素值(参考像素值)的模拟函数f(x)。然而，需要超过系数个数的像素值，因此，例如，在如图189所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W1到W15而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。
因此，当采用如图189所示的15个参考像素值时，模拟函数估计单元2202通过利用最小二乘法求解下面的公式(97)而估计模拟函数f(x)。
p(-1，-2)＝f(-1-Cx(-2 )) p(-1，-1)＝f(-1-Cx(-1)) p(-1，0)＝f(-1)(＝f(-1-Cx (0))) p(-1，1)＝f(-1-Cx(1)) p(-1，2)＝f -1-Cx(2)) p(0，-2)＝f(0-Cx(-2)) p(0，-1)＝f(0-Cx(-1)) p(0，0)＝f(0)(＝f(0-Cx(0))) p(0，1)＝f(0-Cx(1)) p(0，2)＝f(0-Cx(2)) p(1，-2)＝f(1-Cx(-2)) p(1，-1)＝f(l-Cx(-1)) p(1，0)＝f(1)(＝f(1-Cx(0))) p(1，1)＝f(1-Cx(1)) p(1，2)＝f(1-Cx(2))公式(97) 注意，参考像素的个数可以根据多项式的阶数而改变。
这里，Cx(ty)表示平移量，当用Gf表示作为连续性的梯度时，则定义Cx(ty)＝ty/Gf。该平移量Cx(ty)表示在空间方向Y＝0的位置上的模拟函数f(x)沿梯度Gf连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于空间方向X的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(x)时，该模拟函数f(x)必须相对于空间方向X沿梯度Gf在空间方向Y＝ty上平移Cx(ty)，从而将函数定义为f(x-Cx(ty))＜＝f(x-ty/Gf)。
在步骤S2207中，微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素位置上的平移量。
也就是说，在产生像素为分别在水平方向和垂直方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2203首先获得在中心位置的平移量Pin(Xin，Yin)以将关注像素分成两个像素Pa和Pb，其变成如图190所示的在垂直方向上的二倍密度，从而获得关注像素在中心位置Pin(Xin，Yin)的导数值。该平移量变成Cx(0)，因此实际变为0。注意，在图190中，其整体重心位置为(Xin，Yin)的像素Pin为方形，整体重心位置分别为(Xin，Yin+0.25)和(Xin，Yin-0.25)的像素Pa和Pb在图中水平方向上为矩形。
在步骤S2208中微分处理单元2203微分模拟函数f(x)以获得模拟函数的初始微分函数f(x)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2203获得导数值f(Xin)’，并将其位置(在该情况下为关注像素(Xin，Yin))、其像素值以及在连续性方向上的梯度信息加到其上，并将其输出。
在步骤S2209中，微分处理单元2203确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于二倍密度所需的导数值(只获得在空间方向Y上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2207。
在步骤S2207中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pa和Pb分别分成两个像素所需的导数值。在图190中分别以黑色圆形表示Pa和Pb的位置，从而微分处理单元2203获得对应于每个位置的平移量。像素Pa和Pb的平移量分别是Cx(0.25)和Cx(-0.25)。
在步骤S2208中，微分处理单元2203对模拟函数f(x)进行初始微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pa和Pb，并将其输出给图像产生单元103，作为现实世界估计信息。
也就是说，在采用如图189所示的参考像素的情况下，如图191所示，微分处理单元2203获得关于获得的模拟函数f(x)的微分函数f(x)’，获得在位置(Xin-Cx(0.25))和(Xin-Cx(-0.25))上的导数值，其分别是对空间方向X平移平移量Cx(0.25)和Cx(-0.25)的f(Xin-Cx(0.25))’和f(Xin-Cx(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。
在步骤S2209中，微分处理单元2203再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成四倍密度的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2211。
在步骤S2211中，参考像素选取单元2201确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2202。另外，在步骤S2211中，在确定已经处理所有的像素的情况下，该处理结束。
如上所述，在产生像素以在关于输入图像的水平方向和垂直方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插来分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。
也就是说，如图190所示，用于产生四个像素P01、P02、P03和P04所需的导数值在最后被一个像素所需(在图190中，像素P01、P02、P03和P04为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01、P02、P03和 P04的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在水平方向或在垂直方向上的二倍密度像素(在该情况下，为垂直方向)(在步骤S2207和S2208中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况了为水平方向)(在步骤S2207和S2208中的上述第二处理)。
注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2207到S2209中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(x)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。
根据上述设置，可以获得用于模拟关注像素附近的像素的像素值的模拟函数，并且可以将在对应于空间方向中的像素位置的位置上的导数值输出作为现实世界估计信息。
利用如图187所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(x)的梯度相同的值。
现在，将参考图192描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数f(x)的梯度，而不获得模拟函数f(x)，并将其输出作为现实世界估计信息。
参考像素选取单元2211基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度，或区域信息)，确定输入图像的每个像素的是否是处理区域，在确定为是处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在垂直方向上排列的周边多个像素，或包括关注像素的在水平方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2212。
梯度估计单元2212基于从参考像素选取单元2211输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2212获得模拟函数f(x)在关注像素的位置上的梯度，所述函数利用像素之间的像素值的差值信息近似表达现实世界，并将其与关注像素的位置信息和像素值、以及连续性方向上的梯度信息一起输出作为现实世界估计信息。
下面，将参考图193中的流程图描述利用图192中的现实世界估计单元102的现实世界估计处理。
在步骤S2221中，参考像素选取单元2211从数据连续性检测单元101与输入图像一起获取角度和区域信息作为数据连续性信息。
在步骤S2222中，参考像素选取单元2211从输入图像的未处理的像素中设置关注像素。
在步骤S2223中，参考像素选取单元2211基于数据连续性信息中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2228中，其中，通知梯度估计单元2212关注像素位于非处理区域中，梯度估计单元2212响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2229。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2224。
在步骤S2224中，参考像素选取单元2211基于包括在数据连续性信息中的角度信息确定具有数据连续性的方向的角度是接近水平方向还是接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2211确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。
在步骤S2225，参考像素选取单元2211选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2212。也就是说，参考像素变成将用于计算后面描述的梯度的数据，因此优选根据表示连续性方向的梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图194所示，在确定了梯度接近垂直方向的情况下，当取图194的中心的像素(0，0)为关注像素，参考像素选取单元2111选取(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图194中，可以说每个像素在水平方向和垂直方向上的长度为1。
换句话说，参考像素选取单元2211选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在垂直方向(上/下)的两个像素。
相反，在确定方向为水平方向的情况下，参考像素选取单元2211选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。
在步骤S2226中，梯度估计单元2212基于从参考像素选取单元2211输入的参考像素的信息、和在连续性方向中的梯度Gf，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(x)为基准的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的梯度Gf连续，如图194所示，从而将每个模拟函数描述为f(x-Cx(2))、f(x-Cx(1))、f(x-Cx(-1))以及f(x-Cx(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在空间方向X上平移每个平移量的函数。
因此，梯度估计单元2212获得其平移量Cx(-2)到Cx(2)。例如，在如图194所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Cx(2)＝2/Gf，参考像素(0，1)变成Cx(1)＝1/Gf，参考像素(0，0)变成Cx(0)＝0，参考像素(0，-1)变成Cx(-1)＝-1/Gf，以及参考像素(0，-2)变成Cx(-2)＝-2/Gf。
在步骤S2227中，梯度估计单元2212计算(估计)在关注像素的位置上的模拟函数f(x)的梯度。例如，如图194所示，在关于关注像素的连续性方向为接近垂直方向的角度的情况下，在水平方向上相邻的像素之间的像素值表现出更大的差，但是，在垂直方向的像素之间的变化较小并相似，因此，梯度估计单元2212通过获取在垂直方向上的像素之间的变化，用垂直方向上的像素之间的差代替在水平方向上的差，并获得在关注像素的位置上的模拟函数f(x)的梯度作为根据平移量在空间方向X上的变化。
也就是说，如果假设存在近似描述现实世界的模拟函数f(x)，则上述平移量和各个参考像素的像素值之间的关系如图195所示。这里图194中各个像素的像素值被从上部开始表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Cx，获得5对关系(P，Cx)＝((P(0，2)，-Cx(2)、(P(0，1)，-Cx(1))、(P(0，-1)，-Cx(-1)、(P(0，-2)，-Cx(-2))以及(P(0，0)，0)。
这里，对于像素值P，平移量Cx，以及梯度Kx(在模拟函数f(x)上的梯度)，如下述公式(98)关系成立。
P＝Kx × Cx 公式(98) 上述公式(98)是关于变量Kx的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得梯度Kx(梯度)。
也就是说，梯度估计单元2212通过求解如下述公式(99)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
公式(99) 这里，i表示用于识别上述参考像素的每对像素值p和平移量C的数1到m。另外，m表示包括关注像素的参考像素个数。
在步骤S2229中，参考像素选取单元2211确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2222。另外，在确定已经在步骤S2229中处理所有像素的情况下，该处理结束。
注意，通过上述处理将要输出作为现实世界估计信息的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。
例如，如图190所示，当产生在空间方向上共具有四倍密度的像素的情况下，其中在水平方向为二倍密度，在垂直方向上也为二倍密度，可以如上所述获得对应于图190中各个位置Pin、Pa和Pb的模拟函数f(x)的梯度Kx。
另外，在上述实例中，已经描述了用于获得二倍密度的实例，但是，模拟函数f(x)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。
根据上述设置，可以通过利用关注像素附近的像素值，产生和输出模拟函数上的梯度，用于产生空间方向上的像素作为现实世界估计信息，而不获得近似表示现实世界的模拟函数。
接着，将参考图196描述现实世界估计单元102，其对于具有连续性的区域中的每个像素，输出在一个帧方向(时间方向)的模拟函数上的导数值作为现实世界估计信息。
参考像素选取单元2231基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动(移动矢量)，以及区域信息)确定输入图像中的每个像素是否在处理区域中，并且在每个像素位于处理区域的情况下，选取用于获得模拟输入图像中的像素的像素值的模拟函数所需的参考像素信息(用于计算所需的关注像素周围的多个像素位置及其像素值)，并将其输出给模拟函数估计单元2202。
模拟函数估计单元2232利用最小二乘法，基于从参考像素选取单元2231输入的在帧方向中的参考像素信息估计模拟函数，其近似描述了关注像素周围每个像素的像素值，并将估计的函数输出给微分处理单元2233。
微分处理单元2233基于从模拟函数估计单元2232输入的帧方向中的模拟函数，获得根据数据连续性信息的移动将要从关注像素产生的像素位置在帧方向上的平移量，根据其平移量计算在帧方向上的模拟函数上的位置的导数值(对应于沿初始方向距离对应于连续性的直线的距离模拟每个像素的像素值的模拟函数的导数值)，还将关注像素的位置和像素值以及关于作为连续性的移动的信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
接着，将参考图197中的流程图，描述利用图196中的现实世界估计单元102的现实世界估计处理。
在步骤S2241中，参考像素选取单元2231从数据连续性检测单元101和输入图像一起获取作为数据连续性信息的移动和区域信息。
在步骤S2242中，参考像素选取单元2231从输入图像中的未处理像素中设置关注像素。
在步骤S2243中，参考像素选取单元2231基于数据连续性信息中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2250中，通过模拟函数估计单元2232通知差值处理单元2233关注像素位于非处理区域中，差值处理单元2233响应其将对应于关注像素的导数值设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2251。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2244。
在步骤S2244中，参考像素选取单元2231基于包括在数据连续信息中的移动信息，确定具有数据连续性的方向的移动是接近空间方向还是接近帧方向。也就是说，如图198所示，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的角度θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2201确定关注像素的连续性移动接近帧方向(时间方向)，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性方向接近空间方向。
在步骤S2245中，参考像素选取单元2201对应于从输入图像分别确定的方向选取参考像素的像素值和位置信息，并将其输出给模拟函数估计单元2232。也就是说，参考像素变成将要用于计算下面描述的模拟函数的数据，因此优选根据其角度选取。从而对应于帧方向和空间方向的任意确定方向，选取在其方向上较长范围中的参考像素。具体是，例如如图198所示，在移动方向Vf接近空间方向的情况下确定方向为空间方向。在该情况下，如图198所示，当取图198的中心的像素(t，y)＝(0，0)为关注像素时，参考像素选取单元2131选取选取(t，y)＝(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图198中，可以说每个像素在帧方向和空间方向上的长度为1。
换句话说，参考像素选取单元2231选取相对于帧方向在空间方向上较长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的两个像素×分别在帧方向(图中左/右)的1个帧。
相反，在确定方向为帧方向的情况下，参考像素选取单元2231选取帧方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的1个像素和分别在帧方向(图中左/右)的2个帧，并将其输出给模拟函数估计单元2232。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。
在步骤S2246中，模拟函数估计单元2232利用最小二乘法基于从参考像素选取单元2231输入的参考像素的信息估计模拟函数f(t)，并将其输出给微分处理单元2233。
也就是说，模拟函数f(t)是如下述公式(100)所示的多项式。
f(t)＝W1tn+W2tn-1+…+Wn-1 公式(100) 从而，如果获得公式(100)中的多项式的每个系数W1到Wn+1，则可以获得用于模拟每个参考像素的像素值的在帧方向中的模拟函数f(t)。然而，需要超过系数个数的参考像素值，因此，例如，在如图198所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W1到W15而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。
因此，当采用如图198所示的15个参考像素值时，模拟函数估计单元2232通过利用最小二乘法求解下面的公式(101)而估计模拟函数f(t)。
p(-1，-2)＝f(-1-Ct(-2)) p(-1，-1)＝f(-1-Ct(-1)) p(-1，0)＝f(-1)(＝f(-1-Ct(0))) p(-1，1)＝f(-1-Ct(1)) p(-1，2)＝f(-1-Ct(2)) p(0，-2)＝f(0-Ct(-2)) p(0，-1)＝f(0-Ct(-1)) p(0，0)＝f(0)(＝f(0-Ct(0))) p(0，1)＝f (0-Ct(1)) p(0，2)＝f(0-Ct(2)) p(1，-2)＝f(1-Ct(-2)) p(1，-1)＝f(1-Ct(-1)) p(1，0)＝f(1)(＝f(1-Ct(0))) p(1，1)＝f (1-Ct(1)) p(1，2)＝f(1-Ct(2)) 公式(101) 注意，参考像素的个数可以根据多项式的阶数而改变。
这里，Ct(ty)表示平移量，其与上述Cx(ty)相同，当用Vf表示作为连续性的梯度时，则定义Ct(ty)＝ty/Vf。该平移量Ct(ty)表示，在限定在空间方向Y＝0的位置上的模拟函数f(t)沿梯度Vf连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于帧方向T的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(t)时，该模拟函数f(t)必须相对于帧方向T在空间方向Y＝ty上平移Ct(ty)，从而将函数定义为f(t-Ct(ty))＜＝f(t-ty/Vf)。
在步骤S2247中，微分处理单元2233基于从模拟函数估计单元2232输入的模拟函数f(t)获得在将要产生的像素位置上的平移量。
也就是说，在产生像素为分别在帧方向和空间方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2233首先获得例如在中心位置的下述平移量Pin(Tin，Yin)，其被分成两个下述像素Pat和Pbt，变成如图199所示的在空间方向上的二倍密度，从而获得关注像素在中心位置Pin(Tin，Tin)的导数值。该平移量变成Ct(0)，因此实际变为0。注意，在图199中，其整体重心位置为(Tin，Yin)的像素Pin为方形，整体重心位置分别为(Tin，Yin+0.25)和(Tin，Yin-0.25)的像素Pat和Pbt在图中水平方向上分别为矩形。
在步骤S2248中，微分处理单元2233微分模拟函数f(t)，以获得模拟函数的初始微分函数f(t)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2233获得导数值f(Tin)’，并将其位置(在该情况下为关注像素(Tin，Yin))、其像素值以及在连续性方向上的移动信息加到其上，并将其输出。
在步骤S2249中，微分处理单元2233确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于空间方向中的二倍密度所需的导数值(未获得在帧方向上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2247。
在步骤S2247中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(t)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pat和Pbt分别分成两个像素所需的导数值。在图199中分别以黑色圆形表示Pat和Pbt的位置，从而微分处理单元2233获得对应于每个位置的平移量。像素Pat和Pbt的平移量分别是Ct(0.25)和Ct(-0.25)。
在步骤S2248中，微分处理单元2233对模拟函数f(t)进行微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pat和Pbt，并将其输出给图像产生单元103，作为现实世界估计信息。
也就是说，在采用如图198所示的参考像素的情况下，如图200所示，微分处理单元2233获得关于获得的模拟函数f(t)的微分函数f(t)’，获得在位置(Tin-Ct(0.25))和(Tin-Ct(-0.25))上的导数值，其分别是对时间方向T平移平移量Ct(0.25)和Ct(-0.25)的f(Tin-Ct(0.25))’和f(Tin-Ct(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。
在步骤S2249中，微分处理单元2233再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成在空间方向Y上和在帧方向T上的二倍密度(共四倍密度)的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2251。
在步骤S2251中，参考像素选取单元2231确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2242。另外，在步骤S2251中，在确定已经处理所有的像素的情况下，该处理结束。
如上所述，在产生像素以在关于输入图像的帧方向(时间方向)和空间方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插来分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。
也就是说，如图199所示，用于产生四个像素P01t、P02t、P03t和P04t所需的导数值在最后被一个像素所需(在图199中，像素P01t、P02t、P03t和P04t为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01t、P02t、P03t和P04t的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在帧方向或在空间方向上的二倍密度像素(在步骤S2247和S2248中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况下为帧方向)(在步骤S2247和S2248中的上述第二处理)。
注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2247到S2249中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。
根据上述设置，利用关注像素附近的像素的像素值可以获得用于近似表达每个像素的像素值的模拟函数，并且可以将用于产生像素所需的位置上的导数值输出作为现实世界估计信息。
利用如图196所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(t)的梯度相同的值。
现在，将参考图201描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数在帧方向上的梯度，而不获得模拟函数，并将其输出作为现实世界估计信息。
参考像素选取单元2251基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动，或区域信息)，确定输入图像的每个像素的是否是处理区域，在为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在空间方向上排列的周边多个像素，或包括关注像素的在帧方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2252。
梯度估计单元2252基于从参考像素选取单元2251输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2252获得模拟函数在关注像素的位置上在帧方向上的梯度，所述函数利用像素之间的像素值的差值信息近似表达每个参考像素的像素值，并将其与关注像素的位置信息和像素值、以及连续性方向上的移动信息一起输出作为现实世界估计信息。
下面，将参考图202中的流程图描述利用图201中的现实世界估计单元102的现实世界估计处理。
在步骤S2261中，参考像素选取单元2251从数据连续性检测单元101与输入图像一起获取移动和区域信息作为数据连续性信息。
在步骤S2262中，参考像素选取单元2251从输入图像的未处理的像素中设置关注像素。
在步骤S2263中，参考像素选取单元2251基于数据连续性信息中的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2268中，其中，通知梯度估计单元2252关注像素位于非处理区域中，梯度估计单元2252响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2269。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2264。
在步骤S2264中，参考像素选取单元2211基于包括在数据连续信息中的移动信息确定作为数据连续性的移动是接近帧方向还是接近空间方向的移动。也就是说，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的移动θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2251确定关注像素的作为连续性的移动接近帧方向，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性移动接近空间方向。
在步骤S2265，参考像素选取单元2251选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2252。也就是说，参考像素变成将用于计算后面描述的梯度的数据，因此优选根据作为连续性的移动选取。因此，对应于帧方向和空间方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图203所示，在确定移动接近空间方向的情况下，当取图203的中心的像素(t，y)＝(0，0)为关注像素时，参考像素选取单元2151选取(t，y)＝(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图203中，可以说每个像素在帧方向和空间方向上的长度为1。
换句话说，参考像素选取单元2251选取空间方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在空间方向(图中上/下)的两个像素。
相反，在确定方向为帧方向的情况下，参考像素选取单元2251选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在帧方向(左/右)的2个像素，并将其输出给模拟函数估计单元2252。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。
在步骤S2266中，梯度估计单元2252基于从参考像素选取单元2251输入的参考像素的信息、和在连续性方向中的移动Vf，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(t)为基准的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的移动Vf连续，如图203所示，从而将每个模拟函数描述为f(t-Ct(2))、f(t-Ct(1))、f(t-Ct(-1))以及f(t-Ct(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在帧方向T上平移每个平移量的函数。
因此，梯度估计单元2252获得其平移量Ct(-2)到Ct(2)。例如，在如图203所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Ct(2)＝2/Vf，参考像素(0，1)变成Ct(1)＝1/Vf，参考像素(0，0)变成Ct(0)＝0，参考像素(0，-1)变成Ct(-1)＝-1/Vf，以及参考像素(0，-2)变成Ct(-2)＝-2/Vf。梯度估计单元2252获得这些平移量Ct(-2)到Ct(2)。
在步骤S2267中，梯度估计单元2252计算(估计)在关注像素的帧方向上的梯度。例如，如图203所示，在关于关注像素的连续性方向为接近空间方向的角度的情况下，在帧方向上相邻的像素之间的像素值表现更大的差，但是，在空间方向的像素之间的变化较小并相似，因此，梯度估计单元2252通过获取在空间方向上的像素之间的变化，用帧方向上的像素之间的差代替在空间方向上的像素之间的差，并获得在关注像素处的梯度作为根据平移量在帧方向T上的变化。
也就是说，如果假设存在近似描述现实世界的模拟函数f(t)，则上述平移量和各个参考像素的像素值之间的关系如图204所示。这里，图204中的各个像素的像素值被从上部开始表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Ct，获得5对关系(P，Ct)＝((P(0，2)，-Ct(2)、(P(0，1)，-Ct(1))、(P(0，-1)，-Ct(-1))、(P(0，-2)，-Ct(-2))以及(P(0，0)，0)。
这里，对于像素值P，平移量Ct，以及梯度Kt(在模拟函数f(t)上的梯度)，如下述公式(102)关系成立。
p＝Kt×Ct公式(102) 上述公式(102)是关于变量Kt的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得变量Kt(梯度)。
也就是说，梯度估计单元2252通过求解如下述公式(103)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。
公式(103) 这里，i表示用于识别上述参考像素的每对像素值P和平移量Ct的数1到m。另外，m表示包括关注像素的参考像素个数。
在步骤S2269中，参考像素选取单元2251确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2262。另外，在确定已经在步骤S2269中处理所有像素的情况下，该处理结束。
注意，通过上述处理将要输出作为现实世界估计信息的帧方向上的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。
例如，如图190所示，当产生在时间和空间方向上共具有四倍密度的像素的情况下，其中在水平方向产生二倍密度并在帧方向上也产生二倍密度，可以如上所述获得对应于图190中各个位置Pin、Pat和Pbt的模拟函数f(t)的梯度Kt。
另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。
显然，对于用于获得模拟函数相对于帧方向或空间方向的梯度或导数值的处理顺序没有限制。另外，在上述实例中，在空间方向，已经描述了利用空间方向Y和帧方向T之间的关系，但是可以采用空间方向X和帧方向T之间的关系来代替该关系。另外，可以从时间和空间方向的二维关系选择性地获得梯度(任一维度方向)或导数值。
根据上述设置，可以通过利用关注像素附近的像素值，在用于产生像素所需的位置处的帧方向(时间方向)上产生和输出模拟函数上的梯度作为现实世界估计信息，而不获得近似表示现实世界的在帧方向上的模拟函数。
接着，将参考图205到235描述现实世界估计单元102(图3)的另一实施例。
图205描述了该实施例的特征。
如图205所示，利用预定函数F表示作为被投影在传感器2上的图像的现实世界1中的信号(光强分布)。注意，下文中，在对该实施例的描述中，用作现实世界1中的图像的信号尤其指光信号，以及函数F尤其指光信号函数F。
在该实施例中，在由光信号函数F表示的现实世界1中的光信号具有预定连续性的情况下，现实世界估计单元102通过利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和来自于数据连续性检测单元101的数据连续性信息(对应于输入图像数据的连续性的数据连续性信息)的预定函数f模拟光信号函数F而估计光信号函数F。注意，下文在对该实施例的描述中，函数f尤其指模拟函数f。
换句话说，在该实施例中，现实世界估计单元102对利用模型161(图7)由光信号函数F表示的图像(现实世界1中的光信号)进行模拟(描述)，所述模型由模拟函数f表示。因此，下文中，该实施例称为函数模拟方法。
现在，在进入对函数模拟方法的具体描述之前，将描述关于其中本申请人已经发明的背景的函数模拟方法。
图206描述了其中将传感器看作CCD的积分效应。
如图206所示，将多个检测元件2-1设置在传感器2的平面上。
在图206的实例中，取平行于检测元件2-1的预定边的方向作为X方向，其为空间方向中的一个方向，并取垂直于X的方向的方向为Y方向，其为空间方向中的另一个方向。另外，取垂直于X-Y平面的方向作为用作时间方向的方向t。
另外，在图206的实例中，用方形表示传感器2的每个检测元件2-1的空间形状，其一边的长度为1。传感器2的快门时间(曝光时间)被表示为1。
另外，在图206的实例中，取传感器2的一个检测元件2-1的中心作为空间方向(X方向和Y方向)中的原点(在X方向上位置x＝0，以及在Y方向上位置y＝0)，并且，取曝光时间的中间时刻为时间方向(t方向)上的原点(在t方向上的位置t＝0)。
在该情况下，中心在空间方向中的原点(x＝0，y-0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上从-0.5到0.5，并将其积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(104)表示。
公式(104) 通过以同样的方法取其中心为空间方向中的原点，另一个检测元件2-1也输出了如公式104所示的像素值P。
图207描述了传感器2的积分效应的具体实例 在图207中，X方向和Y方向表示传感器2的X方向和Y方向(图206)。
现实世界1的光信号的部分2301(下文中，该部分指区域)表示具有预定连续性的区域的实例。
注意，区域2301是连续性光信号(连续性区域)的部分。另一方面，在图207中，区域2301被示出为在实际中分成的20个小区域(方形区域)。这是为了示出，区域2301的尺寸等于其中排列在x方向上的传感器2的四个检测元件(像素)，以及在y方向上的传感器2的五个检测元件(像素)的尺寸。也就是说，区域2301中的每20个小区域(虚拟区域)等于一个像素。
另外，区域2301中的白色部分表示对应于细线的光信号。因此，区域2301在其中细线连续的方向上具有连续性。下文中，区域2301指包括细线的现实世界区域2301。
在该情况下，当包括细线的现实世界区域2301(现实世界1中的光信号的部分)被传感器2检测时，通过积分效应从传感器2输出输入图像(像素值)的区域2302(下文中，其指包括细线的数据区域2302)。
注意，包括细线的数据区域2302的每个像素由图中的图像表示，但是在实际中为表示预定值的数据。也就是说，通过传感器2的积分效应，包括细线的现实世界区域2301被变为(变形为)包括细线的数据区域2302，其被分成每个具有预定像素值的20个像素(在X方向上的四个像素和在Y方向上的五个像素，共20个像素)。
图208描述了传感器2的积分效应的另一具体实例(不同于图207的实例)。
在图208中，X方向和Y方向表示传感器2的X方向和Y方向(图206)。
现实世界1中的光信号的部分(区域)2303表示具有预定连续性的区域的另一实例(不同于图207中包括细线的实际区域2301的实例)。
注意，区域2303与包括细线的现实世界区域2301具有相同的尺寸。也就是说，与现实中的包括细线的现实世界区域2301相同，区域2303也是现实世界1中连续光信号的一部分(连续区域)，但是被示出为分成等于图208中的传感器2的一个像素的20个小区域(方形区域)。
另外，区域2303包括具有预定第一光强(值)的第一部分边缘，以及具有预定第二光强(值)的第二部分边缘。因此，区域2303具有在其中边缘连续的方向上的连续性。下文中，区域2303指包括二值边缘的现实世界区域2303。
在该情况中，当由传感器2检测包括二值边缘的现实世界区域2303时(现实世界1中的光信号的部分)，通过积分效应从传感器2输出输入图像(像素值)的区域2304(下文中，指包括二值边缘的数据区域2304)。
注意，将包括二值边缘的数据区域2304的每个像素值与包括细线的数据区域2302一样显示为图中的图像，但是，实际上为表示预定值的数据。也就是说，通过传感器2的积分效应，将包括二值边缘的现实世界区域2303变为(变形为)包括二值边缘的数据区域2304，其被分成每个具有预定像素值的20个像素(在X方向的四个像素和在Y方向上的五个像素共20个像素)。
常规图像处理装置具有从传感器2输出的关注图像数据，例如，包括细线的数据区域2302，包括二值边缘的数据区域2304等作为原点(基准)，并且，对图像数据进行随后的图像处理。也就是说，不考虑通过积分效应将从传感器2输出的图像数据变为(变形为)不同于现实世界1中的光信号的数据，常规图像处理装置在假设不同于现实世界1中的光信号的数据是正确的情况下进行图像处理。
从而，常规图像处理装置具有这样的问题，其中基于现实世界的细节发生扭曲的波形(图像数据)，在从传感器2输出图像数据的阶段，很难从该波形恢复原始细节。
因此，利用函数模拟方法，为了解决该问题，如上所述(如图205所示)，现实世界估计单元102通过利用基于图像数据(输入图像)的模拟函数f模拟光信号函数F(现实世界1中的光信号)而估计光信号函数F，所述图像数据例如是从传感器2中输出的包括细线的数据区域2302和包括二值边缘数据区域2304。
从而，在现实世界估计单元102的下一个级(在该情况中为图3中的图像产生单元103)，可以通过取其中考虑了积分效应的图像数据，即可以由模拟函数f表示的图像数据作为原点来进行处理。
下文中，将参考附图单独描述该函数模拟方法的三种具体方法(第一到第三函数模拟方法)。
首先，将参考图209到图223描述第一函数模拟方法。
图209示出了再次描述的图207所示的包括细线的现实世界区域2301。
在图209中，X方向和Y方向表示传感器2的X方向和Y方向(图206)。
第一函数模拟方法是用于模拟一维波形的方法(下文中，该波形指X截面波形F(x))，其中，在x方向上(图中箭头2311的方向)投影对应于如图209所示的包括细线的现实世界区域2301的光信号函数F(x，y，t)，其中，模拟函数f(x)用作n维(n为任意整数)多项式。因此，下文中，第一函数模拟方法尤其指一维多项式模拟方法。
注意，在一维多项式模拟方法中，将要模拟的X截面波形F(x)不限于对应于图209中包括细线的现实世界区域2301的波形。也就是说，如下文所述，在一维多项式模拟方法中，只要X截面波形F(x)对应于具有连续性的现实世界1中的光信号，则可以模拟任何波形。
另外，光信号函数F(x，y，t)的投影方向不限于X方向，或者还可以采用Y方向或t方向。也就是说，在一维多项式模拟方法中，可以利用预定模拟函数f(y)对一个将光信号函数F(x，y，t)投影到Y方向上的函数F(y)进行模拟，或可以利用预定模拟函数f(t)对一个将光信号函数F(x，y，t)投影到t方向上的函数F(t)进行模拟。
尤其是，一维多项式模拟方法是以模拟函数f(x)用作n维多项式用于例如对X截面波形F(x)进行模拟的方法，所述多项式如下面公式(105)所示。
公式(105) 也就是说，在一维多项式模拟方法中，现实世界估计单元102通过计算公式(105)中的系数(特征)xi的wi，而估计X截面波形F(x)。
该特征wi计算方法不限于特定方法，例如，可以采用下面的第一到第三方法。
也就是说，第一方法是目前采用的方法。
另一方面，第二方法是由本申请人新发明的方法，其相对于第一方法考虑了在空间方向上的连续性。
然而，如上所述，在第一和第二方法中，没有考虑传感器2的积分效应，因此，通过对上述公式(105)代入通过第一方法或第二方法计算得到的特征wi获得的模拟函数f(x)是关于输入图像的模拟函数，但是严格的说，不能指X截面波形F(x)的模拟函数。
因此，本申请人发明了第三方法，其相对于第二方法还考虑了传感器2的积分效应而计算特征wi。通过对上述公式(105)代入利用该第三方法计算的特征wi而获得的模拟函数f(x)可以被称为X截面波形F(x)的模拟函数，其中考虑了传感器2的积分效应。
从而，严格地说，第一方法和第二方法不能被称为一维多项式模拟方法，只有第三方法可以被称作一维多项式模拟方法。
换句话说，如图210所示，第二方法是根据本发明的现实世界估计单元102的实施例，其不同于一维多项式模拟方法。也就是说，图210描述了对应于第二方法的实施例的原理。
如图210所示，在对应于第二方法的实施例中，在用光信号函数F表示的现实世界1的光信号具有预定连续性的情况下，现实世界估计单元102没有利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和从数据连续性检测单元101输入的数据连续性信息(对应于输入图像数据的连续性的连续性信息)对X截面波形F(x)进行模拟，而是利用预定模拟函数f2(x)对来自传感器2的输入图像进行模拟。
从而，很难说第二方法是与第三方法具有相同水平的方法，其中没有考虑传感器2的积分效应，而只对输入图像进行模拟。然而，第二方法是优于常规第一方法的方法，其中，第二方法考虑了空间方向上的连续性。
下文中，将以第一方法，第二方法，以及第三方法的次序单独描述这三种方法的内容。
注意，在下文中，由第一方法、第二方法和第三方法产生的各个模拟函数f(x)彼此区别的情况下，它们尤其指模拟函数f1(x)，模拟函数f2(x)，以及模拟函数f3(x)。
首先，将描述第一方法的内容。
在第一方法中，在这样的条件下，其中在上述公式(105)中所示的模拟函数f1(x)在图211中的包括细线的现实世界区域2301中成立，定义了下面的预测公式(106)。
p(x．y)＝f1(×)+e 公式(106) 在公式(106)中，x表示从关注像素相对于X方向的像素位置。y表示从关注像素相对于Y方向的像素位置。e表示误差余量。尤其是，例如，如图211所示，可以说，在包括细线的数据区域2302(包括细线的现实世界区域2301的数据(图209)由传感器2检测，并被输出)中，关注像素是图中X方向上从左侧开始的第二个像素，也是Y方向上自底部开始的第三个像素。另外，可以说，关注像素的中心为原点(0，0)，并且建立其轴分别为平行于传感器2(图206)的X方向和Y方向的x轴和y轴的坐标系(下文中，指关注像素坐标系)。在该情况中，关注像素坐标系的坐标值(x，y)表示相对像素位置。
另外，在公式(106)中，P(x，y)表示在相对像素位置(x，y)上的像素值。尤其是，在该情况下，包括细线的数据区域2302中的P(x，y)如图212所示。
图212以曲线图的方式表示该像素值P(x，y)。
在图212中，曲线图的各垂直轴表示像素值，以及水平轴表示在X方向上距离关注像素的相对位置x。另外，图中分别为 自上的第一曲线图中的虚线表示输入像素值P(x，-2)，自上的第二曲线图中的三点连线表示输入像素值P(x，-1)，自上的第三曲线图中的实线表示输入像素值P(x，0)，自上的第四曲线图中的单点连线表示输入像素值P(x，1)，自上的第六曲线图中的两点连线表示输入像素值P(x，2)。
当对上述公式(106)分别代入如图212所示的20个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2) (然而，x是-1到2的任意整数值)时，产生下面公式(107)所示的二十个方程，注意每个ek(k为1到20的任意整数)表示误差余量。
P(-1．-2)＝f1(-1)+e1 P(0，-2)＝f1(0)+e2 P(1，-2)＝f1(1)+e3 P(2，-2)＝f1(2)+e4 P(-1，-1)＝f1(-1)+e5 P(0，-1)＝f1(0)+e6 P(1，-1)＝f1(1)+e7 P(2，-1)＝f1(2)+e8 P(-1．0)＝f1(-1)+e9 P(0．0)＝f1(0)+e10 P(1，0)＝f1(1)+e11 P(2．0)＝f1(2)+e12 P(-1，1)＝f1(-1)+e13 P(0．1)＝f1(0)+e14 P(1，1)＝f1(1)+e15 P(2，1)＝f1(2)+e16 P(-1，2)＝f1(-1)+e17 P(0．2)＝f1(0)+e18 P(1，2)＝f1(1)+e19 P(2，2)＝f1(2)+e20公式(107) 公式(107)由二十个方程构成，从而例如在模拟函数f1(x)的特征wi数小于20的情况下，即在模拟函数f1(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f1(x)的维数为5，利用公式(107)由最小二乘法计算的模拟函数f1(x)(通过计算特征wi产生的模拟函数f1(x))变成如图213所示的曲线。
注意，在图213中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。
也就是说，例如，如果将构成图211中包括细线的数据区域2302的二十个像素值P(x，y)(如图212所示分别为输入像素值P(x，-2)、P(x．-1)、P(x，0)、P(x，1)以及P(x，2))不经过任何修改地沿x轴补充(如果认为在Y方向上的相对位置y不变，并重叠图212所示的5个曲线)，如图213所示的平行于x轴的多条直线(虚线、三点连线、实线、单点连线以及两点连线)被分布。
然而，在图213中分别为虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，单点连线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图213中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。
当各20个输入像素值(P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))这样被分布时，用于最小化函数值f1(x)的误差的回归曲线(通过对上述公式(104)代入利用最小二乘法计算的特征wi而获得的模拟函数f1(x))变成如图213所示的曲线(模拟函数f1(x))。
从而，模拟函数f1(x)只是表示了在X方向上连接在Y方向上的像素值(自关注像素在X方向上具有相同的相对位置x的像素值)P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)的方法的曲线。也就是说，没有考虑光信号包括的空间方向中的连续性而产生模拟函数f1(x)。
例如，在该情况中，将包括细线的现实世界区域2301(图209)看作是将要模拟的对象。该包括细线的现实世界区域2301具有在空间方向上的连续性，其由梯度Gf表示，如图214所示。注意，在图214中，X方向和Y方向表示传感器2的X方向和Y方向(图206)。
因此，数据连续性检测单元101(图205)可以输出如图214所示的角度θ(在由对应于梯度GF的梯度Gf表示的数据连续性方向和X方向之间产生的角度θ)作为对应于作为空间方向中的连续性的梯度GF的数据连续性信息。
然而，在第一方法中，完全没有使用从数据连续性检测单元101输出的数据连续性信息。
换句话说，例如如图214所示，在包括细线的现实世界区域2301中的空间方向中的连续性方向为基本角度θ方向。然而，第一方法是假设包括细线的现实世界区域2301的空间方向中的连续性方向为Y方向(即假设角度e为90°)时用于计算模拟函数f1(x)的特征wi的方法。
因此，模拟函数f1(x)变成其波形变得平缓的函数，并且其细节比原始像素值减少。换句话说，虽然图中没有示出，在利用第一方法产生的模拟函数f1(x)中，其波形变成与实际X截面波形F(x)不同的波形。
为此，本申请人已经发明了用于计算特征wi的第二方法，其相对于第一方法还考虑了空间方向中的连续性(利用角度θ)。
也就是说，第二方法是在假设包括细线的现实世界区域2301的连续性方向为基本角度θ方向时，用于计算模拟函数f2(x)的特征wi的方法。
尤其是，例如，表示对应于空间方向中的连续性的数据连续性的梯度Gf，由下面的公式(108)表示。
公式(108) 注意，在公式(108)中，dx表示如图214所示的在X方向上的微小移动量，dy表示如图214所示的相对于dx的在Y方向上的微小移动量。
在该情况中，如果定义平移量Cx(y)如下面公式(109)所示，利用第二方法，对应于在第一方法中使用的公式(106)的方程变成如下面公式(110)所示。
公式(109) P(x，y)＝f2(x-Cx(y))+e 公式(110) 也就是说，在第一方法中采用的公式(106)表示在像素中心位置(x，y)的X方向上的位置x与位于相同位置上的任意像素的像素值P(x，y)相同。换句话说，公式(106)表示具有相同像素值的像素在Y方向上连续(在Y方向上表现出连续性)。
另一方面，在第二方法中采用的公式(110)表示其中心位置为(x，y)的像素值P(x，y)不等于位于距离关注像素(其中心位置为(0，0)的像素)为X方向上的x的位置上的像素的像素值(等于f2(x)的模拟值)，并且，与在X方向上距离其像素为平移量Cx(y)的位置上的像素的像素值(等于f2(x+Cx(y))的模拟值)相同(在X方向上距离关注像素为x+Cx(y)的位置上的像素)。换句话说，公式(110)表示具有相同像素值的像素在对应于平移量Cx(y)的角度θ方向上连续(在基本角度θ方向上表现出连续性) 从而，平移量Cx(y)是考虑在空间方向中的连续性(图214中由梯度GF表示的连续性(严格地说，用梯度Gf表示的数据连续性))的校正量，以及利用平移量Cx(y)通过校正公式(106)获得公式(110)。
在该情况下，当分别对上述公式(110)代入图211中所示的包括细线的数据区域的二十个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)时，产生如下面公式(111)所示的二十个方程。
P(-1，-2)＝f2(-1-Cx(-2))+e1 P(0．-2)＝f2(0-Cx(-2))+e2 P(1，-2)＝f2(1-Cx(-2))+e3 P(2，-2)＝f2(2-Cx(-2))+e4 P(-1，-1)＝f2(-1-Cx(-1))+e5 P(0．-1)＝f2(0-Cx(-1))+e6 P(1，-1)＝f2(1-Cx(-1))+e7 P(2，-1)＝f2(2-Cx(-1))+e8 P(-1．0)＝f2(-1)+e9 P(0，0)＝f2(0)+e10 P(1．0)＝f2(1)+e11 P(2，0)＝f2(2)+e12 P(-1，1)＝f2(-1-Cx(1))+e13 P(0．1)＝f2(0-Cx(1))+e14 P(1，1)＝f2(1-Cx(1))+e15 P(2，1)＝f2(2-Cx(1))+e16 P(-1，2)＝f2(-1-Cx(2))+e17 P(0．2)＝f2(0-Cx(2))+e18 P(1，2)＝f2(1-Cx(2))+e19 P(2，2)＝f2(2-Cx(2))+e20公式(111) 公式(111)如上述公式(107)由二十个方程构成。因此相对于第一方法，在第二方法中，在模拟函数f2(x)的特征wi数小于20的情况下，即在模拟函数f2(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f2(x)的维数与第一方法相同，均为5，在第二方法中如下计算特征wi。
也就是说，图215以曲线图的方式表示公式(111)左侧所示的像素值P(x，y)。由图215所示的各个5个曲线图如图212所示的基本相同。
如图215所示，最大像素值(对应于细线的像素值)在由梯度Gf表示的数据连续性方向上连续。
因此，在第二方法中，如果例如沿x轴补充如图215所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)，在像素值变化为如图216所示的状态后补充像素值代替如第一方法中没有修改的补充像素值(假设y不变，并且5个图形在状态上重叠，如图215所示)。
也就是说，图216表示这样的状态，其中如图215所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)被平移如上述公式(109)所示的平移量Cx(y)。换句话说，图216表示了这样的状态，其中如图215所示的五个曲线图被平移，如同表示数据连续性的实际方向上的梯度GF被认为是梯度GF’(在图中，由虚线构成的直线被认为是由实线构成的直线)。
在图216中的状态中，例如，如果将各输入像素值P(x，-2)、P(x．-1)、P(x，0)、P(x，1)以及P(x，2)沿x轴补充(在图216所示的状态中，如果重叠5个曲线)，如图217所示的平行于x轴的多条直线(虚线、三点连线、实线、单点连线以及两点连线)被分布。
注意，在图217中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。同样，虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，单点连线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图217中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。
当各20个输入像素值P(x，y)(然而，x为-1到2的任意整数，y为-2到2的任意整数)这样被分布，并且用来最小化函数值f2(x+Cx(y))的误差的回归曲线(通过对上述公式(104)代入利用最小二乘法计算的特征wi而获得的模拟函数f2(x))变成如图217中实线所示的曲线f2(x)。
从而，利用第二方法产生的模拟函数f2(x)表示了在X方向上连接从数据连续性检测单元101(图205)输出的在角度θ方向(即在基本空间方向中的连续性方向)上的输入像素值P(x，y)的方法的曲线。
另一方面，如上所述，利用第一方法产生的模拟函数f1(x)只是表示了在X方向上连接在Y方向(即，不同于空间方向中的连续性的方向)上的输入像素值P(x，y)的方法。
因此，如图217所示，利用第二方法产生的模拟函数f2(x)变成其中波形平缓程度下降的函数，另外，相对于原始像素值的细节减少程度比第一方法产生的模拟函数f1(x)减少。换句话说，虽然图中没有示出，利用第二方法产生的模拟函数f2(x)中，其波形变成比利用第一方法产生的模拟函数f1(x)更接近实际X截面的波形F(x)的波形。
然而，如上所述，模拟函数f2(x)是考虑空间方向中的连续性的函数，但只是其中将输入图像(输入像素值)看作原点(基准)而产生的函数。也就是说，如图210所示，模拟函数f2(x)只是模拟不同于X截面波形F(x)的输入图像的函数，而难以认为模拟函数f2(x)是模拟X截面波形F(x)的函数。换句话说，第二方法是在假设上述公式(110)成立下用于计算特征wi的方法，但是不考虑上述公式(104)中的关系(不考虑传感器2的积分效应)。
因此，本申请人已经发明了用于计算模拟函数f3(x)的特征wi的第三方法，其相对于第二方法还考虑了传感器2的积分效应。
也就是说，第三方法是引入空间混合区域的概念的方法。
在描述第三方法前，将参考图218描述空间混合区域。
在图218中，现实世界1中的光信号的部分2321(下文中，指区域2321)表示具有与传感器2的一个检测元件(像素)相同面积的区域。
当传感器2检测区域2321时，传感器2输出通过对区域2321进行在时间和空间方向上(X方向、Y方向和t方向)的积分而获得的值(一个像素值)2322。注意，图中将像素值2322表示为图像，但是实际为表示预定值的数据。
现实世界1中的区域2321被清楚地分成对应于前景(例如上述细线)的光信号(图中的白色区域)、和对应于背景的光信号(图中黑色区域)。
另一方面，像素值2322是通过对对应于前景的现实世界1中的光信号和对应于背景的现实世界1中的光信号进行积分而获得的值。换句话说，像素值2322是对应于其中空间混合对应于前景的光和对应于背景的光的水平的值。
从而，在下述情况下，即其中对应于现实世界1的光信号的一个像素(传感器2的检测元件)的部分不是其中具有相同水平的信号空间均匀地分布的部分，而是其中分布例如前景和背景的具有不同水平的光信号的部分，一旦其区域被传感器2检测，该区域变成一个像素值，如同通过传感器2的积分效应(在空间方向中的积分)空间混合不同的光水平一样。从而，这里，将由这样的像素构成的区域称为空间混合区域，在所述像素中，对对应于前景(现实世界1中的光信号)的图像、和对应于背景的图像(现实世界1中的光信号)进行空间积分。
因此，在第三方法中，现实世界估计单元102(图205)通过利用用作如图219所示的一维多项式的模拟函数f3(x)模拟X截面波形F(x)，而估计表示现实世界1中的原始区域2321(在现实世界1的光信号中，部分2321对应于传感器2的一个像素)的X截面波形F(x)。
也就是说，图219示出了对应于用作空间混合区域(图218)的像素值2322的模拟函数f3(x)的实例，即，模拟对应于现实世界1中的区域2331内的实线的X截面波形F(x)的模拟函数f3(x)(图218)。在图219中，图中水平方向上的轴线表示平行于对应于像素值2322的像素的左上端xs到右下端xe的边的轴线(图218)，将其取为x轴。图中垂直方向上的轴线被取为表示像素值的轴线。
在图219中，在通过对模拟函数f3(x)进行在从xs到xe(像素宽度)的范围上进行积分获得的结果通常等于从传感器2输出的像素值P(x，y)的条件下(只依赖于误差的余量)，限定下面公式(112)。
公式(112) 在该情况下，从如图214所示的包括细线的数据区域2302的20个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)计算模拟函数f3(x)的特征wi，从而公式(112)中的像素值P变成P(x，y)。
另外，如同在第二方法中，需要考虑空间方向的连续性，因此，公式(112)的积分范围中的开始位置xs和结束位置xe每个都依赖于平移量Cx(y)。也就是说，公式(112)的积分范围中的开始位置xs和结束位置xe每个如下面公式(113)所示。
xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5 公式(113) 在该情况下，当将如图214所示的包括细线的数据区域2302每个像素值，即如图215所示的各个输入像素值P(x，-2)、P Cx，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x为从-1到2的任意整数值)代入上述公式(1 12)中(积分范围为上述公式(113))，产生在下面公式(114)中的20个方程。
公式(114) 公式(114)如上述公式(111)由二十个方程构成。因此相对于第二方法，在第三方法中，当在模拟函数f3(x)的特征wi数小于20的情况下，即在模拟函数f3(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征wi。注意，下面将描述最小二乘法的具体求解。
例如，如果说模拟函数f3(x)的维数为5，利用公式(114)由最小二乘法计算的模拟函数f3(x)(通过计算出的特征wi产生的模拟函数f3(x))变成如图220中实线所示的曲线。
注意，在图220中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。
如图220所示，在将利用第三方法产生的模拟函数f3(x)(如图中实线所示的曲线)与利用第二方法产生的模拟函数f2(x)(如图中虚线所示的曲线)相比较的情况下，在x＝0处的像素值变大，并且曲线的梯度产生更陡的波形。这是因为细节增为多于输入像素，导致与输入像素的分辨率无关。也就是说，可以说模拟函数f3(x)模拟了X截面波形F(x)。因此，虽然图中没有示出，模拟函数f3(x)变成比模拟函数f2(x)更接近X截面波形F(x)的波形。
图221示出了利用该一维多项式模拟方法的现实世界估计单元102的结构实例。
在图221中，现实世界估计单元102通过利用上述第三方法(最小二乘法)计算特征wi，而估计X截面波形F(x)，并利用计算出的特征wi产生上述公式(105)的模拟函数f(x)。
如图221所示，现实世界估计单元102包括条件设置单元2231、输入图像存储单元2332、输入像素值获取单元2333、积分分量计算单元2334、正规方程产生单元2335、以及模拟函数产生单元2336。
条件设置单元2331设置用于估计对应于关注像素的X截面波形F(x)的像素范围(下文称分块范围)、以及模拟函数f(x)的维数n。
输入图像存储单元2332临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2333获取存储在输入图像存储单元2332中的输入图像的对应于由条件设置单元2231设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2335作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。
这里，现实世界估计单元102利用上述公式(112)和公式(113)通过最小二乘法计算模拟函数f(x)的特征wi，但是上述公式(112)可以表示成如公式(115)所示。
公式(115) 在公式(115)中，Si(xs，xe)表示i维项的积分分量。也就是说，积分分量Si(xs，xe)如下面公式(116)所示。
公式(116) 积分分量计算单元2334计算积分分量Si(xs，xe)。
尤其是，只要已知相对像素位置(x，y)、平移量Cx(y)、以及i维项的i，便可以计算如公式(116)所示的Si(xs，xe)(然而，值xs和值xe是如上述公式(112)所示的值)。另外，其中分别，由关注像素和分块范围确定相对像素位置(x，y)，由角度θ(通过上述公式(107)和公式(109))确定平移量Cx(y)，以及由维数n确定范围i。
因此，积分分量计算单元2334基于由条件设置单元2331设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量Si(xs，xe)，并将计算结果提供给正规方程产生单元2335作为积分分量表。
正规方程产生单元2335在利用从输入像素值获取单元2333提供的输入像素值表、以及从积分分量计算单元2334提供的积分分量表通过最小二乘法获得的公式(115)右侧的特征wi的情况下，产生上述公式(112)，即正规方程，并将其作为正规方程表提供给模拟函数产生单元2336。注意，下面将描述正规方程的具体实例。
模拟函数产生单元2336通过利用矩阵方法求解包括在从正规方程产生单元2335提供的正规方程表中的正规方程，而计算上述公式(115)的各个特征wi(即，作为一维多项式的模拟函数f(x)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图222的流程图描述采用一维多项式模拟方法的现实世界估计单元102(图221)的现实世界估计处理(图40中步骤S102的处理)。
例如，假设如上述作为从传感器2输出的一帧输入图像的、包括图207中的包括细线的数据区域2302的输入图像已经被存储在输入图像存储单元2332中。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对包括细线的数据区域2302进行了其处理，并已经输出角度θ作为数据连续性信息。
在该情况下，条件设置单元2331在图222的步骤S2301中设置条件(分块范围和维数)。
例如，假设设置了如图223所示的分块范围2351，并将维数设置为5维。
也就是说，图223描述了分块范围的实例。在图223中，X方向和Y方向分别为传感器2的X方向和Y方向(图206)。另外，分块范围2351表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。
另外，如图223所示，假设图中分块范围2351的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图223所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。
现在，将返回图222进行描述，其中在步骤S2302中，条件设置单元2331设置关注像素。
在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包括细线的数据区域2302(图211)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(117)所示的关系。然而，在公式(117)中，左侧表示输入像素值P(l)，右侧表示输入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2’-2)公式(117) 在步骤S2304，积分分量计算单元2334基于由条件设置单元2331设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2334将上述公式(116)中的积分分量Si(xs，xe)计算为l的函数，如下面公式(118)中左侧所示的积分分量Si(l)。
Si(1)＝Si(xs，xe) 公式(118) 尤其是，在该情况下，计算出如下面公式(119)所示的积分分量Si(l)。
Si(0)＝Si(-0.5，0.5) Si(1)＝Si(-1.5-Cx(2)，-0.5-Cx(2)) Si(2)＝Si(-0.5-Cx(2)，0.5-Cx(2)) Si(3)＝Si(0.5-Cx(2)，1.5-Cx(2)) Si(4)＝Si(1.5-Cx(2)，2.5-Cx(2)) Si(5)＝Si(-1.5-Cx(1)，-0.5-Cx(1)) Si(6)＝Si(-0.5-Cx(1)，0.5-Cx(1)) Si(7)＝Si(0.5-Cx(1)，1.5-Cx(1)) Si(8)＝Si(1.5-Cx(1)，2.5-Cx(1)) Si(9)＝Si(-1.5，-0.5) Si(10)＝Si(0.5，1.5) Si(11)＝Si(1.5，2.5) Si(12)＝Si(-1.5-Cx(-1)，-0.5-Cx(-1)) Si(13)＝Si(-0.5-Cx(-1)，0.5-Cx(-1)) Si(14)＝Si(0.5-Cx(-1)，1.5-Cx(-1)) Si(15)＝Si(1.5-Cx(-1)，2.5-Cx(-1)) Si(16)＝Si(-1.5-Cx(-2)，-0.5-Cx(-2)) Si(17)＝Si(-0.5-Cx(-2)，0.5-Cx(-2)) Si(18)＝Si(0.5-Cx(-2)，1.5-Cx(-2)) Si(19)＝Si(1.5-Cx(-2)，2.5-Cx(-2)) 公式(119) 注意，在公式(119)中，左侧表示积分分量Si(l)，以及右侧表示积分分量Si(xs，xe)。也就是说，在该情况下，i为0到5，因此，计算出20 S0(l)、20 S1(l)、20 S2(l)、20 S3(l)、20 S4(l)、以及20 S5(l)共120个20 Si(l)。
尤其是，第-积分分量计算单元2334利用从数据连续性检测单元101提供的角度θ计算每个平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)。接着，积分分量计算单元2334利用计算的平移量Cx(-2)、Cx(-1)、Cx(1)以及Cx(2)计算如公式(118)右侧所示的关于i＝0到5的每个的20个积分分量Si(xs，xe)中的每个。也就是说，计算120个积分分量Si(xs，xe)。注意，在对该积分分量Si(xs，xe)的计算中，使用了上述公式(116)。接着，积分分量计算单元2334根据公式(119)将每个计算的120个积分分量Si(xs，xe)转换成相应的积分分量Si(l)，并产生包括转换的120个积分分量Si(l)的积分分量表。
注意，步骤S2303中的处理和步骤S2304中的处理的顺序不限于图222中的实例，可以先执行步骤S2304中的处理，或者可以同时执行步骤S2303中的处理和步骤S2304中的处理。
接着，在步骤S2305中，正规方程产生单元2335基于由输入像素值获取单元2333在步骤S2303中的处理中产生的输入像素值表、以及由积分分量计算单元2334在步骤S2304的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算对应于上述公式(115)的下面公式(120)的特征。对应于此的正规方程如下面公式(121)所示。
公式(120)
公式(121) 注意，在公式(121)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。
如果限定如公式(121)所示的正规方程的每个矩阵如公式(122)到(124)所示，正规方程被表示为如下公式(125)。
公式(122) 公式(123) 公式(124) SMAT WMAT＝PMAT公式(125) 如公式(123)所示，各个矩阵WMAT的分量为将要获得的特征wi。因此，在公式(125)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT(即特征wi)。
尤其是，如公式(122)所示，只要已知上述积分分量Si(l)，便可以计算矩阵SMAT的各个分量。积分分量Si(l)被包括在从积分分量计算单元2334提供的积分分量表中，从而正规方程产生单元2335可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(124)所示，只要已知积分分量Si(l)和像素值P(l)，就可以计算矩阵PMAT的各个分量。积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2333提供的输入像素值表中，从而，正规方程产生单元利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2335计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2336。
当从正规方程产生单元2335输出正规方程表时，在步骤S2306中，模拟函数产生单元2336基于正规方程表计算特征wi(即作为一维多项式的模拟函数f(x)的系数wi)，作为上述公式(125)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(125)中的正规方程转换为下面的公式(126)。
公式(126) 在公式(126)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2335提供的正规方程表中。因此，模拟函数产生单元2336通过利用正规方程表计算公式(126)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2307中，模拟函数产生单元2336确定是否已经完成对全部像素的处理。
在步骤S2307中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2303，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2302到S2307。
在已经完成对全部像素的处理的情况下(在步骤S2307中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
注意，通过这样计算的利用系数(特征)wi产生的模拟函数f(x)的波形变成如上述图220中模拟函数f3(x)的波形。
从而，在一维多项式模拟方法中，在假设具有与一维X截面波形F(x)相同的形式的波形在连续性方向上连续，计算作为一维多项式的模拟函数f(x)的特征。因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数f(x)的特征。
换句话说，在一维多项式模拟方法中，例如，每个具有时．空积分效应的传感器的多个检测元件(例如图206中的传感器2的检测元件2-1)投影现实世界1中的光信号(例如图207中的现实世界1中的光信号的l部分2301)，图205中的数据连续性检测单元101(图3)检测由多个像素构成的图像数据(例如图207中的图像数据(输入图像区域)2302)中的数据连续性(例如，图214中由Gf表示的数据连续性)，所述像素具有由检测元件2-1投影的像素值(例如在图212中的各个曲线图中示出的输入像素值P(x，y))，所述连续性丢失了现实世界1的光信号的部分连续性(例如图214中由梯度GF表示的连续性)。
例如，在这样的条件下，其中在对应于图像数据的时-空方向的一维方向(例如，图209中的箭头2311的方向，即X方向)中的位置上的像素的像素值(例如，作为上述公式(112)左侧的输入像素值P)为通过一维方向中的积分效应获取的像素值(例如，如公式(112)右侧所示，通过在X方向上积分模拟函数f3(x)而获得的值)，所述一维方向对应于由数据连续性检测单元101检测的数据连续性，则图205(图3)中的现实世界估计单元102通过利用预定模拟函数f(尤其是，例如图220中的模拟函数f3(x))模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))，而估计光信号函数F。
具体地说，例如，在这样的条件下，其中，在对应于沿一维方向(例如，图X方向)上离对应于由连续性检测处理单元101检测的数据连续性(例如图216中对应于梯度Gf的线(虚线))的直线的距离(例如图216中的平移量Cx(y))的像素的像素值为通过一维方向中的积分效应获取的像素值(例如，如公式(112)右侧所示，通过在X方向上积分模拟函数f3(x)而获得的值，其中积分范围如公式(112)所示)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数的特征。
接着，将参考图224到图230描述第二函数模拟方法。
也就是说，第二函数模拟方法是这样的方法，其中将例如具有在由例如如图224所示的梯度GF表示的空间方向上的连续性的现实世界1中的光信号看作在X-Y平面上的波形F(x，y)(在作为空间方向的一个方向的X方向和垂直于X方向的Y方向上的平面水平)，并且利用作为二维多项式的模拟函数f(x，y)模拟波形F(x，y)，从而估计波形F(x，y)。因此，下文中，第二函数模拟方法称二维多项式模拟方法。
注意，在图224中，分别为，水平方向表示作为空间方向的一个方向的X方向，右上方向表示作为空间方向的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向中的连续性的梯度。
另外，在描述二维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图225所示。
在图225的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。
另外，在图225所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。
另外，在图225所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。
在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(127)表示。
公式(127) 类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(127)所示的像素值P。
另外，如上所述，二维多项式模拟方法是这样的方法，其中将现实世界1的光信号处理作为例如如图224所示的波形F(x，y)，并且利用作为二维多项式的模拟函数f(x，y)模拟二维波形F(x，y)。
首先，将描述表示具有二维多项式的模拟函数f(x，y)的方法。
如上所述，用光信号函数F(x，y，t)表示现实世界1的光信号，在所示函数中的变量为在三维空间x、y和z上的位置以及时刻t。这里，将这样的光信号函数F(x，y，t)，即在Y方向上的任意位置被投影到X方向上的一维波形称为X截面波形F(x)。
当关注该X截面波形F(x)时，在现实世界1中的信号具有在空间方向中的特定方向上的连续性的情况下，可以考虑具有与X截面波形F(x)相同的形式的波形在连续性方向上连续。例如，在图224中的实例中，具有与X截面波形F(x)相同的形式的波形在梯度GF方向上连续。换句话说，可以认为，通过在梯度GF方向上连续的具有与X截面波形F(x)相同的形式的波形形成波形F(x，y)。
因此，通过考虑由具有与模拟连续的X截面波形F(x)的模拟函数f(x)相同的形式的连续波形形成用于模拟波形F(x，y)的模拟函数f(x，y)的波形，可以由二维多项式表示模拟函数f(x，y)。
下面将更详细地描述模拟函数f(x，y)的表示方法。
例如，假设由传感器2(图225)检测上述图224所示的现实世界1的光信号，即在由梯度GF表示的空间方向上具有连续性的光信号，并将其输出作为输入图像(像素值)。
另外，假设如图226所示，数据连续性检测单元101(图3)对该输入图像的由在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中，由虚线表示的20个方形)构成的输入图像区域2401进行其处理，并输出角度θ(由对应于梯度GF的梯度Gf表示的数据连续性方向和X方向之间的角度θ)作为一个数据连续性信息。
注意，在输入图像区域2401中，图中的水平方向表示作为空间方向的一个方向的X方向，以及图中的垂直方向表示作为空间方向中的另一个方向的Y方向。
另外，在图226中，建立(x，y)坐标系，从而取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度Gf的直线)的相对距离(下文中，称为截面方向距离)描述为x’。
另外，在图226中，右侧的曲线图是其中模拟X截面波形F(x’)的函数，其表示作为n维(n为任意整数)多项式的模拟函数f(x’)。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。
在该情况下，如图226所示的模拟函数f(x’)是n维多项式，因而由下面公式(128)表示。
公式(128) 另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x1由下面公式(129)表示。然而，在公式(129)中，s表示cotθ。
xl＝s×y 公式(129) 也就是说，如图226所示，由坐标值(x1，y)表示对应于由梯度Gf表示的数据连续性的直线上的点。
利用公式(129)，将截面方向距离x’表示成如下面公式(130)。
x′＝x-x1＝x-s×y 公式(130) 因此，利用公式(128)和公式(130)，将输入图像区域2410内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(131)。
公式(131) 注意，在公式(131)中，wi表示模拟函数f(x，y)的系数。注意，可以将包括模拟函数f(x，y)的模拟函数f的系数wi取值为模拟函数f的特征。因此，模拟函数f的系数wi也称为模拟函数f的特征wi。
从而，只要角度θ已知，可以将具有二维波形的模拟函数f(x，y)表示成公式(131)的多项式。
因此，如果现实世界估计单元102可以计算公式(131)的特征wi，则现实世界估计单元102可以估计如图224所示的波形F(x，y)。
接着，下文中，将描述用于计算公式(131)的特征wi的方法。
也就是说，当在对应于一个像素(传感器2(图225)的检测单元2-1)的积分范围(在空间方向中的积分范围)上对由公式(131)表示的模拟函数f(x，y)进行积分时，积分值变成关于像素的像素值的估计值。这由下面的公式(132)中的方程表示。注意，在二维多项式模拟方法中，将时间方向t看作不变值，从而公式(132)被看作其中以在空间方向(X方向和Y方向)中的位置x和y为变量的方程。
公式(132) 在公式(132)中，P(x，y)表示其中心位置为来自传感器2的输入图像的位置(x，y)(自关注像素的相对位置(x，y))的像素的像素值。另外，e表示误差余量。
从而，在二维多项式模拟方法中，可以用公式(132)表示输入像素值P(x，y)和作为二维多项式的模拟函数f(x，y)之间的关系，因此，通过利用公式(132)(通过对公式(130)代入计算的特征wi而产生模拟函数f(x，y))由例如最小二乘法等计算特征wi，现实世界估计单元102可以估计二维函数F(x，y)(其中在空间方向中突出表示具有由梯度GF(图224)表示的空间方向中的连续性的现实世界1中的光信号的波形F(x，y))。
图227示出了采用该二维多项式模拟方法的现实世界估计单元102的结构实例。
如图227所示，现实世界估计单元102包括条件设置单元2421、输入图像存储单元2422、输入像素值获取单元2423、积分分量计算单元2424、正规方程产生单元2425、以及模拟函数产生单元2426。
条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分块范围)、以及模拟函数f(x，y)的维数n。
输入图像存储单元2422临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2423获取存储在输入图像存储单元2422中的输入图像的对应于由条件设置单元2421设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2425作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。
另外，如上所述，采用二维函数模拟方法的现实世界估计单元102通过利用最小二乘法求解上述公式(132)而计算由上述公式(131)表示的模拟函数f(x，y)的特征wi。
通过利用从下面公式(133)到(135)获得的下面的公式(136)可以将公式(132)表示成下面的公式(137)。
公式(133) 公式(134) 公式(135) 公式(136) 公式(137) 在公式(137)中，Si(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)如下面公式在(138)所示。
公式(138) 积分分量计算单元2424计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。
尤其是，只要已知相对像素位置(x，y)、上述公式(131)中i维项的s和i变量，便可以计算如公式(138)所示的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。其中分别地，相对像素位置(x，y)由关注像素和分块范围确定，变量s为由角度θ确定的cotθ，以及范围i由维数n确定。
因此，积分分量计算单元2424基于由条件设置单元2421设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)，并将计算结果提供给正规方程产生单元2425作为积分分量表。
正规方程产生单元2425在利用从输入像素值获取单元2423提供的输入像素值表、以及从积分分量计算单元2424提供的积分分量表通过最小二乘法获得上述公式(132)即公式(137)的情况下，产生正规方程，并将其作为正规方程表输出给模拟函数产生单元2426。注意，下面将描述正规方程的具体实例。
模拟函数产生单元2426通过利用矩阵方法求解包括在从正规方程产生单元2425提供的正规方程表中的正规方程，而计算上述公式(132)的各个特征wi(即，作为二维多项式的模拟函数f(x，y)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图228的流程图描述采用二维多项式模拟方法的现实世界估计处理(图40中步骤S102的处理)。
例如，假设具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号已经由传感器2检测、并被存储入输入图像存储单元2422作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对输入图像的上述如图226所示的区域2401进行了其处理，并已经输出角度θ作为数据连续性信息。
在该情况下，在步骤S2401中，条件设置单元2421设置条件(分块范围和维数)。
例如，假设设置了如图229所示的分块范围2441，并将维数设置为5维。
图229描述了分块范围的实例。在图229中，X方向和Y方向分别为传感器2的X方向和Y方向(图225)。另外，分块范围2441表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。
另外，如图229所示，假设图中分块范围2441的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图229所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。
现在，将返回图228进行描述，其中在步骤S2402中，条件设置单元2421设置关注像素。
在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2402(图226)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。
注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(139)所示的关系。然而，在公式(139)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。
P(0)＝P(0，0) P(1)＝P(-1，2) P(2)＝P(0，2) P(3)＝P(1，2) P(4)＝P(2，2) P(5)＝P(-1，1) P(6)＝P(0，1) P(7)＝P(1，1) P(8)＝P(2，1) P(9)＝P(-1，0) P(10)＝P(1，0) P(11)＝P(2，0) P(12)＝P(-1，-1) P(13)＝P(0，-1) P(14)＝P(1，-1) P(15)＝P(2，-1) P(16)＝P(-1，-2) P(17)＝P(0，-2) P(18)＝P(1，-2) P(19)＝P(2，-2)公式(139) 在步骤S2404，积分分量计算单元2424基于由条件设置单元2421设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。
在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2424将上述公式(138)中的积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，如下面公式(140)中左侧所示的积分分量Si(l)。
Si(1)＝Si(x-0.5，x+0.5，y-0.5，y+0.5)公式(140) 尤其是，在该情况下，计算出如下面公式(141)所示的积分分量Si(l)。
Si(0)＝Si(-0.5，0.5，-0.5，0.5) Si(1)＝Si(-1.5，-0.5，1.5，2.5) Si(2)＝Si(-0.5，0.5，1.5，2.5) Si(3)＝Si(0.5，1.5，1.5，2.5) Si(4)＝Si(1.5，2.5，1.5，2.5) Si(5)＝Si(-1.5，-0.5，0.5，1.5) Si(6)＝Si(-0.5，0.5，0.5，1.5) Si(7)＝Si(0.5，1.5，0.5，1.5) Si(8)＝Si(1.5，2.5．0.5，1.5) Si(9)＝Si(-1.5，-0.5，-0.5，0.5) Si(10)＝Si(0.5，1.5，-0.5，0.5) Si(11)＝Si(1.5，2.5，-0.5，0.5) Si(12)＝Si(-1.5，-0.5，-1.5，-0.5) Si(13)＝Si(-0.5，0.5，-1.5，-0.5) Si(14)＝Si(0.5，1.5，-1.5，-0.5) Si(15)＝Si(1.5，2.5，-1.5，-0.5) Si(16)＝Si(-1.5，-0.5，-2.5，-1.5) Si(17)＝Si(-0.5，0.5，-2.5，-1.5) Si(18)＝Si(0.5，1.5，-2.5，-1.5) Si(19)＝Si(1.5，2.5，-2.5，-1.5)公式(141) 注意，在公式(141)中，左侧表示积分分量Si(l)，以及右侧表示积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i为0到5，因此，计算出20 S0(l)、20 S1(l)、20 S2(l)、20 S3(l)、20 S4(l)、以及20 S5(l)共120个20 Si(l)。
尤其是，第一积分分量计算单元2424计算与从数据连续性检测单元101提供的角度θ对应的cotθ，并取计算结果为变量s。接着，积分分量计算单元2424利用计算的变量s计算如公式(140)右侧所示的关于i＝0到5的每个的20个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)中的每个。也就是说，计算120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)。注意，在对该积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)的计算中，使用了上述公式(138)。接着，积分分量计算单元2424根据公式(141)将每个计算的120个积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换成相应的积分分量Si(l)，并产生包括转换的120个积分分量Si(l)的积分分量表。
注意，步骤S2403中的处理和步骤S2404中的处理的顺序不限于图228中的实例，可以先执行步骤S2404中的处理，或者可以同时执行步骤S2403中的处理和步骤S2404中的处理。
接着，在步骤S2405中，正规方程产生单元2425基于由输入像素值获取单元2423在步骤S2403中的处理中产生的输入像素值表、以及由积分分量计算单元2424在步骤S2404的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算通过上述公式(137)计算特征wi(然而，在公式(136)中，使用利用公式(140)从积分分量Si(x-0.5，x+0.5，y-0.5，y+0.5)转换来的Si(l))，对应于此的正规方程如下面公式(142)所示。
公式(142) 注意，在公式(142)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。
如果限定如公式(142)所示的正规方程的每个矩阵如公式(143)到(145)所示，则正规方程被表示为如下公式(146)。
公式(143) 公式(144) 公式(145) SMAT WMAT＝PMAT 公式(146) 如公式(144)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(146)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT。
尤其是，如公式(143)所示，利用上述积分分量Si(l)，可以计算矩阵SMAT的各个分量。也就是说，积分分量Si(l)被包括在从积分分量计算单元2424提供的积分分量表中，从而正规方程产生单元2425可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(145)所示，利用积分分量Si(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。也就是说，积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2423提供的输入像素值表中，从而，正规方程产生单元2425利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2425计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2426。
当从正规方程产生单元2425输出正规方程表时，在步骤S2406中，模拟函数产生单元2426基于正规方程表计算特征wi(即作为二维多项式的模拟函数f(x，y)的系数wi)，作为上述公式(146)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(146)中的正规方程转换为下面的公式(147)。
公式(147) 在公式(147)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2425提供的正规方程表中。因此，模拟函数产生单元2426通过利用正规方程表计算公式(147)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2407中，模拟函数产生单元2426确定是否已经完成对全部像素的处理。
在步骤S2407中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2402，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2402到S2407。
在已经完成对全部像素的处理的情况下(在步骤S2407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
作为对二维多项式模拟方法的描述，已经采用了用于对应于空间方向(X方向和Y方向)计算模拟函数f(x，y)的系数(特征)wi的实例，但是也可以将二维多项式模拟方法施加到时间和空间方向(X方向和t方向、或Y方向和t方向)。
也就是说，上述实例是这样的实例，其中现实世界1中的光信号具有由梯度Gf(图224)表示的空间方向中的连续性，以及因此，如上述公式(132)所示，所示方程包括在空间方向(X方向和Y方向)中的二维积分。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。
换句话说，在二维多项式模拟方法中，即使在这样的情况下，其中，将要被估计的光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。
尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由例如X-t平面中的梯度Vf表示，如图230所示。换句话说，可以认为梯度Vf表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101可以输出如图230所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度VF的梯度Vf表示的数据连续性方向和空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度VF、以及角度θ(对应于在X-Y平面中由梯度GF表示的空间方向的连续性的连续性信息)。
因此，采用二维多项式模拟方法的现实世界估计单元102通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)wi。然而，在该情况下，将要使用的公式不是上述公式(132)，而是下面的公式(148)。
公式(148) 注意，在公式(148)中，s为cotθ(然而，θ是移动)。
另外，可以以与上述模拟函数f(x，t)相同的方法，处理关注空间方向Y而不是空间方向X的模拟函数f(y，t)。
从而，在二维多项式模拟方法中，例如，每个具有时间-空间积分效应的传感器的多个检测元件(例如图225中传感器2的检测元件2-1)投影现实世界1的光信号(图205)，图205中的数据连续性检测单元101检测图像数据(例如，图205中的输入图像)中的数据连续性(例如，图226中由Gf表示的数据连续性)，所述图像数据由具有利用检测元件2-1投影的像素值的多个像素构成，其丢失了现实世界1的光信号的部分连续性(例如，图224中由梯度GF表示的连续性)。
例如，在这样的条件下，其中至少在对应于图像数据的时-空方向的二维方向(例如，图224和图225中的空间方向和空间方向Y)中的位置上的像素的像素值(例如，作为上述公式(131)左侧的输入像素值P(x，y))为通过二维方向中的积分效应获取的像素值(例如，如公式(132)右侧所示，通过在X方向和Y方向上积分上述公式(131)中的模拟函数f(x，y)而获得的值)，所述二维方向对应于由数据连续性检测单元101检测的数据连续性，则图205(图3)中的现实世界估计单元102通过利用作为多项式的模拟函数f(例如如公式(131)中的模拟函数f(x，y))模拟表示现实世界1的光信号的光信号函数F(尤其是，图224中的函数F(x，y))，而估计光信号函数F。
具体为，例如，在这样的条件下，其中，在对应于沿二维方向上离对应于由连续性检测处理单元101检测的数据连续性(例如图226中对应于梯度Gf的线(箭头))的直线的距离(例如图226中的截面方向距离x’)的像素的像素值为通过至少在二维方向中的积分效应获取的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计表示光信号的第一函数。
因此，在二维多项式模拟方法中，考虑二维积分效应而不是一维积分效应，从而可以比一维多项式模拟方法更精确地估计现实世界1中的光信号。
接着，将参考图231到图235描述第三函数模拟方法。
也就是说，第三函数模拟方法是这样的方法，其中关注具有在时空方向的预定方向上的连续性的现实世界1中的光信号由光信号函数F(x，y，t)表示的情况，利用模拟函数f(x，y，t)模拟光信号函数F(x，y，t)，从而估计光信号函数F(x，y，t)。因此，下文中，第三函数模拟方法称为三维函数模拟方法。
另外，在描述三维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图231所示。
在图231的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。
另外，在图231所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。
另外，在图231所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。
在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。
也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(149)表示。
公式(149) 类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(149)所示的像素值P。
另外，如上所述，在三维多项式模拟方法中，将光信号函数F(x，y，t)模拟为三维多项式的模拟函数f(x，y，t)。
尤其是，例如，取模拟函数f(x，y，t)为具有N变量(特征)的函数，定义对应于公式(149)的输入像素值P(x，y，t)与模拟函数f(x，y，t)之间的关系式。从而，在获取大于N的M个输入像素P(x，y，t)的情况下，可以从定义的关系式计算N个变量(特征)。也就是说，现实世界估计单元102通过获取M个输入像素P(x，y，t)并计算N个变量(特征)可以估计光信号函数F(x，y，t)。
在该情况下，现实世界估计单元102通过利用来自传感器2的输入图像(输入像素值)中包括的数据连续性作为约束(即，利用数据连续性信息作为将要从数据连续性检测单元101输出的输入图像)，从整个输入图像中选取(获取)M个输入图像P(x，y，t)。因此，预测函数f(x，y，t)由数据连续性约束。
例如，如图232所示，在对应于输入图像的光信号函数F(x，y，t)具有由梯度GF表示的空间方向中的连续性的情况下，数据连续性检测单元101最后输出角度θ(在由对应于梯度GF的梯度Gf(未示出)表示的数据连续性方向与X轴之间的角度θ)作为相对于输入图像的连续性信息。
在该情况下，就认为即使在投影到Y方向的任意位置的情况下，其中光信号函数F(x，y，t)被投影在X方向的一维波形(该波形在此称作X截面波形)具有相同的形式。
也就是说，就认为存在具有相同形式的X截面波形，其为在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。
换句话说，在Y方向上从关注像素的中心平移y位置的X截面波形变成这样的波形，其中通过关注像素中心的X截面波形在X方向上被移动(平移)预定量(根据角度θ的变化量)。注意，下文中，该量称为平移量。
可以如下计算平移量。
也就是说，梯度Vf(例如，表示对应于图232中的梯度VF的数据连续性方向的梯度Vf)和角度θ如下面公式(150)所示。
公式(150) 注意，在公式(150)中，dx表示在X方向中的微小移动量，dy表示相对于dx在Y方向上的微小移动量。
因此，如果将相对于X方向的移动量描述为Cx(y)，其由下面公式(151)表示。
公式(151) 如果这样定义平移量Cx(y)，则对应于公式(149)的输入像素值P(x，y，t)与模拟函数f(x，y，t)之间的关系式如下面的公式(152)所示。
公式(152) 在公式(152)中，e表示误差余量。ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。同样，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。然而，各个具体积分范围如下面公式(153)所示。
ts＝t-0.5 te＝t+0.5 ys＝y-0.5 ye＝y+0.5 xs＝x-Cx(y)-0.5 xe＝x-Cx(y)+0.5 公式(153) 如公式(153)所示，通过在X方向上将积分范围相对于在空间方向上距离关注像素为(x，y)距离的像素平移平移量Cx(y)，可以将其表示为具有相同形式的X截面波形在连续性方向(相对于X方向的角度θ方向)上连续。
从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(152)表示(积分范围为公式(153))，因此，通过例如利用公式(152)和公式(153)的最小二乘法计算模拟函数f(x，y，t)的N个特征，可以估计光信号函数F(x，y，t)(例如，具有由如图232所示的梯度VF表示的空间方向中的连续性的光信号)。
注意，在由光信号函数F(x，y，t)表示的光信号具有由如图232所示的梯度VF表示的空间方向中的连续性的情况下，可以如下模拟光信号函数F(x，y，t)。
也就是说，假设其中在Y方向上投影有光信号函数F(x，y，t)的一维波形(下文中，这样的波形称为Y截面波形)具有相同的形式，即使在X方向的任意位置上的投影的情况下。
换句话说，假设存在其中具有相同形式的Y截面波形的二维(空间方向)波形在连续性方向(相对于X方向的角度θ方向)上连续，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。
因此，在X方向上从关注像素的中心平移x位置的Y截面波形变成这样的波形，其中通过关注像素中心的Y截面波形在Y方向上被移动(平移)预定平移量(根据角度θ的变化平移量)。
可以如下计算平移量。
也就是说，梯度Gf如上述公式(150)所示，从而如果相对于Y方向的平移量被描述为Cy(x)，其被表示为下面的公式(154)。
Cy(x)＝Gf×x公式(154) 如同对平移量Cx(y)的定义，如果这样定义平移量Cx(y)，则对应于公式(149)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式如上述的公式(152)所示。
然而，在该情况下，各个具体积分范围如下面公式(155)所示。
ts＝t-0.5 te＝t+0.5 ys＝y-Cy(x)-0.5 ye＝y-Cy(x)+0.5 Xs＝X-0.5 xe＝×+0.5公式(155) 如公式(155)(和上述公式(152))所示，通过在Y方向上将积分范围相对于距离关注像素为(x，y)的像素平移平移量Cx(y)，可以将其表示为具有相同形式的Y截面波形在连续性方向(相对于X方向的角度θ方向)上连续。
从而，在三维函数模拟方法中，上述公式(152)右侧的积分范围不仅可以设为公式(153)还可以设为公式(155)，因此，通过例如利用其中采用公式(155)作为积分范围的公式(152)的最小二乘法计算模拟函数f(x，y，t)的n个特征，可以估计光信号函数F(x，y，t)(例如，具有由梯度GF表示的空间方向中的连续性的现实世界1中的光信号)。
从而，表示积分范围的公式(153)和公式(155)表示基本相同但只有一个差别，所述差别是关于周边像素是在响应于连续性方向的X方向上平移(在公式(153)的情况下)还是在响应于连续性方向的Y方向上平移(在公式(155)的情况下)。
然而，响应于连续性方向(梯度GF)，存在关于将光信号函数F(x，y，t)看作一组X截面波形、或一组Y截面波形的差别。也就是说，在连续性方向接近Y方向的情况下，优选将光信号函数F(x，y，t)看作一组X截面波形。另一方面，在连续性方向接近X方向的情况下，优选将光信号函数F(x，y，t)看作一组Y截面波形。
因此，优选的是，现实世界估计单元102同时预备公式(153)和公式(155)作为积分范围，并根据连续性方向选择公式(153)和公式(155)中的任一个作为适当公式(152)右侧的积分范围。
尽管已经描述了在这样的情况下的三维函数方法，其中光信号函数F(x，y，t)具有空间方向(X方向和Y方向)中的连续性(例如，由如图232的梯度GF表示的空间方向上的连续性)，但是可以将三维函数方法应用到这样的情况中，其中光信号函数F(x，y，t)具有在时间和空间方向(X方向、Y方向以及t方向)上的连续性(由梯度Vf表示的连续性)，如图233所示。
也就是说，在图233中，取对应于帧#N-1的光信号函数为F(x，y，#N-1)，取对应于帧#N的光信号函数为F(x，y，#N)，以及取对应于帧#N+1的光信号函数为F(x，y，#N+1)。
注意，在图233中，取水平方向为空间方向的一个方向的X方向，取右上方向为空间方向的另一个方向的Y方向，以及取垂直方向为作为图中时间方向的t方向。
另外，帧#N-1在时间上在帧#N之前，而帧#N+1在时间上在帧#N之后。也就是说，以帧#N-1、#N和#N+1的顺序显示帧#N-1、#N和#N+1。
在图233所示的实例中，将沿如梯度VF(图中自左下附近的边的右上向内的方向)所示的方向上的截面光水平看作基本不变。因此，在图233的实例中，可以认为光信号函数F(x，y，t)具有由梯度VF表示的在时间空间方向中的连续性。
在该情况下，当定义表示在时间和空间方向中的连续性的函数C(x，y，t)，并且用定义的函数C(x，y，t)定义上述公式(152)的积分范围，则利用上述公式(153)和公式(155)可以计算模拟函数f(x，y，t)的N个特征。
函数C(x，y，t)不限于特定函数，只要其为表示连续性方向的函数。然而下文中，假设采用线性连续性，并定义对应于作为表示上述空间方向中的连续性的函数的平移量Cx(y)(公式(151))和平移量Cy(x)(公式153)的Cx(t)和Cy(t)作为如下文的对应于其的函数C(x，y，t)。
也就是说，如果将对应于表示上述空间方向中的数据连续性的梯度Gf的在时间和空间方向中的数据连续性取为Vf，并且如果将该梯度Vf分成在X方向中的梯度(下文称为Vfx)和在Y方向上的梯度(下文称为Vfy)，则分别地，梯度Vfx由下面公式(156)表示，以及梯度Vfy由下面公式(157)表示。
公式(156) 公式(157) 在该情况下，利用公式(156)中的Vfx将函数Cx(t)表示为下面的公式(158)。
Cx(t)＝Vfx×t公式(158) 类似，利用公式(157)中的Vfy将函数Cy(t)表示为下面的公式(159)。
Cy(t)＝Vfy×t公式(159) 从而，当定义了表示时间和空间方向中的连续性2511的函数Cx(t)和Cy(t)时，公式(152)的积分范围被表示为公式(160)。
ts＝t-0.5 te＝t+0.5 ys＝y-Cy(t)-0.5 ye＝y-Cy(t)+0.5 xs＝x-Cx(t)-0.5 xe＝x-Cx(t)+0.5公式(160) 从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(152)表示，因此，通过例如利用以公式(160)作为公式(152)右侧的积分范围的最小二乘法等计算模拟函数f(x，y，t)的n+1个特征，可以估计光信号函数F(x，y，t)(具有在时间和空间方向中的预定方向上的连续性的现实世界1的光信号)。
图234示出了采用该三维多项式模拟方法的现实世界估计单元102的结构实例。
注意，通过现实世界估计单元102采用三维函数模拟方法计算的模拟函数f(x，y，t)(实际上，其特征(系数))不限于特定函数，在下面的描述中采用了n(n＝N-1)维的多项式。
如图234所示，现实世界估计单元102包括条件设置单元2521、输入图像存储单元2522、输入像素值获取单元2523、积分分量计算单元2524、正规方程产生单元2525、以及模拟函数产生单元2526。
条件设置单元2521设置用于估计对应于关注像素的光信号函数F(x，y，t)的像素范围(分块范围)、以及模拟函数f(x，y，t)的维数n。
输入图像存储单元2522临时存储来自传感器2的输入图像(像素值)。
输入像素值获取单元2523获取存储在输入图像存储单元2522中的输入图像的对应于由条件设置单元2521设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2525作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。
另外，如上所述，采用三维函数模拟方法的现实世界估计单元102通过利用上述公式(152)(然而，以公式(153)、公式(156)或公式(160)为积分范围)的最小二乘法计算模拟函数f(x，y)的N个特征(在该情况下，为每一维的系数)。
通过计算对公式(152)右侧的积分可以将其表示为下面的公式(161)。
公式(161) 在公式(161)中，wi表示i维项的系数(特征)，另外，Si(xs，xe，ys，ye，ts，te)表示i维项的积分分量。然而，分别地，xs表示在X方向上的积分范围开始位置，xe表示在X方向上的积分范围结束位置，ys表示在Y方向上的积分范围开始位置，ye表示在Y方向上的积分范围结束位置，ts表示在t方向上的积分范围开始位置，以及te表示在t方向上的积分范围结束位置。
积分分量计算单元2524计算积分分量Si(xs，xe，ys，ye，ts，te)。
也就是说，积分分量计算单元2524基于由条件设置单元2521设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度或移动(对于整数范围，在利用上述公式(153)或公式(156)的情况下的角度，以及在利用上述公式(160)的情况下的移动)计算积分分量Si(xs，xe，ys，ye，ts，te)，并将计算结果提供给正规方程产生单元2525作为积分分量表。
正规方程产生单元2525在利用从输入像素值获取单元2523提供的输入像素值表、以及从积分分量计算单元2524提供的积分分量表通过最小二乘法获得上述公式(161)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2526。下面将描述正规方程的具体实例。
模拟函数产生单元2526通过利用矩阵方法求解包括在从正规方程产生单元2525提供的正规方程表中的正规方程，而计算各个特征wi(在该情况下，作为三维多项式的模拟函数f(x，y)的各个系数wi)，并将其输出给图像产生单元103。
接着，将参考图235的流程图描述采用三维函数模拟方法的的现实世界估计处理(图40中步骤S102的处理)。
首先，在步骤S2501中，条件设置单元2521设置条件(分块范围和维数)。
例如，假设设置了由L个像素构成的分块范围2441。另外，假设预定数l(l为0到L-1中的任意整数)被附加到每个像素。
接着，在步骤S2502中，条件设置单元2521设置关注像素。
在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分块范围)获取输入像素值，并产生输入像素值表。在该情况下，产生由L个输入像素值P(x，y，t)构成的表。这里，假设将L个输入像素值P(x，y，t)中的每个描述为作为其像素的数l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。
在步骤S2504，积分分量计算单元2524基于由条件设置单元2521设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度或移动)计算积分分量，并产生积分分量表。
然而，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2524将上述公式(161)中的积分分量Si(xs，xe，ys，ye，ts，te)计算为如积分分量Si(l)的l的函数。也就是说，积分分量表变成包括L×i Si(l)的表。
注意，步骤S2503中的处理和步骤S2504中的处理的顺序不限于图235中的实例，可以先执行步骤S2504中的处理，或者可以同时执行步骤S2503中的处理和步骤S2504中的处理。
接着，在步骤S2505中，正规方程产生单元2525基于由输入像素值获取单元2523在步骤S2503中的处理中产生的输入像素值表、以及由积分分量计算单元2524在步骤S2504的处理中产生的积分分量表，而产生正规方程表。
尤其是，在该情况下，利用最小二乘法计算对应于上述公式(161)的下面公式(162)的特征wi。对应于此的正规方程如下面公式(163)所示。
公式(162)
公式(163) 如果定义如公式(163)所示的正规方程的每个矩阵如公式(164)到(166)所示，则正规方程被表示为如下公式(167)。
公式(164) 公式(165) 公式(166) SMATWMAT＝PMAT 公式(167) 如公式(165)所示，矩阵WMAT的各个分量为将要获得的特征wi。因此，在公式(167)中，如果确定了左侧的矩阵SMAT和右侧的矩阵PMAT，可以利用矩阵解计算矩阵WMAT(即特征wi)。
尤其是，如公式(164)所示，只要已知上述积分分量Si(l)，可以计算矩阵SMAT的各个分量。积分分量Si(l)被包括在从积分分量计算单元2524提供的积分分量表中，从而正规方程产生单元2525可以利用积分分量表计算矩阵SMAT的每个分量。
另外，如公式(166)所示，只要已知积分分量Si(l)和输入像素值P(l)，可以计算矩阵PMAT的各个分量。积分分量Si(l)与被包括在矩阵SMAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2523提供的输入像素值表中，从而，正规方程产生单元2525利用积分分量表和输入像素值表可以计算矩阵PMAT的每个分量。
从而，正规方程产生单元2525计算矩阵SMAT和矩阵PMAT的每个分量，并将计算结果(矩阵SMAT和矩阵PMAT的每个分量)作为正规方程表输出给模拟函数产生单元2526。
当从正规方程产生单元2525输出正规方程表时，在步骤S2506中，模拟函数产生单元2526基于正规方程表计算特征wi(即模拟函数f(x，y，t)的系数wi)，作为上述公式(167)中的矩阵WMAT的各个分量。
尤其是，可以将上述公式(167)中的正规方程转换为下面的公式(168)。
公式(168) 在公式(168)中，左侧矩阵WMAT的各个分量是将要获得的特征wi。关于矩阵SMAT和矩阵PMAT的各个分量被包括在从正规方程产生单元2525提供的正规方程表中。因此，模拟函数产生单元2526通过利用正规方程表计算公式(168)的右侧中的矩阵而计算矩阵WMAT，并将计算结果(特征wi)输出给图像产生单元103。
在步骤S2507中，模拟函数产生单元2526确定是否已经完成对全部像素的处理。
在步骤S2507中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2502，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2502到S2507。
在已经完成对全部像素的处理的情况下(在步骤S5407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。
如上所述，三维函数模拟方法考虑在时间和空间方向上的三维积分效应代替一维或二维积分效应，因此，可以比一维多项式模拟方法和二维多项式模拟方法更精确地估计现实世界1的光信号。
换句话说，在三维函数模拟方法中，例如，在这样的条件下，其中，每个具有时间-空间积分效应的传感器的多个检测元件(例如图231中传感器2的检测元件2-1)投影现实世界1的光信号，在具有利用检测元件投影的像素值的多个像素构成的输入图像中，所述输入图像丢失了现实世界1的光信号的部分连续性(例如，图232中由梯度GF表示的、或图233中由梯度VF表示的连续性)，对应于时空方向中的至少一维方向(例如图233中空间方向X、空间方向Y以及时间方向t的三维方向)的一个位置的上述像素的上述像素值(例如公式(153)左侧的输入像素值P(x，y，z))为通过至少一维方向中的积分效应获取的像素值(例如，如公式(153)右侧所示，通过对模拟函数f(x，y，t)在空间方向X、空间方向Y以及时间方向t三维中积分所获的值)，则图205(图3)中的现实世界估计单元102(例如具有图234所示的结构)利用预定模拟函数f(尤其是，例如，公式(152)右侧的模拟函数f(x，y，t))模拟表示现实世界中的光信号的光信号函数F(尤其是，例如图232和图233中的光信号函数F(x，y，t))而估计光信号函数F， 另外，例如，在图205(图3)中的数据连续性检测单元101检测输入图像数据的连续性的情况下，在对应于在图像数据的时空方向对应于由数据连续性检测单元101检测的数据连续性的至少一维方向中的位置上的像素的像素值是通过至少一维方向上的积分效应获取的像素值的条件下，现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
具体为，例如，在这样的条件下，其中，在对应于沿至少一维方向上离对应于由连续性检测处理单元101检测的数据连续性的直线的距离(例如上述公式(151)中的平移量Cx(y))的像素的像素值为通过至少在一维方向中的积分效应获取的像素值(例如，如公式(153)右侧所示，以上述公式(152)为积分范围，通过对模拟函数f(x，y，t)在X方向、Y方向以及t方向三维中积分所获的值)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数。
因此，三维函数模拟方法可以更精确地估计现实世界1中的光信号。
接着，将参考图236到图257描述图像产生单元103(图3)的实施例。
图236描述了本实施例的特征。
如图236所示，本实施例基于现实世界估计单元102采用函数模拟方法的条件。也就是说，假设作为投影到传感器2中的图像的现实世界1的信号(光强分布)由预定函数F表示，这是现实世界估计单元102利用从传感器2输出的输入图像(像素值P)和从数据连续性检测单元101输出的数据连续性信息由预定函数f模拟函数F而估计函数F的假设。
注意，下文中，在对本实施例的描述中，作为图像的现实世界1中的信号尤其称为光信号，函数F尤其称为光信号函数F。另外，函数f尤其称为模拟函数f。
在该实施例中，基于该假设，图像产生单元103利用从数据连续性检测单元101输出的数据连续性信息和从现实世界估计单元102输出的现实世界估计信息(在图236的实例中，模拟函数f的特征)在预定时间空间区域上积分模拟函数f，并输出积分值作为输出像素值M(输出图像)。注意，在该实施例中，将输入像素值描述为P，并将输出像素值描述为M，以区分输入像素值和输出像素值。
换句话说，当对光信号函数F积分一次，光信号函数F变成输入像素值P，从输入像素值P估计光信号函数F(用模拟函数f模拟)，再次对估计的光信号函数F(即模拟函数f)积分，从而产生输出像素值M。因此，下文中，由图像产生单元103执行的对模拟函数f的积分称为再积分。另外，本实施例称为再积分方法。
注意，如下文所述，在再积分方法中，在产生输出像素值M的情况下，模拟函数f的积分范围不限于在产生输入像素值P的情况下光信号函数F的积分范围(即，传感器2的检测元件的垂直宽度和水平宽度、时间方向上的传感器2的曝光时间)，可以采用任何积分范围。
例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在空间方向上的积分范围，允许改变根据其积分范围的输出图像的像素间距。也就是说，可以产生空间分辨率。
同样，例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在时间方向上的积分范围，允许产生时间分辨率。
此后，将参考附图分别描述该再积分方法的三种特定方法。
也就是说，这些特定方法分别是对应于三种特定函数模拟方法(现实世界估计单元102的实施例的上述三种特定实例)的方法的再积分方法。
尤其是，第一方法是对应于上述一维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第一方法中，进行一维再积分，从而下文中，将这样的再积分方法称为一维再积分方法。
第二方法是对应于上述二维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第二方法中，进行二维再积分，从而下文中，将这样的再积分方法称为二维再积分方法。
第三方法是对应于上述三维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第三方法中，进行三维再积分，从而下文中，将这样的再积分方法称为三维再积分方法。
下文中，将以一维再积分方法、二维再积分方法以及三维再积分方法的顺序对其进行详细描述。
首先将描述一维再积分方法。
在一维再积分方法中，假设利用一维多项式模拟方法产生模拟函数f(x)。
也就是说，假设利用作为n维多项式(n为任意整数)的模拟函数f(x)模拟一维波形(在对再积分方法的描述中，将投影到X方向上的波形称为X截面波形F(x))，在所述一维波形中，其变量为三维空间中的位置x、y和z以及时刻t的光信号函数F(x，y，t)被投影到作为空间方向的X方向、Y方向和Z方向(例如，X方向)的预定方向上、以及作为时间方向的t方向。
在该情况下，在一维再积分方法中，如下面公式(168)计算输出像素值M。
公式(169) 注意，在公式(169)中，xs表示积分开始位置，xe表示积分结束位置。另外，Ge表示预定增益。
尤其是，例如，假设现实世界估计单元102已经产生如图237所示的模拟函数f(x)(X截面波形F(x)的模拟函数f(x))，其中以如图237所示的像素3101(对应于传感器2的预定检测元件的像素3101)作为关注像素。
注意，在图237的实例中，取像素3101的像素值(输入像素值)为P，取像素3101的形状为边长为1的方形。另外，在空间方向中，取平行于像素3101的一边的方向(图中的水平方向)为X方向，取垂直于X方向的方向(图中为垂直方向)为Y方向。
另外，在图237的下方，示出了其中取原点为关注像素3101的中心的空间方向(X方向和Y方向)中的坐标系(下文中，称为关注像素坐标系)、以及坐标系中的像素3101。
另外，在图237的上方，示出了表示模拟函数f(x)在y＝0时的曲线图(y为在图中下方所示的关注像素坐标系中在Y方向上的坐标值)。在该曲线图中，平行于图中水平方向的轴线与在图中下方所示的关注像素坐标系中的X方向上的x轴线相同(原点也相同)，另外，取平行于图中垂直方向的轴线为表示像素值的轴线。
在该情况下，在模拟函数f(x)和像素3101的像素值P之间的下面公式(170)中的关系成立。
公式(170) 另外，如图237所示，假设像素3101具有由梯度Gf表示的空间方向中的数据连续性。另外，假设数据连续性检测单元101(图236)已经输出如图237所示的角度θ作为对应于由梯度Gf表示的数据连续性的数据连续性信息。
在该情况下，例如，在一维再积分方法中，如图238所示，在X方向上-0.5到0.5的范围、同时在Y方向上-0.5到0.5的范围中(其中图237中的像素3101所在的范围)可以新产生四个像素3111到3114。
注意，在图238的下方，示出了与图237中相同的关注像素坐标系、以及在关注像素坐标系中的像素3111到3114。另外，在图238的上方，示出了与图237中相同的曲线图(表示在y＝0上的模拟函数f(x)的曲线图)。
尤其是，如图238所示，在一维再积分方法中，可以分别进行利用下面公式(171)计算像素3111的像素值M(1)、利用下面公式(172)计算像素3112的像素值M(2)、利用下面公式(173)计算像素3113的像素值M(3)、以及利用下面公式(174)计算像素3114的像素值M(4)。
公式(171) 公式(172) 公式(173) 公式(174) 注意，公式(171)中的xs1、公式(172)中的xs2、公式(173)中的xs3以及公式(174)中的xs4分别表示相应的公式的积分开始位置。另外，公式(171)中的xe1、公式(172)中的xe2、公式(173)中的xe3以及公式(174)中的xe4分别表示相应的公式的积分结束位置。
在每个公式(171)到(174)的右侧的积分范围变成每个像素3111到像素3114的像素宽度(在X方向上的长度)。也就是说，每个xe1-xs1、xe2-xs2、xe3-xs3、以及xe4-xs4变成0.5。
然而，在该情况下，可以考虑，具有与在y＝0上的模拟函数f(x)相同的形式的一维波形不是在Y方向上而是在由梯度Gf表示的数据连续性方向(即角度θ方向)上连续(实际上，具有与y＝0时的X截面波形F(x)相同的形式的波形在连续性方向上连续)。也就是说，在取在图238中的关注像素坐标系的原点(0，0)(图237中像素3101的中心)上的像素值f(0)作为像素值f1的情况下，像素值f1连续的方向不是Y方向而是由由梯度Gf表示的数据连续性方向(角度θ方向)。
换句话说，在考虑在Y方向上预定位置y(然而，y为除0以外的数值)上的模拟函数f(x)的波形的情况下，对应于像素值f1的位置不是位置(0，y)而是位置(Cx(y)，y)，其通过在X方向上从位置(0，y)移动预定量而获得(这里，假设该量还被称为平移量。另外，平移量是根据在Y方向上的位置y的量，因此假设将该平移量描述为Cx(y))。
因此，作为每个上述公式(171)到公式(174)右侧的积分范围，需要考虑在其中存在将要获得的像素值M(l)(然而，l是1到4的任意整数值)的中心，即平移量Cx(y)的Y方向上的位置y而设置积分范围。
尤其是，例如，其中存在像素3111和像素3112的中心的在Y方向上的位置y不是y＝0而是y＝0.25。
因此，模拟函数f(x)在y＝0.25的波形相当于通过将在y＝0上的模拟函数f(x)的波形在X方向上移动平移量Cx(0.25)而获得的波形。
换句话说，在上述公式(171)中，如果假设相对于像素3111的像素值M(1)是通过在预定积分范围(从开始位置xs1到结束位置xe1)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs1＝-0.5到结束位置xe1＝0(像素3111在X方向上所占的范围本身)，而是如图238所示的范围，即从开始位置xs1＝-0.5+Cx(0.25)到结束位置xe1＝0+Cx(0.25)(在将像素3111临时移动平移量Cx(0.25)的情况下，像素3111在X方向上所占的范围)。
类似，在上述公式(171)中，如果假设相对于像素3112的像素值M(2)是通过在预定积分范围(从开始位置xs2到结束位置xe2)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs2＝0到结束位置xe2＝0.5(像素3112在X方向上所占的范围本身)，而是如图238所示的范围，即从开始位置xs2＝0+Cx(0.25)到结束位置xe2＝0.5+Cx(0.25)(在将像素3112临时移动平移量Cx(0.25)的情况下，像素3112在X方向上所占的范围)。
另外，例如，其中存在像素3113和像素3114的中心的在Y方向上的位置y不是y＝0而是y＝-0.25。
因此，在y＝-0.25上的模拟函数f(x)的波形相当于通过在X方向上将y＝0上的模拟函数f(x)的波形移动平移量Cx(-0.25)而获得的波形。
换句话说，在上述公式(173)中，如果假设相对于像素3113的像素值M(3)是通过在预定积分范围(从开始位置xs3到结束位置xe3)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs3＝-0.5到结束位置xe3＝0(像素3113在X方向上所占的范围本身)，而是如图238所示的范围，即从开始位置xs3＝-0.5+Cx(-0.25)到结束位置xe3＝0+Cx(-0.25)(在将像素3113临时移动平移量Cx(-0.25)的情况下，像素3113在X方向上所占的范围)。
类似，在上述公式(173)中，如果假设相对于像素3114的像素值M(4)是通过在预定积分范围(从开始位置xs4到结束位置xe4)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置xs4＝0到结束位置xe4＝0.5(像素3114在X方向上所占的范围本身)，而是如图238所示的范围，即从开始位置xs4＝0+Cx(-0.25)到结束位置xe4＝0.5+Cx(-0.25)(在将像素3114 临时移动平移量Cx(-0.25)的情况下，像素3114在X方向上所占的范围)。
因此，图像产生单元102(图236)通过对公式(171)到公式(174)中的每个代入上述积分范围的相应的积分范围而计算上述公式(171)到公式(174)，并输出这些公式的计算结果作为输出像素值M(1)到M(4)。
从而，图像产生单元102通过采用一维再积分方法可以生成比输出像素3101具有更高分辨率的四个像素，即像素3111到像素3114(图238)作为位于来自传感器2(图236)的输出像素3101(图237)上的像素。另外，虽然图中没有示出，如上所述，除了像素3111到像素3114，图像产生单元102通过适当变化积分范围可以产生相对于输出像素3101具有任意幂数的空间分辨率的像素，而不会降级。
图239示出了使用该一维再积分方法的图像产生单元103的结构实例。
如图239所示，在该实例中所示的图像产生单元103包括条件设置单元3121、特征存储单元3122、积分分量计算单元3123、以及输出像素值计算单元3124。
条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(在图239的实例中的模拟函数f(x)的特征)设置模拟函数f(x)的维数n。
条件设置单元3121还设置在再积分模拟函数f(x)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3121设置的积分范围不需要为像素的宽度。例如，在空间方向(X方向)上积分模拟函数f(x)，因此，只要已知相对于来自传感器2(图236)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103计算的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3121可以设置例如空间分辨率幂数作为积分范围。
特征存储单元3122临时存储从现实世界估计单元102顺序提供的模拟函数f(x)的特征。然后，当特征存储单元3122存储了模拟函数f(x)的全部特征，则特征存储单元3122产生包括模拟函数f(x)的全部特征的特征表，并将其提供给输出像素值计算单元3124。
另外，如上所述，图像产生单元103利用上述公式(169)计算输出像素值M，但是包括在上述公式(169)的右侧的模拟函数f(x)具体由下面公式(175)表示。
公式(175) 注意，在公式(175)中，wi表示从现实世界估计单元102提供的模拟函数f(x)的特征。
因此，当将公式(175)的模拟函数f(x)代入上述公式(169)右侧的模拟函数f(x)以展开(计算)公式(169)的右侧，则输出像素值M被表示为下面的公式(176)。
公式(176) 在公式(176)中，Ki(xs，xe)表示i维项的积分分量。也就是说，积分分量Ki(xs，xe)如下面公式(177)所示。
公式(177) 积分分量计算单元3123计算积分分量Ki(xs，xe)。
尤其是，如公式(177)所示，只要已知积分范围的开始位置xs和结束位置xe、增益Ge和i维项的i，则可以计算积分分量Ki(xs，xe)。
其中，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定增益Ge。
利用由条件设置单元3121设置的维数n确定范围i。
另外，利用现在将产生的输出像素的中心像素位置(x，y)和像素宽度、以及表示数据连续性方向的平移量Cx(y)确定积分范围的开始位置xs和结束位置xe。注意，当现实世界估计单元102产生模拟函数f(x)时，(x，y)表示距离关注像素的中心位置的相对位置。
另外，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。
另外，对于平移量Cx(y)和从数据连续性检测单元101提供的角度θ，如下面公式(178)和公式(179)的关系成立，因此，利用角度θ确定平移量Cx(y)。
公式(178) 公式(179) 注意，在公式(178)中，Gf表示表示数据连续性方向的梯度，θ表示从数据连续性检测单元101(图236)输出的数据连续性信息之一的角度(作为空间方向之一的X方向与由梯度Gf表示的数据连续性方向之间的角度)。另外，dx表示在X方向上的微小移动量，以及dy表示相当于dx在Y方向(垂直于X方向的空间方向)上的微小移动量。
因此，积分分量计算单元3123基于由条件设置单元3121设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量Ki(xs，xe)，并将计算结果提供给输出像素值计算单元3124作为积分分量表。
输出像素值计算单元3124利用从特征存储单元3122提供的特征表、以及从积分分量计算单元3123提供的积分分量表而计算上述公式(176)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图240中的流程图描述采用一维再积分方法利用图像产生单元103(图239)的图像产生处理(图40的步骤S103中的处理)。
例如，现在，假设现实世界估计单元102已经产生如图237所示的模拟函数f(x)，同时，取上述如图237所示的像素3101作为在上述图40的步骤S102的处理中的关注像素。
另外，假设数据连续性检测单元101已经输出如图237所示的角度θ作为在上述图40的步骤S101中的处理中的数据连续性信息。
在该情况下，条件设置单元3121在图240的步骤S3101中设置条件(维数和积分范围)。
例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的宽度间距在上、下、左、右边上变成1/2幂)作为积分范围。
也就是说，在该情况下，因此，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图237的像素3101的范围上)上新产生像素3111到像素3114四个像素，如图238所示。
在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的模拟函数f(x)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w0到w5，因此，产生(w0，w1，w2，w3，w4，w5)作为特征表。
在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维数和积分范围)、已经从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。
尤其是，例如，如果假设各个现在将产生的像素3111到3114被附加数(下文称该数为模数)1到4，积分分量计算单元3123将上述公式(177)的积分分量Ki(xs，xe)计算为l的函数(然而，l表示模数)，如如下面公式(180)左侧所示的积分分量Ki(l)。
Ki(l)＝Ki(xs，xe)公式(180) 尤其是，在该情况下，计算如下面公式(181)所示的积分分量Ki(l)。
ki(1)＝ki(-0.5-Cx(-0.25)，0-Cx(-0.25)) ki(2)＝ki(0-Cx(-0.25)，0.5-Cx(-0.25)) ki(3)＝ki(-0.5-Cx(0.25)，0-Cx(0.25)) ki(4)＝ki(0-Cx(0.25)，0.5-Cx(0.25)) 公式(181) 注意，在公式(181)中，左侧表示积分分量Ki(l)，右侧表示积分分量Ki(xs，xe)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6Ki(1)，6 Ki(2)，6Ki(3)，以及6Ki(4)共24个Ki(l)。
更具体的是，首先，积分分量计算单元3123利用从数据连续性检测单元101提供的角度θ从上述公式(178)和公式(179)计算每个平移量Cx(-0.25)和Cx(0.25)。
接着，积分分量计算单元3123利用计算的平移量Cx(-0.25)和Cx(0.25)计算公式(181)中四个公式每个右侧的关于i＝0到5的积分分量Ki(xs，xe)。注意，在该对积分分量Ki(xs，xe)的计算中，采用了上述公式(177)。
随后，积分分量计算单元3123根据公式(181)将计算的24个积分分量Ki(xs，xe)的每个转换成相应的积分分量Ki(l)，并产生包括被转换成的24个积分分量Ki(l)(即，6 Ki(1)、6 Ki(2)、6Ki(3)以及6 Ki(4))的积分分量表。
注意，步骤S3102中的处理和步骤S3103中的处理的顺序不限于图240中的实例，可以先执行步骤S3103中的处理，或者可以同时执行步骤S3102中的处理和步骤S3103中的处理。
接着，在步骤S3104中，输出像素值计算单元3124基于由特征存储单元3122在步骤S3102中的处理产生的特征表、以及由积分分量计算单元3123在步骤S3103的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。
尤其是，在该情况下，输出像素值计算单元3124通过计算对应于上述公式(176)的下面公式(182)到公式(185)的右侧而计算如下中的每个像素3111的像素值M(1)(模数为1的像素)、像素3112的像素值M(2)(模数为2的像素)、像素3113的像素值M(3)(模数为3的像素)、以及像素3114的像素值M(4)(模数为4的像素)。
公式(182) 公式(183) 公式(184) 公式(185) 在步骤S3105中，输出像素值计算单元3124确定是否已经完成对全部像素的处理。
在步骤S3105中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3102，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3102到S3104。
在已经完成对全部像素的处理的情况下(在步骤S3105中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像产生处理结束。
下面，将参考图241到图248，关于预定输入图像，描述通过采用一维再积分方法获得的输出图像和通过采用其它方法(常规分类适应处理)获得的输出图像的差别。
图241示出了输入图像的原始图像，图242示出了对应于图241中的原始图像的图像数据。在图242中，图中垂直方向的轴线表示像素值，以及图中右下方向的轴线表示作为图像的空间方向的一个方向的X方向，图中右上方向的轴线表示作为图像的空间方向的另一个方向的Y方向。注意，在后面的图244、图246、以及图248中的各个轴线对应于图242中的轴线。
图243示出了输入图像的实例。如图243所示的输入图像是通过取属于如图241所示的由2×2个像素构成的块的像素的像素值的平均值作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分如图241所示的图像而获得的图像，其模仿了传感器的积分性质。另外，图244示出了对应于图243中的输入图像的图像数据。
图241所示的原始图像包括离垂直方向顺时针倾斜约5°的细线图像。类似，如图243所示的输入图像包括离垂直方向顺时针倾斜约5°的细线图像。
图245示出了通过对如图243所示的输入图像进行常规分类适应处理而获得的图像(下文中，由图245所示的图像称为常规图像)。另外，图246示出了对应于常规图像的图像数据。
注意，分类适应处理由分类处理和适应处理构成，分类调节处理根据数据的性质分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低质量或标准质量图像转换成高质量图像。
图247示出了通过对如图243所示的输入图像施加应用本发明的一维再积分方法获得的图像(下文中，如图247所示的图像称为根据本发明的图像)。另外，图248示出了对应于根据本发明的图像的图像数据。
可以理解，当将图245中的常规图像与图247中的根据本发明的图像进行比较时，在常规图像中的细线图像不同于图241的原始图像中的细线，但是，另一方面，在根据本发明的图像中，细线图像与图241中的原始图像的细线几乎相同。
该差异是由以下的差别导致的，其中，常规类型分类适应处理是基于(源于)图243中的输入图像进行处理的方法，另一方面，根据本发明的一维再积分方法是考虑细线的连续性而估计图241中的原始图像(产生对应于原始图像的模拟函数f(x))、并基于(源于)估计的原始图像进行处理(进行再积分以计算像素值)的方法。
从而，在一维再积分方法中，通过基于作为利用一维多项式模拟方法产生的一维多项式的模拟函数f(x)(现实世界中的X截面波形F(x)的模拟函数f(x))，在任意范围上积分模拟函数f(x)而产生输出图像(像素值)。
因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。
换句话说，一维再积分方法基于如下的条件图236中的数据连续性检测单元101检测由多个像素构成的输入图像中的数据连续性，所述像素具有像素值，其中由每个具有空间-时间积分效应的传感器2的多个检测元件将现实世界1的光信号投影到输入图像上，并被所述检测元件投影，在输入图像中丢失了现实世界1的光信号的部分连续性，并且在对应于输入图像的时间-空间方向的一维方向中的位置的像素的像素值是通过在其一维方向上的积分效应而获取的像素值的假设下，现实世界估计单元102响应检测的数据连续性通过利用预定模拟函数f(x)模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))而估计光信号函数F。
具体说，例如，一维再积分方法基于这样的条件在这样的假设下，对应于沿一维方向离对应于检测的数据连续性的直线的距离的每个像素的像素值是通过在其一维方向上的积分效应而获得的像素值，则用模拟函数f(x)模拟X截面波形F(x)。
在一维再积分方法中，例如，图236(图3)中的图像产生单元103通过积分由现实世界估计单元102估计的X截面波形F(x)，即基于该假设的在一维方向上的希望增量中的模拟函数f(x)，而产生对应于具有希望尺寸的像素的像素值M，并将其输出作为输出图像。
因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。
另外，在一维再积分方法中，如上所述，积分范围是任意的，因此，可以通过变化积分范围产生与输入图像的分辨率不同的分辨率(时间分辨率或空间分辨率)。也就是说，可以产生相对于输入图像分辨率具有任意幂次的分辨率以及整数值的图像。
另外，一维再积分方法可以使用比其它再积分方法更少的计算处理量而计算输出图像(像素值)。
接着，将参考图249到图255描述二维再积分方法。
二维再积分方法基于这样的条件，其中已经利用二维多项式模拟方法产生模拟函数f(x，y)。
也就是说，假设已经利用被投影到空间方向上的波形模拟了表示现实世界1中的光信号(图236)的图像函数F(x，y，t)，所述光信号具有由梯度GF表示的空间方向中的连续性，即，利用作为n维多项式(n为任意整数)的模拟函数f(x，y)模拟在X-Y平面上的波形F(x，y)，如图249所示。
在图249中，图中分别为，水平方向表示作为空间方向中的一个方向的X方向，右上方向表示作为空间方向中的另一个方向的Y方向，以及垂直方向表示光水平。GF表示作为空间方向中的连续性的梯度。
注意，在图249的实例中，取连续性方向为空间方向(X方向和Y方向)，从而取将要模拟的光信号的投影函数为函数F(x，y)，但是如下文所述，函数F(x，t)或函数F(y，t)可以是根据连续性方向的模拟目标。
在图249中的实例的情况下，在二维再积分方法中，如下面公式(186)计算输出像素值M。
公式(186) 注意，在公式(186)中，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。类似，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
在公式(186)中，积分范围可以任意设置，因此，在二维积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图236)输入的图像的像素)具有任意幂次的空间分辨率的像素，而不会降级。
图250示出了采用二维再积分方法的图像产生单元103的结构实例。
如图250所示，在该实例中所示的图像产生单元103包括条件设置单元3201、特征存储单元3202、积分分量计算单元3203、以及输出像素值计算单元3204。
条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(在图250的实例中的模拟函数f(x，y)的特征)设置模拟函数f(x，y)的维数n。
条件设置单元3201还设置在再积分模拟函数f(x，y)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3201设置的积分范围不需要为像素的水平或垂直宽度。例如，在空间方向(X方向或Y方向)上积分模拟函数f(x，y)，因此，只要已知相对于来自传感器2的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3201可以设置例如空间分辨率幂数作为积分范围。
特征存储单元3202 临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y)的特征。然后，当特征存储单元3202存储了模拟函数f(x，y)的全部特征时，则特征存储单元3202产生包括模拟函数f(x，y)的全部特征的特征表，并将其提供给输出像素值计算单元3124。
现在，将详细描述模拟函数f(x，y)。
例如，假设传感器2(图236)已经检测出具有由上述图249所示的梯度GF表示的空间方向连续性的现实世界1的光信号(由波形F(x，y)表示的光信号)，并将其输出作为输入图像(像素值)。
另外，例如，假设数据连续性检测单元101(图3)已经对输入图像的在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中由虚线表示的20个方形)构成的输入图像的区域3221进行了其处理，并输出角度θ(在由对应于梯度GF的由梯度Gf表示的数据连续性方向与X方向之间的角度θ)作为数据连续性信息的一个，如图251所示。
注意，如在现实世界估计单元102所示，数据连续性检测单元101可以只输出关注像素上的角度θ，因此，数据连续性检测单元101的处理区域不限于输入图像中的上述区域3221。
另外，在输入图像的区域3221中，图中水平方向表示作为空间方向的一个方向的X方向，以及图中垂直方向表示作为空间方向的另一个方向的Y方向。
另外，在图251中，取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并建立(x，y)坐标系，取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度Gf的直线)的相对距离(下文中，称为截面方向距离)描述为x’。
另外，在图251中，右侧的曲线图是表示作为n维(n为任意整数)多项式的模拟函数f(x’)，其为模拟一维波形(下文中称为X截面波形F(x’))的函数，在所述一维波形中，将变量为在三维空间中的位置x、y和z、以及时刻t的图像函数F(x，y，t)在X方向上投影到Y方向中的任意位置y上。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。
在该情况下，如图251所示的模拟函数f(x’)是n维多项式，因而由下面公式(187)表示。
公式(187) 另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x1由下面公式(188)表示。然而，在公式(188)中，s表示cotθ。
x1＝s×y公式(188) 也就是说，如图251所示，由坐标值(x1，y)表示对应于由梯度Gf表示的数据连续性的直线上的点。
利用公式(188)，将截面方向距离x’表示成如下面公式(189)。
x′＝x-x1＝x-s×y公式(189) 因此，利用公式(187)和公式(189)，将输入图像区域3221内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(190)。
公式(190) 注意，在公式(190)中，wi表示模拟函数f(x，y)的特征。
现在，将返回图250进行描述，其中从现实世界估计单元102提供包括在公式(190)中的特征wi，并将其存储到特征存储单元3202中。当特征存储单元3202存储了由公式(190)表示的全部特征wi，则特征存储单元3202产生包括全部特征wi的特征表，并将其提供给输出像素值计算单元3204。
当将公式(190)的模拟函数f(x，y)代入上述公式(186)右侧的模拟函数f(x，y)以展开(计算)公式(186)的右侧，则输出像素值M被表示为下面的公式(191)。
公式(191) 在公式(191)中，Ki(xs，xe，ys，ye)表示i维项的积分分量。也就是说，积分分量Ki(xs，xe，ys，ye)如下面公式(192)所示。
公式(192) 积分分量计算单元3303计算积分分量Ki(xs，xe，ys，ye)。
尤其是，如公式(191)和公式(192)所示，只要已知积分范围在X方向上的开始位置xs和在X方向上的结束位置xe、积分范围在Y方向上的开始位置ys和在Y方向上的结束位置ye、i维项的增益Ge和i，则可以计算积分分量Ki(xs，xe，ys，ye)。
其中，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定增益Ge。
利用由条件设置单元3201设置的维数n确定范围i。
变量s如上所述为cotθ，从而由从数据连续性检测单元101输出的角度θ确定。
另外，由现在将产生的输出像素的中心像素位置(x，y)和像素宽度确定积分范围在X方向上的开始位置xs和在X方向上的结束位置xe、以及积分范围在Y方向上的开始位置ys和在Y方向上的结束位置ye中的每一个。注意，当现实世界估计单元102产生模拟函数f(x)时， (x，y)表示距离关注像素的中心位置的相对位置。
另外，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。
因此，积分分量计算单元3203基于由条件设置单元3201设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量Ki(xs，xe，ys，ye)，并将计算结果提供给输出像素值计算单元3204作为积分分量表。
输出像素值计算单元3204利用从特征存储单元3202提供的特征表、以及从积分分量计算单元3203提供的积分分量表而计算上述公式(191)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图252中的流程图描述采用二维再积分方法利用图像产生单元103(图251)的图像产生处理(图40的步骤S103中的处理)。
例如，假设已经将如图249所示的由函数F(x，y)表示的光信号投影到传感器2中以变成输入图像，并且，现实世界估计单元102已经产生用于模拟函数F(x，y)的模拟函数f(x，y)，其中取上述如图253所示的一个像素3231作为在上述图40的步骤S102的处理中的关注像素。
注意，在图253中，取像素3231的像素值(输入像素值)为P，取像素3231的形状为边长为1的方形。另外，在空间方向中，取平行于像素3231的一边的方向为X方向，取垂直于X方向的方向为Y方向。另外，设置原点为像素3231的中心的空间方向(X方向和Y方向)中的坐标系(下文中称为关注像素坐标系)。
另外，假设在图253中，取像素3231为关注像素的数据连续性检测单元101在上述图40的步骤S101的处理中，已经输出角度θ作为对应于由梯度Gf表示的数据连续性的数据连续性信息。
下面返回图252描述，在该情况下，条件设置单元3201在步骤S3201中设置条件(维数和积分范围)。
例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的间距宽度在上、下、左、右边上变成1/2幂)作为积分范围。
也就是说，在该情况下，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图253的像素3231的范围上)上新产生像素3241到像素3244四个像素，如图254所示。注意，在图254中，示出了与图253相同的关注像素坐标系。
另外，在图254中，M(1)表示现在将产生的像素3241的像素值、M(2)表示现在将产生的像素3242的像素值、M(3)表示现在将产生的像素3243的像素值、以及M(4)表示现在将产生的像素3244的像素值。
现在返回图252描述，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的模拟函数f(x，y)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w0到w5，因此，产生(w0，w1，w2，w3，w4，w5)作为特征表。
在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。
尤其是，例如，假设数(下文称该数为模数)1到4被分别附加到现在将产生的像素3241到3244，积分分量计算单元3203将上述公式(191)的积分分量Ki(xs，xe，ys，ye)计算为l的函数(然而，l表示模数)，如如下面公式(193)左侧所示的积分分量Ki(l)。
Ki(l)＝Ki(xs，xe，ys，ye) 公式(193) 尤其是，在该情况下，计算如下面公式(194)所示的积分分量Ki(l)。
ki(1)＝ki(-0.5，0，o，0.5) ki(2)＝ki(0，0.5，0，0.5) ki(3)＝ki(-0.5，0，-0.5，0) ki(4)＝ki(0，0.5，-0.5，0)公式(194) 注意，在公式(194)中，左侧表示积分分量Ki(l)，右侧表示积分分量Ki(xs，xe，ys，ye)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6Ki(1)，6Ki(2)，6Ki(3)，以及6Ki(4)共24个Ki(l)。
更具体的是，首先，积分分量计算单元3203利用从数据连续性检测单元101提供的角度θ计算上述公式(188)的变量s(s＝cotθ)。
接着，积分分量计算单元3203利用计算的变量s计算公式(194)中四个公式每个右侧的关于i＝0到5的积分分量Ki(xs，xe，ys，ye)。注意，在该对积分分量Ki(xs，xe，ys，ye)的计算中，采用了上述公式(191)。
随后，积分分量计算单元3203根据公式(194)将计算的24个积分分量Ki(xs，xe，ys，ye)的每个转换成相应的积分分量Ki(l)，并产生包括被转换成24个积分分量Ki(l)(即，6 Ki(1)、6Ki(2)、6Ki(3)以及6 Ki(4))的积分分量表。
注意，步骤S3202中的处理和步骤S3203中的处理的顺序不限于图252中的实例，可以先执行步骤S3203中的处理，或者可以同时执行步骤S3202中的处理和步骤S3203中的处理。
接着，在步骤S3204中，输出像素值计算单元3204基于由特征存储单元3202在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3203在步骤S3203的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。
尤其是，在该情况下，输出像素值计算单元3204通过计算对应于上述公式(191)的下面公式(195)到公式(198)的右侧而计算如图254所示的如下中的每个像素3241的像素值M(1)(模数为1的像素)、像素3242的像素值M(2)(模数为2的像素)、像素3243的像素值M(3)(模数为3的像素)、以及像素3244的像素值M(4)(模数为4的像素)。
公式(195) 公式(196) 公式(197) 公式(198) 然而，在该情况下，公式(195)到公式(198)的每个n变为5。
在步骤S3205中，输出像素值计算单元3204确定是否已经完成对全部像素的处理。
在步骤S3205中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3202，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3202到S3204。
在已经完成对全部像素的处理的情况下(在步骤S3205中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像产生处理结束。
从而，通过采用一维再积分方法可以生成比输出像素3231具有更高空间分辨率的四个像素，即像素3241到像素3244(图254)作为位于来自传感器2(图236)的输入图像的像素3231(图253)上的像素。另外，虽然图中没有示出，如上所述，除了像素3241到像素3244，图像产生单元103通过适当变化积分范围可以产生相对于输入像素3231具有任意幂数的空间分辨率的像素，而不会降级。
如上所述，在描述二维再积分方法中，已经采用了相对于空间方向(X方向和Y方向)对模拟函数f(x，y)进行二维积分的实例，但是可以将二维再积分方法用于时间-空间方向(X方向和t方向，或Y方向和t方向)。
也就是说，上述实例是这样的实例，其中现实世界1中的光信号(图236)具有由如图249所示的梯度GF表示的空间方向中的连续性，以及因此，如上述公式(186)所示，采用如公式(186)所示的包括空间方向(X方向和Y方向)中的二维积分的公式。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。
换句话说，在作为二维再积分方法的假设的二维多项式模拟方法中，即使在这样的情况下，其中，表示光信号的函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。
尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由如图255所示的X-t平面中的梯度VF表示。换句话说，可以认为梯度VF表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101(图236)可以输出如图255所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度VF的梯度Vf表示的数据连续性方向与空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度VF、以及角度θ(对应于表示在X-Y平面中空间方向中的连续性的梯度GF的数据连续性信息)。
另外，采用二维多项式模拟方法的现实世界估计单元102(图236)通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)wi。然而，在该情况下，将要使用的公式不是上述公式(190)，而是下面的公式(199)。
公式(199) 注意，在公式(199)中，s为cotθ(然而，θ是移动)。
因此，采用二维再积分方法的图像产生单元103(图236)通过将上述公式(199)的f(x，t)代入下面公式(200)的右侧并计算可以计算像素值M。
公式(200) 注意，在公式(200)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
可选的是，可以以与上述函数f(x，t)相同的方法处理模拟函数f(y，t)，其关注空间方向Y而不是空间方向X。
另外，在公式(199)中，通过将t方向看作常量，可以获得不在时间方向上积分的数据，即没有由于移动模糊的数据，即，通过省略在t方向上的积分而进行积分。换句话说，该方法可以看作一种二维再积分方法，因为在二维多项式的一个特定维度为常量的条件下进行再积分，或者实际上，可以看作一种一维再积分方法，因为在X方向上进行一维再积分。
另外，在公式(200)中，可以任意设置积分范围，因此，在二维再积分方法中，通过适当地变化积分范围，可以产生相对于原始像素(来自传感器2(图236)的输入图像的像素)具有任意幂数的分辨率的像素，而不会降级。
也就是说，在二维再积分方法中，通过适当地变化在时间方向t上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向X(或空间方向Y)上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向t上、和在空间方向X上每个的积分范围可以同时产生时间分辨率和空间分辨率。
注意，如上所述，即使在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用二维再积分和下述的三维再积分方法，才可以同时产生时间分辨率和空间分辨率。
另外，二维再积分方法考虑二维积分效应而不是一维积分效应，因此，可以产生更接近现实世界1中的光信号(图236)的图像。
换句话说，在二维再积分方法中，例如，图236(图3)中的数据连续性检测单元101检测由多个像素构成的输入图像的数据的连续性(例如，由图251中的梯度Gf表示的数据连续性)，所述像素具有像素值，其中由每个具有空间-时间积分效应的传感器2的多个检测元件投影将现实世界1的光信号投影为输入图像，并且被所述图像检测元件所投影，在输入图像中丢失了现实世界1的光信号的部分连续性(例如由图149中的梯度GF表示的连续性)。
随后，例如，在这样的假设下，对应于图像数据的时间-空间方向的二维方向(例如图249中的空间方向X和空间方向Y)中的至少一个位置的像素的像素值是通过在至少二维方向上的积分效应而获取的像素值，图236(图3)中的现实世界估计单元102响应由连续性检测单元检测的数据连续性通过利用作为多项式的模拟函数f(x，y)模拟表示现实世界1的光信号的光信号函数F(尤其是，图249中的函数F(x，y))而估计光信号函数F。
具体说，例如，在这样的条件下，对应于沿二维方向离对应于由连续性检测单元101检测的数据连续性(例如，对应于图251中的梯度Gf的直线(箭头))的直线的至少一个距离(例如，图251中的截面方向距离x’)的像素的像素值是通过至少在二维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计第一函数。
在二维再积分方法中，基于这样的假设，例如，图236(图3)中的图像产生单元103(图250中的结构)产生对应于图236中的像素(例如，输出图像(像素值M))的像素值。尤其是，例如像素3241到像素3244)，所述像素通过积分由现实世界估计单元102估计的函数F(x，y)，即在二维方向中的至少希望增量上的模拟函数f(x，y)(例如通过计算上述公式(186)的右侧)，而具有希望的尺寸。
因此，在二维再积分方法中，不仅可以产生时间分辨率和空间分辨率中的一个，还可以同时产生时间分辨率和空间分辨率。另外，在二维再积分方法中，可以比一维再积分方法产生更接近现实世界1的光信号的图像。
接着，将参考图256和图257描述三维再积分方法。
在三维再积分方法中，假设已经利用三维函数模拟方法产生模拟函数f(x，y，t)。
在该情况下，在三维再积分方法中，输出像素值M被计算为如下公式(201)。
公式(201) 注意，在公式(201)中，ts表示在t方向上的积分开始位置，以及te表示在t方向上的积分结束位置。类似，ys表示在Y方向上的积分开始位置，以及ye表示在Y方向上的积分结束位置。另外，xs表示在X方向上的积分开始位置，以及xe表示在X方向上的积分结束位置。另外，Ge表示预定增益。
在公式(201)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图236)输入的图像的像素)具有任意幂次的时间空间分辨率的像素，而不会降级。也就是说，当减小空间方向上的积分范围，可以不受约束地减小像素间距。另一方面，当增大空间方向上的积分范围，可以不受约束地增大像素间距。另外，当减小时间方向上的积分范围，可以基于实际波形产生时间分辨率。
图256示出了采用三维再积分方法的图像产生单元103的结构实例。
如图256所示，在该图像产生单元103的实例中包括条件设置单元3301、特征存储单元3302、积分分量计算单元3303、以及输出像素值计算单元3304。
条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(在图256的实例中的模拟函数f(x，y，t)的特征)设置模拟函数f(x，y，t)的维数n。
条件设置单元3301设置在再积分模拟函数f(x，y，t)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3301设置的积分范围不需要为像素的宽度(水平或垂直宽度)或快门时间自身。例如，只要已知相对于来自传感器2(图236)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定空间方向中的具体积分范围。类似，只要已知相对于传感器2(图236)的快门时间的输出像素的相对时间(时间分辨率的幂数)，则可以确定时间方向中的具体积分范围。因此，条件设置单元3301可以设置例如空间分辨率幂数和时间分辨率幂数作为积分范围。
特征存储单元3302临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y，t)的特征。然后，当特征存储单元3302存储了模拟函数f(x，y，t)的全部特征时，则特征存储单元3302产生包括模拟函数f(x，y，t)的全部特征的特征表，并将其提供给输出像素值计算单元3304。
另外，当展开上述公式(201)右侧的模拟函数f(x，y)，则输出像素值M被表示为下面的公式(202)。
公式(202) 在公式(202)中，Ki(xs，xe，ys，ye，ts，te)表示i维项的积分分量。然而，分别为，xs表示在X方向上的积分范围开始位置，以及xe表示在X方向上的积分范围结束位置；ys表示在Y方向上的积分范围开始位置，以及ye表示在Y方向上的积分范围结束位置；ts表示在t方向上的积分范围开始位置，以及te表示在t方向上的积分范围结束位置。
积分分量计算单元3303计算积分分量Ki(xs，xe，ys，ye，ts，te)。
尤其是，积分分量计算单元3303基于由条件设置单元3301设置的维数和积分范围(空间分辨率幂或时间分辨率幂)、从数据连续性检测单元101输出的数据连续性信息的角度θ或移动θ计算积分分量Si(xs，xe，ys，ye，ts，te)，并将计算结果提供输出像素值计算单元3304作为积分分量表。
输出像素值计算单元3304利用从特征存储单元3302提供的特征表、以及从积分分量计算单元3303提供的积分分量表而计算上述公式(202)的右侧，并将计算结果输出作为输出像素值M。
接着，将参考图257中的流程图描述采用三维再积分方法利用图像产生单元103(图2256)的图像产生处理(图40的步骤S103中的处理)。
例如，假设现实世界估计单元102已经产生模拟函数f(x，y，t)，所述函数以输入图像的预定像素作为在上述图40的步骤S102的处理中的关注像素，而模拟现实世界1中的光信号(图236)。
另外，假设数据连续性检测单元101(图236)已经输出角度θ或移动θ作为数据连续性信息，以与现实世界估计单元102相同的像素作为关注像素。
在该情况下，条件设置单元3301在图257的步骤S3301中设置条件(维数和积分范围)。
在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的模拟函数f(x，y，t)的特征，并产生特征表。
在步骤S3303中，积分分量计算单元3303基于由条件设置单元3301设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度θ或移动θ)而计算积分分量，并产生积分分量表。
注意，步骤S3302中的处理和步骤S3303中的处理的顺序不限于图257中的实例，可以先执行步骤S3303中的处理，或者可以同时执行步骤S3302中的处理和步骤S3303中的处理。
接着，在步骤S3304中，输出像素值计算单元3304基于由特征存储单元3302在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3303在步骤S3303的处理中产生的积分分量表计算每个输出像素值。
在步骤S3305中，输出像素值计算单元3304确定是否已经完成对全部像素的处理。
在步骤S3305中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3302，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3302到S3304。
在已经完成对全部像素的处理的情况下(在步骤S3305中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像产生处理结束。
在公式(201)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图236)输入的图像的像素)具有任意幂次的分辨率的像素，而不会降级。
也就是说，在三维再积分方法中，通过适当地变化在时间方向上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向上、和在空间方向上的每个积分范围可以同时产生时间分辨率和空间分辨率。
尤其是，在三维再积分方法中，当从三维降级到二维或一维时不需要模拟，从而允许高精度处理。另外，可以处理在倾斜方向上的移动，而不降级到二维。另外，不降级到二维允许在每个维度上的处理。例如，在二维再积分方法中，在在空间方向(X方向和Y方向)中降级的情况下，不能进行在作为时间方向的t方向上的处理。另一方面，在三维再积分方法中，可以进行在时间-空间方向中的任何处理。
注意，如上所述，即使在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用上述二维再积分和三维再积分方法，才可以同时产生时间分辨率和空间分辨率。
另外，三维再积分方法考虑三维积分效应而不是一维积分效应和二维再积分效应，因此，可以产生更接近现实世界1中的光信号(图236)的图像。
换句话说，在三维再积分方法中，例如，在对应于由多个像素构成的输入图像的时间-空间方向的至少一维方向中的至少一个位置的像素的像素值是通过在至少一维方向上的积分效应而获取的像素值所述多个像素具有像素值，每个具有时间-空间积分效应的传感器2的多个检测单元将现实世界1中的光信号投影为输入图像，并且被所述检测元件投影，在所述输入图像中丢失了现实世界1中的光信号的部分连续性的条件下，图236(图3)中的现实世界估计单元102通过利用预定模拟函数f模拟表示现实世界1的光信号的光信号函数F而估计光信号函数F。
另外，例如，在图236(图3)的数据连续性检测单元101检测输入图像的连续性的情况下，在这样的条件下，对应于对应由数据连续性检测单元101检测的数据连续性的图像数据在时间-空间方向中的一维方向中的至少一个位置上的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。
具体说，例如，在这样的条件下，对应于沿一维方向离对应于由连续性检测单元101检测的数据连续性的直线的至少一个距离的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用模拟函数模拟光信号函数F而估计光信号函数。
在三维再积分方法中，例如，图236(图3)中的图像产生单元103(图256中的结构)(例如通过计算上述公式(201)的右侧)产生对应于这样的像素的像素值，所述像素通过积分由现实世界估计单元102估计的函数F，即在一维方向中的至少希望增量上的模拟函数f，而具有希望的尺寸。
因此，在三维再积分方法中，可以常规图像产生方法、或上述一维再积分方法或二维再积分方法产生更接近现实世界1的光信号(图236)的图像。
接着，将参考258描述图像产生单元103，在这样的情况下，即从现实世界估计单元102输入的现实世界估计信息是近似表示参考像素的每个像素值的模拟函数f(x)上的每个像素的导数值或梯度的信息，则所述图像产生单元103基于每个像素的导数值或梯度新产生像素。
注意，在获得近似表示参考像素的每个像素值的模拟函数f(x)后，这里提到的“导数值”表示在预定位置上利用从其模拟函数f(x)获得的一维微分方程f(x)’(在模拟函数在帧方向中的情况下，从其模拟函数f(t)获得的一维微分方程f(t)’)而获得的值。另外，这里提到的术语“梯度”表示从周边像素的像素值直接获得的模拟函数f(x)的预定位置上的梯度，而没有获得上述模拟函数f(x)(或f(t))。然而，导数值表示在模拟函数f(x)的预定位置上的梯度，因此，两种情况都表示在模拟函数f(x)的预定位置上的梯度。因此，在描述图258和图262中的图像产生单元103中，对于作为从现实世界估计单元102输入的现实世界估计信息的导数值和梯度，它们是统一的，并被称为模拟函数f(x)或f(t)上的梯度。
梯度获取单元3401关于近似表示从现实世界估计单元102输入的参考像素的像素值的模拟函数f(x)，获取每个像素的梯度信息、相应像素的像素值、以及在连续性方向上的连续性，并将其输出给外推/内插单元3402。
外推/内插单元3402利用基于从梯度获取单元3401输入的模拟函数f(x)上的每个像素的梯度、相应像素的像素值、以及在连续性方向上的梯度的外推/内插，而产生比输入图像具有特定幂数的更高密度的像素，并输出像素作为输出图像。
接着，将参考图259的流程图描述图258中的图像产生单元103的图像产生处理。
在步骤S3401中，梯度获取单元3401获取关于从现实世界估计单元102输入的模拟函数f(x)上的梯度(导数值)、每个像素的位置和像素值、以及在连续性方向上的梯度的信息作为现实世界估计信息。
这里，例如，在产生由具有在空间方向X和空间方向Y上的二倍密度(共4倍)的像素构成的图像作为输入图像的情况下，从现实世界估计单元102输入如图260所示的像素Pin的关于如下的信息梯度f(Xin)’(在像素Pin中心位置上的梯度)、f(Xin-Cx(-0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pa的中心位置上的梯度)、f(Xin-Cx(0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pb的中心位置上的梯度)、像素Pin的位置和像素值、以及在连续性方向上的梯度Gf。
在步骤S3402中，梯度获取单元3401从输入的现实世界估计信息选择相应的关注像素的信息，并将其输出给外推/内插单元3402。
在步骤S3403中，外推/内插单元3402获得来自输入像素的位置信息的平移量、以及在连续性方向上的梯度Gf。
这里，将平移量Cx(ty)定义为Cx(ty)＝ty/Gf，其中Gf表示作为连续性的梯度。该平移量Cx(ty)表示在模拟函数f(x)的空间方向Y＝ty上的位置相对于空间方向X的平移宽度，所述模拟函数f(x)被定义为位于空间方向Y＝0的位置上。因此，例如，在将在空间方向Y＝0的位置上的模拟函数定义为f(x)的情况下，在空间方向Y＝ty上，该模拟函数f(x)变成对于空间方向X平移Cx(ty)的函数，从而该模拟函数被定义为f(x-Cx(ty))(＝f(x-ty/Gf)。
例如，在如图260所示的像素Pin的情况中，当将图中一个像素(图中一个像素尺寸在水平方向和垂直方向上都为1)分成在垂直方向上的两个像素时(当在垂直方向上产生二倍密度像素时)，外推/ 内插单元3402获得将要获得的像素Pa和Pb的平移量。也就是说，在该情况下，从像素Pin看，在空间方向Y上对像素Pa和Pb分别平移-0.25和0.25，从而像素Pa和Pb的平移量分别变成Cx(-0.25)和Cx(0.25)。注意，在图260中，像素Pin为其基本重心位置为(Xin、Yin)的方形，而像素Pa和Pb是其基本重心位置分别为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、在图中水平方向上的矩形。
在步骤S3404中，外推/内插单元3402基于在步骤S3403的处理中获得的平移量Cx、被获取作为现实世界估计信息的像素Pin的模拟函数f(x)上的关注像素的梯度f(xin)、以及像素Pin的像素值，通过下面公式(203)和公式(204)利用外推/内插获得像素Pa和Pb的像素值。
Pa＝Pin-f(xin)′×Cx(0.25) 公式(203) Pb＝Pin-f(xin)′×Cx(-0.25) 公式(204) 在上述公式(203)和公式(204)中，Pa、Pb和Pin分别表示像素Pa、Pb和Pin的像素值。
也就是说，如图261所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的移动距离，即平移量，而设置像素值的变化量，并且基于关注像素的像素值设置新产生的像素的像素值。
在步骤S3405中，外推/内插单元3402确定是否已经获得具有预定分辨率的像素。例如，在预定分辨率为相对于输入图像中的像素具有在垂直方向上的二倍密度的像素的情况下，外推/内插单元3402确定通过上述处理已经获得具有预定分辨率的像素，但是，例如，在希望输入图像中的像素为相对于输入图像中的像素具有四倍密度(在水平方向上的二倍×在垂直方向上的二倍)的像素的情况下，则还没有通过上述处理获得具有预定密度的像素。因此，在希望四倍密度的图像的情况下，外推/内插单元3402确定仍未获得具有预定分辨率的像素，并且该处理返回步骤S3403。
在步骤S3403中，外推/内插单元3402在第二处理中，分别从将要产生的像素的中心位置获得将要获得的像素P01、P02、P03和P04(相对于关注像素Pin具有四倍密度的像素)的平移量。也就是说，在该情况下，像素P01和P02是将要从像素Pa获得的像素，从而分别获得从像素Pa的平移量。这里，像素P01和P02分别被相对于空间方向X从像素Pa平移0.25和-0.25，因此，每个值本身变成其平移量(由于所述像素被相对于空间方向X平移)。类似，像素P03和P04分别被相对于空间方向X从像素Pb平移-0.25和0.25，因此，每个值本身变成其平移量。注意，在图260中，像素P01、P02、P03和P04是其重心位置为图中四个叉形标记的位置，并且，像素Pin的每边的长度为1，因此，像素P01、P02、P03和P04每边的长度分别大约为5。
在步骤S3404中，外推/内插单元3402基于在步骤S3403中获得的平移量Cx、在被获取作为现实世界估计信息的像素Pa和Pb的模拟函数f(x)的预定位置上的梯度f(Xin-Cx(-0.25))’和f(Xin-Cx(0.25))’、以及在上述处理中获得的像素Pa和Pb的像素值，通过公式(205)到公式(208)利用外推/内插获得像素P01、P02、P03和P04的像素值，并将其存储在未示出的存储器中。
P01＝Pa+f(xin-Cx(0.25))′×(-0.25)公式(205) P02＝Pa+f(xin-Cx(0.25))′×(0.25) 公式(206) P03＝Pb+f(xin-Cx(-0.25))′×(-0.25) 公式(207) P04＝Pb+f(xin-Cx(-0.25))′×(0.25)公式(208) 在上述公式(205)到公式(208)中，P01到P04分别表示像素P01到P04的像素值。
在步骤S3405中，外推/内插单元3402确定是否已获得具有预定分辨率的像素，在该情况下，已经获得希望的四倍密度像素，因此，外推/内插单元3402确定已经获得具有预定分辨率的像素，处理进到步骤S3406。
在步骤S3406中，梯度获取单元3401确定是否已经完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回到步骤S3402，其中重复进行后面的步骤。
在步骤S3406中，在梯度获取单元3401确定已经完成对全部像素的处理的情况下，外推/内插单元3402在步骤S3407中输出由存储在未示出的存储器中的产生的像素构成的图像。
也就是说，如图261所示，根据在空间方向X上距离关注像素的距离，利用外推/内插获得新像素的像素值，所述关注像素的梯度利用模拟函数f(x)上的梯度f(x)’获得。
注意，在上述实例中，已经描述了在以计算四倍密度像素作为实例时的梯度(导数值)，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的方法可以计算比上述实例具有更大的空间方向中的密度的像素。
另外，对于上述实例，已经描述了获得二倍密度的像素值的实例，但是模拟函数f(x)是连续函数，因此，在即使关于具有不同于二倍密度的像素值仍可以获得需要的梯度(导数值)信息的情况下，可以产生由更高密度像素构成的图像。
根据上述描述，基于被提供作为空间方向中的现实世界估计信息的、用于模拟输入图像的每个像素的像素值的模拟函数f(x)的梯度(或导数值)f(x)’信息，可以产生比输入图像具有更高分辨率的图像的像素。
接着，将参考图262描述图像产生单元103，其基于在从现实世界估计单元102输入的现实世界估计信息是从作为表示参考像素的近似像素值的帧方向(时间方向)上的函数的f(t)获得的每个像素的导数值或梯度信息的情况下的每个像素的导数值或梯度信息，而产生新像素值以输出图像。
梯度获取单元3411获取从现实世界估计单元102输入的每个像素位置上的，从表示参考像素的模拟像素值的f(t)获取的梯度信息、相应的像素值以及作为连续性的移动，并将这样获得的信息输出给外推单元3412。
外推单元3412基于从梯度获取单元3411输入的每个像素的从模拟函数f(t)获得的梯度、相应的像素值以及作为连续性的移动利用外推产生比输入图像更高的预定阶数的高密度像素，并将这样产生的图像输出作为输出图像。
接着，将参考图263的流程图描述利用如图262所示的图像产生单元103的图像产生处理。
在步骤S3421中，梯度获取单元3411获取从现实世界估计单元102输入的每个像素的关于如下的信息从模拟函数f(t)获得的梯度(导数值)、位置、像素值、以及作为连续性的移动，并将其作为现实世界估计信息。
例如，在从在空间方向和帧方向上都具有二倍像素密度(即，共为四倍像素密度)的输入图像产生图像的情况下，从现实世界估计单元102接收的关于如图264所示的像素Pin的输入信息包括梯度f(Tin)’(在像素Pin中心上的梯度)、f(Tin-Ct(0.25))’(在从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pat的中心上的梯度)、f(Tin-Ct(-0.25))’(在从像素Pin产生Y方向上的二倍像素密度的像素的步骤中，在像素Pbt的中心上的梯度)、像素Pin的位置、像素值、以及作为连续性的移动(移动矢量)。
在步骤S3422中，梯度获取单元3411从输入的现实世界估计信息选择关于关注像素的信息，并将其这样获取的信息输出给外推单元3412。
在步骤S3423中，外推单元3412基于这样输入的位置信息计算关于像素和连续性方向上的梯度的平移量。
这里，将作为连续性的移动(在具有帧方向和空间方向的平面上的梯度)作为Vf，通过公式Ct(ty)＝ty/Vf获得平移量Ct(ty)。该平移量Ct(ty)表示在空间方向Y＝ty的位置上计算的，模拟函数f(t)在帧方向T上的平移量。注意，所述模拟函数f(t)被定义为位于空间方向Y＝0的位置上。因此，在空间方向Y＝ty上，该模拟函数f(t)在时间方向T上平移Ct(ty)，从而该模拟函数在Y＝ty上被定义为f(t-Ct(ty))＜＝f(t-ty/Vf)。
例如，考虑如图264所示的像素Pin。在将图中一个像素(假设图中像素尺寸在帧方向和空间方向上都为1)分成在空间方向上的两个像素的情况下(当在空间方向上产生二倍像素密度图像的情况下)，外推单元3412计算用于获得像素Pat和Pbt的平移量。也就是说，在空间方向Y上对像素Pat和Pbt分别从像素Pin平移0.25和-0.25。从而用于获得像素Pat和Pbt的像素值的平移量分别为Ct(0.25)和Ct(-0.25)。注意，在图264中，像素Pin为其基本重心位置约为(Xin、Yin)的方形。另一方面，像素Pat和Pbt是其基本重心位置分别约为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、其长边在图中水平方向上的矩形。
在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量、被获取作为现实世界估计信息并提供像素Pin的像素值的模拟函数f(t)上的关注像素、以及像素Pin的像素值，通过下面公式(209)和公式(210)利用外推计算像素Pat和Pbt的像素值。
pat＝Pin-f(Tin)′×Ct(0.25)公式(209) pbt＝Pin-f(xin)′×Ct(-0.25) 公式(210) 在上述公式(209)和公式(210)中，Pat、Pbt和Pin分别表示像素Pat、Pbt和Pin的像素值。
也就是说，如图265所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的距离，即平移量，而计算像素值的变化量。然后，基于关注像素的像素值利用这样计算的变化确定将产生的新像素的像素值。
在步骤S3425中，外推单元3412确定这样产生的像素是否提供要求的分辨率。例如，在用户要求相比于输入图像为在空间方向上的二倍像素密度的分辨率的情况下，外推单元3412确定已经获得要求的分辨率。但是，在用户要求相比于输入图像为四倍像素密度(在帧方向和空间方向上均为二倍像素密度)的分辨率的情况下，则上述处理没有提供要求的像素密度。因此，在用户要求四倍像素密度的分辨率的情况下，外推单元3412确定仍未获得要求的分辨率，并且流程返回到步骤S3423。
在用于第二处理的步骤S3423中，外推单元3412分别计算从作为基础的像素的平移量，以获得像素P01t、P02t、P03t和P04t(相对于关注像素Pin具有四倍像素密度)的中心。也就是说，在该情况下，像素P01t和P02t从像素Pat获得，从而计算从像素Pat的平移量以获得这些像素。这里，分别将像素P01t和P02t在帧方向T上从像素Pat平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。同样，分别将像素P03t和P04t在帧方向T上从像素Pbt平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。注意，在图264中，每个像素P01t、P02t、P03t和P04t为方形，其重心位置由图中四个叉形标记的相应的一个表示，并且，由于像素Pin的每边的长度为1，因此，像素P01t、P02t、P03t和P04t每边的长度为约0.5。
在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量Ct、在被获取作为现实世界估计信息的、在像素Pat和Pbt的相应位置上的模拟函数f(t)的梯度f(Tin-Ct(0.25))’和f(Tin-Ct(0.25))’、以及在上述处理中获得的像素Pat和Pbt的像素值，通过下面公式(211)到公式(214)利用外推获得像素P01t、P02t、P03t和P04t的像素值。将这样获得的像素P01t、P02t、P03t和P04t的像素值存储在未示出的存储器中。
P01t＝Pat+f(Tin-Ct(0.25))′×(-0.25) 公式(211) P02t＝Pat+f(Tin-Ct(0.25))′×(0.25)公式(212) P03t＝Pbt+f(Tin-Ct(-0.25))′×(-0.25) 公式(213) P04t＝Pbt+f(Tin-Ct(-0.25))′×(0.25) 公式(214) 在上述公式(211)到公式(212)中，P01t到P04t分别表示像素P01t到P04t的像素值。
在步骤S3425中，外推单元3412确定是否已获得达到要求分辨率的像素密度。在该情况下，已经获得要求的四倍密度像素，因此，外推单元3412确定已经获得达到要求分辨率的像素密度，然后流程进到步骤S3426。
在步骤S3426中，梯度获取单元3411确定是否已经完成对全部像素的处理。在梯度获取单元3411确定仍未完成对全部像素的处理的情况下，该流程返回到步骤S3422，并重复后面的处理。
在步骤S3426中，在梯度获取单元3411确定已经完成对全部像素的处理的情况下，外推单元3412在步骤S3427中输出由存储在未示出的存储器中的产生的像素构成的图像。
也就是说，如图265所示，利用模拟函数f(t)上的梯度f(t)’获得所述关注像素的梯度，并根据在帧方向T上距离关注像素的帧数计算新像素的像素值。
尽管在上述实例中，已经描述了在计算四倍密度像素时的梯度(导数值)的实例，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的技术还可以计算在帧方向中的像素。
尽管已经描述了获得二倍像素密度的图像的设置，但是还可以这样设置，其中利用模拟函数f(t)是连续函数的性质，基于需要的梯度(导数值)信息获得更高像素密度的图像。
根据上述描述，上述处理基于关于被提供作为现实世界估计信息的、作为用于提供输入图像的每个像素的像素值的模拟值的模拟函数f(t)的梯度(或导数值)的f(t)’的信息，可以产生在帧方向上比输入图像具有更高分辨率的像素图像。
在上述本实施例中，从由多个像素形成的图像数据检测数据连续性，所述多个像素具有通过多个检测元件的作用而投影现实世界中的光信号所获得的像素值；由于利用每个具有时间空间积分效应的多个检测元件的投影，丢失了现实世界中的光信号的部分连续性。然后采用在时间空间方向的一维方向上从图像数据中的关注像素平移的多个像素的梯度作为对应于现实世界光信号的函数。随后，利用匹配相应像素的中心、以及在上述采用的像素上的梯度，对于上述在预定方向上从关注像素的中心平移的多个像素的每个计算直线。然后，采用上述获得的关注像素中的直线两端的值作为比由关注像素形成的输入图像具有更高像素密度的图像的像素值。这允许产生在时间空间方向中比输入图像具有更高分辨率的图像。
接着，将参考图266到图291描述根据本实施例的图像产生单元103(参考图3)的另一设置。
图266示出了根据本实施例的图像产生单元103的结构实例。
图266所示的图像产生单元103包括类型分类适应单元3501，用于进行常规类型分类适应处理；类型分类适应校正单元3502，用于进行对类型分类适应处理(下面将具体描述)的结果的校正；以及相加单元3503，用于相加从类型分类适应单元3501输出的图像和从类型分类适应处理校正单元3502输出的图像，并将相加的图像作为输出图像输出给外部电路。
注意，下文中，将从类型分类适应处理单元3501输出的图像称为“预测图像”。另一方面，将从类型分类适应处理校正单元3502输出的图像称为“校正图像”或“减法预测图像”。注意，下面将描述“预测图像”和“减法预测图像”的概念。
另外，在本实施例中，例如，假设进行类型分类适应处理用于提高输入图像的空间分辨率。也就是说，进行类型分类适应处理用于将具有标准分辨率的输入图像转换成具有高分辨率的预测图像。
注意，下文中相应地将具有标准分辨率的图像称为“SD(标准精度)图像”。另外，相应地将构成SD图像的像素称为“SD像素”。
另一方面，下文中相应地将高分辨率图像称为“HD(高精度)图像”。另外，将构成HD图像的像素相应地称为“HD”像素。
下面，将描述根据本实施例的类型分类适应处理的具体实例。
首先，获得包括关注像素和其周围像素的每个SD像素(例如将被称为“类型分块”的SD像素)的特征，用于计算对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。
然后，基于上述获得的特征(确定了类型分块的类型代码)，从预备类型中选择类型分块的类型。
然后，基于上述确定的类型代码、和包括关注像素和其周围的像素的SD像素(下文中将该SD像素称为“预测分块”。注意，类型分块也可以用作预测分块)，利用形成从预备的多个系数组(每个系数组对应于特定类型代码设置)中选择的系数组的系数进行积-和计算，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。
因此，利用根据本实施例的配置，在类型分类适应处理单元3501对输入图像(SD图像)进行常规类型分类适应处理以产生预测图像(HD图像)。另外，利用从类型分类适应处理校正单元3502输出的校正图像(通过相加预测图像和校正图像)在相加单元3503中校正上述获得的预测图像，从而获得输出图像(HD图像)。
也就是说，从连续性的角度看，可以将根据本实施例的配置认为是用于基于关于连续性进行处理的图像处理装置(图3)的图像产生单元103的配置。另一方面，从分类类型适应处理的角度看，还可以将根据本实施例的配置认为是这样的图像处理装置的配置，相比于由传感器2和类型分类适应处理单元3501形成的常规图像处理装置，所述装置还包括数据连续性检测单元101、现实世界估计单元102、类型分类适应校正单元3502、以及相加单元3503，以对分为类型适应处理执行校正。
因此，下文中，相对于上述再积分装置，将根据本实施例的该配置称为“类型分类处理校正装置”。
下面将详细描述利用类型分类处理校正装置的图像产生单元103。
在图266中，当将现实世界1的信号(光强分布)输入传感器2中时，从传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501以及数据连续性检测单元101。
类型分类适应处理单元3501对输入图像进行常规类型分类适应处理，以产生预测图像，并将预测图像输出给相加单元3503。
如上所述，在类型分类适应处理单元3501中，采用从传感器2输入的输入图像(图像数据)作为将要被处理的目标图像以及参考图像。也就是说，虽然由于上述积分效应，来自传感器2的输入图像不同于(变形)现实世界1的信号，但是类型分类适应处理单元3501利用不同于现实世界1的信号的输入图像作为正确的参考图像进行处理。
从而，在利用基于输入图像(SD图像)的类型分类适应处理产生HD图像的情况下(其中在SD图像中在从传感器2输出输入图像的输入阶段已经丢失了原始细节)，则这样的HD图像可能具有这样的问题，即不能完全再现原始细节。
为了解决上述问题，在类型分类处理校正装置中，图像产生单元103的类型分类适应处理校正单元3502利用将被输入传感器2的用于估计原始图像(具有原始连续性的现实世界1的信号)的信息(现实世界估计信息)作为将被处理的目标图像以及参考图像，代替来自传感器2的输入图像，从而产生用于校正从类型分类适应处理单元3501输出的预测图像的校正图像。
通过数据连续性检测单元101和现实世界估计单元102的作用产生现实世界估计信息。
也就是说，数据连续性检测单元101检测包括在从传感器2输出的输入图像中的数据连续性(对应于包括在现实世界1的信号中的连续性的数据连续性，其被输入传感器2)，并将检测结果作为数据连续性信息输出给现实世界估计单元102。
注意，尽管图266示出了其中采用角度作为数据连续性信息的设置，但是数据连续性信息不限于角度，而可以采用各种信息作为数据连续性信息。
现实世界估计单元102基于上述输入的角度(数据连续性信息)产生现实世界估计信息，并将上述产生的现实世界估计信息输出给图像产生单元103的类型分类适应校正单元3502。
注意，尽管图266中示出了其中采用特征量图像(下文将对其进行详细描述)作为现实世界估计信息的设置，但是现实世界估计信息不限于特征量图像，而是如上述可以采用各种信息。
类型分类适应处理校正单元3502基于上述输入的特征量图像(现实世界估计信息)产生校正图像，并将校正图像示出给相加单元3503。
相加单元3503相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像，并将相加的图像(HD图像)作为输出图像输出给外部电路。
上述输出图像比预测图像具有更高精度地接近现实世界1的信号(图像)。也就是说，类型分类适应处理校正装置使得用户可以解决上述问题。
另外，在具有如图266所示的结构的信号处理装置(图像处理装置)4中，可以将该处理应用于一帧的整个面积上。也就是说，尽管利用下文的混合技术(例如下文参考图292所述的设置)的信号处理装置等需要识别像素区域以产生输出图像，有利的是，如图266所示的信号处理装置4不需要识别所述像素区域。
接着，下面将详细描述图像产生单元103的类型分类适应处理单元3501。
图267示出了类型分类适应处理单元3501的结构实例。
在图267中，将从传感器2输入的输入图像(SD图像)提供给区域选取单元3511和区域选取单元3515。区域选取单元3511选取类型分块(位于包括关注像素(SD像素)的预定位置上的SD像素)，并将该类型分块输出给图形检测单元3512。图形检测单元3512基于上述输入的类型分块检测输入图像的图形。
类型代码确定单元3513基于由图形检测单元3512检测的图形确定类型代码，并将类型代码输出给系数存储器3514和区域选取单元3515。系数存储器3514存储通过学习预备的每个类型代码的系数，读取对应于从类型代码确定单元3513输入的类型代码的系数，并将系数输出给预测计算单元3516。
注意，下面将参考如图269所示的类型分类适应处理学习单元的方框图，描述用于获得存储在系数存储器3514中的系数的学习处理。
另外，存储在系数存储器3514中的系数如下所述用于产生预测图像(HD图像)。因此，将存储在系数存储器3514中的系数称为“预测系数”，以区分上述系数与其它种系数。
区域选取单元3515基于从类型代码确定单元3513输入的类型代码，选取用于从自传感器2输入的输入图像(SD图像)预测和产生预测图像(HD图像)所需的预定分块(位于包括关注像素的预定位置上的SD像素)，并将预测分块输出给预测计算单元3516。
预测计算单元3516利用从区域选取单元3515输入的预测分块和从系数存储器3514输入的预测系数进行积和计算，产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，并将HD像素输出给相加单元3503。
尤其是，系数存储器3514将对应于从类型代码确定单元3513提供的类型代码的预测系数输出给预测计算单元3516。预测计算单元3516利用从区域选取单元3515提供的、并从输入图像的预定像素的像素值选取的预测分块、以及从系数存储器3514提供的预测系数执行由下面公式215表示的积-和计算，从而获得(预测和估计)预测图像(HD图像)的HD像素。
公式(215) 在公式(215)中，q’表示预测图像(HD图像)的HD像素。每个ci(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个di表示相应的预测系数。
如上所述，类型分类处理单元3501基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从类型分类适应处理单元3501输出的HD图像称为“预测图像”。
图268示出了用于确定存储在类型分类适应单元3501的系数存储器3514中的预测系数(公式(215)中的di)的学习装置(用于获得预测系数的计算装置)。
注意，在类型分类适应处理校正技术中，除系数存储器3514外，系数存储器(校正系数存储器3554，其将在下文中参考图276而被描述)被包括在类型分类适应处理校正单元3502中。因此，如图268所示，根据类型分类适应处理技术的学习装置3504包括学习单元3561(下文中将其称为“类型分类适应处理校正学习单元3561”)，用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的系数，以及学习单元3521(其在下文中被称为“类型分类适应处理学习单元3521”)用于确定存储在类型分类适应处理单元3501系数存储器3514中的预测系数(公式(215)中的di)。
因此，当下文中将用于类型分类适应处理学习单元3521中的老师图像称为“第一老师图像”，则下文中将用于类型分类适应处理校正学习单元3561中的老师图像称为“第二老师图像”。同样，当下文中将用于类型分类适应处理学习单元3521中的学生图像称为“第一学生图像”，则下文中将用于类型分类适应处理校正学习单元3561中的学生图像称为“第二学生图像”。
注意，下面将描述类型分类适应处理校正学习单元3561。
图269示出了类型分类适应处理学习单元3521的具体结构实例。
在图269中，将特定图像输入类型分类适应处理校正学习单元3561(图268)、以及下降转换器单元3531和正规方程产生单元3536中作为第一老师图像(HD图像)。
下降转换器单元3531基于输入的第一老师图像(HD图像)产生比第一老师图像具有更低分辨率的第一学生图像(SD图像)(将第一老师图像转换成较低分辨率的第一学生图像)，并将第一学生图像输出给区域选取单元3532和3535、和类型分类适应处理校正学习单元3561(图268)。
如上所述，类型分类适应处理学习单元3521包括下降转换器单元3531，因此，第一老师图像(HD图像)不需要具有比来自上述传感器2(图266)的输入图像更高的分辨率。原因在于，在该情况下，将经过下降转换处理(用于减少图像分辨率的处理)的第一老师图像用作第一学生图像即SD图像。也就是说，对应于第一学生图像的第一老师图像用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作第一老师图像。
区域选取单元3532从上述提供的第一学生图像(SD图像)中选取用于类型分类所需要的类型分块(SD像素)，并将类型分块输出给图形检测单元3533。图形检测单元3533检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元3534。类型代码确定单元3534确定对应于输入图形的类型代码，并将类型代码输出给区域选取单元3535和正规方程产生单元3536。
区域选取单元3535基于从类型代码确定单元3534输入的类型代码自从下降转换器单元3531中输入的第一学生图像(SD图像)中选取预测分块(SD像素)，并且，将预测分块输出给正规方程产生单元3536和预测计算单元3558。
注意，区域选取单元3532、图形检测单元3533、类型代码确定单元3534，以及区域选取单元3535具有基本相同的结构，并且，与如图267所示的类型分类适应处理单元3501的区域选取单元3511、图形检测单元3512、类型代码确定单元3513、以及区域选取单元3515相同地作用。
正规方程产生单元3536基于从区域选取单元3535输入的第一学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3545输入的全部类型代码的每个类型代码的第一老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3537。当从正规方程产生单元3536接收对应于特定类型代码的正规方程时，系数确定单元3537利用正规方程计算预测系数。然后，系数确定单元3537将计算的预测系数的方式提供给预测计算单元3538，并将预测系数按照与类型代码相关联存储在系数存储器3514中。
下面，将详细描述正规方程产生单元3536和系数确定单元3537。
在上述公式(215)中，每个预测系数di在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。将m个HD像素中的每一个表示为qk(k表示1到m的整数)。则从公式(215)得到下面的公式(216)。
公式(216) 也就是说，公式(216)表示，通过计算公式(216)的右侧可以预测和估计HD像素qk。注意，在公式(216)中，ek表示误差。也就是说，作为预测图像(HD图像)的HD像素qk’不完全匹配实际HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的结果。
因此，例如，通过学习处理，将获得表示误差ek的平方和的最小值的预测系数di。
尤其是，预备用于学习处理中的HD像素qk的个数应该大于n(即m大于n)。在该情况下，利用最小二乘法确定预测系数di作为唯一解。
也就是说，利用最小二乘法的用于获得公式(216)右侧的预测系数di的正规方程由下面公式(217)所示。
公式(217) 因此，产生并求解由公式(217)表示的正规方程，从而确定预测系数di作为唯一解。
尤其是，假设，公式(217)中表示正规方程的矩阵被定义为下面公式(218)到(220)。在该情况下，正规方程由下面公式(221)所示。
公式(218) 公式(219) 公式(220) CMAT DMAT＝QMAT 公式(221) 如公式(219)所示，矩阵DMAT的每个分量为将要获得的预测系数di。在本实施例中，如果确定了左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵计算获得矩阵DMAT(即预测系数di)。
尤其是，如公式(218)所示，由于已知预测分块cik，因此可以计算矩阵CMAT的各个分量。在本实施例中，区域选取单元3535选取预测分块Cik。正规方程产生单元3536利用从区域选取单元3535提供的预测分块cik计算矩阵CMAT的每个分量。
另外，在本实施例，预测分块cik和HD像素qk是已知的。因此可以计算如公式(220)所示的矩阵QMAT的各个分量。注意，预测分块cik与矩阵CMAT中相同，另外，HD像素qk是对应于预测分块cik中包括的关注像素(第一学生图像的SD像素)的第一老师图像的HD像素。从而，正规方程产生单元3536基于从区域选取单元3535提供的预测分块cik和第一老师图像而计算矩阵QMAT的每个分量。
如上所述，正规方程产生单元3536计算矩阵CMAT和矩阵QMAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元3537。
系数确定单元3537基于对应于提供的特定类型代码的正规方程，计算作为上述公式(221)中的每个矩阵DMAT的分量的预测系数di。
尤其是，可以将上述公式(221)转换为下面的公式(222)。
公式(222) 在公式(222)中，左侧矩阵DMAT的各个分量是将要获得的预测系数di。另一方面，从正规方程产生单元3536提供矩阵CMAT和矩阵QMAT的各个分量。在本实施例中，当从正规方程产生单元3536接收对应于当前类型代码的矩阵CMAT和矩阵QMAT的各个分量，系数确定单元3537执行由公式(222)的右侧表示的矩阵计算，从而计算矩阵DMAT。然后，系数确定单元3537将计算结果(预测系数di)提供给预测计算单元3538，并将计算结果与类型代码相关联地存储在系数存储器3514中。
预测计算单元3538利用从区域选取单元3535输入的预测分块和由系数确定单元3537确定的预测系数执行积-和计算，从而产生对应于第一学生图像(SD图像)的关注像素(SD像素)的预测图像(作为第一老师图像的预测图像)的HD像素。将上述产生的HD像素作为学习预测图像输出给类型分类适应处理校正学习单元3561(图268)。
尤其是，在预测计算单元3538中，将从预测选取单元3535提供的第一学生图像中的特定像素位置周围的像素值中选取的预测分块用作ci(i表示1到n的整数)。另外，将从系数确定单元3537提供的每个预测系数用作di。预测计算单元3538利用上述采用ci和di执行由上述公式(215)表示的积-和计算，从而获得学习预测图像(HD图像)的HD像素q’(即，从而预测和估计第一老师图像)。
现在，将参考图270到图275描述上述常规类型分类适应处理(类型分类适应处理单元3501)的问题，即其中，当基于其中在输入阶段丢失了原始细节的从传感器2输出的输入图像(SD图像)，通过如图266所示的类型分类适应处理单元3501产生HD图像(现实世界1的信号的预测图像)的情况下，不能完全再现原始细节。
图270示出了类型分类适应单元3501的处理结果的实例。
在图270中，HD图像3541包括一条具有相对于图中垂直方向为顺时针约5度的梯度的细线。另一方面，从HD图像3541产生SD图像3542，使得将HD图像3541的每个2×2个像素(HD像素)块的平均值用作其相应的单个像素(SD像素)。也就是说，SD图像3542是HD图像3541的“下降转换的”(减小的分辨率)的图像。
换句话说，可以假设HD图像3541是在该模拟中将被从传感器2(图266)输出的图像(现实世界1的信号(图266))。在该情况下，可以假设SD图像3542是对应于HD图像3541的图像，其从传感器2获得，所述传感器在该模拟中具有空间方向上的特定积分性质。也就是说，可以假设在该模拟中SD图像3542是从传感器2输入的图像。
在该模拟中，将SD图像输入类型分类适应处理单元3501(图266)。从类型分类适应处理单元3501输出的预测图像是预测图像3534。也就是说，预测图像3534是通过常规类型分类适应处理产生的HD图像(与原始HD图像3541具有相同的分辨率的图像)。注意，利用由类型分类适应处理学习单元3561(图269)以HD图像3541作为第一老师图像和以SD图像3542作为第一学生图像进行的学习/计算处理而获得用于类型分类适应处理单元3501的预测计算中的预测系数(存储在系数存储器3514(图267)中的预测系数)。
比较HD图像3541、SD图像3542以及预测图像3543，确定了预测图像3543比SD图像3542更接近HD图像3541。
比较结果表示，类型分类适应处理3501基于其中已经丢失HD图像3541的原始细节的SD图像3542，利用常规类型分类适应处理产生具有再现的原始细节的预测图像3543。
然而，比较预测图像3543和HD图像3541，不能肯定地说预测图像3543完全再现了HD图像3541。
为了研究该预测图像3543相对于HD图像3541的不完全再现，本申请人通过利用相加单元3546相加HD图像3541和预测图像3543的反图像而形成了相加图像，即通过从HD图像3541中减去预测图像3543而获得的减法图像3544(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。
同样，本申请人通过利用相加单元3546相加HD图像3541和SD图像3542的反图像而形成了相加图像，即通过从HD图像3541中减去SD图像3542而获得的减法图像3545(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。
然后，比较减法图像3544和减法图像3545，本申请人获得如下所述的研究结果。
也就是说，表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即，在减法图像3545中由接近白色的密度形成的区域)通常匹配表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即，减法图像3544中由接近白色的密度形成的区域)。
换句话说，预测图像3543中表现相对于HD图像3541的不充分再现结果的区域通常匹配表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即在减法图像3545中由接近白色的密度形成的区域)。
然后，为了解决研究结果的原因，本申请人还进行了如下研究。
也就是说，首先，本申请人研究在表现HD图像3541和预测图像3543之间的像素值的较小差的区域(即在减法图像3544中由接近黑色的密度形成的区域)中的再现结果。在上述区域中，获得用于该研究的信息为HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图271和图272中示出了研究结果。
图271示出了研究目标区域的实例。注意，在图271中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。
也就是说，本申请人研究了图271中所示的减法图像3544的区域3544-1的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较小差的区域实例。
图272的图表示出了HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图271所示的区域3544-1中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。
在图272中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以减法图像3544的HD像素的像素宽度为0.5而定义X轴坐标值。也就是说，减法图像3544是HD图像，因此，图中以0.5的像素宽度Lt(下文中将称为“HD像素宽度Lt”)画出HD图像的每个像素。另一方面，在该情况下，以为HD像素宽度Lt两倍的像素宽度，即以1的像素宽度Ls(下文中将称为“SD像素宽度Ls”)画出SD图像3542的每个像素。
另外，在图272中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，实际上难于画出现实世界1的实际波形。因此，如图272所示的虚线表示利用上述线性多项式模拟技术(如图266所示的根据第一实施例的现实世界估计单元102)模拟沿X方向的波形的模拟函数f(x)。
然后，本申请人以与上述关于表现其之间的像素值的小差的区域的研究同样的方法，研究了在表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即在减法图像3544中由接近白色的密度形成的区域)中的再现结果。在上述区域中，同样获得用于该研究的信息为HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图273和图274中示出了研究结果。
图273示出了研究目标区域的实例。注意，在图273中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。
也就是说，本申请人研究了图273中所示的减法图像3544的区域3544-2的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较大差的区域实例。
图274的图表示出了HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图273所示的区域3544-2中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。
在图274中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以1的SD像素宽度Ls定义X轴坐标值。
在图274中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，如图274所示的虚线表示以与图272所示的虚线相同的方法模拟沿X方向的波形的模拟函数f(x)。
比较图272和图274所示的图表，从图中所示的模拟函数f(x)显然可以看出，图中每个区域包括线对象。
然而，存在如下的差异。也就是说，在图272中线对象在约0到1的x的区域上延伸，而在图274中，线对象在约-0.5到0.5的x的区域上延伸。也就是说，在图272中，线对象的大部分被包括在位于SD图像3542中的0到1的x的区域上的单个SD像素内，另一方面，在图274中，线对象的部分被包括在位于SD图像3542中0到1的x的区域上的单个SD像素中(线对象与背景邻接的边缘也被包括在其中)。
因此，在如图272所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较小。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差较小。
在该状态下(如图272所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图271所示，产生的预测图像3543的HD像素以充分高的精度模拟HD图像3541的HD像素。也就是说，在区域3544-1中，在预测图像3543和HD图像3541之间的像素值之差较小，因此，形成的减法图像具有接近黑色的密度，如图271所示。
另一方面，在如图274所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较大。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差比如图272所示的相应差较大。
在该状态下(如图274所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图273所示，产生的预测图像3543的HD像素以较差的精度模拟HD图像3541的HD像素。也就是说，在区域3544-2中，在预测图像3543和HD图像3541之间的像素值之差较大，因此，形成的减法图像具有接近白色的密度，如图273所示。
比较如图272所示和如图274所示的用于模拟现实世界1的信号的模拟函数f(x)(图中由虚线表示)，可以如下理解。也就是说，模拟函数f(x)在图272中0到1的x的区域上的变化较小，而模拟函数f(x)在图274中0到1的x的区域上的变化较大。
因此，存在如图272所示的SD图像3542中的SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较小(即，现实世界1的信号的变化较小)。
从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较小(即现实世界1的信号的变化较小)的区域上的SD像素、如延伸在如图272所示的0到1.0的x的区域上的SD像素再现HD像素的情况下，利用常规类型分类适应处理，产生的HD像素以充分高的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。
另一方面，存在如图274所示的SD图像3542中的另一个SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较大(即，现实世界1的信号的变化较大)。
从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较大(即现实世界1的信号的变化较大)的区域上的SD像素、如延伸在如图274所示的0到1.0的x的区域上的SD像素再现HD像素的情况下，，利用常规类型分类适应处理，产生的HD像素以较差的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。
上述研究结果的结论为如图275所示的情况，利用基于像素之间的关系的常规信号处理(例如，类型分类适应处理)，难于再现延伸在对应于单个像素的区域上的细节。
也就是说，图275描述了本申请人获得的研究结果。
在图275中，图中水平方向表示为空间方向的X方向，沿其上排列有传感器2(图266)的检测元件。另一方面，图中垂直方向表示光量水平或像素值。点线表示现实世界1的信号(图266)的X截面波形F(x)。实线表示在传感器2接收上述表示的现实世界1的信号(图像)的情况下从传感器2输出的像素值P。另外，传感器2的检测元件的宽度(在X方向上的长度)由Lc表示。X截面波形F(x)相对于作为传感器2的检测元件的宽度Lc的传感器2的像素宽度Lc的变化由ΔP表示。
这里，上述SD图像3542(图270)是用于模拟从传感器2输入的图像(图266)的图像。在该模拟下，以SD图像3542的SD像素宽度Ls(图272和图274)为传感器2的像素宽度Lc(检测元件的宽度)，可以进行估计。
尽管已经描述了对表现为细线的现实世界1的信号(模拟函数f(x))的研究，对于现实世界1中的信号水平可以有多种变化。
因此，基于研究结果可以估计在如图275所示的条件下的再现结果。估计的再现结果如下所述。
也就是说，在利用常规类型分类适应处理再现HD像素(例如，从图266中的类型分类适应处理单元3501输出的预测图像的像素)的情况下，其中以其上现实世界1的信号的变化ΔP(在X截面波形F(x)上的变化)较大的SD像素(从传感器2输出的像素)作为关注像素，则产生的HD像素以较差的精度模拟现实世界1中的信号(如图275所示的X截面波形F(x))。
尤其是，在例如类型分类适应处理的常规方法中，基于从传感器2输出的多个像素之间的关系进行图像处理。
也就是说，如图275所示，考虑位于对应于单个像素的区域上的在X截面波形F(x)上表现快速变化ΔP，即现实世界1中的信号的快速变化的信号。对该信号积分(严格地说，时间空间积分)，并只输出单个像素值P(在单个信号上的像素由统一像素值P表示)。
在常规方法中，以像素值P同时为参考和目标而进行图像处理。换句话说，在常规方法中，不考虑单个像素上的现实世界1的信号(X截面波形F(x))的变化，即不考虑延伸在单个像素上的细节，而进行图像处理。
只要图像处理是以像素增量进行的，则任何图像处理(即使类型分类适应处理)难于高精度地再现现实世界1的信号在单个像素上的变化。尤其是，现实世界1的信号的大的变化ΔP将导致其中的显著难度。
换句话说，上述类型分类适应处理的问题，即，利用类型分类适应处理对原始细节的不充分再现的原因如下，所述问题通常发生在其中在从传感器2输出图像的阶段已经丢失细节的输入图像(SD图像)的情况中。所述原因在于，类型分类适应处理在像素增量上进行(具有单个像素值的单个像素)，而不考虑现实世界1的信号在单个像素上的变化。
注意，所有包括类型分类适应处理的常规图像处理方法都具体相同的问题，问题的原因是完全相同的。
如上所述，常规图像处理方法具有同样的问题和同样的问题的原因。
另一方面，数据连续性检测单元101和现实世界估计单元102(图3)的组合使得可以利用现实世界1的信号的连续性基于来自传感器2的输入图像(即，其中已经丢失了现实世界1的信号变化的图像)而估计现实世界1的信号。也就是说，现实世界估计单元102具有输出现实世界估计信息的功能，其允许估计现实世界1的信号。
因此，可以基于现实世界估计信息估计现实世界1的信号在单个像素上的变化。
在本说明书中，本申请人已经提出了例如图266所示的类型分类适应处理校正方法，其基于这样的机制，其中，利用基于现实世界估计信息产生的预定校正图像(其表示由于现实世界1的信号在单个像素上的变化而导致的预测图像的估计误差)校正由常规类型分类适应处理产生的预测图像(其表示不考虑现实世界1的信号在单个像素上的变化而预测的现实世界1中的图像)，从而解决上述问题。
也就是说，在图266中，数据连续性检测单元101和现实世界估计单元102产生现实世界估计信息。然后，类型分类适应处理校正单元3502基于上述产生的现实世界估计信息产生具有预定格式的校正图像。接着，相加单元3503利用从类型分类适应处理校正单元3502输出的校正图像校正从类型适应处理单元3501输出的预测图像(尤其是，相加预测图像和校正图像，并输出相加的图像作为输出图像)。
注意，已经详细描述了用于进行类型分类适应处理校正方法的包括在图像产生单元103中的类型分类适应处理单元3501。另外，相加单元3503的种类不受特别限制，只要相加单元3503具有相加预测图像和校正图像的功能。相加单元3503的实例包括各种加法器、相加程序等。
因此，下面将详细描述未描述过的类型分类适应处理校正单元3502。
首先描述类型分类适应处理校正单元3502的机制。
如上所述，在图270中，设HD图像3541为将输入传感器2(图266)的原始图像(现实世界1中的信号)。另外，设SD图像3542为来自传感器2的输入图像。在该情况下，可以设预测图像3543为从类型分类适应处理单元3501输出的预测图像(通过预测原始图像(HD图像3541)而获得的图像)。
另一方面，通过从HD图像3541中减去预测图像3543而获得的图像为减法图像3544。
因此，通过如下作用再现HD图像3541类型分类适应处理校正单元3502产生减法图像3544，并输出减法图像3544作为校正图像；以及加法单元3503相加从类型分类适应处理单元3501输出的预测图像3543和从类型分类适应处理校正单元3502输出的减法图像3544(校正图像)。
也就是说，类型分类适应处理校正单元3502适当地预测减法图像(与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率)，其为表示现实世界1中的信号(将被输入传感器2的原始图像)的图像与从类型分类适应处理单元3501输出的预测图像之差，并输出上述预测的减法图像(下文将称为“减法预测图像”)作为校正图像，从而几乎完全地再现现实世界1中的信号(原始图像)。
另一方面，如上所述，在如下之间存在关系现实世界1中的信号(将被输入传感器2的原始图像)与从类型分类适应处理单元3501输出的预测图像之差(误差)；以及现实世界1中的信号在输入图像的单个像素上的变化。另外，现实世界估计单元102估计现实世界1中的信号，从而允许估计每个像素的特征，所述特征表示现实世界1中的信号在输入图像的单个像素上的变化。
在这样的结构中，类型分类适应处理校正单元3502接收输入图像的每个像素的特征，并基于其产生减法预测图像(预测减法图像)。
尤其是，例如，类型分类适应处理校正单元3502从现实世界估计单元102接收图像(下文称为“特征量图像”)作为其中特征由每个像素值表示的现实世界估计信息。
注意，特征量图像与来自传感器2的输入图像具有相同的分辨率。另一方面，校正图像(减法预测图像)与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率。
在该结构中，类型分类适应处理校正单元3502基于特征量图像，利用常规类型分类适应处理，以特征量图像为SD图像并以校正图像(减法预测图像)为HD图像，预测和计算减法图像，从而获得合适的减法预测图像作为预测计算的结果。
上述为类型分类适应处理校正单元3502的设置。
图276示出了在所述机制上工作的类型分类适应处理校正单元3502的结构实例。
在图276中，将从现实世界估计单元102输入的特征量图像(SD图像)提供给区域选取单元3551和3555。区域选取单元3551从提供的特征量图像选取用于类型分类所需的类型分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给图形检测单元3552。图形检测单元3552基于上述输入的类型分块检测特征量图像的图形。
类型代码确定单元3553基于上述由图形检测单元3552检测的图形确定类型代码，并将确定的类型代码输出给校正系数存储器3554和区域选取单元3555。校正系数存储器3554存储通过学习获得的每个类型代码的系数。校正系数存储器3554读出对应于从类型代码确定单元3553输入的类型代码，并将类型代码输出给校正计算单元3556。
注意，下面将参考图277所示的类型分类适应处理校正学习单元的方框图描述用于计算存储在校正系数存储器3554中的系数的学习处理。
另一方面，存储在校正系数存储器3554中的系数，即预测系数如下文所述预测减法图像(用于产生作为HD图像的减法预测图像)。然而，上述术语“预测系数”表示存储在类型分类适应处理单元3501的系数存储器3514(图267)中的系数。因此，存储在校正系数存储器3554中的预测系数在下文中将称为“校正系数”，以区分该系数与系数存储器3514中的预测系数。
区域选取单元3555基于从类型代码确定单元3553输入的类型代码，从自现实世界估计单元102输入的特征量图像(SD图像)选取用于预测减法图像(HD图像)(即用于产生作为HD图像的减法预测图像)所需的、对应于类型代码的预测分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555输入的预测分块和从校正系数存储器3554输入的校正系数执行积-和计算，从而产生对应于特征量图像(SD图像)的关注像素(SD像素)的减法预测图像(HD图像)的HD像素。
尤其是，校正系数存储器3554将对应于从类型代码确定单元3553提供的类型代码的校正系数输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555提供的输入图像中的像素的预定位置上的像素值选取的预测分块(SD像素)和从校正系数存储器3554提供的校正系数执行由下面公式(233)表示的积-和计算，从而获得减法预测图像(HD图像)的HD像素(即，预测和估计减法图像)。
公式(223) 在公式(223)中，u’表示减法预测图像(HD图像)的HD像素。每个ai(i为1到n的整数)表示相应的预测分块(SD像素)。另一方面，每个gi表示相应的校正系数。
因此，当如图266所示的类型分类适应处理单元3501输出由上述公式(215)表示的HD像素q’，类型分类适应处理校正单元3502输出由公式(223)表示的减法预测图像的HD像素u’。然后，相加单元3503求预测图像的HD像素q’和减法预测图像的HD像素u’的和(下文中表示为“o_)，并将该和输出给外部电路作为输出图像的HD像素。
也就是说，最后从图像产生单元103输出的输出图像的HD像素o’由下面公式(224)表示。
公式(224) 图277示出了用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的校正系数(用于上述公式(222)中的gi)的学习单元、即上述如图268所示的学习装置3504的类型分类适应处理校正学习单元3561的详细结构实例。
在上述图268中，当完成学习处理，类型分类适应处理学习单元3521输出基于第一学生图像利用通过学习获得的预测系数预测第一老师图像而获得的学习预测图像，并将用于学习处理的第一老师图像(HD图像)和第一学生图像(SD图像)输出给类型分类适应处理校正学习单元3561。
返回图277，在这些图像中，将第一学生图像输入数据连续性检测单元3572。
另一方面，在这些图像中，将第一学生图像和学习预测图像输入给相加单元3571。注意，在输入相加单元3571前将学习预测图像取反。
相加单元3571相加输入的第一老师图像和取反的输入学习预测图像，即产生第一老师图像和学习预测图像的减法图像，并将产生的减法图像输出给正规方程产生单元3578作为用于类型分类适应处理校正学习单元3561中的老师图像(其将被称为“第二老师图像”以区分该图像与第一老师图像)。
数据连续性检测单元3572检测包含在输入的第一学生图像中的数据连续性，并将检测结果输出给现实世界估计单元3573作为数据连续性信息。
现实世界估计单元3573基于上述输入的数据连续性信息产生特征量图像，并将产生的图像输出给区域选取单元3574和3577作为用于类型分类适应处理校正学习单元3561中的学生图像(该学生图像将被称为“第二学生图像”，以区分该学生图像与上述第一学生图像)。
区域选取单元3574从上述提供的第二学生图像(SD图像)选取用于类型分类所需的SD像素(类型分块)，并将选取的类型分块输出给图形检测单元3575。图形检测单元3575检测输入的类型分块的图形，并将检测结果输出给类型代码确定单元3576。类型代码确定单元3576确定对应于输入图形的类型代码，并将确定的类型代码输出给区域选取单元3577和正规方程产生单元3578。
区域选取单元3577基于从类型代码确定单元3576输入的类型代码从自现实世界估计单元3573输入的第二学生图像(SD图像)选取预测分块(SD像素)，并将选取的预测分块输出给正规方程产生单元3578。
注意，区域选取单元3574、图形检测单元3575、类型代码确定单元3576，以及区域选取单元3577具有基本相同的结构，并且，分别与如图276所示的类型分类适应处理校正单元3502的区域选取单元3551、图形检测单元3552、类型代码确定单元3553、以及区域选取单元3555相同地作用。另外，上述数据连续性检测单元3572和现实世界估计单元3773具有基本相同的结构，并且分别与图266中所示的数据连续性检测单元101和现实世界估计单元102相同地作用。
正规方程产生单元3578基于从区域选取单元3577输入的第二学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3576输入的每个类型代码的第二老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3579。当从正规方程产生单元3578接收相应类型代码的正规方程时，校正系数确定单元3579利用正规方程计算校正系数，其相关于类型代码，并被存储在校正系数存储器3554中。
下面，将详细描述正规方程产生单元3578和校正系数确定单元3579。
在上述公式(223)中，所有校正系数gi在学习之前是未确定。在本实施例中，学习处理通过输入每个类型代码的老师图像(HD图像)的多个HD像素而进行。假设，对应于特定类型代码存在m个HD像素，并将m个HD像素中的每个表示为uk(k表示1到m的整数)。在该情况下，从上述公式(223)得到下面的公式(225)。
公式(225) 也就是说，公式(225)表示，通过计算公式(225)的右侧可以预测和估计对应于特定类型代码的HD像素。注意，在公式(225)中，ek表示误差。也就是说，作为该公式右侧的计算结果的减法预测图像(HD图像)的HD像素uk’不完全匹配实际减法图像的HD像素uk，而是包括特定误差ek。
在公式(225)中，例如，校正系数ai通过学习使得误差ek的平方和表现最小值而获得。
在本实施例中，预备m(m＞n)个HD像素uk用于学习处理。在该情况下，利用最小二乘法可以计算校正系数ai作为唯一解。
也就是说，利用最小二乘法计算公式(225)右侧中的校正系数ai的正规方程由下面公式(226)表示。
公式(226) 当公式(226)中的矩阵为下面公式(227)到公式(229)，则正规方程由下面公式(230)表示。
公式(227) 公式(228) 公式(229) AMAT GMAT＝UMAT 公式(230) 如公式(228)所示，矩阵GMAT的每个分量为将要获得的校正系数gi。在本实施例中，在公式(230)中，如果确定了其左侧的矩阵AMAT和右侧的矩阵UMAT，可以利用矩阵求解方法计算矩阵GMAT(即校正系数gi)。
尤其是，在本实施例中，由于已知预测分块aik，因此可以获得由公式(227)表示的矩阵AMAT的各个分量。区域选取单元3577选取每个预测分块aik，并且正规方程产生单元3578利用从区域选取单元3577提供的预测分块aik计算矩阵AMAT的每个分量。
另一方面，在本实施例，准备预测分块aik和减法图像的HD像素uk是已知的，因此可以计算如公式(299)所示的矩阵uMAT的各个分量。注意，预测分块aik与矩阵AMAT中相同。另外，减法图像的HD像素uk匹配从相加单元3571输出的第二老师图像的相应HD像素。在本实施例中，正规方程产生单元3578利用从区域选取单元3577提供的预测分块aik和第二老师图像(第一老师图像和学习预测图像的减法图像)而计算矩阵UMAT的每个分量。
如上所述，正规方程产生单元3578计算每个类型代码的矩阵AMAT和矩阵UMAT的每个分量，并将相关于类型代码的计算结果提供给校正系数确定单元3579。
校正系数确定单元3579基于对应于提供的类型代码的正规方程，计算作为由上述公式(230)表示的每个矩阵GMAT的分量的校正系数gi。
尤其是，可以将由上述公式(230)表示的正规方程转换为下面的公式(231)。
公式(231) 在公式(231)中，其左侧矩阵GMAT的各个分量是将要获得的校正系数gi。注意，从正规方程产生单元3578提供矩阵AMAT和矩阵UMAT的各个分量。在本实施例中，当从正规方程产生单元3578接收对应于特定类型代码的矩阵AMAT的分量和矩阵UMAT的分量，校正系数确定单元3579通过执行由公式(231)的右侧表示的矩阵计算而计算矩阵GMAT，并将相关于类型代码的计算结果(校正系数gi)存储在校正系数存储器3554中。
上文详细描述了类型分类适应处理校正单元3502和类型分类适应处理校正学习单元3561，其中后者是学习单元，并且是类型分类适应处理校正单元3502的子单元。
注意，在本发明中采用的特征量图像不特别限制，只要通过类型分类适应处理校正单元3502基于其产生校正图像(减法预测图像)。换句话说，用于本发明的特征量图像中的每个像素的像素值，即特征不特别限制，只要所述特征表示现实世界1中的信号(图266)在单个像素(传感器2(图266)的像素)上的变化。
例如，可以采用“像素内梯度”作为特征。
注意，“像素内梯度”是这里新定义的术语。下面将描述像素内梯度。
如上所述，通过以三维空间中的位置x，y和z以及时间t为变量的函数F(x，y，t)表示作为图266中的图像的现实世界1的信号。
现在，假设其为图像的现实世界1中的信号具有在特定空间方向上的连续性。在该情况下，考虑通过沿空间方向X方向、Y方向和Z方向中的特定方向(例如X方向)投影函数F(x，y，t)获得的一维波形(将通过沿X方向投影函数F(x，y，t)获得的波形称为“X截面波形F(x)”)。在该情况下，可以理解，在沿连续性方向的附近可以获得类似上述一维波形F(x)的波形。
基于上述内容，在本实施例中，现实世界估计单元102基于数据连续性信息(例如角度)利用n(n表示特定整数)阶多项式模拟函数f(x)模拟X截面波形F(x)，所述数据连续性信息反映了现实世界1中的信号的连续性，并从例如数据连续性检测单元101输出。
图278示出了由下面公式(232)表示的f4(x)(其为5多项式函数)，和由下面公式(233)表示的f5(x)(其为一阶多项式函数)，作为该多项式模拟函数f(x)的实例。
f4(x)＝w0+w1x+w2x2+w3x3+w4x4+w5x5 公式(232) f5(x)＝w0’+w1’x 公式(233) 注意，公式(232)中W0到W5的每个和公式(233)中W0’到W1’表示通过现实世界估计单元102计算的函数的相应阶数的系数。
另一方面，在图278中，将图中水平方向上的x轴定义为以关注像素的左端作为原点(x＝0)，并表示沿空间方向X距离关注像素的相对位置。注意，将x轴定义为以传感器2的检测元件的宽度Lc为1。另一方面，图中垂直方向上的轴线表示像素值。
如图278所示，一维模拟函数f5(x)(由公式(232)表示的模拟函数f5(x))利用线性模拟模拟关注像素周围的X截面波形F(x)。在该说明书中，将线性模拟函数的梯度称为“像素内梯度”。也就是说，像素内梯度由公式(233)中x的系数w1’表示。
快变像素内梯度反映了关注像素附近的X截面波形F(x)中的较大变化。另一方面，渐变梯度反映了关注像素附近的X截面波形F(x)中的较小变化。
如上所述，像素内梯度适当地反映了现实世界1的信号在单个像素(传感器2的像素)上的变化。因此，可以采用像素内梯度作为特征。
例如，图279示出了利用像素内梯度为特征产生的实际特征量图像。
也就是说，图279左边的图像与上述图270所示的SD图像3542相同。另一方面，图279右边的图像是如下述产生的特征量图像3591。也就是说，获得图中左边SD图像3542的每个像素的像素内梯度。然后，以对应于像素内梯度的值为像素值产生图中右边的图像。注意，特征量图像3591具有下面的特征。也就是说，在像素内梯度为0(即线性模拟函数平行于X方向)的情况下，产生具有对应于黑色的密度的图像。另一方面，在像素内梯度为90°(即线性模拟函数平行于Y方向)的情况下，产生具有对应于白色的密度的图像。
SD图像3542中的区域3542-1对应上述图271所示的减法图像3544中的区域3544-1(其在参考图272的上述中用作其中现实世界1的信号在单个像素上的变化较小的区域实例)。在图279中，特征量图像3591中的区域3591-1对应SD图像3542中的区域3542-1。
另一方面，SD图像3542中的区域3542-2对应上述图273所示的减法图像3544中的区域3544-2(其在参考图274的上述中用作其中现实世界1的信号在单个像素上的变化较大的区域实例)。在图279中，特征量图像3591中的区域3591-2对应SD图像3542中的区域3542-2。
比较SD图像3542的区域3542-1和特征量图像3591的区域3591-1，可以理解，其中现实世界1的信号的变化较小的区域对应具有接近黑色的密度的特征量图像3591的区域(对应于具有渐变像素内梯度的区域)。
另一方面，比较SD图像3542的区域3542-2和特征量图像3591的区域3591-2，可以理解，其中现实世界1的信号的变化较大的区域对应具有接近白色的密度的特征量图像3591的区域(对应于具有快变像素内梯度的区域)。
如上所述，利用对应于像素内梯度的值作为像素值产生的特征量图像适当地反映了现实世界1的信号在每个像素上的变化程度。
接着，将描述像素内梯度的具体计算方法。
也就是说，以关注像素附近的像素内梯度为“grad”，则像素内梯度grad由下面公式(234)表示。
公式(234) 在公式(234)中，Pn表示关注像素的像素值。另外，PC表示中心像素的像素值。
尤其是，如图280所示，考虑具有特定数据连续性的来自传感器2的输入图像中的5×5的像素(图中5×5＝25个像素的区域)的区域3601(其在下文中称为“连续性区域3601”)。在连续性区域3601的情况下，中心像素是位于连续性区域3601的中心的像素3602。因此，PC是中心像素3602的像素值。另外，在像素3603是关注像素的情况下，则Pn是关注像素3603的像素值。
另外，在公式(234)中，xn’表示在关注像素中心的截面方向距离。注意，以中心像素(在如图280所示的情况中为像素3602)的中心为空间方向中的原点(0，0)，将“截面方向距离”定义为在关注中心像素和平行于数据连续性方向、并经过原点的直线(在如图280所示情况中为直线3604)之间沿X方向上的相对距离。
图281示出了图280中的连续性区域3601内的每个像素的截面方向距离。也就是说，在图281中，在连续性区域3601(图中5×5＝25个像素的方形区域)中的每个像素内标记的值表示相应像素上的截面方向距离。例如，在关注像素3603上的截面方向距离xn’为-2β。
注意，将X轴和Y轴定义为在X方向和Y方向上的像素宽度都为1。另外，将X方向定义为以正方向对应于图中的右方向。另外，在该情况下，β表示在Y方向上相邻于中心像素3602(图中在其下方相邻)的像素3605上的截面方向距离。在本实施例中，数据连续性检测单元101提供如图281所示的角度θ(直线3604的方向和X方向之间的角度θ)作为数据连续性信息，因此，利用下面的公式(235)可以容易地获得值β。
公式(235) 如上所述，基于中心像素(例如图281中的像素3602)和关注像素(例如图281中的像素3603)的两个输入像素值和角度θ，可以利用简单的计算获得像素内梯度。在本实施例中，现实世界估计单元102以对应于像素内梯度的值为像素值产生特征量图像，从而较大地减少了处理量。
注意，在需要更高精度像素内梯度的设置中，现实世界估计单元102可以通过最小二乘法利用包括关注像素的其附近的像素计算像素内梯度。尤其是，假设包括关注像素并在其周围的m(m表示2或更大的整数)个像素由指数i表示(i表示1到m的整数)。现实世界估计单元102将输入像素值Pi和相应的截面方向距离xi’代入下面公式(236)的右侧，从而计算关注像素上的像素内梯度grad。也就是说，利用与上述相同具有单个变量的最小二乘法计算像素内梯度。
公式(236) 接着，将参考图282描述由利用类型分类适应处理校正方法的图像产生单元103(图226)进行的用于产生图像的处理(如图40所示的步骤S103中的处理)。
在图266中，当接收到作为图像的现实世界1中的信号，传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501，以及将其输入数据连续性检测单元101。
然后，在图282所示的步骤S3501中，类型分类适应处理单元3501对输入图像(SD图像)进行类型分类适应处理，以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。
注意，下文中将该由类型分类适应处理单元3501进行的步骤S3501称为“输入图像类型分类适应处理”。下面将参考图283中的流程图描述在该情况下的“输入图像类型分类适应处理”。
数据连续性检测单元101在与步骤S3501中的处理几乎同时地检测包括在输入图像中的数据连续性，并将检测结果(在该情况中为角度)输出给现实世界估计单元102作为数据连续性信息(如图40所示的步骤S101中的处理)。
现实世界估计单元102基于输入图像(数据连续性信息)产生现实世界估计信息(特征量图像，其在该情况下为SD图像)，并将现实世界估计信息提供给类型分类适应处理校正单元3502(图40所示的步骤S102中的处理)。
然后，在步骤S3502中，类型分类适应处理校正单元3502对上述提供的特征量图像(SD图像)进行类型分类适应处理，从而产生减法预测图像(HD图像)(即，从而因此预测并计算实际图像(现实世界1中的信号)与从类型分类适应处理单元3501输出的预测图像之间的减法图像(HD图像))，并将减法预测图像输出给相加单元3503作为校正图像。
注意，下文中将该由类型分类适应处理校正单元3502进行的步骤S3502中的处理称为“类型分类适应处理校正处理”。下面将参考图284中的流程图详细描述在该情况下的“类型分类适应处理校正处理”。
然后，在步骤S3503中，相加单元3503进行如下求和通过类型分类适应处理单元3501利用步骤S3501中的处理产生的预测图像(HD图像)的关注像素(HD像素)；以及通过类型分类适应处理校正单元3502利用步骤S3502中的处理产生的校正图像(HD图像)的相应像素(HD像素)，从而产生输出图像(HD图像)的像素(HD像素)。
在步骤S3504中，相加单元3503确定是否已经对全部像素进行处理。
在步骤S3504中确定仍未对全部像素进行处理的情况下，流程返回步骤S3501，并重复后面的处理。也就是说，对未经过处理的每个剩余像素依次进行步骤S3501到S3503的处理。
在完成对全部像素的处理时(当在步骤S3504中确定已经对全部像素进行处理的情况下)，在步骤S3505中，相加单元3504将输出图像(HD图像)输出给外部电路，从而结束用于产生图像的处理。
接着，将参考附图依次详细描述“输入图像类型分类适应处理(步骤S3501中的处理)”和“类型分类适应校正处理(步骤S3502中的处理)”。
首先，参考图283中的流程图详细描述由类型分类适应处理单元3501(图267)执行的“输入图像类型分类适应处理”。
当将输入图像(SD图像)输入类型分类适应处理单元3501，在步骤S3521中，区域选取单元3511和3515分别接收所述输入图像。
在步骤S3522中，区域选取单元3511从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3512。
在步骤S3523中，图形检测单元3512检测上述提供的类型分块的图形，并将检测图形提供给类型代码确定单元3512。
在步骤S3524中，类型代码确定单元3513从预备的多种代码中确定适于上述提供的类型代码的图形的类型代码，并将确定的类型代码提供给系数存储器3514和区域选取单元3515。
在步骤S3525中，系数存储器3514从通过学习处理预备的多个预测系数(组)中，检测用于随后处理中的对应于提供的类型代码的预测系数(组)，并将选择的预测系数提供给预测计算单元3516。
注意，下面将参考图288中的流程图描述学习处理。
在步骤S3526，区域选取单元3515从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置(其被设置在与类型分块相同的位置上)上的(一个或多个)像素(SD像素)作为预测分块，并将选取的预测分块提供给预测计算单元3516。
在步骤S3527中，预测计算单元3516利用从系数存储器3514提供的预测系数对从区域选取单元3515提供的预测分块进行计算处理以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。
尤其是，预测计算单元3516如下进行计算处理。也就是说，以从区域选取单元3515提供的预测分块的每个像素为ci(i表示1到n的整数)，并以从系数存储器3514提供的每个预测系数为di，则预测计算单元3516进行由上述公式(215)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素q’。然后，预测计算单元3516将计算的HD像素q’输出给相加单元3503作为形成预测图像(HD图像)的像素，从而输入图像类型分类适应处理结束。
接着，将参考图284的流程图详细描述由类型分类适应处理校正单元3502(图276)执行的“类型分类适应处理校正处理”。
当将特征量图像(SD图像)输入类型分类适应处理校正单元3502作为来自现实世界估计单元102的现实世界估计信息，在步骤S3541中，区域选取单元3551和3555分别接收所述特征量图像。
在步骤S3542中，区域选取单元3551选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3552。
尤其是，在该情况下，假设区域选取单元3551选取例如如图285所示的类型分块(一组像素)3621。也就是说，图285示出了类型分块的布置实例。
在图285中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3621-2表示。
在该情况下，被选取为类型分块的像素共为如下5个像素关注像素3621-2；沿Y方向相邻于关注像素3621-2的像素3621-0和3621-4；以及沿X方向相邻于关注像素3621-2的像素3621-1和像素3621-3，其构成像素组3621。
显然，用于本实施例的类型分块的布置并不限于如图285所示的实例，而是可以采用各种布置，只要所述布置包括关注像素3624-2。
返回图284，在步骤S3543，图形检测单元3552对这样提供的类型分块的图形进行检测，并提供检测到的图形到类型代码确定单元3553。
具体地说，在这种情况下，图形检测单元3552对形成图285所示的类型分块的5个像素3621-0到3621-4的每一个，检测属于该像素值的类型，即特征值(例如像素内梯度)，并将检测结果以例如单数据组的形式输出为图形。
这里，假设检测到例如如图286所示的图形。也就是说，图286示出了类型分块图形的实例。
在图286中，图中水平轴表示类型分块，图中垂直轴表示像素内梯度。另一方面，假设预备的类型共有类型3631、类型3632和类型3633三种类型。
在该情况下，图286示出了这样的图形，其中类型分块3621-0属于类型3631，类型分块3621-1属于类型3631，类型分块3621-2属于类型3633，类型分块3621-3属于类型3631，以及类型分块3621-4属于类型3632。
如上所述，5个类型分块3621-0到3621-4中的每个属于三种类型3631到3633中的一种。因此，在该情况下，存在包括如图286所示图形的共273(＝35)种图形。
返回图284，在步骤S3544，类型代码确定单元3553从预备的多个类型代码中确定对应于上述提供的类型分块的图形的类型代码，并将确定的类型代码提供给校正系数存储器3554和区域选取单元3555。在该情况下，存在273个图形，因此，存在273(或更多的)预备类型代码。
在步骤S3545中，校正系数存储器3554从利用学习处理在上述确定的多组校正系数组中对应于上述提供的类型代码选择将用于后面的处理中的校正系数(组)，并将选择的校正系数提供给校正计算单元3556。注意，将预备的每个校正系数组相关于一种预备的类型代码存储在校正系数存储器3554中。因此，在该情况下，校正系数组数匹配预备的类型代码数(即273或更多)。
注意，下面将参考图288中的流程图描述学习处理。
在步骤S3546中，区域选取单元3555从输入图像选取关注像素(SD像素)、和位于距离关注像素的预定相对位置(不依赖于类型分块的位置确定的一个或多个位置。然而，预测分块的位置可以匹配类型分块的位置)上的像素(SD像素)作为预测分块，并将选取的预测分块提供给校正计算单元3556。
尤其是，在该情况下，假设选取如图287所示的预测分块(组)3641。也就是说，图287示出了预测分块的布置的实例。
在图287中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3641-1表示。即，像素3641-1是对应于类型分块3621-2(图285)的像素。
在该情况下，被选取为预测分块(组)的像素为以关注像素3641-1为中心的5×5个像素3041(由共25个像素形成一组像素)。
显然，用于本实施例的预测分块的布置并不限于如图287所示的实例，而是可以采用各种其中包括关注像素3641-1布置。
返回图284，在步骤S3547中，校正计算单元3556利用从校正系数存储器3554提供的预测系数对从区域选取单元3555提供的预测分块进行计算，从而产生减法预测图像(HD图像)。然后，校正计算单元3556将减法预测图像输出给相加单元3503作为校正图像。
尤其是，以从区域选取单元3555提供的类型分块为ai(i表示1到n的整数)，并以从校正系数存储器3554提供的每个校正系数为gi，则校正计算单元3556进行由上述公式(223)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素u’。然后，校正计算单元3556将计算的HD像素输出给相加单元3503作为校正图像(HD图像)的像素，从而类型分类适应校正处理结束。
接着，将参考图288的流程图描述通过学习装置(图268)进行的学习处理，即用于产生用于类型分类适应处理单元3501(图267)中的预测系数的学习处理、和用于产生用于类型分类适应处理校正单元3502(图276)中的校正系数的学习处理。
在步骤S3561中，类型分类适应处理学习单元3521产生用于类型分类适应处理单元3501中的预测系数。
也就是说，类型分类适应处理学习单元3521接收特定图像作为第一老师图像(HD图像)，并基于第一老师图像产生具有降低的分辨率的学生图像(SD图像)。
然后，类型分类适应处理学习单元3521利用类型分类适应处理基于第一学生图像(SD图像)产生允许对第一老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理单元3501的系数存储器3514(图267)中。
注意，下文中将该由类型分类适应处理学习单元3521执行的步骤S3561中的处理称为“类型分类处理学习处理”。下面将参考图289详细描述在该情况下的“类型分类适应处理学习单元”。
当产生用于类型分类适应处理单元3501中的预测系数，在步骤S3562，类型分类适应处理校正学习单元3561产生用于类型分类适应处理校正单元3502中的校正系数。
也就是说，类型分类适应处理校正学习单元3561从类型分类适应处理学习单元3521接收第一老师图像、第一学生图像以及学习预测图像(利用由类型分类适应处理学习单元3521产生的预测系数预测第一老师图像获得的图像)。
接着，类型分类适应处理校正学习单元3561产生第一老师图像和学习预测图像之间的减法图像，用作第二老师图像，并基于第一学生图像产生特征量图像，作为第二学生图像。
然后，类型分类适应处理校正学习单元3561利用类型分类适应处理基于第二学生图像(SD图像)产生允许对第二老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理校正单元3502的校正系数存储器3554中作为校正系数，从而结束学习处理。
注意，下文中将该通过类型分类适应处理校正学习单元3561执行的步骤S3562中的处理称为“类型适应处理校正学习处理”。下面将参考图290的流程图详细描述在该情况下的“类型分类适应处理校正学习处理”。
接着，将参考附图依次描述“类型分类适应处理学习处理(步骤S3561中的处理)”和“类型分类适应处理校正学习处理(步骤S3562中的处理)”。
首先，参考图289中的流程图详细描述由类型分类适应处理学习单元3521(图26a)执行的“类型分类适应处理学习处理”。
在步骤S3581中，下降转换器单元3531和正规方程产生单元3536各接收特定图像作为第一老师图像(HD图像)。注意，还将第一老师图像如上所述输入类型分类适应处理校正学习单元3561。
在步骤S3582中，下降转换器单元3531对输入的第一老师图像进行“下降转换”处理(将图像转换成下降分辨率的图像)，从而产生第一学生图像(SD图像)。然后，下降转换单元3531将产生的第一学生图像提供给类型分类适应处理校正学习单元3561、以及区域选取单元3532和3535。
在步骤S3583中，区域选取单元3532从上述提供的第一学生图像选取类型分块，并将选取的类型分块输出给图形检测单元3533。尽管严格地说，在向/从步骤S3583所示的处理和上述步骤S3522(图283)所示的处理之间的块输入/输出信息中存在差异(下文中将该差异简称为“输入/输出差异”)，但是步骤S3583中的处理与上述步骤S3522中的处理基本相同。
在步骤S3584中，图形检测单元3533从上述提供的类型分块中检测用于确定类型代码的图形，并将检测的图形提供给类型代码确定单元3534。注意，除了输入/输出，步骤S3584所示的处理与上述步骤S3523(图283)所示的处理基本相同。
在步骤S3585中，类型代码确定单元3524基于上述提供的类型分块的图形确定类型代码，并将确定的类型代码提供给区域选取单元3535和正规方程产生单元3536。注意，除了输入/输出以外，步骤S3585中的处理与上述步骤S3524(图283)中的处理基本相同。
在步骤S3586中，区域选取单元3535对应于提供的类型代码从第一学生图像中选取预测分块，并将选取的预测分块提供给正规方程产生单元3536和预测计算单元3538。注意，除了输入/输出以外，步骤S3586中的处理与上述步骤S3526(图283)中的处理基本相同。
在步骤S3587中，正规方程产生单元3536基于从区域选取单元3535提供的预测分块(SD像素)和第一老师图像(HD图像)的HD像素的相应HD像素而产生由上述公式(217)表示的正规方程(即公式(221))，并将产生的正规方程与从类型代码确定单元3534提供的类型代码一起提供给系数确定单元3537。
在步骤S3588中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数。也就是说，系数确定单元3537计算上述公式(222)的右侧，从而计算预测系数。然后，系数确定单元3537将确定的预测系数提供给预测计算单元3538，并将上述提供的关于类型代码的预测系数存储在系数存储器3514中。
在步骤S3589中，预测计算单元3538利用从系数确定单元3537提供的预测系数对从区域选取单元3535提供的预测分块进行计算，从而产生学习预测图像(HD像素)。
尤其是，以从区域选取单元3535提供的每个预测分块为ci(i表示1到n的整数)，并以从系数确定单元3537提供的每个预测系数为di，则预测计算单元3538计算上述公式(215)的右侧，从而计算HD像素q’，其被用作学习预测图像的像素，并且预测第一老师图像的相应HD像素q。
在步骤S3590中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3583。也就是说，重复步骤S3533到步骤S3590的处理直到完成对全部像素的处理。
然后，在步骤S3590中，在确定已经进行对全部像素的处理的情况下，预测计算单元3538将学习预测图像(由HD像素q’构成的HD图像，每个像素q’从步骤S3589中对于其的处理产生)输出给类型分类适应处理校正学习单元3561，从而类型分类适应处理学习处理结束。
如上所述，在该实例中，在完成对全部像素的处理后，将作为预测第一老师图像的HD图像的学习预测图像输入类型分类适应处理校正学习单元3561。也就是说，将形成图像的全部HD像素(预测像素)同时输出。
然而，本发明不限于上述其中同时输出形成图像的全部像素的设置。而是，可以这样设置，其中在每次由步骤S3589中的处理产生HD像素(预测像素)时将产生的HD像素输出给类型分类适应处理校正学习单元3561。在该设置下，省略步骤S3591中的处理。
接着，将参考图290详细描述由类型分类适应处理校正学习单元3561(图277)执行的“类型分类适应处理校正学习处理”。
当从类型分类适应处理学习单元3521接收第一老师图像(HD图像)和学习预测图像(HD图像)时，在步骤S3601，相加单元3571从第一老师图像减去学习预测图像，从而产生减法图像(HD图像)。然后，相加单元3571将产生的减法图像提供给正规方程产生单元3578作为第二老师图像。
当从类型分类适应处理学习单元3521接收第一学生图像(SD图像)，在步骤S3602中，数据连续性检测单元3572和现实世界估计单元3573基于输入的第一学生图像(SD图像)产生特征量图像，并将产生的特征量图像提供给区域选取单元3574和3577作为第二学生图像。
也就是说，数据连续性检测单元3572检测包含在第一学生图像中的数据连续性，并将检测结果(在该情况下为角度)输出给现实世界估计单元3573作为数据连续性信息。注意，除了输入/输出以外，由数据连续性检测单元3572进行的步骤S3602所示的处理与上述图40所示的步骤S101中的处理基本相同。
现实世界估计单元3573基于上述输入的角度(数据连续性信息)产生现实世界估计信息(在该情况下为作为SD图像的特征量图像)，并将产生的现实世界估计信息提供给区域选取单元3574和3577作为第二学生图像。注意，除了输入/输出以外，由现实世界估计单元3573进行的步骤S3602所示的处理与上述图40所示的步骤S102中的处理基本相同。
注意，本发明不限于其中以图290所示的次序进行步骤S3601中的处理和步骤S3602中的处理的设置。也就是说，可以这样设置，其中在步骤S3601的处理前进行步骤S3602中的处理。另外，可以同时进行步骤S3601中的处理和步骤S3602中的处理。
在步骤S3603中，区域选取单元3574从上述提供的第二学生图像(特征量图像)选取类型分块，并将选取的类型分块输出给图形检测单元3575。注意，除了输入/输出以外，步骤S3603中所示的处理与上述(图284)步骤S3542中所示的处理基本相同。也就是说，在该情况下，选取具有如图285所示的布置的一组像素3621作为类型分块。
在步骤S3604中，图形检测单元3575从上述提供的类型分块中检测图形以确定类型代码，并将检测的图形提供给类型代码确定单元3576。注意，除了输入/输出以外，步骤S3604中所示的处理与上述(图284)步骤S3543中所示的处理基本相同。也就是说，在该情况下，图形检测单元3575在完成学习处理时检测至少273个图形。
在步骤S3605中，类型代码确定单元3576基于上述提供的类型分块的图形确定类型分块，并将类型分块提供给区域选取单元3577和正规方程产生单元3578。注意，除了输入/输出以外，步骤S3605中所示的处理与上述(图284)步骤S3544中所示的处理基本相同。也就是说，在该情况下，类型代码确定单元3576在完成学习处理时确定至少273个类型代码。
在步骤S3606，区域选取单元3577对应于上述提供的类型代码从第二学生图像(特征量图像)选取预测分块，并将选取的预测分块提供给正规方程产生单元3578。注意，除了输入/输出以外，步骤S3606中所示的处理与上述(图284)步骤S3546中所示的处理基本相同。也就是说，在该情况下，选取具有如图287所示的布置的一组像素作为预测分块。
在步骤S3607中，正规方程产生单元3578基于从区域选取单元3577提供的预测分块(SD像素)、和第二老师图像(第一老师图像和学习预测图像之间的减法图像，其为HD图像)产生由上述公式(226)表示的正规方程(即公式(230))，并将产生的正规方程与从类型代码确定单元3576提供的类型代码一起提供给校正系数确定单元3579。
在步骤S3608中，校正系数确定单元3579通过求解上述提供的正规方程确定校正系数，即通过计算上述公式(231)的右侧计算校正系数，并将相关于提供的类型代码的计算的校正系数存储在校正系数存储器3554中。
在步骤S3609，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3603。也就是说，重复步骤S3603到步骤S3609的处理直到完成对全部像素的处理。
另一方面，在步骤S3609中，在确定已经进行对全部像素的处理的情况下，类型分类适应处理校正学习处理结束。
如上所述，在类型分类适应校正处理方法中，通过相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像(减法预测图像)而产生相加图像，并输出产生的相加图像。
例如，假设将上述图270所示的HD图像3541转换成下降分辨率图像，即，获得具有下降的分辨率的SD图像3542，则将上述获得的SD图像3542用作输入图像。在该情况下，类型分类适应处理单元3501输出如图291所示的预测图像3543。然后，通过相加预测图像3543和从类型分类适应处理校正单元3502输出的校正图像(未示出)而产生图像(例如，利用校正图像校正预测图像3543)，从而产生如图271所示的输出图像3651。
比较输出图像3651、预测图像3543、以及作为原始图像的HD图像3541(图270)，确定了输出图像3651比预测图像3543更接近HD图像3541。
如上所述，相比于其它包括类型分类适应处理的技术，类型分类适应处理校正方法允许输出更接近原始图像(将被输入传感器2的现实世界1的信号)的图像。
换句话说，在类型分类适应处理校正方法中，例如，数据连续性检测单元101检测由多个像素形成的输入图像(图266)中包含的数据连续性，所述像素具有通过由传感器(例如图266中所示的传感器2)的多个检测元件投影现实世界1中的光信号而获得的像素值，其中由于由每个具有时间-空间积分效应的多个检测元件将现实世界1中的光信号投影为像素值，因此丢失了现实世界中的光信号的部分连续性。
例如，图266中所示的现实世界估计单元102对应于检测的数据连续性检测包含在表示现实世界1的光信号(例如，对应于如图266所示的特征量图像的像素的特征)的光信号函数F(x)(图275)中的现实世界特征，从而估计现实世界1中的光信号。
尤其是，例如，假定表示沿至少一维方向离表示上述提供的数据连续性的直线(例如图280中的直线3604)的距离(例如图280中所示的截面方向距离Xn’)的像素值，表示影响相应像素的至少一维积分效应，现实世界估计单元102利用例如如图278所示的模拟函数f5(x)模拟光信号函数F(x)，并检测其为相应像素(例如如图280所示的像素3603)附近的模拟函数f5(x)的梯度的像素内梯度(例如，在上述公式(234)中的grad，和公式(233)中的x的系数w1’)作为现实世界特征，从而估计现实世界1中的光信号。
然后，例如，如图266所示的图像产生单元103基于由现实世界估计装置检测的现实世界特征预测并产生比输入图像具有更高质量的输出图像(图266)。
尤其是，在图像产生单元103中，例如，类型分类适应处理单元3501基于输入图像中关注像素附近的多个像素的像素值预测关注像素(例如，如图266所示的预测图像的像素，和上述公式(224)中的q’)的像素值，在所述输入图像中，已经丢失了作为现实世界中的光信号的部分连续性。
另一方面，例如，类型分类适应处理校正单元3502基于从如图266所示的现实世界估计单元102提供的特征量图像(现实世界估计信息)预测校正项(例如如图266所示的校正图像(减法预测图像)的像素，以及公式(224)中的u’)，用于校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。
然后，例如，如图266所示的相加单元3503利用由类型分类适应处理单元3501预测的校正项(例如，由公式(224)表示的计算)校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。
另外，用于类型分类适应处理校正方法中的分量实例包括如图268所示的类型分类适应处理学习单元3521，用于通过学习确定存储在如图267所示的系数存储器3514中的预测系数；以及如图268所示的学习装置3504，其被包括在如图268所示的类型分类适应处理校正学习单元3561中，用于通过学习确定存储在如图276所示的校正系数存储器3554中的校正系数。
尤其是，例如，如图269所示的类型分类适应处理学习单元3521包括下降转换器单元3521，用于对学习图像数据进行下降转换处理；系数确定单元3537，用于以学习图像数据为第一老师图像、以受到下降转换器单元3531的下降转换处理的学习图像数据为第一学生图像，通过学习第一老师图像与第一学生图像之间的关系而产生预测系数；以及区域选取单元3532到正规方程产生单元3536。
另一方面，例如，如图277所示的类型分类适应处理校正学习单元3561包括数据连续性检测单元3572和现实世界估计单元3573，用于检测第一学生图像中的数据连续性、基于上述检测的数据连续性检测对应于第一学生图像的每个像素的现实世界特征，以及利用对应于检测的现实世界特征的值作为像素值产生特征量图像(尤其是，例如如图279所示的特征量图像3591)，其被用作第二学生图像(例如图277中的第二学生图像)；相加单元3571，用于产生第一学生图像和学习预测图像之间的图像数据(减法图像)，其被用作第二老师图像；校正系数确定单元3579，用于通过学习第二老师图像和第二学生图像之间的关系而产生校正系数；以及区域选取单元3574到正规方程产生单元3578。
从而，类型分类适应处理校正方法允许比包括类型分类适应处理的其它常规方法输出更接近原始图像(将被输入传感器2的现实世界1中的信号)的图像。
注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(215)和(223)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据(第一老师图像和第一学生图像，或第二老师图像和第二学生图像)的学习获得对应于内插过滤器的系数的预测系数di和校正系数gi，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。
尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许各种用于改善S/N(信噪比)、改善模糊等的处理。
也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。
尽管描述了具有如图3所示的结构的图像处理装置作为根据本发明的设置，但是根据本发明的设置不限于如图3所示的设置，而可以采用各种修改。也就是说，如图1所示的信号处理装置4的设置不限于如图3所示的设置，而是可以进行各种修改。
例如，具有如图3所示结构的信号处理装置基于包含在作为图像的现实世界1中的信号中的数据连续性进行信号处理。从而，相比于由其它信号处理装置进行的信号处理，具有如图3所示结构的信号处理装置可以对其中可以获得现实世界1中的信号的连续性的区域进行高精度的信号处理，从而输出更接近现实世界1中的信号的图像数据。
然而，具有如图3所示的结构的信号处理装置基于连续性执行信号处理，因此对于其中不能获得现实世界1的信号连续性的区域，不能以与对于其中存在连续性的区域的处理相同地精度执行信号处理，导致了相对于现实世界1中的信号包含误差的输出图像数据。
因此，可以这样设置，在如图3所示的信号处理装置的结构上，还包括用于不利用连续性进行信号处理的另一装置(或程序)。在这样的设置中，具有如图3所示结构的信号处理装置对其中可以获得现实世界1中的信号的连续性的区域执行信号处理。另一方面，添加的装置(或程序等)对其中不能获得现实世界1的信号的连续性的区域进行信号处理。注意，下文中将该设置称为“混合方法”。
下面将参考图292到图305描述5个具体混合方法(下文中将其称为“第一混合方法”到“第五混合方法”)。
注意，使用该混合方法的信号处理装置的每个功能既可以通过硬件实现也可以通过软件实现。也就是说，图292到图294、图298、图300、图302以及图304所示的方框图可以被认为是硬件方框图或软件方框图。
图292示出了采用第一混合方法的信号处理装置的结构实例。
在图292所示的信号处理装置中，当接收作为数据3的实例(图1)的图像数据，基于输入的图像数据(输入图像)进行下文所述的图像处理，从而产生图像，并输出产生的图像(输出图像)。也就是说，图292示出了作为图像处理装置的图像处理装置4(图1)的结构。
将输入图像处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4104。
数据连续性检测单元4101从输入图像检测数据连续性，并将表示检测的连续性的连续性信息提供给现实世界估计单元4102和图像生成单元4103。
如上所述，数据连续性检测单元4101与图3所示的数据连续性检测单元101具有基本相同的结构和功能。因此，数据连续性检测单元4101可以具有上述各种结构。
注意，数据连续性检测单元4101还具有产生用于指定关注像素的区域的信息(下文中将其称为“区域指定信息”)的功能，并将产生的信息提供给区域检测单元4111。
这里所用的区域指定信息不受特别限制，而可以这样设置，其中在产生数据连续性信息后产生新信息，或者可以这样设置，其中在产生数据连续性信息的同时产生该信息。
尤其是，可以采用例如估计误差作为区域指定信息。也就是说，例如，在数据连续性检测单元4101利用最小二乘法计算作为数据连续性的角度的同时获得估计误差。可以采用估计误差作为区域指定信息。
现实世界估计单元4102基于输入图像和从数据连续性检测单元4102提供的数据连续性信息估计现实世界1中的信号(图1)。也就是说，现实世界估计单元4102在已经获取输入图像的阶段估计作为现实世界1的信号的图像，所述图像将被输入传感器2(图1)。现实世界估计单元4102将用于表示对现实世界1的信号的估计结果的现实世界估计信息提供给图像产生单元4103。
如上所述，现实世界估计单元4102与图3所示的现实世界估计单元102具有基本相同的结构和功能。因此，现实世界估计单元4102可以具有各种上述结构。
图像产生单元4103基于从现实世界估计单元4102提供的表示现实世界1的估计信号的现实世界估计信息产生类似现实世界1中的信号的信号，并将产生的信号提供给选择器4112。可选的是，图像产生单元4103产生更接近现实世界1的信号的信号，其中基于从数据连续性检测单元4101提供的用于表示现实世界1中的估计信号的数据连续性信息；以及从现实世界估计单元4102提供的现实世界估计信息，并将产生的信号提供给选择器4112。
也就是说，图像产生单元4103基于现实世界估计信息产生类似于现实世界1中的图像的图像，并将产生的图像提供给选择器4112。可选的是，图像产生单元4103基于数据连续性信息和现实世界估计信息产生更接近现实世界1中的图像的图像，并将产生的图像提供给选择器4112。
如上所述，图像产生单元4103与图3所示的图像产生单元103具有基本相同的结构和功能。因此，图像生成单元4103可以具有各种上述结构。
图像产生单元4104对输入图像进行预定图像处理以产生图像，并将产生的图像提供给选择器4112。
注意，由图像产生单元4104执行的图像处理不特别限制，只要采用除在数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103中采用的图像处理以外的图像处理。
例如，图像产生单元4104可以进行常规类型分类适应处理。图293示出了用于进行类型分类适应处理的图像产生单元4104的结构实例。注意，下面将参考图293详细描述用于执行类型分类处理的图像产生单元4104。另外，下面将同时参考图293描述类型分类适应处理。
连续性区域检测单元4105包括区域检测单元4111和选择器4112。
区域检测单元4111基于从数据连续性检测单元4101提供的区域指定信息检测被提供给选择器4112的图像(关注像素)属于连续性区域还是非连续性区域，并将检测结果提供给选择器4112。
注意，由区域检测单元4111执行的区域检测处理不特别限制。例如，可以提供上述估计误差作为区域指定信息。在该情况下，可以这样设置，其中，在上述提供的估计误差小于预定阈值的情况下，区域检测单元4111确定输入图像的关注像素属于连续性区域，在上述提供的估计误差大于预定阈值的情况下，确定输入图像的关注像素属于非连续性区域。
选择器4112基于从区域检测单元4111提供的检测结果检测从图像产生单元4103提供的图像和从图像产生单元4104提供的图像中选择一个，并将选择的图像向外输出作为输出图像。
也就是说，在区域检测单元4111确定关注像素属于连续性区域的情况下，选择器4112选择从图像产生单元4103提供的图像(由图像生成单元4103产生的、对应于输入图像的关注像素的像素)作为输出图像。
另一方面，在区域检测单元4111确定关注像素属于非连续性区域的情况下，选择器4112选择从图像产生单元4104提供的图像(由图像生成单元4104产生的、对应于输入图像的关注像素的像素)作为输出图像。
注意，选择器4112可以输出像素增量的输出图像(即，可以输出每个选择像素的输出图像)，或者可以这样设置，其中存储经过处理的像素直到完成对全部像素的处理，并在完成对全部像素的处理时同时输出全部像素(一次输出整个图像)。
接着，将参考图293描述用于执行作为图像处理的实例的类型分类适应处理的图像产生单元4104。
在图293中，假设由图像产生单元4104执行的类型分类适应处理是用于例如改善输入图像的空间分辨率。也就是说，假设类型分类适应处理是用于将具有标准分辨率的输入图像转换成具有高分辨率的作为图像的预测图像的处理。
注意，下文中将具有标准分辨率的图像适当地称为“SD(标准精度)图像”，并将构成SD图像的像素适当地称为“SD像素”。
另一方面，下文中将具有高分辨率的图像适当地称为“HD(高精度)图像”，并将构成HD图像的像素适当地称为“HD像素”。
尤其是，由图像产生单元4104执行的类型分类适应处理如下所述。
也就是说，为了获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，首先，获得由关注像素和其周围像素形成的SD像素(下文中还将该SD像素称为“类型分块”)的特征，基于其特征，通过选择相关于特征的预备类型中的一种识别每个类型分块的类型(即，识别类型分块组的类型代码)。
然后，利用如下计算积-和基于识别的类型代码从预备的多个系数组(每个系数组对应特定类型代码)中选择的一种的系数；由关注像素和其周围的SD像素形成的SD像素(下文中将该输入图像的SD像素称为“预测分块”，注意，预测分块可以匹配类型分块)，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。
尤其是，在图1中，当将现实世界1中的信号(光强分布)输出给传感器2，传感器2输出输入图像。
在图293中，将输入图像(SD图像)提供给图像产生单元4104的区域选取单元4121和4125。区域选取单元4125从上述提供的输入图像选取用于类型分类所需的类型分块(位于包括关注像素(SD像素)的预定区域上的SD像素)，并将选取的类型分块输出给图形检测单元4122。图形检测单元4122基于上述输入的类型分块检测输入图像的图形。
类型代码确定单元4123基于由图形检测单元4122检测的图形确定类型代码，并将确定的类型代码输出给系数存储器4124和区域选取单元4125。系数存储器4124存储通过学习获得的每个类型代码的系数。系数存储器4124读出对应于从类型代码确定单元4123输入的类型代码的系数，并将上述读出的系数输出给预测计算单元4126。
注意，下面将参考图294所示的学习装置的方框图描述用于获得存储在系数存储器4124中的系数的学习处理。
注意，存储在系数存储器4124中的系数用于产生下述预测图像(HD图像)。因此，下文中将存储在系数存储器4124中的系数称为“预测系数”。
区域选取单元4125基于从类型代码确定单元4123输入的类型代码响应于类型代码，从自传感器2输入的输入图像(SD图像)选取用于预测和产生预测图像(HD图像)所需的预测分块(位于包括关注像素的预定区域上的SD像素)，并将选取的预测分块输出给预测计算单元4126。
预测计算单元4126利用从区域选取单元4125输入的预测分块和从系数存储器4124输入的预测系数执行积-和计算，从而产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。然后，预测计算单元4126将产生的HD像素输出给选择器4112。
尤其是，系数存储器4124将对应于从类型代码确定单元4123提供的类型代码的预测系数输出给预测计算单元4126。预测计算单元4126利用从区域选取单元4125提供的、并从预定像素区域中的像素值选取的预测分块、以及从系数存储器4124提供的预测系数执行由下面公式(237)表示的积-和计算，从而获得(预测和估计)对应于预测图像(HD图像)的HD像素。
公式(237) 在公式(237)中，q’表示预测图像(HD图像)的HD像素。每个ci(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个di表示相应的预测系数。
如上所述，图像产生单元4104基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从图像产生单元4104输出的HD图像称为“预测图像”。
图294示出了用于确定存储在图像产生单元4104的系数存储器4124中的预测系数(公式(237)中的di)的学习装置(用于计算预测系数的装置)。
在图294中，将特定图像输入下降转换器单元4141和正规方程产生单元4146中作为老师图像(HD图像)。
下降转换器单元4146基于这样输入的老师图像(HD图像)产生比输入的老师图像具有更低分辨率的学生图像(SD图像)(即，对老师图像进行下降转换处理，从而获得学生图像)，并将产生的学生图像输出给区域选取单元4142和4145。
如上所述，学习装置4131包括下降转换器单元4141，因此，不需要制备出如相应于来自传感器2(图1)的输入图像的老师图像(HD图像)那样的高分辨率图像。原因在于，可以将通过对老师图像进行下降转换处理而获得的学生图像(具有下降的分辨率)用作SD图像。在该情况下，对应于学生图像的老师图像可以用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作老师图像。
区域选取单元4142从自下降转换器单元4141中提供的学生图像(SD图像)中选取用于类型分类所需的类型分块(SD像素)，并且，将选取的类型分块输出给图形检测单元4143。图形检测单元4143检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元4144。类型代码确定单元4144确定对应于输入图形的类型代码，并将类型代码分别输出给区域选取单元4145和正规方程产生单元4146。
区域选取单元4145基于从类型代码确定单元4144输入的类型代码从自下降转换器单元4141中输入的学生图像(SD图像)中选取预测分块(SD像素)，并且，将选取的预测分块输出给正规方程产生单元4146。
注意，上述区域选取单元4142、图形检测单元4143、类型代码确定单元4144，以及区域选取单元4145具有基本相同的结构，并且，与如图293所示的图像产生单元4104的区域选取单元4121、图形检测单元4122、类型代码确定单元4123、以及区域选取单元4125相同地作用。
正规方程产生单元4146基于从区域选取单元4145输入的学生图像(SD图像)的预测分块(SD像素)，以及每个类型代码的老师图像(HD图像)的HD像素而产生从类型代码确定单元4144输入的每个类型代码的正规方程，并将产生的正规方程提供给系数确定单元4147。
当从正规方程产生单元4146接收对应于特定类型代码的正规方程时，系数确定单元4147利用正规方程计算预测系数，并将计算的预测系数存储在相关于类型代码的系数存储器4142中。
现在，将详细描述正规方程产生单元4146和系数确定单元4147。
在上述公式(237)中，每个预测系数di在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的老师图像(HD图像)的多个HD像素而进行。假设，对应于特定类型代码存在m个HD像素。在该情况下，将m个HD像素表示为qk(k表示1到m的整数)。则从公式(237)得到下面的公式(238)。
公式(238) 也就是说，公式(238)表示，通过执行由公式(238)右侧表示的计算可以预测和估计HD像素qk。注意，在公式(238)中，ek表示误差。也就是说，预测图像(HD图像)的HD像素qk’不完全匹配实际HD像素qk，并包括特定误差ek，所述预测图像是计算右侧的计算结果。
在本实施例中，通过学习处理使得公式(238)所示的误差ek的平方和表现最小值而获得预测系数di，从而获得用于预测实际HD像素qk的最优预测系数di。
尤其是，在本实施例中，基于例如通过学习收集的m个HD像素qk(其中m大于n)，通过利用最小二乘法的学习处理确定最优预测系数di作为唯一解。
也就是说，利用最小二乘法的用于获得公式(238)右侧的预测系数di的正规方程由下面公式(239)所示。
公式(239) 也就是说，在本实施例中，产生并求解由公式(239)表示的正规方程，从而确定预测系数di作为唯一解。
尤其是，将形成由公式(239)表示的正规方程的分量矩阵定义为下面公式(240)到(242)，则正规方程由下面公式(243)表示。
公式(240) 公式(241) 公式(242) CMAT DMAT＝QMAT 公式(243) 从式(241)可以理解，矩阵DMAT的每个分量为将要获得的预测系数di。在本实施例中，如果确定了公式(243)左侧的矩阵CMAT和右侧的矩阵QMAT，可以利用矩阵求解方法计算矩阵DMAT(即预测系数di)。
尤其是，从式(240)可以理解，只要已知预测分块cik，则可以计算矩阵CMAT的各个分量。区域选取单元4145选取预测分块cik。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块cik可以计算矩阵CMAT的每个分量。
另外，如可以从公式(242)所理解的，只要已知预测分块cik和HD像素qk，则可以计算矩阵QMAT的各个分量。注意，预测分块cik与矩阵CMAT中相同，HD像素qk是对应于预测分块cik中包括的关注像素(学生图像的SD像素)的老师图像的HD像素。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块cik和老师图像而可以计算矩阵QMAT的每个分量。
如上所述，正规方程产生单元4146对于每个类型代码计算矩阵CMAT和矩阵QMAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元4147。
系数确定单元4147基于对应于提供的特定类型代码的正规方程，计算每个作为由上述公式(243)表示的矩阵DMAT的分量的预测系数di。
尤其是，可以将由上述公式(243)表示的正规方程转换为下面的公式(244)。
公式(244) 在公式(244)中，左侧矩阵DMAT的各个分量是将要获得的预测系数di。注意，从正规方程产生单元4146提供矩阵CMAT和矩阵QMAT的各个分量。在本实施例中，当从正规方程产生单元4146接收对应于特定类型代码的矩阵CMAT和矩阵QMAT的各个分量，系数确定单元4147计算由公式(244)的右侧表示的矩阵计算，从而计算矩阵DMAT，并将关于类型代码的计算结果(预测系数di)存储在系数存储器4124中。
注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，例如，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(237)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据的学习获得对应于内插过滤器的系数的预测系数di，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。
尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许用于各种改善S/N(信噪比)、改善模糊等的处理。
也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。
上面描述了用于执行类型分类适应处理的图像产生单元4104和学习装置4131的结构。
注意，尽管图像产生单元4104可以具有用于执行不同于上述的类型分类适应处理的图像处理的结构，但是为了便于描述，将描述与上述图293所示的结构相同的图像产生单元4104。也就是说，假设图像产生单元4104执行类型分类适应处理以产生具有比输入图像更高的空间分辨率的图像，并将产生的图像提供给选择器4112。
接着，将参考图295描述由采用第一混合方法的信号处理装置(图292)进行的信号处理。
假设，在本实施例中，数据连续性检测单元4101利用最小二乘法计算角度(如下之间的角度图像关注像素附近的连续性方向(其为一个空间方向)，所述图像表示现实世界1中的信号(图1)；以及作为另一空间方向的X方向(该方向平行于传感器2的检测元件的特定边))，并输出计算的角度作为数据连续性信息。
另外，数据连续性检测单元4101输出在计算角度时伴随计算结果计算的估计误差(利用最小二乘法的误差)，其被用作区域指定信息。
在图1中，当将现实世界1中的作为图像的信号输入给传感器2时，从传感器2输出输入图像。
如图292所示，将输入图像输入图像产生单元4104、以及数据连续性检测单元4101和现实世界估计单元4102。
然后，在如图295所示的步骤S4101中，图像产生单元4014以输入图像(SD图像)的特定SD像素为关注像素执行上述类型分类适应处理，从而产生预测图像(HD图像)的HD像素(对应于关注像素的HD像素)。然后，图像产生单元4104将产生的HD像素提供给选择器4112。
注意，为了区分从图像产生单元4104输出的像素和从图像产生单元4103输出的像素，下文中，将从图像产生单元4104输出的像素称为“第一像素”，而将从图像产生单元4103输出的像素称为“第二像素”。
另外，下文中，将该由图像产生单元4104执行的处理(在该情况下为步骤S4101中的处理)称为“执行类型分类适应处理”。下面将参考图296的流程图详细描述“执行类型分类适应处理”的实例。
另一方面，在步骤S4102中，数据连续性检测单元4101检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另一方面，将计算的估计误差提供给区域检测单元4111作为区域指定信息。
在步骤S4103中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1中的信号。
注意，由现实世界估计单元4102执行的估计处理不特定限制于上面的描述，而是可以采用上述的各种技术。假设现实世界估计单元4102利用预定函数f(下文中将其称为“模拟函数f”)模拟表示现实世界1中的信号的函数F(下文中将其称为“光信号函数F”)，从而估计现实世界1中的信号(光信号F)。
另外，例如，假设现实世界估计单元4102将模拟函数f的特征(系数)提供给图像产生单元4103作为现实世界估计信息。
在步骤S4104中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1中的信号，对应于通过由图像产生单元4104进行的类型分类适应处理而产生的第一像素(HD像素)，产生第二像素(HD像素)，并将产生的第二像素提供给选择器4112。
在该结构中，例如，从现实世界估计单元4102提供模拟函数f的特征(系数)。然后，图像产生单元4103基于上述提供的模拟函数f的特征计算模拟函数f在预定积分范围上的积分，从而产生第二像素(HD像素)。
注意，这样确定积分范围，使得产生的第二像素与从图像产生单元4104输出的第一像素(HD像素)具有相同的尺寸(相同的分辨率)。也就是说，将积分范围确定为沿空间方向上具有与将产生的第二像素的宽度相同的宽度的范围。
注意，根据本发明的步骤次序不限于如图295所示的设置，其中依次进行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理，而是可以这样设置，其中在步骤S4101中的“执行类型分类适应处理”之前执行骤S4102到步骤S4104的一组处理。另外，可以这样设置，其中同时执行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理。
在步骤S4105中，区域检测单元4111基于通过由数据连续性检测单元4101进行步骤S4102中的处理计算的估计误差(区域指定信息)，检测通过由图像产生单元4103进行步骤S4101中的处理产生的第二像素(HD像素)的区域。
这里，第二像素是对应于输入图像的SD像素的HD像素，所述SD像素由数据连续性检测单元4101用作关注像素。因此，关注像素(输入图像的SD像素)与第二像素(HD像素)之间的区域类型(连续性区域或非连续性区域)相同。
注意，从数据连续性检测单元4101输出的区域指定信息是在利用最小二乘法计算关注像素附近的角度时的估计误差。
在该结构中，区域检测单元4111比较关于从数据连续性检测单元4101提供的关注像素(输入图像的SD像素)的估计误差与预定阈值。作为比较的结果，在估计误差小于阈值的情况下，区域检测单元4111检测第二像素属于连续性区域。另一方面，在估计误差等于或大于阈值的情况下，区域检测单元4111检测第二像素属于非连续性区域。然后，将检测结果提供给选择器4112。
当从区域检测单元4111接收检测结果，选择器4112在步骤S4106中确定检测的区域是否属于连续性区域。
在步骤S4106中，在确定检测的区域属于连续性区域的情况下，在步骤S4107中，选择器4112向外输出从图像产生单元4103提供的第二像素作为输出图像。
另一方面，在步骤S4106中，在确定检测的区域不属于连续性区域的情况下(即属于非连续性区域)，在步骤S4108中，选择器4112向外输出从图像产生单元4104提供的第一像素作为输出图像。
接着，在步骤S4109中，确定是否对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4101。也就是说，重复步骤S4101到步骤S4109的处理，直到完成对全部像素的处理。
另一方面，在步骤S4109中，在确定已经对全部像素进行处理的情况下，该处理结束。
如上所述，在如图295中的流程图所示的设置中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，将从第一像素和第二像素中选择的输出图像以增量输出作为像素的输出图像。
然而，如上所述，本发明不限于这样的设置，其中将输出数据以像素增量输出，而可以这样设置，其中以图像形式输出输出数据，即在每次完成对全部像素的处理时同时输出形成图像的像素。注意，在这样的设置中，步骤S4107和步骤S4108各包括增加的处理，用于临时存储选择器4112中的像素(第一像素和第二像素)，而不是在每次产生像素时输出像素，并且在步骤S4109的处理后同时输出全部像素。
接着，将参考图296中的流程图详细描述由具有如图293所示结构的图像产生单元4104执行的“用于执行类型分类处理的处理”(例如上述图295的步骤S4101中的处理)。
当从传感器2将输入图像(SD图像)输入图像产生单元4104，在步骤S4121，区域选取单元4121和区域选取单元4125都输入输入图像。
在步骤S4122中，区域选取单元4121从输入图像选取关注像素(SD像素)和位于每个相对于关注像素为预定相对位置的(一个或多个)位置上的像素(SD像素)作为类型分块，并将其提供给图形检测单元4122。
在步骤S4133中，图形检测单元4122检测提供的类型分块的图形，并将其提供给类型代码确定单元4123。
在步骤S4124中，类型代码确定单元4123从多个预定的类型代码确定匹配提供的类型分块的图形的类型代码，并将其分别提供给系数存储器4124和区域选取单元4125。
在步骤S4125，系数存储器4124基于提供的类型代码，从通过预先学习处理确定的多个预测系数(组)读出将使用的预测系数(组)，并将其提供给预测计算单元4126。
注意，下面将参考图297中的流程图描述学习处理。
在步骤S4126中，区域选取单元4125从对应于向其提供的类型代码的输入图像选取关注像素(SD像素)，和位于每个相对于关注像素为预设相对位置的位置(一个或多个位置，独立于类型分块的位置设置的位置，然而，可以是与类型分块相同的位置)上的像素(SD像素)作为预测分块，并将其提供给预测计算单元4126。
在步骤S4127中，预测计算单元4116利用从系数存储器4124提供的预测系数计算从预测选取单元4125提供的预测分块，并产生向外(在图292的实例中为选择器4112)输出的预测图像(第一像素)。
尤其是，预测计算单元4126以从区域选取单元4125提供的每个预测分块为ci(i表示1到n的整数)，并以从系数存储器4124提供的每个预测系数为di，则进行由上述公式(237)右侧的计算，从而计算位于关注像素(SD像素)上的HD像素q’，并将其向外输出作为预测图像(HD图像)的预定像素(第一像素)。然后，该处理结束。
接着，将参考图297中的流程图描述由学习装置4131(图294)进行的关于图像产生单元4104的学习处理(用于通过学习产生将由图像产生单元4104使用的预测系数的处理)。
在步骤S4141中，下降转换器单元4141和正规方程产生单元4146各向其输入预定图像作为老师图像(HD图像)。
在步骤S4142中，下降转换器单元4141对输入的老师图像进行“下降转换”处理(分辨率下降)，从而产生学生图像(SD图像)，将其分别提供给区域选取单元4142和4145。
在步骤S4143中，区域选取单元4142从向其提供的学生图像选取类型分块，并将其输出给图形检测单元4143。注意，步骤S4143中的处理与上述步骤S4122(图296)中的处理基本相同。
在步骤S4144中，图形检测单元4143从向其提供的类型分块中检测用于确定类型代码的图形，并将其提供给类型代码确定单元4144。注意，步骤S4144所示的处理与上述步骤S4123(图296)所示的处理基本相同。
在步骤S4145中，类型代码确定单元4144基于向其提供的类型分块的图形确定类型代码，并将其提供给区域选取单元4145和正规方程产生单元4146。注意，步骤S4145中的处理与上述步骤S4124(图296)中的处理基本相同。
在步骤S4146中，区域选取单元4145对应于向其提供的类型代码从学生图像中选取预测分块，并将其提供给正规方程产生单元4146。注意，步骤S4146中的处理与上述步骤S4126(图296)中的处理基本相同。
在步骤S4147中，正规方程产生单元4146基于从区域选取单元4145提供的预测分块(SD像素)和老师图像(HD图像)的预测HD像素而产生由上述公式(239)表示的正规方程(即公式(243))，并将产生的正规方程与从类型代码确定单元4144提供的类型代码相关联，并将其提供给系数确定单元4147。
在步骤S4148中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数，即，通过计算上述公式(244)的右侧而计算预测系数，并将其相关于向其提供的类型代码存储在系数存储器4124中。
接着，在步骤S4149中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4143。也就是说，重复步骤S4143到步骤S4149的处理直到完成对全部像素的处理。
然后，当在步骤S4149中确定已经进行对全部像素的处理的情况下，该处理结束。
接着，将参考图298到图299描述第二混合方法。
图298示出了采用第二混合方法的信号处理装置的结构实例。
在图298中，对应于采用第一混合方法的信号处理装置(图292)的部分由相应的标号表示。
在图292的结构实例中(第一混合方法)，从数据连续性检测单元4101输出区域识别信息，并输入给区域检测单元4111，但是在图298所示的结构实例中(第二混合方法)，从现实世界估计单元4102输出区域识别信息，并输入给区域检测单元4111。
该区域识别信息不特别限制，而是可以是在现实世界估计单元4102估计现实世界1的信号(图1)后新产生的信息，或者可以是伴随估计现实世界1的信号的情形而产生的信息。
尤其是，例如，可以使用估计误差作为区域识别信息。
现在，将描述估计误差。
如上所述，从数据连续性检测单元4101输出的估计误差(图292中的区域识别信息)是在例如从数据连续性检测单元4101输出的连续性检测信息是角度，并且利用最小二乘法计算所述角度的情况下，伴随最小二乘计算的进行而计算的估计误差。
相反，从现实世界估计单元4102输出的估计误差(图298中的区域识别信息)为例如映射误差。
也就是说，由现实世界估计单元4102估计现实世界1的信号，使得从估计的现实世界1的信号可以产生任意大小的像素(可以计算像素值)。这里，将通过这样产生新像素称为映射。
因此，在估计现实世界1的信号后，现实世界估计单元4102在输入图像的关注像素(在估计现实世界1的情况下用作关注像素的像素)所在的位置上从估计的现实世界1的信号产生(映射)新的像素。也就是说，现实世界估计单元4102从估计的现实世界1的信号进行对输入图像中的关注像素的像素值的预测计算。
现实世界估计单元4102然后计算新映射像素的像素值(被预测的输入图像的关注像素的像素值)与实际输入图像的关注像素的像素值之差。将该差称为映射误差。
通过计算映射误差(估计误差)，现实世界估计单元4102从而可以将计算的映射误差(估计误差)提供给区域选取单元4111作为区域识别信息。
尽管如上所述，由区域检测单元4111进行的用于区域检测的处理不特别限制，但是在例如对区域检测单元4111提供上述映射误差(估计误差)作为区域识别信息的现实世界估计单元4102的情况下，在提供的映射误差(估计误差)小于预定阈值的情况下，输入图像的关注像素被检测为连续性区域，另一方面，在提供的映射误差(估计误差)等于或大于预定阈值的情况下，输入图像的关注像素被检测为非连续性区域。
其它结构与图292所示基本相同。也就是说，采用第二混合方法的信号处理装置(图298)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4105(区域检测单元4111和选择器4112)，其与采用第一混合方法的信号处理装置(图292)具有基本相同的结构和功能。
图299是描述具有图298所示结构的信号处理装置的处理(第二混合方法的信号处理)的流程图。
第二混合方法的信号处理类似于第一混合方法的信号处理(图295的流程图所示的处理)。因此，这里，将适当地省略对相关于第一混合方法的处理的说明，而将参考图299中的流程图描述不同于根据第一混合方法的处理的根据第二混合方法的处理。
注意，这里，象在第一混合方法的情况中一样，假设数据连续性检测单元4101利用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
然而，尽管在上述第一混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4111，但是在第二混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4111。
因此，在第二混合方法中，执行步骤S4162的处理作为数据连续性检测单元4101的处理。该处理相当于在第一混合方法中在图295中步骤S4102的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。
另外，在第二混合方法中，执行步骤S4163的处理作为现实世界估计单元4102的处理。该处理相当于在第一混合方法中在图295中步骤S4103的处理。也就是说，在步骤S4162的处理中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度估计现实世界1(图1)中的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，并将其作为区域识别信息提供给区域检测单元4111。
其它处理与第一混合方法的处理(在图295的流程图中示出的处理的相应处理)基本相同，因此省略对其的描述。
接着，将参考图300和图301描述第三混合方法。
图300示出了采用第三混合方法的信号处理装置的结构实例。
在图300中，对应于采用第一混合方法的信号处理装置(图292)的部分由相应的标号表示。
在图292的结构实例中(第一混合方法)，将连续性区域检测单元4105设置在图像产生单元4103和图像产生单元4104的后面，而在图300所示的结构实例中(第三混合方法)，将对应的连续性区域检测单元4161设置在数据连续性检测单元4101的下端、和现实世界估计单元4102和图像产生单元4104的上端。
由于布置位置中的该差异，因此第一混合方法中的连续性区域检测单元4105与第三混合方法中的连续性区域检测单元4161之间存在一些差异。下面将主要关于该差异描述连续性检测单元4161。
连续性区域检测单元4161包括区域检测单元4171和执行命令产生单元4172。其中，区域检测单元4171与连续性区域检测单元4105的区域检测单元4111(图292)具有基本相同的结构和功能。另一方面，执行命令产生单元4172的功能与连续性区域检测单元4105的选择器4112(图292)的功能有一些不同。
也就是说，如上所述，选择器4112基于来自区域检测单元4111的检测结果选择来自图像产生单元4103的图像和来自图像产生单元4104的图像中的一个，并输出选择的图像作为输出图像。这样，选择器4112输入来自图像产生单元4103的图像和来自图像产生单元4104的图像以及来自区域检测单元4111的检测结果，并输出输出图像。
另一方面，根据第三混合方法的执行命令产生单元4172基于区域检测单元4171的检测结果，选择是由图像产生单元4103还是由图像产生单元4104执行用于产生位于输入图像的关注像素(已经被数据连续性检测单元4101取为关注像素的像素)上的新像素。
也就是说，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是连续性区域的结果时，执行命令产生单元4172选择图像产生单元4103，并向现实世界估计单元4102提供命令以开始处理(下文中，将这样的命令称为执行命令)。现实世界估计单元4102然后开始其处理，产生现实世界估计信息，并将其提供给图像产生单元4103。图像产生单元4103基于提供的现实世界估计信息(按需要从数据连续性检测单元4101另外提供的数据连续性信息)产生新的图像，并将其向外输出作为输出图像。
相反，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是非连续性区域的结果时，执行命令产生单元4172选择图像产生单元4104，并向图像产生单元4104提供执行命令。图像产生单元4104然后开始其处理，对输入图像进行预定图像处理(在该情况下为类型分类适应处理)，产生新的图像，并将其向外输出作为输出图像。
从而，根据第三混合方法的执行命令产生单元4172向区域检测单元4171输入检测结果，并输出执行命令。也就是说，执行命令产生单元4172不输入或输出图像。
注意，除连续性区域检测单元4161以外的结构与图292中的结构基本相同。也就是说，采用第三混合方法的信号处理装置(图300中的信号处理装置)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第一混合方法的信号处理装置(图292)具有基本相同的结构和功能。
然而，在第三混合方法中，现实世界估计单元4102和图像产生单元4104只有在从执行命令产生单元4172输入执行命令时才执行其处理。
现在，在图300所示的实例中，图像的输出单元在其像素单元中。因此，虽然没有示出，例如，还可以在图像产生单元4103和图像产生单元4104的下面提供图像合成单元，以使输出单元为一帧的整个图像(以一次输出全部像素)。
该图像合成单元相加(合成)从图像产生单元4103和图像产生单元4104输出的像素值，并取相加值为相应像素的像素值。在该情况下，图像产生单元4103和图像产生单元4104中没有接收到执行命令的一个不执行其处理，并连续对图像合成单元提供预定不变的值(例如0)。
图像合成单元对全部像素重复执行该处理，并当完成对全部像素的处理时，一次向外输出全部像素(作为一帧图像数据)。
接着，将参考图301的流程图描述采用第三混合方法的信号处理装置(图300)的信号处理。
注意，这里，与第一混合方法的情况相同，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
假设数据连续性检测单元4101将计算的估计误差(最小二乘的误差)与计算的角度一起输出作为区域识别信息。
在图1中，当将现实世界1的信号投影到传感器2上时，传感器2输出输入图像。
在图300中，将输入图像输入图像产生单元4104，另外还输入数据连续性检测单元4101和现实世界估计单元4102。
现在，在图301的步骤S4181中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并还计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4171作为区域识别信息。
注意，步骤S4181中的处理与上述步骤S4102(图295)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4172提供了执行命令)，现实世界估计单元4101和图像产生单元4103都不执行其处理。
在步骤S4182中，区域检测单元4171基于由数据连续性检测单元4101计算的估计误差(提供的区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4172。
注意，步骤S4182中的处理与上述步骤S4105(图295)中的处理基本相同。
当将区域检测单元4171的检测结果提供给执行命令产生单元4172，在步骤S4183中，执行命令产生单元4172确定检测区域是否是连续性区域。注意，步骤S4183中的处理与上述步骤S4106(图295)中的处理基本相同。
在步骤S4183中，在确定检测区域不是连续性区域的情况下，执行命令产生单元4172将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4184中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4185中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4184中的处理与上述步骤S4101(图295)中的处理基本相同。也就是说，图296中的流程图是描述步骤S4184中的处理细节的流程图。
相反，在步骤S4183中，在确定检测区域是连续性区域的情况下，执行命令产生单元4172将执行命令提供给现实世界估计单元4102，然后，在步骤S4186中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1的信号。注意，步骤S4186中的处理与上述步骤S4103(图295)中的处理基本相同。
在步骤S4187中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号，产生检测区域(即，输入图像中的关注像素(SD像素))中的第二像素(HD像素)，并在步骤S4188中输出第二像素作为输出图像。注意，步骤S4187中的处理与上述步骤S4104(图295)中的处理基本相同。
当将第一像素或第二像素输出作为输出图像(在步骤S4185或步骤S4188的处理后面)时，在步骤S4189中，确定是否完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回步骤S4181。也就是说，重复步骤S4181到S4189的处理直到完成对全部像素的处理。
然后，在步骤S4189中，在确定已经完成对全部像素的处理的情况下，该处理结束。
这样，在图301的流程图的实例中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，以像素增量输出第一像素或第二像素作为输出图像。
然而，如上所述，如下的设置允许在完成对全部像素的处理后一次输出全部像素作为输出图像，在所述设置中，在具有图300所示的结构的信号处理装置的最后部分(在图像产生单元4103和图像产生单元4104的下面)还提供了图像合成单元(未示出)。在该情况下，在步骤S4185和步骤S4188的处理中将像素(第一像素或第二像素)输出给图像合成单元而不是向外输出。然后，在步骤S4189的处理前，增加这样的处理，其中图像合成单元合成从图像产生单元4103提供的像素的像素值和从图像产生单元4104提供的像素的像素值，并在用于产生输出图像的像素的步骤S4189的处理后，增加这样的处理，其中图像合成单元输出全部像素。
接着，将参考图302到图303描述第四混合方法。
图302示出了采用第四混合方法的信号处理装置的结构实例。
在图302中，对应于采用第三混合方法的信号处理装置(图300)的部分由相应的标号表示。
在图300的结构实例中(第三混合方法)，从数据连续性检测单元4101将区域识别信息输入给区域检测单元4171，但是在图302所示的结构实例中(第四混合方法)，从现实世界估计单元4102输出区域识别信息并输入区域检测单元4171。
其它结构与图300中基本相同。也就是说，采用第四混合方法的信号处理装置(图302中的信号处理装置)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4161(区域检测单元4171和执行命令产生单元4172)，其与采用第三混合方法的信号处理装置(图300)具有基本相同的结构和功能。
另外，虽然图中没有示出，如同第三混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下面，以一次输出全部像素。
图303是描述具有图302所示结构的信号处理装置的信号处理(根据第四混合方法的信号处理)的流程图。
根据第四混合方法的信号处理类似于根据第三混合方法的信号处理(图301中的流程图所示的处理)。因此，将适当地省略相关于第三混合方法的处理的描述，并将参考图303主要描述不同于根据第三混合方法的处理的根据第四混合方法的处理。
注意，这里，如同第三混合方法中的情况，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
然而，尽管如上述在第三混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4171，但是在第四混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4171。
因此，在第四混合方法中，执行步骤S4201的处理作为数据连续性检测单元4101的处理。该处理相当于在第三混合方法中图301中步骤S4181的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。
另外，在第四混合方法中，执行步骤S4202的处理作为现实世界估计单元4102在步骤S4202中的处理。该处理相当于在第三混合方法中，在图295的步骤S4182中的处理。也就是说，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度估计现实世界1(图1)的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，以及将其作为区域识别信息提供给区域检测单元4171。
其它处理与第三混合方法的处理(如图301所示的处理的相应处理)基本相同，因此省略对其的描述。
接着，将参考图304和图305描述第五混合方法。
图304示出了采用第五混合方法的信号处理装置的结构实例。
在图304中，对应于采用第三和第四混合方法的信号处理装置(图300和图302)的部分由相应的标号表示。
在图300所示的结构实例中(第三混合方法)，将一个连续性区域检测单元4161设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。
同样，在图302所示的结构实例中(第四混合方法)，将一个连续性区域检测单元4161设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。
相反，在图304所示的结构实例中(第五混合方法)，如第三混合方法，将连续性区域检测单元4181设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。另外，如同第四混合方法，将连续性区域检测单元4182设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。
连续性区域检测单元4181和4182都与连续性区域检测单元4161(图300或图302)具有基本相同的结构和功能。也就是说，区域检测单元4191和区域检测单元4201都与区域检测单元4171具有基本相同的结构和功能。
换句话说，第五混合方法是第三混合方法和第四混合方法的组合。
也就是说，在第三混合方法和第四混合方法中，基于一个区域识别信息(在第三混合方法的情况中，来自数据连续性检测单元4101的区域识别信息，以及在第四混合方法的情况中，来自现实世界估计单元4102的区域识别信息)确定输入图像的关注像素是连续性区域还是非连续性区域。因此，第三混合方法和第四混合方法可能将为非连续性区域的区域检测为连续性区域。
因此，在第五混合方法中，在基于来自数据连续性检测单元4101的区域识别信息(在第五混合方法中将其称为第一区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域之后，另外基于来自现实世界估计单元4102的区域识别信息(在第五混合方法中将其称为第二区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域。
这样，在第五混合方法中，进行两次区域检测处理，从而对连续性区域的检测精确度提高并优于第三混合方法和第四混合方法的精确度。另外，在第一混合方法和第二混合方法中，如同在第三混合方法和第四混合方法中，只提供一个连续性区域检测单元4105(图292或图298)。因此，对连续性区域的检测精确度相比于第一混合方法和第二混合方法也提高了。从而，可以实现输出比第一到第四混合方法都接近现实世界1(图1)的信号的图像数据。
然而，不变的是，即使第一到第四混合方法使用采用本发明的图像产生单元4104，其进行常规图像处理；以及用于利用数据连续性产生图像的装置或程序等(即，数据连续性检测单元4101、现实世界估计单元4102、以及图像产生单元4103)。
因此，第一到第四混合方法可以输出比任何常规信号处理装置更接近现实世界1(图1)的信号的图像数据、或进行根据本发明具有图3所示结构的信号处理。
另一方面，从处理速度方面看，第一到第四混合方法中只需要一次区域检测处理，因此这优于第五混合方法，其中进行两次区域检测处理。
因此，用户(或制造商)等可以选择性地使用满足输入图像所需质量、以及需要的处理时间(直到输出输出图像的时间)的混合方法。
注意，图304中的其它结构与图300或图302中的结构基本相同。也就是说，采用第五混合方法的信号处理装置(图304)还包括数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第三或第四混合方法的信号处理装置(图300或图302)具有基本相同的结构和功能。
然而，在第五混合方法中，现实世界估计单元4102只有在从执行命令产生单元4192输入执行命令时才执行其处理，图像产生单元4103只有在从执行命令产生单元4202输入执行命令时才执行其处理，以及图像产生单元4104只有在从执行命令产生单元4192或执行命令产生单元4202输入执行命令时才执行其处理。
另外，在第五混合方法中，虽然图中没有示出，如同第三或第四混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下端以一次输出全部像素。
接着将参考图305的流程图描述采用第五混合方法(图304)的信号处理装置的信号处理。
注意，这里，如同第三和第四混合方法，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。
这里假设，如同第三混合方法，数据连续性检测单元4101将计算的估计误差(最小二乘误差)与计算的角度一起输出作为第一区域识别信息。
另外假设，如同第四混合方法，现实世界估计单元4102输出映射误差(估计误差)作为第二区域识别信息。
在图1中，当将现实世界1的信号投影到传感器2上，传感器2输出输入图像。
在图304中，将该输入图像输入图像产生单元4104，并且还输入数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104。
现在，在图305的步骤S4221中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4191作为第一区域识别信息。
注意，步骤S4221中的处理与上述步骤S4181(图301)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4192提供了执行命令)，现实世界估计单元4102和图像产生单元4104都不执行其处理。
在步骤S4222中，区域检测单元4191基于由数据连续性检测单元4101计算的估计误差(提供的第一区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4192。注意，步骤S4222中的处理与上述步骤S4182(图301)中的处理基本相同。
当将区域检测单元4181的检测结果提供给执行命令产生单元4192，在步骤S4223中，执行命令产生单元4192确定检测区域是否是连续性区域。注意，步骤S4223中的处理与上述步骤S4183(图301)中的处理基本相同。
在步骤S4223中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4192将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4224中的处理与上述步骤S4184(图301)中的处理基本相同。也就是说，图296中的流程图是描述步骤S4184中的处理细节的流程图。步骤S4225中的处理与上述步骤S4185(图301)中的处理基本相同。
相反，在步骤S4223中，在确定检测区域是连续性区域的情况下，执行命令产生单元4192将执行命令提供给现实世界估计单元4102，然后，在步骤S4226中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和在步骤S4221中的输入图像估计现实世界1的信号，并还计算其估计误差(映射误差)。将估计的现实世界1的信号提供给图像产生单元4103作为现实世界估计信息。另外，将计算的估计误差提供给区域检测单元4201作为第二区域识别信息。
注意，步骤S4226中的处理与上述步骤S4202(图303)中的处理基本相同。
另外，如上所述，此时(除非从执行命令产生单元4192或从执行命令产生单元4202提供了执行命令)，图像产生单元4103和图像产生单元4104都不执行其处理。
在步骤S4227中，区域检测单元4201基于由数据连续性检测单元4101计算的估计误差(提供的第二区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4202。注意，步骤S4227中的处理与上述步骤S4203(图303)中的处理基本相同。
当将区域检测单元4201的检测结果提供给执行命令产生单元4202时，在步骤S4228中，执行命令产生单元4202确定检测区域是否是连续性区域。注意，步骤S4228中的处理与上述步骤S4204(图303)中的处理基本相同。
在步骤S4228中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。
注意，步骤S4224中的处理与上述步骤S4205(图303)中的处理基本相同。另外，步骤S4225中的处理与上述步骤S4206(图303)中的处理基本相同。
相反，在步骤S4228中，在确定检测区域是连续性区域的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4103。在步骤S4229中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号(如果需要，以及来自数据连续性检测单元4101的数据连续性信号)，产生由区域检测单元4201检测的区域(即输入图像中的关注像素(SD像素))上的第二像素(HD像素)。然后，在步骤S4230中，图像产生单元4103向外输出产生的第二像素作为输出图像。
注意，步骤S4229和步骤S4230中的处理与上述步骤S4207和S4208(图303)中的处理基本相同。
当将第一像素和第二像素输出作为输出图像(在步骤S4225或步骤S4230的处理后)，在步骤S4231中，确定是否完成对全部像素的处理，在仍未完成对全部像素的处理的情况下，该处理返回步骤S4221。也就是说，重复步骤S4221到S4231的处理直到完成对全部像素的处理。
然后，在步骤S4231，在确定已经完成对全部像素的处理的情况下，该处理结束。
上文参考图292到图305描述了混合方法作为根据本发明的信号处理装置4(图1)的实施例的实例。
如上所述，在混合方法中，还在具有如图3所示结构的根据本发明的信号处理装置中添加了其它装置(或程序等)，其不利用连续性进行处理。
换句话说，在混合方法中，将具有如图3所示结构的根据本发明的信号处理装置(或程序等)添加到常规信号处理装置(或程序等)中。
也就是说，在混合方法中，例如如图292或图298所示的连续性区域检测单元4105检测图像数据中具有图像数据的数据连续性的数据区域(例如，在图295的步骤S4106中、或图299的步骤S4166所述的连续性区域)，在所述图像数据中，已经投影了现实世界1的光信号，并已经丢失了现实世界1的光信号的部分连续性(例如，图292或图298中的输入图像)。
另外，如图292和图298所示的现实世界估计单元4102基于图像数据的数据连续性，通过模拟现实世界1的光信号的丢失的连续性而估计光信号，所述图像数据已经丢失了现实世界1的光信号的部分连续性。
另外，如图292和图298所示的数据连续性检测单元4101检测图像数据中的图像数据的数据连续性相对于参考轴角度(例如，在图295的步骤S4102和图299的步骤S4162中所述的角度)，在所述图像数据中已经投影了现实世界1的光信号，并且丢失了现实世界1的光信号的部分连续性。在该情况下，例如，图292和图298所示的连续性区域检测单元4105基于角度检测图像数据中具有数据连续性的区域，以及现实世界估计单元4102通过对所述区域估计已经丢失的现实世界1的光信号的连续性而估计光信号。
然而，在图292中，连续性区域检测单元4105基于在具有随角度变化的连续性的模型与输入图像之间的误差，检测输入图像中具有数据连续性的区域(也就是说，估计误差是图中的区域识别信息，其通过图295的步骤S4102的处理计算)。
相反，在图298中，将连续性区域检测单元4105设置在现实世界估计单元4102的下端，并基于在对应于由现实世界估计单元4102计算的输入图像表示现实世界1的光信号的现实世界模型与输入图像之间的误差(即通过在图295的步骤S4163中的处理计算的现实世界信号的估计误差(映射误差)，其例如为图中的区域识别信息)，选择性地输出(例如，图298中的选择器4112执行图299中的步骤S4166到S4168的处理)由现实世界估计单元4102估计的现实世界模型，即，从图像产生单元4103输出图像。
尽管上面描述了图292和图298的实例，但是图300、图302以及图304也是同样的。
因此，在混合方法中，对应于具有图3所示结构的信号处理装置的装置(或程序等)对现实世界1的信号中存在连续性的部分(具有数据连续性的图像数据的区域)执行信号处理，而常规信号处理装置(或程序等)可以对现实世界1的信号中不存在显著连续性的部分执行信号处理。从而，可以实现比常规信号处理装置和具有图3所示结构的根据本发明的信号处理都输出更接近现实世界(图1)的信号的图像数据。
接着，将参考图306和图307描述从数据连续性检测单元101直接产生图像的实例。
图306所示的数据连续性检测单元101是图165中所示的数据连续性检测单元101加上图像产生单元4501。图像产生单元4501获取从现实世界估计单元802输出的现实世界模拟函数f(x)的系数作为现实世界估计信息，并通过基于该系数再积分每个像素而产生并输出图像。
接着，将参考图307中的流程图描述图306中的数据连续性检测处理。注意，图307的流程图中的步骤S4501到S4504和步骤S4506到S4511的处理与图166的步骤S801到S810中的处理相同，因此省略对其的描述。
在步骤S4504中，图像产生单元4501基于从现实世界估计单元802输入的系数再积分每个像素，并产生和输出图像。
由于上述处理，数据连续性检测单元101不仅可以输出区域信息还可以输出用于区域确定的图像(由基于现实世界估计信息产生的像素构成)。
从而，在图306所示的数据连续性检测单元101中，提供了图像产生单元4501。也就是说，图306中的数据连续性检测单元101可以基于输入图像的数据连续性产生输出图像。因此，可以将具有如图306所示结构的装置解释为图1所示的信号处理装置(图像处理装置)4的另一实施例，而不是数据连续性检测单元101的一个实施例。
另外，在应用上述混合方法的信号处理装置中，可以将具有如图306所示结构的装置(即，与图306中的数据连续性检测单元101具有相同功能和结构的信号处理装置)应用为信号处理单元，用于对现实世界1的信号中存在连续性的部分进行信号处理。
尤其是，例如，在应用图292中采用第一混合方法的信号处理装置的情况下，对现实世界1的信号中存在连续性的部分进行信号处理的单元是数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。尽管图中没有示出，可以采用具有图306所示结构的信号处理装置(图像处理装置)代替上述数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。在该情况下，图306中的比较单元804将其输出作为区域识别信息提供给区域检测单元4111，并且图像产生单元4501将输出图像(第二像素)提供给选择器4112。
注意，传感器2可以是例如固态成像装置的传感器，例如BBD(戽链式装置)、CID(电荷注入装置)、或CPD(电荷填充装置)等。
从而，图像处理装置可以包括区域选择装置，用于选择对应于关注像素的区域，所述关注像素是在由多个像素构成的图像数据中的关注像素，所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获取，并其上已经丢失了现实世界光信号的部分连续性；存储检测装置，用于根据关注像素的像素值与属于由区域选择装置选择的区域的像素的像素值的相关值，检测对应于属于该区域的像素的分数，并还将分数设置给每个像素；连续性检测装置，用于通过基于由分数检测装置检测的分数检测回归线，而检测图像数据的对应于丢失的现实世界光信号连续性的数据连续性；以及现实世界估计装置，用于基于由连续性检测装置检测的图像数据的数据连续性，通过估计已经丢失的现实世界光信号的连续性而估计光信号。
可以这样设置，其中连续性检测装置基于由分数检测装置检测的分数检测回归线，并基于回归线检测对应于丢失的现实世界光信号连续性的图像数据的数据连续性的相对于参考轴的角度，以及，现实世界估计装置基于图像数据的数据连续性的相对于参考轴的角度，通过估计丢失的现实世界光信号连续性而估计光信号。
可以这样设置，其中连续性检测装置基于估计误差相对于回归线和分数的标准微分而检测具有数据连续性的区域，以及，现实世界估计装置基于由连续性检测装置检测的具有数据连续性的区域，产生模拟表示现实世界的光信号的第一函数的第二函数。
图像处理装置可以包括角度检测装置，用于检测由多个像素构成的图像数据的数据连续性相对于参考轴的角度，从所述像素已经丢失了现实世界光信号的部分连续性，其中通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获得图像数据；以及现实世界估计装置，用于基于由角度检测装置检测的角度，通过模拟丢失的现实世界光信号而模拟光信号。
角度检测装置可以包括像素选取装置，用于基于图像数据中的关注像素和参考轴选取相对于多个角度中的每个角度的由预定个数的像素构成的多组像素；以及相关值检测装置，用于检测由像素选取装置选取的每个角度的多个组的相应位置上的像素之间的像素值的相关值；从而，基于由相关值检测装置检测的相关值，检测出图像数据的数据连续性相对于参考轴的角度，其对应于给出的现实世界光信号的连续性。
像素选取装置可以基于图像数据的关注像素和参考轴，选取多组像素，所述像素组由以每个角度的模拟直线中的一个像素为中心、相对于图像数据的垂直方向或水平方向上成的多个像素构成；以及相关值检测装置基于图像数据中的关注像素和参考轴，可以检测在选取的以具有预定角度的模拟直线上的像素为中心的多组的相应位置的像素之间的像素值的相关值。
像素选取装置可以基于图像数据的关注像素和参考轴，选取对应于由对应角度范围的个数的像素构成的角度范围的个数的像素组，其位于图像数据的垂直方向或水平方向，以每个角度的模拟直线上的像素为中心。
像素选取装置可以从图像数据检测垂直方向和水平方向活度，并根据检测的活度，基于图像数据的关注像素和参考轴，选取位于图像数据中垂直方向或水平方向的多个像素构成的多个像素组，其以每个角度的模拟直线上的像素为中心。
图像处理装置基于由相关值检测装置检测的相关值可以控制角度检测装置或现实世界估计装置的作用。
像素选取装置可以基于图像数据中的关注像素和参考轴选取以预定角度的每个直线的模拟中的像素为中心的图像块；以及，相关值检测装置可以基于图像数据中的关注像素和参考轴，检测以预定角度的每个直线的模拟中的像素为中心的图像块的相关值。
角度检测装置可以包括区域选择装置，用于选择对应于图像数据中的关注像素的区域；以及特征检测装置，用于对应于由区域选择装置选择的区域内的丢失的现实世界光信号的连续性，检测用于检测图像数据中的数据连续性的相对于参考轴的角度的特征；其中，基于由特征检测装置检测的特征统计地检测角度；以及其中，现实世界估计装置基于由角度检测装置检测的图像数据中的数据连续性相对于参考轴的角度，通过估计丢失的现实世界光信号的连续性而估计光信号。
可以这样设置，其中区域选择装置还包括活度检测装置，用于基于图像数据中的关注像素检测相对于图像数据的垂直方向和水平方向活度，从而根据由活度检测装置的检测结果选择图像数据中的处理区域；特征检测装置还可以包括动态范围检测装置，用于选择动态范围，其为由区域选择装置选择的区域中的像素的像素值的最大值和最小值之差；以及垂直检测装置，用于检测在对应于由活度检测装置的检测结果的方向上的相邻像素之间的差值；以及角度检测装置，其可以根据动态范围和差值，检测图像数据中对应于丢失的现实世界光信号的连续性的数据连续性相对于参考轴的角度。
图像处理装置还可以包括混合比值估计装置，用于基于由动态范围检测装置检测的区域中的像素的像素值的最大值和最小值，估计区域中的前景对象分量和背景对象分量之间的混合比值；以及现实世界估计装置，用于基于由其中已经丢失了现实世界光信号的部分连续性的多个像素构成的图像数据的数据连续性，通过估计丢失的现实世界光信号的连续性而估计光信号。
图像处理装置还可以包括连续性区域检测装置，用于检测具有由多个像素构成的图像数据的数据连续性的区域，从所述像素已经丢失了现实世界光信号的部分连续性、并通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获得；以及现实世界估计装置，用于基于由其中已经丢失了现实世界光信号的连续性的多个像素构成的图像数据的数据连续性，通过模拟丢失的现实世界光信号而模拟光信号。
图像处理装置还可以包括角度检测装置，用于检测图像数据中的数据连续性相对于参考轴的角度，其中连续性区域检测装置基于该角度检测具有图像数据中的数据连续性的区域；以及，现实世界估计装置通过对区域估计丢失的现实世界光信号的连续性而估计光信号。
连续性区域检测装置可以基于具有沿一个角度的连续性的模型与图像数据之间的误差，检测图像数据中具有数据连续性的区域。
连续性区域检测装置可以被设置在现实世界估计装置的下端，并可以基于模拟由现实世界估计装置产生的表示现实世界光信号的第一函数的第二函数与图像数据之间的误差，选择性地输出由现实世界估计装置产生的第二函数。
连续性区域检测装置可以检测已经丢失了现实世界光信号的一部分连续性的图像数据中的多个像素的像素值的非连续性部分，从检测的非连续性部分检测具有数据连续性的连续性区域；以及现实世界估计装置可以基于属于由连续性区域检测装置检测的连续性区域的像素的像素值再次检测该区域，从而基于再次检测的区域估计光信号。
连续性区域检测装置可以包括非连续性检测装置，用于检测图像数据中多个像素的像素值的非连续性部分；峰值检测装置，用于从非连续性部分检测像素值变化的峰值；单调增/减区域检测装置，用于检测其中像素值从峰值单调增加或减小的单调增/减区域；以及连续性检测装置，用于从由单调增/减区域检测装置检测的单调增/减区域检测相邻于另一个单调增/减区域的单调增/减区域作为第一图像数据中具有数据连续性的连续性区域；其中现实世界估计装置基于属于由连续性检测装置检测的连续性区域的像素的像素值，再次检测其中像素值从峰值单调增大或单调减小的区域，其中光信号基于再次检测的区域而被估计。
现实世界估计装置可以基于属于由连续性检测装置检测的连续性区域的多个像素的像素值的回归的回归线，再次检测其中像素值从峰值单调增大或单调减小的区域，并基于再次检测的区域产生对应于光信号的信号。
可以这样设置，其中非连续性检测装置获得对应于图像数据的多个像素的像素值的回归平面，并检测由具有这样的像素值的像素构成的区域作为非连续性部分，所述像素值离回归线的距离等于或大于阈值；以及其中，现实世界估计装置检测连续性区域中的相邻单调增/减区域、检测通过从相邻单调增/减区域的像素的像素值减去由回归平面表示的模拟值的差值、检测相邻单调增/减区域中的相应像素间的差值的分量的分配比值、以及对应于分配比值，再次检测其中像素值从峰值单调增大或单调减小的区域。
现实世界估计装置可以产生模拟表示现实世界光信号的第一函数的第二函数，以及图像处理装置还可以包括图像形成装置，用于基于第二函数产生图像数据。
图像处理装置可以包括图像数据连续性检测装置，用于检测由多个像素构成的第一图像数据的数据连续性，在所述多个像素中已经丢失了现实世界光信号的部分连续性，其中通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测装置上而获得图像数据；现实世界估计装置，用于基于表示对应数据连续性的现实世界光信号的波形的模型，从第一图像数据中的数据连续性产生模拟现实世界光信号的波形的信号；以及图像形成装置，用于将由现实世界估计装置产生的信号转换成第二图像数据。
现实世界估计装置可以基于如下直线的梯度估计现实世界中的细线的线宽，所述直线连接第一区域的重心和第二区域的重心、或第三区域的重心和第四区域的重心，以及其中第一区域和第二区域、或第三区域和第四区域重叠的重叠区域，相对于第一区域的水平连续相邻设置，所述第一区域由多个像素的垂直方向的阵列构成，所述像素通过将由图像数据连续性检测装置检测的细线的光信号投影到多个检测元件上获取，以及由多个其它像素的垂直方向阵列构成的第二区域；或者第三区域的垂直连续相邻设置，所述第三区域由多个像素的水平方向的阵列构成，所述像素通过将由图像数据连续性检测装置检测的细线的光信号投影到多个检测元件上获取，以及由多个其它像素的水平方向阵列构成的第四区域；从而从第一图像数据中的像素的像素值估计细线的光信号的水平，所述细线在空间上小于每个检测元件的感光面，所述检测元件具有时间空间积分效应，其上已经被投影了现实世界光信号。
现实世界估计装置可以基于通过从第一区域或第三区域中的第一像素的像素值中减去相邻于第一像素的第二像素的像素值、以及基于第一区域或第三区域的第一像素内的细线的面积，估计细线光信号的水平。
图像数据连续性检测装置可以获得对应于第一图像数据中的多个像素的像素值的回归平面，检测由具有这样的像素值的像素构成的区域，所述像素值离回归平面的距离等于或大于阈值，以及，现实世界估计装置基于通过从第一区域或第三区域中的第一像素的像素值中减去由回归平面模拟的值、以及基于第一区域或第三区域的第一像素内的细线的面积，估计细线光信号的水平。
图像处理装置可以包括数据连续性检测装置，用于检测由多个像素构成的第一图像数据中的数据连续性，所述像素已经丢失了现实世界光信号的部分连续性，并且所述像素通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获得；现实世界估计装置，用于对应于由数据连续性检测装置检测的数据连续性，检测表示现实世界光信号的第一函数所具有的现实世界的特征；以及图像产生装置，用于基于由现实世界估计装置检测的现实世界特征预测和产生比第一图像数据具有更高质量的第二图像数据。
现实世界估计装置可以在如下假设下利用预定第二函数模拟第一函数，假设在至少一维方向上离对应于由连续性检测装置检测的数据连续性的参考点对应预定距离的像素的像素值是通过在至少一维方向上的积分效应获取的像素值，从而检测作为预定像素中的第二函数的梯度的像素内梯度作为现实世界特征。
图像产生装置可以包括图像预测装置，用于从位于第二图像数据中的关注像素周围的、其中已经丢失了现实世界光信号的连续性的第一图像数据中的多个像素的像素值预测关注像素的像素值；校正项预测装置，用于预测校正项，所述校正项用于从由现实世界估计装置检测的现实世界特征校正由图像预测装置预测的关注像素的像素值；以及校正装置，用于利用由校正项预测装置预测的校正项校正由图像预测装置预测的关注像素的像素值。
图像处理装置可以包括第一学习装置，用于通过学习确定第一系数，所述系数在预测关注像素的像素值时用于图像预测装置中；以及第二学习装置，用于通过学习而确定第二系数，所述第二系数用于校正项预测装置中，所述装置用于预测校正项，所述校正项用于校正由图像预测装置预测的关注像素的像素值。
第一学习装置可以包括下降转换装置，用于下降转换学习图像数据；以及第一系数产生装置，用于以学习图像数据为第一老师图像、以由下降转换装置下降转换的学习图像数据作为第一学生数据，通过学习第一老师图像和第一学生图像之间的关系而产生第一系数。
第一学习装置还可以包括学习图像预测装置，用于利用由第一系数产生装置产生的第一系数产生用于从第一学生图像预测第一老师图像的图像数据。
第二学习装置可以包括学生图像产生装置，用于检测图像数据中的数据连续性，所述图像数据在产生第一系数时由第一系数产生装置用作第一学生图像、基于检测的数据连续性，检测对应于构成第一学生图像的每个像素的现实世界特征、以及产生取对应于检测的现实世界特征为像素值的图像数据作为第二学生图像；老师图像产生装置，用于产生在产生第一系数时由第一系数产生装置用作第一老师图像的图像数据与预测由学习图像预测装置产生的第一老师图像的图像数据之差构成的图像数据；以及第二系数产生装置，用于通过学习由老师图像产生装置产生的第二老师图像与由学生图像产生装置产生的第二学生图像之间的关系而产生第二系数。
图像处理装置可以包括数据连续性检测装置，用于检测由多个像素构成的图像数据的数据连续性，所述像素已经丢失了现实世界光信号的部分连续性、并通过将现实世界光信号投影到每个具有时间空间积分效应的多个检测元件上而获得；以及，现实世界估计装置，用于对应于由图像数据连续性检测装置检测的连续性，产生对应于时间空间方向上的相对于图像数据的关注像素的一维方向上的位置上的多个像素的像素值的梯度。
现实世界估计装置可以产生对模拟对应于相对关注像素的一维方向上的位置上的多个像素的像素值的函数的微分。
现实世界估计装置可以对应于由连续性检测装置检测的连续性，产生用于模拟对应于沿一维方向离参考点的距离的每个像素的像素值的函数的微分。
现实世界估计装置可以从对应于关注像素的多个像素的像素值，检测一维方向中的位置上的多个像素的像素值的梯度。
图像处理装置还可以包括像素值产生装置，用于对应于数据连续性，获得从图像数据中的关注像素的中心位置在一维方向上平移的位置上的像素值的梯度，并产生直线在关注像素中的两端的值作为比关注像素具有更高分辨率的像素的像素值，所述关注像素具有以从关注像素的中心位置在一维方向上平移的位置为中心的梯度。
用于存储用于实施根据本发明的信号处理的程序存储介质不限于封装介质，所述封装介质单独地分布在计算机中以给用户提供程序，例如磁盘51(包括软盘、光盘52(包括CD-ROM(紧凑盘-只读存储器))、DVD多功能数码光盘)、磁光盘53(包括MD(迷你盘)(注册商标))、半导体存储器54等，如图2所示，其中已经记录了程序；但是还可以由其中记录程序的ROM22构成，或包括在单元28中的硬盘等，将这些预先设置入计算机而提供给用户。
注意，可以按需要通过电缆或无线通信介质，如局域网、互联网、数字卫星传播等、通过例如路由器、调制解调器等将用于执行上述一组处理的程序装入计算机。
应注意，在本说明书中，描述记录在记录介质中的程序的步骤包括以上述次序为时间顺序实施的处理，显然，这不限于时间顺序处理，还可以包括平行或单独执行的处理。
工业应用性 根据本发明，投影作为具有第一维的现实世界信号的第一信号，检测第二维的第二信号的对应于丢失的现实世界信号的连续性的数据连续性，所述第二维具有比第一维少的维数，并且其中丢失了现实世界信号的部分连续性，以及基于检测的数据连续性通过估计丢失的现实世界信号的连续性估计第一信号，从而通过考虑从其获取数据的现实世界，而获得对现实世界中的事件的准确和高精度的处理结果。
权利要求
1.一种图像处理装置，包括
数据连续性检测器，被配置为检测由多个像素构成的第一图像数据的数据连续性，所述多个像素通过将现实世界的光信号投影到每个都具有空间时间积分效应的多个检测单元上而获得，在所述多个像素中丢失了现实世界光信号的部分连续性；
现实世界估计部件，被配置为检测表示所述现实世界光信号的第一函数具有的、相应于由所述数据连续性检测器检测出的所述数据连续性的现实世界特征；及
图像产生器，被配置为基于由所述现实世界估计部件检测出的所述现实世界特征，预测并产生具有比所述第一图像数据更高的质量的第二图像数据。
2.根据权利要求1的图像处理装置，其中所述现实世界估计部件被配置为在假设沿着相应于由所述连续性检测器检测出的所述数据连续性的至少一维方向距参考点的预定距离的所述像素的像素值是由在所述至少一维方向上的积分效应获得的像素值的情况下，利用预定第二函数模拟所述第一函数，并检测作为在预定像素内所述第二函数的梯度的帧内梯度作为所述现实世界特征。
3.根据权利要求1的图像处理装置，其中所述图像产生器还包括
图像预测器，被配置为从已经丢失了现实世界光信号的连续性的所述第一图像数据内的、位于所述第二图像数据中的关注像素的周边的所述多个像素的像素值预测所述关注像素的像素值；
项校正预测器，被配置为从由所述现实世界估计器检测出的所述现实世界特征，预测校正由所述图像预测器预测的所述关注像素的像素值的项校正；及
校正器，被配置为利用由所述项校正预测器预测出的所述项校正来校正由所述图像预测器预测出的所述关注像素的像素值。
4.根据权利要求3的图像处理装置，其中所述图像产生器还包括
第一学习部件，被配置为通过学习确定在所述图像预测器预测所述关注像素的像素值的情况下使用的第一系数；及
第二学习部件，被配置为学习在所述项校正预测器校正由所述图像预测器预测的所述关注像素的像素值的情况下使用的第二系数。
5.根据权利要求4的图像处理装置，其中所述第一学习部件还包括
下降转换器，被配置为下降转换学习图像数据；及
第一系数产生器，被配置为通过在假设所述学习图像数据为所述第一老师图像且由所述下降转换器下降转换后的所述学习图像数据为所述第一学生图像的情况下学习第一老师图像和第一学生图像之间的关系，产生所述第一系数。
6.根据权利要求5的图像处理装置，其中所述第一学习部件还包括
学习图像预测器，被配置为通过使用由所述第一系数产生器产生的所述第一系数，产生从所述第一学生数据预测所述第一老师数据的图像数据。
7.根据权利要求6的图像处理装置，其中所述第二学习部件还包括
学生图像产生器，被配置为
在所述第一系数产生器产生所述第一系数的情况下，检测用作所述第一学生图像的图像数据中的数据连续性；
基于所述数据连续性，检测相应于构成所述第一学生图像的每个像素的所述现实世界特征；及
产生其中像素值相应于所述现实世界特征的图像数据作为第二学生图像；
老师图像产生器，被配置为
产生在所述第一系数产生器产生所述第一系数的情况下用作所述第一老师图像的所述学习图像数据；及
产生由预测由所述学习图像预测器产生的所述第一老师图像的所述图像数据差构成的图像数据作为第二老师图像；及
第二系数产生器，被配置为通过学习在由所述老师图像产生器产生的所述第二老师图像与由所述学生图像产生器产生的所述第二学生图像之间的关系，来产生所述第二系数。
8.一种图像处理方法，包括
检测由多个像素构成的第一图像数据的数据连续性，所述多个像素通过将现实世界的光信号投影到每个都具有空间时间积分效应的多个检测单元上而获得，在所述多个像素中丢失了现实世界光信号的部分连续性；
检测表示所述现实世界光信号的第一函数具有的、相应于在所述检测数据连续性的步骤中检测出的所述数据连续性的现实世界特征；及
基于在所述检测现实世界特征的步骤中检测出的所述现实世界特征，预测并产生具有比所述第一图像数据更高的质量的第二图像数据。
全文摘要
一种信号处理装置、方法及程序。考虑从其获取数据的现实世界，可以获得高精度的对现实世界的事件的处理结果。数据连续性检测单元(101)检测对应于第二维输入图像丢失的现实世界的图像连续性的数据连续性，所述第二维输入图像是具有第一维的现实世界中的图像被投影成的，并小于第一维度，其中丢失了现实世界图像的部分连续性。根据由数据连续性检测单元(101)检测的数据连续性，现实世界估计单元(102)估计丢失的现实世界图像的连续性，从而估计现实世界图像。本发明可以应用于用于输出比输入图像具有更高分辨率的输出图像的图像处理装置。
文档编号G06T7/60GK101175166SQ20071015287
公开日2008年5月7日 申请日期2004年2月12日 优先权日2003年2月13日
发明者近藤哲二郎, 石桥淳一, 泽尾贵志, 永野隆浩, 藤原直树, 三宅彻, 和田成司 申请人:索尼株式会社