专利名称：图像处理装置、摄像装置、程序以及图像处理方法
技术领域：
本发明涉及图像处理装置、摄像装置、程序以及图像处理方法等。
背景技术：
在目前的数字照相机或摄像机中，有可切換静态图像摄影模式和动态图像摄影模式来进行使用的设备。例如存在这样的设备，在动态图像摄影中用户可通过进行按钮操作来拍摄与动态图像相比高分辨率的静态图像。现有技术文献专利文献 专利文献I :日本特开2009-124621号公报专利文献2 日本特开2008-243037号公报
发明内容
发明所要解决的课题但是，在切換静态图像摄影模式和动态图像摄影模式的方法中，具有用户在觉察到快门机会时大多已经错过决定瞬间这样的课题。本发明人为了实现该决定瞬间的摄影而开发出利用像素移动的方法由动态图像来生成任意时机的高分辨率静态图像的方法。例如在专利文献1、2中作为像素移动的方法公开了由基于像素移动而取得的低分辨率图像合成高分辨率图像的方法。但是，在专利文献1、2的方法中具有处理负荷増大或者像素值的估计困难这样的课题。根据本发明的几个方式，能够提供可利用简单的处理由低分辨率动态图像取得高分辨率图像的图像处理装置、摄像装置、程序以及图像处理方法等。用于解决课题的手段本发明的一方式涉及图像处理装置，该图像处理装置包含存储部，其在如下情况下存储所取得的低分辨率图像，该情况为ー边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为上述低分辨率图像；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素并使上述第I位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。根据本发明的一方式，一边重叠像素一边依次进行像素移动，一边进行像素移动ー边利用摄像元件进行各摄像动作来取得受光值，并取得低分辨率图像。然后，根据对像素依次进行像素移动而获得的多个受光值来估计该估计像素值，根据该估计像素值来输出高分辨率图像。此时，根据重叠的第I、第2位置的像素的受光值的差分值来估计该估计像素值。由此，可利用简单的处理由低分辨率动态图像取得高分辨率图像等。另外，在本发明的一方式中，上述估计运算部可采用上述差分值来表示第I中间像素值与第2中间像素值的关系式，上述第I中间像素值是从上述第I位置的像素中去除重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的像素中去除上述重叠区域后的第2受光区域的受光值，采用上述关系式来估计上述第I中间像素值、第2中间像素值，采用所估计的上述第I中间像素值来求出上述估计像素值。这样，可一边重叠像素一边依次进行像素移动并且由所取得的受光值来估计中间 像素值，由所估计的中间像素值来求出最終的估计像素值。由此，能够使高分辨率图像的像素值估计简化。另外，在本发明的一方式中，上述估计运算部可在将包括上述第I中间像素值、第2中间像素值在内的连续的中间像素值作为中间像素值模式时，采用上述像素的受光值来表示上述中间像素值模式的中间像素值间的关系式，比较利用中间像素值间的关系式表示的上述中间像素值模式与上述像素的受光值，来评价相似性，根据上述相似性的评价結果，来决定上述中间像素值模式所包含的各中间像素值，使上述相似性最高。这样，可根据ー边重叠像素一边进行像素移动而取得的多个受光值，估计中间像素值。另外，在本发明的一方式中，上述估计运算部可求出表示上述中间像素值模式与上述像素的受光值之间的误差的评价函数，决定上述中间像素值模式所包含的各个中间像素值，使上述评价函数的值最小，其中上述中间像素值模式由中间像素值间的关系式表示。这样，通过决定中间像素值的值使得评价函数的值成为最小，可决定中间像素值的值，使中间像素值模式与受光值的相似性最高。另外，在本发明的一方式中，可根据已知的高分辨率图像，取得上述中间像素值模式与上述像素的受光值的对应关系，作为先见信息，该先见信息预先规定上述像素的受光值与上述中间像素值模式的相似性，上述估计运算部根据上述先见信息，来评价由中间像素值间的关系式表示的上述中间像素值模式与所取得的上述像素的受光值之间的相似性。这样，可根据基于已知的高分辨率图像取得的先见信息来评价相似性，井根据该评价结果来决定中间像素值。另外，在本发明的一方式中，上述估计运算部可具有神经网络，该神经网络采用通过学习而作为上述先见信息获得的系数，作为节点的权重系数，其中上述学习基于上述已知的高分辨率图像，上述神经网络接收中间像素值模式与上述像素的受光值，输出上述相似性的评价结果，上述估计运算部根据来自上述神经网络的上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值。这样，可通过采用将节点的权重系数作为先见信息的神经网络，来实现基于先见信息的相似性评价。另外，在本发明的一方式中，可包含插值处理部，在各个帧中进行上述像素移动，通过上述像素移动在多个位置上依次设定上述像素，按照多个帧在相同位置上设定上述像素，当上述低分辨率图像是在时序上与各个位置对应而取得的连续低分辨率图像时，该插值处理部进行对各个上述帧中的上述多个位置的像素的受光值进行插值的处理，上述插值处理部采用插值对象帧前后的帧的上述连续低分辨率图像中的与上述欠缺位置相同位置的像素的受光值，来对上述插值对象帧的上述连续低分辨率图像中的欠缺位置的像素的受光值进行插值，上述估计运算部根据由上述插值处理部插值后的上述连续低分辨率图像，来估计各个上述帧中的上述估计画值。这样，在通过像素移动来取得受光值时，能够采用所取得的受光值来对欠缺位置的受光值进行插值，井根据插值后的受光值进行估计。另外，在本发明的一方式中，上述插值处理部可通过时间轴插值滤波器进行上述插值。这样，可通过时间轴插值滤波器进行时间轴插值。另外，在本发明的一方式中，上述插值处理部可在上述前后的帧中的像素的受光值的差分值小于规定的阈值时，采用上述前后的帧中与上述欠缺位置相同位置的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值，在上述前后的帧中像素的受光值的差分值大于规定阈值时，采用在上述插值对象的帧中取得的像素的受光值 来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值。这样，可根据在插值对象的帧前后的帧中的像素的受光值的差分值，来进行插值对象的帧中的受光值的时间轴插值。另外，在本发明的一方式中，第I像素与第2像素可以是邻接的像素，当上述第I位置、第2位置的上述第I像素在第I重叠区域内重叠、上述第I位置、第2位置的上述第2像素在第2重叠区域内重叠时，上述估计运算部估计第I中间像素值和第2中间像素值，上述第I中间像素值是从上述第I位置的上述第I像素中去除上述第I重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第I像素中去除上述第I重叠区域后的第2受光区域的受光值，将第3中间像素值作为未知数，上述第3中间像素值是从上述第I位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，以采用上述未知数的关系式来表示第4中间像素值，该第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，根据作为上述第2受光区域的中间像素值求出的上述第2中间像素值，来设定上述未知数的捜索范围，其中上述第2受光区域与上述第3受光区域是同一区域，在所设定的上述捜索范围中，通过搜索求出上述未知数来估计上述第3中间像素值。这样，可根据先前求出的第2中间像素值，来设定接着要估计的未知数的搜索范围。另外，在本发明的一方式中，第I像素与第2像素可以是邻接的像素，当上述第I位置、第2位置的上述第I像素在第I重叠区域内重叠、上述第I位置、第2位置的上述第2像素在第2重叠区域内重叠时，上述估计运算部估计第I中间像素值模式、第2中间像素值模式、第3中间像素值模式，上述第I中间像素值模式是包括第I中间像素值和第2中间像素值在内的连续的中间像素值，上述第I中间像素值是从上述第I位置的上述第I像素中去除上述第I重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第I像素中去除上述第I重叠区域后的第2受光区域的受光值，上述第2中间像素值模式是包括第3中间像素值和第4中间像素值在内的连续的中间像素值，上述第3中间像素值是从上述第I位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，上述第3中间像素值模式是包括第5中间像素值、且不包括上述第I中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是上述第2位置的上述第I像素与上述第I位置的上述第2像素的重叠区域即第5受光区域的受光值，在上述第3受光区域、第5受光区域与上述第2受光区域是同一受光区域时，根据通过上述第I中间像素值模式 第3中间像素值模式的估计而获得的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述同一受光区域的中间像素值。这样，可根据通过3次估计同一受光区域的中间像素值求出的3个估计值，来决定该受光区域的最終的中间像素值。另外，在本发明的一方式中，上述估计运算部可对上述估计像素值根据上述估计像素值的像素位置进行不同滤波器系数的滤波处理。这样，可对经由估计获得的估计像素值，进行与该像素位置对应的滤波处理。
·
另外，在本发明的一方式中，在ー边沿着倾斜方向重叠上述像素一边进行上述像素移动并取得上述低分辨率图像时，上述估计运算部可将沿着上述倾斜方向进行上述像素移动的上述像素的重叠区域的受光值估计为上述估计像素值。这样，在ー边沿着倾斜方向重叠像素一边进行像素移动时，可根据通过该像素移动取得的受光值，将像素的重叠区域的受光值作为估计像素值求出。另外，在本发明的一方式中，上述摄像元件可以是彩色摄像元件，当在水平方向与垂直方向上进行各3步的上述像素移动并取得16帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，上述估计运算部根据上述16帧的各顔色分量的马赛克图像，按照每个顔色分量来估计与上述高分辨率图像的全部像素对应的上述估计像素值。另外，在本发明的一方式中，上述摄像元件可以是彩色摄像元件，当在水平方向与垂直方向上进行各I步的上述像素移动并取得4帧的各个颜色分量的马赛克图像作为上述低分辨率图像吋，上述估计运算部对上述4帧的各顔色分量的马赛克图像进行去马赛克处理，井根据上述去马赛克处理后的图像来估计上述估计像素值。根据这些本发明的一方式，在摄像元件是彩色摄像元件时，可根据通过像素移动所取得的受光值来估计该估计像素值，并输出彩色的高分辨率图像。另外，本发明的其它方式涉及摄像装置，该摄像装置包含摄像元件；成像光学系统，其对上述摄像元件形成被摄体像；像素移动控制部，其控制为一边重叠像素ー边依次进行像素移动来对上述被摄体像进行采样；存储部，其在一边进行上述像素移动ー边利用上述摄像元件进行各摄像动作时，将通过各个上述摄像动作取得的上述像素的受光值作为低分辨率图像进行存储；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。本发明的其他方式是ー种程序，其使计算机作为以下的部件发挥功能存储部，其在一边重叠像素一边依次进行像素移动来采样被摄体像，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。另外，本发明的其它方式涉及图像处理方法，该图像处理方法为，在一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像，根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值，根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，并且在第I位置与 上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时，在上述估计像素值的估计中求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。
图I是摄像装置的基本结构例。图2是估计处理块的说明图。图3 (A)是受光值的说明图，图3 (B)是中间像素值的说明图。图4是第I估计方法中的中间像素值的估计方法的说明图。图5是第I估计方法中的中间像素值的估计方法的说明图。图6是第I估计方法中的中间像素值的估计方法的说明图。图7 (A)、图7 (B)是第I估计方法中的估计像素值的估计方法的说明图。图8是第I估计方法中的估计像素值的估计方法的说明图。图9是第I估计方法中的估计像素值的估计方法的说明图。图10是第I估计方法中的估计像素值的估计方法的说明图。图11是第2估计方法的说明图。图12是第2估计方法的说明图。图13是第2估计方法的说明图。图14是第2估计方法的说明图。图15是第2估计方法中的捜索范围设定的说明图。图16是第2估计方法的概要说明图。图17是第3估计方法的说明图。图18是第3估计方法的概要说明图。
图19是第4估计处理的说明图。图20是噪声滤波器的结构例。图21是受光值的第I插值方法的说明图。图22是插值处理的时序图例。图23是受光值的第2插值方法的说明图。 图24是受光值的第2插值方法的说明图。图25是对融合(fusion)巾贞的运动补偿的说明图。图26是摄像装置与图像处理装置的第I详细结构例。图27是摄像装置与图像处理装置的第2详细结构例。图28是彩色图像的第I估计方法的说明图。图29是彩色图像的第2估计方法的说明图。图30 (A)是第5估计方法中的受光值的说明图，图30 (B)是第5估计方法中的中间像素值的说明图。图31是第5估计方法中的中间像素值的估计方法的说明图。图32是第5估计方法中的中间像素值的估计方法的说明图。图33是第5估计方法中的中间像素值的估计方法的说明图。图34是第5估计方法中的估计像素值的估计方法的说明图。
具体实施例方式以下，对本发明的优选实施方式进行详细说明。此外，以下说明的本实施方式并非不当限定在权利要求书内所记载的本发明内容，在本实施方式中说明的全部结构作为本发明的解决手段并非是必须的。I.比较例首先，对本实施方式的比较例进行说明。在数字照相机或摄像机的产品中存在如下产品使以静态图像摄影为主的数字照相机具有动态图像摄影功能、或者使以动态图像摄影为主的摄像机具有静态图像摄影功能。这些照相机大多切換静态图像摄影模式和动态图像摄影模式来进行使用。其中，有的可通过动态图像摄影的高速帧速率来拍摄高精细静态图像，井能够进行短时间的高速连拍。如果使用这样的设备，则具有以ー个设备来承担静态图像与动态图像摄影这样的利便。但是，在这些方法中存在难以不错过多数人追求的快门机会而获得高品位的静态图像这样的课题。例如，在动态图像摄影中瞬时切换为拍摄高品位静态图像的模式这样的方法中存在如下这样的课题，即动态图像间断，或者在用户发觉时已经错过决定瞬间。为了解决不错过该快门机会这样的课题而考虑如下这样的方法，在通过动态图像摄影来无遗漏地拍摄全部场景时，将从中自由決定的瞬间作为高品位的静态图像来获得。为了实现该方法，需要能够以高速帧速率来拍摄高精细图像。但是，该方法的实现是不容易的。例如，为了以60fps(fps :帧/秒)连续拍摄1200万像素的图像，而需要可超高速摄像的摄像元件、对摄像数据进行超高速处理的处理电路、超高速数据压缩处理功能、记录非常大的数据的记录单元。因此，需要使用多个摄像元件、并行处理、大規模存储器、高性能散热机构等，但在需要小型化或低成本的民用设备中是非现实的。虽然只要是动态图像摄影的高品质电视(200万像素)程度的分辨率的非高品位的静态图像就能够实现，但以高品质电视程度的分辨率作为静态图像是不够的。另外，作为进行高帧速率的动态图像摄影的方法，考虑如下这样来实现的方法，采用能够以多个像素拍摄高精细图像的高像素图像传感器，通过像素的间取读出或者邻接像素的相加读出来进行低分辨率图像化并降低I次读出数据。但是，在此方法中无法利用高帧速率来拍摄高精细图像。为了解决此课题，需要由以高帧速率拍摄的低分辨率图像来获得高分辨率图像。作为由低分辨率图像获得高分辨率图像的方法，例如考虑如下这样的方法对通过像素移动来拍摄的低分辨率图像进行所谓的超晰像处理并生成高分辨率图像。例如，作为此方法考虑采用相加读出的方法。即，在将低分辨率图像依次进行位置偏移并且读出之后，根据这些多个位置偏移图像来暂时假定高精细图像。并且，使假定的图像劣化来生成低分辨率图像，与初始的低分辨率图像相比为了使其差异最小而使高精细图 像变形，来估计高精细图像。作为该超晰像处理已知ML (Maximum-Likelihood :最大似然)法、MAP (Maximum A Posterior :最大后验)法、POCS (Projection Onto Convex Set :凸集投影)法、IBP (Iterative Back Projection :迭代反投影)法等。另外，作为采用超晰像处理的方法有上述专利文献I所公开的方法。在此方法中，按时序依次拍摄在动态图像拍摄时进行像素移动的低分辨率图像，并合成这些多个低分辨率图像，由此来假定高分辨率图像。然后，对该假定的高分辨率图像实施上述超晰像处理，并估计似然度高的(似然)高分辨率图像。但是，在这些方法中采用通过多次使用2维滤波器的反复运算来提高估计精度的一般超晰像处理。因此，具有如下课题即处理的规模非常大或者处理时间増大，难以应用于存在处理性能或成本限制的设备。例如，当应用于数字照相机这样的小型便携摄像装置时，产生处理电路的规模变大、功耗增大、产生大量热、成本大幅提高等课题。另外，在上述专利文献2中公开了使用像素移动的多个低分辨率图像来生成高分辨率图像的方法。在此方法中，将构成希望求出的高分辨率图像的虚拟像素设为副像素，并估计副像素的像素值，使该副像素的平均值与所拍摄的低分辨率图像的像素值一致。在该像素值的估计中，设定多个副像素的初始值，从低分辨率图像的像素值中减去去除了希望计算的副像素之后的副像素的像素值来求出像素值，并依次针对邻接的像素应用该像素值。但是，在此方法中具有当初始值的确定不够准确时估计误差变得非常大这样的课题。在此方法中，为了设定初始值，从图像中寻找副像素的像素值变化小且这些像素的平均值与覆盖这些像素的低分辨率像素值大致相等的部分。因此，当从摄影图像中没有发现适合初始值设定的部分时，难以估计初始值。另外，需要搜索适合初始值设定的部分的处理。2.像素移动因此，在本实施方式中，通过像素移动(像素偏移)来拍摄高帧速率的低分辨率动态图像，井根据该低分辨率动态图像以简单的像素估计方法来生成高分辨率图像。然后，采用所生成的高分辨率图像来取得动态图像中的任意时机的高分辨率静态图像，或者取得高帧速率的高分辨率动态图像。以下，采用附图来详细说明这样的本实施方式的方法。首先，采用图I来说明本实施方式进行的像素移动。图I示意性示出摄像装置的基本结构例。该摄像装置包含镜头410 (广义上为成像光学系统)、摄像元件420 (传感器、成像器)。镜头410使被摄体Obj的像形成于摄像元件420的受光面。如Cl所示，利用未图示的镜头驱动部对镜头410进行像素移动控制。这里，将摄像元件420的像素间距设为P。此时，镜头410在沿着与光轴垂直的χ轴(或y轴)的方向上每次以移动量p/2 (广义上，移动量s〈p)进行移动。此时,随着镜头410姆次移动p/2,受光面上的被摄体像也姆次以移动量P/2进行移动。摄像元件420对由镜头410形成的被摄体Obj的像进行摄像。具体地说，按照镜头410的每个移动动作进行摄像，对每次移动p/2的被摄体像进行采样。这样，在本实施方式中，通过像素移动来取得毎次移动P/2的像素间距P的低分辨率图像。此外，在上述结构例中，将镜头410每次以移动量p/2进行移动的情况作为例子进 行了说明，但在本实施方式中，也可以是摄像元件420毎次以移动量p/2进行移动。3.第I估计方法在本实施方式中，根据如上所述取得的像素间距P的低分辨率图像来估计像素间距P/2的像素值并生成高分辨率图像。采用图疒图10来说明估计该像素间距p/2的像素值的方法。此外，在本说明书中为了简单，而将利用摄像元件的像素取得的像素值称为受光值，将通过估计获得的像素值称为估计像素值。图2示出在像素估计中采用的估计处理块的说明图。在图2中利用实线的四方形来表示低分辨率图像的像素，利用i来表示水平方向的像素位置，利用j来表示垂直方向的像素位置(i、j是自然数)。如图2所示，在本实施方式中，设定将mXn像素作为I块的估计处理块Β_、Bklo,…。然后，按照该估计处理块来进行后述的像素值的估计处理。通过该估计处理，根据mXn像素来估计2mX 2n像素的估计像素值。此外，以下为了简単，以根据mXn=l X I像素来估计2X2像素的情况为例进行说明。图3 (A)、图3 (B)示出用于估计处理的受光值以及中间像素值的说明图。如图3(A)所示，通过使摄像元件的像素间距P的像素(受光単位)每次以p/2进行像素移动，来依次取得受光值(像素值)。在本实施方式中，根据该4个受光值来估计像素间距p/2的估计像素值。此外，受光值BtltTa11可以是由摄像取得的受光值本身，也可以是通过后述时间轴插值来进行插值而得到的受光值。此时，如图3 (B)所示，根据受光值BticTa11来估计水平方向的像素间距为p/2的中间像素值KcTb21 (中间估计像素值)。然后，根据该中间像素值I^Tb21来最終地估计水平垂直方向的像素间距为p/2的估计像素值。关于该中间像素值的估计方法，以图4所示的水平方向的最初行的中间像素值VTb2tl为例进行说明。在受光值与中间像素值之间，下式(I)的关系成立。a00=b00+b10,a10=b10+b20 ... (I)当将1 作为未知数(初始值、基准值)使上式(I)变形时，如下式(2)所示，可将中间像素值b1(l、b20表示为1 的函数。bQQ=(未知数)，
b10=a00-b00,b20=b00+ δ i0=b00+ (a10-a00)…(2)这里，如下式(3)所示，δ k是进行I次移动相差的受光值的差分值，与中间像素值1 .! 的差分值相对应。δ i0=a10-a00 - (b10+b20) - (b00+b10)=b20-b00…(3)这样，求出将bTO作为未知数的高精细的中间像素值{、、、、、丨的组合模式。为了决定表示为该1 的函数的中间像素值的值，而需要求出未知数bQQ。如图5所示，在本实施方式中，比较通过重叠移动采样(像素移动)检测出的像素值的模式{a, a10}与中间像素值的模式Ibtltl. b1(l、b20}。然后，导出其误差最小的未知数bQQ，将导出的未知数1 设定为最終的中间像素值bTO。具体地说，如下式(4)所示，利用未知数bTO的函数来表示误差的评价函数Ej。然后如图6所示,通过搜索求出使评价函数Ej为最小(极小值)的未知数bm=a (最小ニ乘法)。
权利要求
1.ー种图像处理装置，其特征在于，包含 存储部，其在如下情况下存储所取得的低分辨率图像，该情况为ー边重叠像素ー边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为上述低分辨率图像； 估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及 图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像， 在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素并使上述第I位置的像素与上述第2位置的像素重叠时， 上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。
2.根据权利要求I所述的图像处理装置，其特征在干， 上述估计运算部采用上述差分值来表示第I中间像素值与第2中间像素值的关系式，上述第I中间像素值是从上述第I位置的像素中去除重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的像素中去除上述重叠区域后的第2受光区域的受光值， 采用上述关系式来估计上述第I中间像素值、第2中间像素值，采用所估计的上述第I中间像素值来求出上述估计像素值。
3.根据权利要求2所述的图像处理装置，其特征在干， 上述估计运算部在将包括上述第I中间像素值、第2中间像素值在内的连续的中间像素值作为中间像素值模式时，采用上述像素的受光值来表示上述中间像素值模式的中间像素值间的关系式， 比较利用中间像素值间的关系式表示的上述中间像素值模式与上述像素的受光值，来评价相似性， 根据上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值，使上述相似性最闻。
4.根据权利要求3所述的图像处理装置，其特征在干， 上述估计运算部求出表示上述中间像素值模式与上述像素的受光值之间的误差的评价函数，决定上述中间像素值模式所包含的各个中间像素值，使上述评价函数的值最小，其中上述中间像素值模式由中间像素值间的关系式表示。
5.根据权利要求3所述的图像处理装置，其特征在干， 根据已知的高分辨率图像，取得上述中间像素值模式与上述像素的受光值的对应关系，作为先见信息，该先见信息预先规定上述像素的受光值与上述中间像素值模式的相似性， 上述估计运算部根据上述先见信息，来评价由中间像素值间的关系式表示的上述中间像素值模式与所取得的上述像素的受光值之间的相似性。
6.根据权利要求5所述的图像处理装置，其特征在干，上述估计运算部具有神经网络，该神经网络采用通过学习而作为上述先见信息获得的系数，作为节点的权重系数，其中上述学习基于上述已知的高分辨率图像， 上述神经网络接收中间像素值模式与上述像素的受光值，输出上述相似性的评价结果， 上述估计运算部根据来自上述神经网络的上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值。
7.根据权利要求I所述的图像处理装置，其特征在干， 上述图像处理装置包含插值处理部，在各个帧中进行上述像素移动，通过上述像素移动在多个位置上依次设定上述像素，按照多个帧在相同位置上设定上述像素，当上述低分辨率图像是在时序上与各个位置对应而取得的连续低分辨率图像时，该插值处理部进行对各个上述帧中的上述多个位置的像素的受光值进行插值的处理， 上述插值处理部采用插值对象帧前后的帧的上述连续低分辨率图像中的与上述欠缺位置相同的位置的像素的受光值，来对上述插值对象帧的上述连续低分辨率图像中的欠缺位置的像素的受光值进行插值， 上述估计运算部根据由上述插值处理部插值后的上述连续低分辨率图像，来估计各个上述帧中的上述估计画值。
8.根据权利要求7所述的图像处理装置，其特征在干， 上述插值处理部通过时间轴插值滤波器来进行上述插值。
9.根据权利要求7所述的图像处理装置，其特征在干， 上述插值处理部在上述前后的帧中的像素的受光值的差分值小于规定的阈值时，采用上述前后的帧中与上述欠缺位置相同的位置的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值， 在上述前后的帧中像素的受光值的差分值大于规定阈值时，采用在上述插值对象帧中取得的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值。
10.根据权利要求I所述的图像处理装置，其特征在干， 第I像素与第2像素是邻接的像素，当上述第I位置、第2位置的上述第I像素在第I重叠区域内重叠、上述第I位置、第2位置的上述第2像素在第2重叠区域内重叠时， 上述估计运算部估计第I中间像素值和第2中间像素值，上述第I中间像素值是从上述第I位置的上述第I像素中去除上述第I重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第I像素中去除上述第I重叠区域后的第2受光区域的受光值， 将第3中间像素值作为未知数，上述第3中间像素值是从上述第I位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值， 以采用上述未知数的关系式来表示第4中间像素值，该第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值， 根据作为上述第2受光区域的中间像素值求出的上述第2中间像素值，来设定上述未知数的捜索范围，其中上述第2受光区域与上述第3受光区域是同一区域， 在所设定的上述捜索范围中，通过搜索求出上述未知数来估计上述第3中间像素值。
11.根据权利要求I所述的图像处理装置，其特征在干，第I像素与第2像素是邻接的像素，当上述第I位置、第2位置的上述第I像素在第I重叠区域内重叠、上述第I位置、第2位置的上述第2像素在第2重叠区域内重叠时， 上述估计运算部估计第I中间像素值模式、第2中间像素值模式、第3中间像素值模式， 上述第I中间像素值模式是包括第I中间像素值和第2中间像素值在内的连续的中间像素值，上述第I中间像素值是从上述第I位置的上述第I像素中去除上述第I重叠区域后的第I受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第I像素中去除上述第I重叠区域后的第2受光区域的受光值， 上述第2中间像素值模式是包括第3中间像素值和第4中间像素值在内的连续的中间像素值，上述第3中间像素值是从上述第I位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2位置的上述第2像素中去 除上述第2重叠区域后的第4受光区域的受光值， 上述第3中间像素值模式是包括第5中间像素值、且不包括上述第I中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是上述第2位置的上述第I像素与上述第I位置的上述第2像素的重叠区域即第5受光区域的受光值， 在上述第3受光区域、第5受光区域与上述第2受光区域是同一受光区域时，根据通过上述第I中间像素值模式 第3中间像素值模式的估计而获得的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述同一受光区域的中间像素值。
12.根据权利要求I所述的图像处理装置，其特征在干， 上述估计运算部对上述估计像素值根据上述估计像素值的像素位置进行不同滤波器系数的滤波处理。
13.根据权利要求I所述的图像处理装置，其特征在干， 在ー边沿着倾斜方向重叠上述像素一边进行上述像素移动并取得上述低分辨率图像时， 上述估计运算部将沿着上述倾斜方向进行上述像素移动后的上述像素的重叠区域的受光值估计为上述估计像素值。
14.根据权利要求f13中任意ー项所述的图像处理装置，其特征在干， 上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各3步的上述像素移动并取得16帧的各个颜色分量的马赛克图像作为上述低分辨率图像吋， 上述估计运算部根据上述16帧的各顔色分量的马赛克图像，按照每个颜色分量来估计与上述高分辨率图像的全部像素对应的上述估计像素值。
15.根据权利要求f13中任意ー项所述的图像处理装置，其特征在干， 上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各I步的上述像素移动并取得4帧的各个颜色分量的马赛克图像作为上述低分辨率图像吋， 上述估计运算部对上述4帧的各顔色分量的马赛克图像进行去马赛克处理，井根据上述去马赛克处理后的图像来估计上述估计像素值。
16.一种摄像装置，其特征在于，包含 摄像元件； 成像光学系统，其对上述摄像元件形成被摄体像；像素移动控制部，其控制为一边重叠像素一边依次进行像素移动来对上述被摄体像进行采样； 存储部，其在一边进行上述像素移动ー边利用上述摄像元件进行各摄像动作时，将通过各个上述摄像动作取得的上述像素的受光值作为低分辨率图像进行存储； 估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及 图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像， 在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时， 上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。
17.ー种程序，其特征在干， 使计算机作为以下的部件发挥功能 存储部，其在一边重叠像素一边依次进行像素移动来采样被摄体像，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像； 估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及 图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像， 在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时， 上述估计运算部求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。
18.ー种图像处理方法，其特征在干， 在一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动ー边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像， 根据所存储的上述多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值， 根据上述估计运算部所估计的上述估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，并且 在第I位置与上述第I位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第I位置的像素与上述第2位置的像素重叠时， 在上述估计像素值的估计中求出上述第I位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，井根据上述差分值来估计上述估计像素值。
全文摘要
本发明提供能够利用简单的处理由低分辨率动态图像取得高分辨率图像的图像处理装置、摄像装置、程序以及图像处理方法等。图像处理装置包含存储部、估计运算部和图像输出部。一边重叠像素一边依次进行像素移动来将像素的受光值a00~a11作为低分辨率图像来取得。存储部存储该低分辨率图像。估计运算部估计比低分辨率图像的像素间距p小的像素间距p/2的估计像素值。图像输出部根据该估计像素值来输出分辨率比低分辨率图像高的高分辨率图像。此时，估计运算部求出第1位置的像素的受光值a00与第2位置的像素的受光值a10的差分值a10-a00，根据该差分值a10-a00来估计该估计像素值。
文档编号H04N5/232GK102870403SQ201180020088
公开日2013年1月9日 申请日期2011年4月7日 优先权日2010年4月15日
发明者今出慎一 申请人:奥林巴斯株式会社