专利名称：图像处理装置、摄像装置、程序和图像处理方法
技术领域：
本发明涉及图像处理装置、摄像装置、程序和图像处理方法等。
背景技术：
如今，有的数码相机、摄像机能切换使用静止图像拍摄方式和动态图像拍摄方式。例如，在动态图像拍摄中用户通过进行按钮操作，能拍摄分辨率比动态图像高的静止图像。现有技术文献_4] 专利文献专利文献1:特开2009-124621号公报专利文献2:特开2008-243037号公报
发明内容
发明要解决的课题然而，在切换静止图像拍摄方式和动态图像拍摄方式的方法中，存在当用户注意到是快门时机时往往已经错过了决定性的瞬间的课题。为了实现这种决定性的瞬间的拍摄，本发明人考虑从低分辨动态图像生成任意定时的高分辨静止图像。例如专利文献1、2中公开了从通过像素移位取得的低分辨图像合成高分辨图像的方法。然而，根据该方法，需要利用像素移位的摄像，因此，相机的构成变得复杂。另外，存在高分辨化处理负荷增大、有时难以推定像素值的课题。根据本发明的几个实施方式，能提供能以简单处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序和图像处理方法等。用于解决课题的方案本发明的一个实施方式涉及一种图像处理装置，包括:存储部，其在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。根据本发明的一个实施方式，假想受光单位的受光值通过以受光单位的受光值为基础的插值处理来求出。根据该假想受光单位的受光值和受光单位的受光值，推定与低分辨帧图像的像素间距相比像素间距小的推定像素值。并且，根据该推定像素值，输出分辨率比低分辨帧图像高的高分辨帧图像。由此，能以简单的处理从低分辨动态图像取得高分辨图像等。另外，在本发明的一个实施方式中也可以是，上述推定运算部求出第I受光单位与第2受光单位的差分值，根据上述差分值来推定上述推定像素值，其中，上述第I受光单位是设定于第I方位的上述受光单位或上述假想受光单位中的任一个，上述第2受光单位是设定于与上述第I受光单位重叠的第2方位的上述假想受光单位。这样，根据第I受光单位的受光值与第2受光单位的受光值的差分值来推定出推定像素值，由此能根据受光单位的受光值和假想受光单位的受光值来推定出推定像素值。另外，在本发明的一个实施方式中也可以是，上述推定运算部用上述差分值表示从上述第I受光单位除去重叠区域后的第I受光区域的受光值即第I中间像素值与从上述第2受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式，上述推定运算部用上述关系式推定上述第I中间像素值、第2中间像素值，用推定出的上述第I中间像素值来求出上述推定像素值。这样，第I中间像素值、第2中间像素值之间的关系式由上述差分值表示，根据该关系式来推定第I中间像素值、第2中间像素值，根据该第I中间像素值来推定出推定像素值。由此，能根据第I受光单位的受光值与第2受光单位的受光值的差分值来推定出推定像素值。另外，在本发明的一个实施方式中也可以是，上述推定运算部在将包含上述第I中间像素值、第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，用上述受光单位的受光值和上述假想受光单位的受光值来表示上述中间像素值模式所包含的中间像素值之间的关系式，上述推定运算部对用上述关系式表示的上述中间像素值模式与用上述受光单位的受光值及上述假想受光单位的受光值表示的受光值模式进行比较来评价类似性，上述推定运算部根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式所包含的中间像素值。这样，评价中间像素值模式和受光值模式的类似性，以该类似性为最高的方式决定中间像素值模式所包含的中间像素值，由此能根据中间像素值间的关系式来决定中间像素值。另外，在本发明的一个实施方式中也可以是，上述推定运算部求出表示用上述关系式所表示的上述中间像素值模式与上述受光值模式之间的误差的评价函数，以上述评价函数的值为最小的方式决定上述中间像素值模式所包含的中间像素值。这样，求出评价函数，由此能评价中间像素值模式和受光值模式的类似性。另外，以评价函数的值为最小的方式决定中间像素值，由此能以类似性为最高的方式决定中间像素值。另外，在本发明的一个实施方式中也可以是，上述插值处理部将上述低分辨帧图像所包含的上述受光单位的受光值中的、上述假想受光单位的周边的多个受光单位的受光值进行加权相加来求出上述假想受光单位的受光值。这样，能通过低分辨帧图像的以受光单位的受光值为基础的插值处理来求出假想受光单位的受光值。另外，在本发明的一个实施方式中也可以是，在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值相加而作为上述受光单位的受光值来读出，上述推定运算部根据通过相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
这样，能根据通过相加读出得到的受光单位的受光值来推定该受光单位的各像素的像素值。另外，在本发明的一个实施方式中也可以是，在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值加权相加作为上述受光单位的受光值来读出，上述推定运算部根据通过加权相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。这样，能根据通过加权相加读出得到的受光单位的受光值来推定该受光单位的各像素的像素值。另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相邻的多个像素不依赖于像素的颜色地设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相同颜色的多个像素设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。根据该本发明的一个实施方式，能从由彩色摄像元件取得的低分辨帧图像来推定出推定像素值，输出彩色的高分辨帧图像。另外，在本发明的一个实施方式中也可以是，在将上述受光单位按NXN像素设定，将上述NXN像素的像素值相加而读出，取得NXN像素的受光单位的受光值的情况下，上述插值处理部通过插值处理求出将上述NXN像素的受光单位进行了 N/2像素移位后得到的NXN像素的假想受光单位的受光值，上述推定运算部根据上述NXN像素的受光单位的受光值和上述NXN像素的假想受光单位的受光值，推定N/2 XN/2像素的受光单位的受光值，上述插值处理部通过插值处理求出将上述N/2XN/2像素的受光单位进行了N/4像素移位后得到的N/2XN/2像素的假想相加像素的像素值，上述推定运算部根据上述N/2XN/2像素的受光单位的受光值和上述N/2XN/2像素的假想受光单位的受光值，推定N/4XN/4像素的受光单位的受光值。这样，能从NXN像素的受光单位的受光值推定N/2XN/2像素的受光单位的受光值，从该N/2XN/2像素的受光单位的受光值推定N/4XN/4像素的受光单位的受光值。由此，能依次重复进行推定处理来推定出推定像素值。另外，在本发明的一个实施方式中也可以是，在按各帧进行将上述受光单位一边重叠一边进行移位的像素移位，通过上述像素移位将上述受光单位依次设定于多个方位，按每多个帧将上述受光单位设定在相同的方位的情况下，上述插值处理部根据由上述各帧取得的上述低分辨帧图像，在上述各帧中通过插值处理求出上述假想受光单位的受光值，上述推定运算部根据上述受光单位的受光值和上述假想受光单位的受光值，在上述各帧中推定上述推定像素值，上述图像输出部根据上述推定像素值来求出上述各帧的帧图像，将上述多个帧的上述帧图像合成来输出上述高分辨帧图像。这样，根据在各帧中进行像素移位的受光单位的受光值，在各帧中推定出推定像素值来求出帧图像，将该多个帧图像合成后输出高分辨帧图像。另外，在本发明的一个实施方式中也可以是，上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出。这样，能根据高分辨帧图像来输出高清动态图像或高分辨静止图像。另外，本发明的其它实施方式涉及一种摄像装置，包括:摄像元件；读出控制部，其将作为取得受光值的单位的受光单位设定于上述摄像元件，读出上述受光单位的受光值，取得低分辨帧图像；存储部，其存储由上述读出控制部取得的上述低分辨帧图像；插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。另外，在本发明的其它的实施方式中也可以是，包括:显示部和进行在上述显示部显示图像的控制的显示控制部，上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出，上述显示控制部对显示由上述低分辨帧图像得到的动态图像进行控制、对显示上述高清动态图像进行控制以及对显示上述高分辨静止图像进行控制。另外，本发明的其它实施方式涉及一种程序，使计算机作为如下装置发挥功能:存储部，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；插值处理部，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。另外，本发明的其它实施方式涉及一种图像处理方法，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定，根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值，根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
图1是受光值的插值方法的说明图。图2(A)、图2(B)是推定处理块和受光单位的说明图。图3(A)、图3(B)是推定像素值和中间像素值的说明图。图4是推定像素值的第I推定方法的说明图。图5是推定像素值的第I推定方法的说明图。图6是推定像素值的第I推定方法的说明图。图7(A)、图7(B)是中间像素值和推定像素值的说明图。图8是推定像素值的第I推定方法的说明图。图9是推定像素值的第I推定方法的说明图。图10是推定像素值的第I推定方法的说明图。图11是摄像装置和图像处理装置的第I构成例。图12是动态图像拍摄中的插值方法的说明图。图13是推定像素值的第2推定方法的说明图。图14(A)、图14⑶是推定像素值的第3推定方法的说明图。图15是推定像素值的第3推定方法的说明图。图16是推定像素值的第3推定方法的说明图。图17(A)、图17⑶是推定像素值的第3推定方法的说明图。图18是数据压缩扩展和推定处理方法的说明图。图19是数据压缩扩展和推定处理方法的说明图。图20是摄像装置和图像处理装置的第2构成例。图21是推定像素值的第4推定方法的说明图。图22(A)、图22⑶是推定像素值的第4推定方法的说明图。图23是推定像素值的第4推定方法的说明图。图24是推定像素值的第4推定方法的说明图。图25是推定像素值的第4推定方法的说明图。图26是推定像素值的第4推定方法的说明图。图27是推定像素值的第4推定方法的说明图。图28是推定像素值的第4推定方法的说明图。图29是推定像素值的第5推定方法的流程图。图30是推定像素值的第6推定方法的说明图。图31是推定像素值的第6推定方法的流程图。图32(A)、图32⑶是推定像素值的第7推定方法的说明图。图33是摄像装置和图像处理装置的第3构成例。
具体实施例方式下面详细说明本发明的优选实施方式。此外，以下说明的本实施方式并非对权利要求中记载的本发明的内容进行不当限定，在本实施方式中说明的构成未必都是本发明的解决方案所必须的。1.比较仞丨
首先说明本实施方式的比较例。在数码相机、摄像机的产品中，有些以静止图像拍摄为主的数码相机带有动态图像拍摄功能，有些以动态图像拍摄为主的摄像机带有静止图像拍摄功能。这些相机多是切换使用静止图像拍摄方式和动态图像拍摄方式。其中，存在能以伴随动态图像拍摄的高帧速率拍摄高精细静止图像的产品，它能进行短时间的高速连拍。若使用这种器材，则具有能用一个器材来进行静止图像和动态图像的拍摄的便利性。然而，在这些方法中，存在难以不会错过很多人所追求的快门时机地得到高质量的静止图像的课题。例如，在动态图像拍摄中瞬时切换为拍摄高质量静止图像的方式的方法中，存在动态图像被中断，在用户注意到时已经错过了决定性的瞬间的课题。这样，在现有的方法中要求拍摄者具有相当的技巧，因此，要求例如能一边拍摄动态图像，一边将其中任意图像生成为高精细图像，或者随意地拍摄后，能从其中不降低分辨率地提取高精细图像并选择所期望的构图。为了解决不错过这样的快门时机的课题，可考虑通过动态图像拍摄来无遗漏地拍摄全部场景，从其中自由得到决定性的瞬间作为高质量的静止图像的方法。为了实现该方法，需要能以高帧速率拍摄高精细图像。然而，该方法的实现并不容易。例如，为了以60fps(fps:帧/秒)连续拍摄1200万像素的图像，需要能进行超高速摄像的摄像元件、对摄像数据进行超高速处理的处理电路、超高速数据压缩处理功能、记录庞大数据的记录单元。为此，需要使用多个摄像元件、并行处理、大规模存储器、高能力散热机构等，在追求小型化、低成本的民用器材中并不现实。如果不是动态图像拍摄的高清(200万像素)程度的分辨率的高质量的静止图像，虽然能实现，但是作为高清程度的分辨率的静止图像是不充分的。另外，作为进行高帧速率的动态图像拍摄的方法，可考虑如下方法:使用能用多像素拍摄高精细图像的高像素图像传感器，通过像素的间拔读出或者相邻像素的相加读出来进行低分辨图像化，通过减少I次读出数据来实现。然而，在该方法中，无法以高帧速率拍摄闻精细图像。为了解决该课题，需要从以高帧速率拍摄到的低分辨图像得到高分辨图像。作为从低分辨图像得到高分辨图像的方法，可考虑如下方法:例如对通过像素移位而拍摄到的低分辨图像进行所谓超分辨处理来生成高分辨图像。然而，在该方法中，需要使传感器机械地移位，或者一边移位一边进行相加读出，因此，相机的构成变得复杂。另外，需要超分辨处理，因此处理负荷变大。例如，作为利用像素移位的超分辨处理，可考虑使用相加读出的方法。S卩，将低分辨图像依次进行位置偏移并且读出后，根据该多个位置偏移图像来暂时假定高精细化图像。然后，使假定的图像劣化来生成低分辨图像，将其与原来的低分辨图像进行比较，以其差异最小的方式使高精细图像变形，推定高精细图像。作为该超分辨处理，已知ML (Maximum-Likelihood:最大似然)法、MAP (Maximum A Posterior:最大后验概率)法、POCS (Projection Onto Convex Set:凸集投影)法、IBP (Iterative Back Projection:迭代反投影)法等。作为使用该超分辨处理的方法，有例如上述专利文献I公开的方法。在该方法中，在动态图像拍摄时按时间序列依次拍摄进行了像素移位的低分辨图像，将该多个低分辨图像合成来假定高分辨图像。然后，对该假定的高分辨图像实施上述超分辨处理，推定似然高的高分辨图像。然而，在这些方法中，使用通过多使用二维滤波的反复运算来提高推定精度的一般超分辨处理。因此，存在处理的规模非常大，处理时间增加，难以应用于处理能力、成本受限的器材的课 题。例如，当用于数码相机这种小型便携摄像装置时，出现处理电路的规模会变大、消耗电力增大、产生大量的热、成本大幅度增加等课题。另外，在上述专利文献2中公开了用进行了像素移位的多个低分辨图像来生成高分辨图像的方法。在该方法中，使构成想求出的高分辨图像的假像素为副像素，以该副像素的平均值与拍摄到的低分辨图像的像素值一致的方式推定副像素的像素值。在该像素值的推定中，设定多个副像素的初始值，从低分辨图像的像素值减去除了想算出的副像素以外的副像素的像素值来求出像素值，将其应用于依次相邻的像素。然而，在该方法中，存在如果初始值的确定不好则推定误差会非常大的课题。在该方法中，为了设定初始值，从图像找出副像素的像素值变化小、涵盖它们的低分辨像素值大致等于它们的平均值的部分。因此，当无法从拍摄图像找到适于初始值的设定的部分时，就难以进行初始值的推定。另外，也会需要探索适于初始值的设定的部分的处理。2.受光倌.的插倌.方法因此，在本实施方式中，通过摄像来取得低分辨帧图像，根据该低分辨帧图像通过插值处理假想地求出进行了像素移位的低分辨帧图像，用简单的推定处理从这些图像推定高分辨帧图像。首先，用图1说明通过插值处理求出进行了像素移位的低分辨帧图像的方法。此外，下面将通过摄像取得的受光值(像素值)称为受光单位(受光值取得单位)的受光值，将通过插值处理求出的受光值称为假想受光单位(插值受光单位)的受光值。另外，下面以受光单位的受光值是4像素相加值的情况为例进行说明，但在本实施方式中，不限于该情况，例如也可以是I像素的像素值、9像素相加值。如图1所示，通过摄像取得构成低分辨帧图像的受光单位的受光值a_2,_2、a0,_2、…、a22 (用实线的方形示出)。具体地说，按摄像元件的每4像素(I像素或多个像素)设定受光单位，将该受光单位所包含的像素的像素值相加或者加权相加而读出，取得受光值。当将摄像元件的像素间距设为P时，受光单位的间距是2p。然后，通过帧内的插值处理从该低分辨帧图像求出3个进行了重叠移位的低分辨帧图像(以下，称为移位图像)。具体地说，求出相对于低分辨帧图像在水平方向移位了间距P的第I移位图像、在垂直方向移位了间距P的第2移位图像、在水平方向和垂直方向移位了间距P的第3移位图像。这些移位量与假定实际上进行了移位摄像时的摄像元件上的移位量对应。例如，如图1所示，接近已取得的受光值Btltl的3个假想受光单位的受光值a10、a01, a11 (用虚线的方形示出)分别是构成第I移位图像 第3移位图像的受光值。假想受光单位设定为与受光单位相同的像素数的4像素。该受光值a10、a01, a11从假想受光单位的周边的受光值来推定。例如如下式⑴所示，受光值a10、a01, an的推定值是通过对所接近的受光单位的受光值乘以加权系数W0W1 W2进行插值推定来求出。a。。=(已知的取得值)，a10 = (W1.a0-2+W1.a2,_2)
+ (W(l.a00+w0.a20)+ (W1.a02+w1.a22),
权利要求
1.一种图像处理装置，其特征在于， 包括: 存储部，其在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像； 插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定； 推定运算部，其根据上述 受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及 图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
2.根据权利要求1所述的图像处理装置，其特征在于， 上述推定运算部求出第I受光单位与第2受光单位的差分值，根据上述差分值来推定上述推定像素值，其中，上述第I受光单位是设定于第I方位的上述受光单位或上述假想受光单位中的任一个，上述第2受光单位是设定于与上述第I受光单位重叠的第2方位的上述假想受光单位。
3.根据权利要求2所述的图像处理装置，其特征在于， 上述推定运算部用上述差分值表示从上述第I受光单位除去重叠区域后的第I受光区域的受光值即第I中间像素值与从上述第2受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式， 上述推定运算部用上述关系式推定上述第I中间像素值、第2中间像素值，用推定出的上述第I中间像素值来求出上述推定像素值。
4.根据权利要求3所述的图像处理装置，其特征在于， 上述推定运算部在将包含上述第I中间像素值、第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，用上述受光单位的受光值和上述假想受光单位的受光值来表示上述中间像素值模式所包含的中间像素值之间的关系式， 上述推定运算部将用上述关系式表示的上述中间像素值模式与用上述受光单位的受光值及上述假想受光单位的受光值表示的受光值模式进行比较来评价类似性， 上述推定运算部根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式所包含的中间像素值。
5.根据权利要求4所述的图像处理装置，其特征在于， 上述推定运算部求出表示用上述关系式所表示的上述中间像素值模式与上述受光值模式之间的误差的评价函数，以上述评价函数的值为最小的方式决定上述中间像素值模式所包含的中间像素值。
6.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 上述插值处理部将上述低分辨帧图像所包含的上述受光单位的受光值中的、上述假想受光单位的周边的多个受光单位的受光值进行加权相加来求出上述假想受光单位的受光值。
7.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值相加而作为上述受光单位的受光值来读出， 上述推定运算部根据通过相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
8.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值加权相加而作为上述受光单位的受光值来读出， 上述推定运算部根据通过加权相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
9.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 上述摄像元件是彩色摄像元件，将相邻的多个像素不依赖于像素的颜色地设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像， 上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值， 上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
10.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 上述摄像元件是彩色摄像元件，将相同颜色的多个像素设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像， 上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值， 上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
11.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 在将上述受光单位按NXN像素设定，将上述NXN像素的像素值相加而读出，取得NXN像素的受光单位的受光值的情况下， 上述插值处理部通过插值处理求出将上述NXN像素的受光单位进行了 N/2像素移位后得到的NXN像素的假想受光单位的受光值， 上述推定运算部根据上述NXN像素的受光单位的受光值和上述NXN像素的假想受光单位的受光值，推定N/2XN/2像素的受光单位的受光值， 上述插值处理部通过插值处理求出将上述N/2XN/2像素的受光单位进行了 N/4像素移位后得到的N/2XN/2像素的假想相加像素的像素值， 上述推定运算部根据上述N/2 X N/2像素的受光单位的受光值和上述N/2 X N/2像素的假想受光单位的受光值，推定N/4XN/4像素的受光单位的受光值。
12.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 在按各帧进行将上述受光单位一边重叠一边移位的像素移位，通过上述像素移位将上述受光单位依次设定于多个方位， 按每多个帧将上述受光单位设定于相同的方位的情况下，上述插值处理部根据由上述各帧取得的上述低分辨帧图像，在上述各帧中通过插值处理求出上述假想受光单位的受光值， 上述推定运算部根据上述受光单位的受光值和上述假想受光单位的受光值，在上述各帧中推定上述推定像素值， 上述图像输出部根据上述推定像素值来求出上述各帧的帧图像，将上述多个帧的上述帧图像合成而输出上述高分辨帧图像。
13.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于， 上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出。
14.一种摄像装置，其特征在于， 包括: 摄像元件； 读出控制部，其将作为取得受光值的单位的受光单位设定于上述摄像元件，读出上述受光单位的受光值而取得低分辨帧图像； 存储部，其存储由上述读出控制部取得的上述低分辨帧图像； 插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定； 推定运算部，其根据上述 受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及 图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
15.根据权利要求14所述的摄像装置，其特征在于， 包括: 显示部；和 进行在上述显示部显示图像的控制的显示控制部， 上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出， 上述显示控制部对显示由上述低分辨帧图像得到的动态图像进行控制、对显示上述高清动态图像进行控制以及对显示上述高分辨静止图像进行控制。
16.一种程序，其特征在于， 使计算机作为如下装置发挥功能: 存储部，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像； 插值处理部，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定； 推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
17.一种图像处理方法，其特征在于， 在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像， 通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定， 根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值， 根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。`
全文摘要
提供能以简单的处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序以及图像处理方法等。图像处理装置包括存储部、插值处理部、推定运算部、图像输出部。读出受光单位的受光值(a-2，-2～a22)而取得低分辨帧图像。存储部存储该低分辨帧图像。插值处理部通过基于受光值(a-2，-2～a22)的插值处理求出假想受光单位的受光值(a10、a01、a11)。推定运算部根据受光单位的受光值(a00)和假想受光单位的受光值(a10、a01、a11)，推定与低分辨帧图像相比像素间距小的推定像素值。图像输出部根据该推定像素值输出分辨率比低分辨帧图像高的高分辨帧图像。
文档编号H04N9/07GK103109305SQ201180025799
公开日2013年5月15日 申请日期2011年5月2日 优先权日2010年5月26日
发明者今出慎一 申请人:奥林巴斯株式会社