专利名称：摄像处理装置以及摄像装置、图像处理方法以及计算机程序的制作方法
技术领域：
本发明所涉及动态图像的图像处理。具体来说，涉及生成利用图像处 理将所摄影的动态图像的分辨率以及帧率的至少一方提高后的动态图像 的技术。
背景技术：
在近年的影像输入领域中，移动电话用照相机、数字静物照相机的多 像素化、像素间距的小型化有所进展。
根据与图像摄像机器所需要的像质，将空间分辨率划分为跨度多路而
使用。例如TV电话的分辨率是QCIF (Quarter Common Intermediate Format,横176像素，纵144像素)程度，或者，QVGA (Quarter Video Gr邻hics Array,横320像素，纵144像素)程度的比较低的像素数。另 一方面，数字一眼反射照相机的分辨率超过1000万像素。
时间分辨率也分割为跨度多路使用。例如，对于直到HDTV的像素 数的时间分辨率，能够实现利民用机器的视频率(30帧/秒)的摄像。然 而，对于其以上的像素数的摄像，其帧率，局限于基于搭载于数字静物照 相机的连拍功能的每秒数帧。
另一方面，影像显示的技术领域中，平板电视(7，、;/卜亍k匕')以 急剧的势头普及。与此相伴，可以预测通过今后各种分辨率的照相机和显 示器的组合，用户能够对影像进行视听。
若将输入侧的照相机的时空分辨率(表示"时间分辨率以及空间分辨 率"，以下同样)和输出侧的显示器的时空分辨率进行比较，现阶段的民 用机器中输出侧的显示器一方较高。为此，成为如下状况即一般用户能 够轻易地输入最大限度地发挥了输出侧的性能的影像。
作为成为这种状况的理由，至此可以列举出读出速度是瓶颈。高空间 分辨率的摄影限于每秒5帧左右，相反，每秒30帧的摄影限于H D T V的空间分辨率。因此，难于以较高空间分辨率图像且较高帧率进行摄像。
对于上述的课题，例如在专利文献1到3中，作为用于将高空间分辨 率和高帧率的摄像兼顾的方式，提案了如下的方式即利用2系统的照相 机输入时间分辨率和空间分辨率不同的图像，并通过信号处理生成高空间 分辨率且高帧率的图像。在这些专利文献中记载了图18所示的构成。
图18示出了以往的摄像装置的构成。入射到摄像装置的光的一部分
透过半反射镜171，而入射到第1照相机172。结果，对低分辨率、高帧
率的动态图像进行摄影。另一方面，入射到摄像装置的光中，由半反射镜
171所反射的光，入射到第2照相机173。结果，对高分辨率、低帧率的 动态图像进行摄影。
向上变换器(7、77。〕y八一夕)174，对由第1照相机172以及第2 照相机173所摄影的各动态图像进行受理，而进行图像处理，从而输出高 分辨率、高帧率的动态图像。
专利文献1特开平7_143439号公报
专利文献2特表2005 — 515675号公报
专利文献3特开2005 — 318548号公报
然而，上述的摄像装置中，基本上假定是针对单色图像的处理而构成， 因此若适用于由红色(R)、绿色(G)、蓝色(B)这3信道(于卞才W) 构成的彩色图像，则需要3倍处理量。另外，在处理后的图像中的边缘附 近变得与R、 G、 B的各色不相关，因此产生伪色，引起像质降低。
本发明旨在解决上述的课题，目的在于在不降低运算量的情况下，抑 制伪色的产生，而进行彩色图像的高分辨率化。
发明内容
基于本发明的摄像处理装置，具有分离部，其将可见光分离为第l 色成分、第2色成分以及第3色成分；第1摄像部，其对所述第l色成分 以及第3色成分的动态图像进行摄影，以第1电荷蓄积期间进行曝光，并 以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄 影；第2摄像部，其对所述第2色成分的动态图像进行摄影，并以比所述 第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，并以比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率
对构成所述动态图像的各图像进行摄影；控制部，其对所述第l摄像部以
及所述第2摄像部中的摄像条件进行控制；第l向上变换器，其基于所述
第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，生
成提高了时空分辨率后的所述第2成分的动态图像；第2向上变换器，其
基于所述第1色成分和所述第3色成分的各动态图像的信息，以及提高了 时空分辨率后的所述第2成分的动态图像的信息，生成提高了空间分辨率 后的所述第1色成分以及所述第3色成分的动态图像。
也可以是，所述第2向上变换器，具有向下变换器，其对提高了时 空分辨率后的所述第2成分的动态图像空间地进行低分辨率化；系数推定
部，其基于降低了空间分辨率后的所述第2成分的动态图像以及提高了时 空分辨率后的所述第2成分的动态图像的关系，对用于从分辨率较低的动 态图像生成分辨率较高的动态图像的复原滤波器的系数进行推定；其利用 所推定的所述系数，提高了所述第1色成分以及所述第3色成分的动态图 像的空间分辨率而输出。
也可以是，所述第2向上变换器，备有对提高了时空分辨率后的所述 第2成分的动态图像空间地进行低分辨率化的向下变换器，所述第2向上 变换器，对利用所述向下变换器降低了空间分辨率后的所述第2成分的动 态图像以及提高了时空分辨率后的所述第2成分的动态图像的关系进行学 习，并基于学习结果，提高所述第1色成分以及所述第3色成分的动态图 像的空间分辨率而输出。
也可以是，所述第2向上变换器，还具有对提高了时空分辨率后的所 述第2成分的动态图像空间地进行低分辨率的向下变换器， 所述第2向上变换器，基于预先确定的、与由所述向下变换器降低了空间 分辨率后的所述第2成分的动态图像以及提高了时空分辨率后的所述第2 成分的动态图像的关系相关的学习模式，提高所述第1色成分以及所述第 3色成分的动态图像的空间分辨率而输出。
也可以是，所述第2向上变换器，具有向下变换器，其对提高了时 空分辨率后的所述第2成分的动态图像空间地进行低分辨率化；插补放大 部，其对所述第1色成分以及所述第3色成分的动态图像空间地进行插补放大；相关运算部，其对表示插补放大后的所述第1色成分以及所述第3 色成分的动态图像的局部性相关的相关值进行运算，并基于提高了时空分 辨率后的所述第2成分的动态图像的广域成分以及所述相关值，生成与所 述第1色成分以及所述第3色成分的动态图像相对应的广域成分，并重叠 于插补放大后的所述第1色成分以及所述第3色成分的动态图像，且输出 提高了空间分辨率后的所述第1色成分以及所述第3色成分的动态图像。
也可以是，所述第2向上变换器，对利用所述向下变换器降低了空间 分辨率后的所述第2成分的动态图像和提高了时空分辨率后的所述第2成 分的动态图像的差进行运算，而生成提高了时空分辨率后的所述第2成分 的动态图像的广域成分。
也可以是，所述第2向上变换器，通过对提高了时空分辨率后的所述 第2成分的动态图像的广域成分和所述相关值进行乘算，而生成与所述第 1色成分以及所述第3色成分的动态图像相对应的广域成分。
也可以是，所述第2向上变换器，具有对所述第l色成分以及所述第 3色成分的动态图像的各帧空间地进行插补放大的插补放大部。
也可以是，所述第2向上变换器，具有向下变换器，其对提高了时 空分辨率后的所述第2成分的动态图像空间地进行低分辨率化；插补放大 部，其对所述第1色成分以及所述第3色成分的动态图像空间地进行插补 放大；辉度计算部，其基于提高了时空分辨率后的所述第2成分的动态图 像，以及插补放大后的所述第1色成分以及所述第3色成分的动态图像， 而计算辉度成分；色差计算部，其基于空间地低分辨率化后的所述第2成 分的动态图像以及插补放大后的所述第1色成分以及所述第3色成分的动 态图像，而计算色差成分。
也可以是，所述第2色成分是绿色。
也可以是，所述第2色成分能够从红色、绿色以及蓝色的其中之一选择。
基于本发明的图像处理方法，对由摄像装置所摄影的动态图像的信息 进行处理，所述摄像装置，具有分离部，其将可见光分离为第1色成分、 第2色成分以及第3色成分；第1摄像部，其对所述第1色成分以及第3
色成分的动态图像进行摄影，并在第1电荷蓄积期间进行曝光，并以第l空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第 2摄像部，其对所述第2色成分的动态图像进行摄影，并在比所述第1电 荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率高 的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率，对构成
所述动态图像的各图像进行摄影；控制部，其对所述第l摄像部以及所述 第2摄像部中的摄像条件进行控制，所述图像处理方法包括基于所述第 1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，生成 提高了时空分辨率后的所述第2成分的动态图像的步骤；基于所述第1色 成分和所述第3色成分的各动态图像的信息，以及提高了时空分辨率后的 所述第2成分的动态图像的信息，生成提高了空间分辨率后的所述第1色 成分以及所述第3色成分的动态图像的步骤。
基于本发明的计算机程序，使设于图像处理装置中的处理器，处理利 用摄像装置摄影的动态图像的信息，所述摄像装置，具有
分离部，其将可见光分离为第1色成分、第2色成分以及第3色成分；第
l摄像部，其对所述第1色成分以及第3色成分的动态图像进行摄影，并 在第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构 成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的 动态图像进行摄影，并以比所述第1电荷蓄积期间长的第2电荷蓄积期间 进行曝光，以比所述第1空间分辨率高的第2空间分辨率、比所述第l时 间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控 制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制， 所述计算机程序使所述处理器执行如下步骤基于所述第1色成分的动态 图像的信息以及所述第2色成分的动态图像的信息，而生成提高了时空分 辨率后的所述第2成分的动态图像的步骤；基于所述第1色成分以及所述 第3色成分的各动态图像的信息，以及提高了时空分辨率后的所述第2成 分的动态图像的信息，生成提高了空间分辨率后的所述第1色成分以及所 述第3色成分的动态图像的步骤。
根据本发明的摄像处理装置，能够从分辨率和帧率不同的多个色成分 的动态图像，生成分辨率和帧率均较高的多色动态图像。对多个的色成分 的动态图像的每个，不使用半反射镜等，而使用例如二向色反射镜，将入射光分离为每个色成分而进行摄影。为此，能够达到将以H D T V以上高 分辨率化后的彩色图像作为动画而得到的效果、并能够将H D T V用彩色 照相机进一步小型化。
图1是表示基于实施方式1的摄像处理装置1的构成的图。
图2是更详细地对G用向上变换器106的构成进行表示的图。
图3 ( a )以及(b )，是表示对利用区段匹配进行移动检测时的基准
帧和参照帧的图。
图4是表示构成2X2像素的彩色图像的R、 G、 B像素组的图。
图5是表示构成较大的图像中的局部区域的像素i ， i +1， i + w
以及i +w + l的图。
图6是对R和B的局部性相关p和权重W的关系进行表示的图。 图7是对R、 B用向上变换器107的构成更详细地进行表示的图。 图8是更详细地对其他的例的R、 B用向上变换器107的构成进行表
示的图。
图9是对相关值p和权重W2的关系的例进行表示的图。 图IO是对R、 B用向上变换器107的构成的变形例进行表示的图。 图11是对基于实施方式1的变形例的摄像处理装置11的构成进行表 示的图。
图12是表示将摄像处理装置1 一般化后的摄像处理装置13的构成的图。
图13是对由基于实施方式2的摄像装置901、网络902以及处理装置 903所构成的图像处理系统的例进行表示的图。
图14是表示由计算机构成的图像处理装置的硬件的图。 图15是表示本发明的处理过程的流程图。
图16是对图15中所示的步骤S103的详细的处理过程进行表示的流程图。
图17是对其他例的步骤S 103中的详细处理过程进行表示的流程图。 图18是对以往的摄像装置的构成进行表示的图。图19是对构成2X2X2像素的彩色图像的R、 G、 B像素组进行表
示的图。
图20是对构成着眼像素和其近旁3像素的彩色图像的R、 G、 B像 素组进行表示的图。 图中
101 透镜系统
102 二向色反射镜(夕、V夕口,:y夕S，一) 103第l摄像部
104第2摄像部 105图像处理部
106 G用向上变换器
107 R、 B用向上变换器 120控制部
具体实施例方式
以下，参照附图对基于本发明的摄像处理装置的实施方式进行说明。 (实施方式1)
图1表示基于本实施方式的摄像处理装置1的构成。摄像处理装置1, 具有透镜系统101、 二向色反射镜102、第1摄像部103、第2摄像部104、 图像处理部105、以及控制部120。
以下，首先对各构成元素的功能进行概说，其后，与摄像处理装置1 的动作相关联地对各构成元素的动作进行详述。
透镜系统101，将从摄像处理装置1的外部入射的光即被拍摄体的像
进行会聚。
二向色反射镜102将光的红色(R)成分以及蓝色(B)成分透过， 并将光的绿色(G)成分反射。g卩，二向色反射镜102，将入射的光分离 为红色(R)成分和蓝色(B)成分，以及绿色(G)成分。另外，在以 下中，将红色成分记述为"R成分"，绿色成分"G成分"，将蓝色成分 记述为"B成分"。
第1摄像部103，基于入射光(这里为光的R成分以及B成分)，以短时间的曝光时间、低分辨率以及高帧率对R成分以及B成分的动态图像分 别进行摄影。并且，输出所得到的数据。另外，为了分别取得R成分的动 态图像以及B成分的动态图像，第1摄像部103也可以在内部具有二向色 反射镜，并且，备有对R成分以及B成分进行检测的摄像元件。
第2摄像部104，基于入射光(这里为光的G成分)，以长时间的曝光 时间、高分辨率以及低帧率对动态图像进行摄影，并输出G成分的动态图 像的数据。
图像处理部105，对与R成分以及B成分的光对应的动态图像的数据 以及与G成分的光对应的动态图像的数据进行受理(受rt取i9)，并利用 图像处理将各自变换为高分辨率以及高帧率的动态图像而输出。
图像处理部105备有G用向上变换器(7:y7。^:/A—夕)106以及 R、 B用向上变换器107。
G用向上变换器106生成将G成分的帧率提高后的高分辨率、高帧率 的动态图像的数据。R、 B用向上变换器107，提高R成分以及B成分的 分辨率，并生成高分辨率、高帧率的动态图像的数据。动态图像，将1枚 或者多枚的图像以规定的帧率连续地进行切换而显示。基于R、 B用向上 变换器107的提高分辨率的处理，表示将构成动态图像的各图像的像素数 增加。
G用向上变换器106以及R、 B用向上变换器107的详细如后述。 控制部120，对利用第1摄像部103以及第2摄像部104摄影动态图 像时的摄像条件进行控制。并且将其控制信息输出到G用向上变换器106 以及R、 B用向上变换器107。
接下来，对摄像处理装置1的动作与各构成元素的动作一起进行详述。 透镜系统101中，以被拍摄体的像成像在第1摄像部103以及第2摄 像部104的摄像元件上的方式，对其位置进行调整。通过透镜系统101的 光，由二向色反射镜102分离为R成分、G成分、B成分。
对上述R成分以及B成分的动态图像，按照由控制部120指示的摄像 条件即短时间曝光、低分辨率、高帧率，利用第1摄像部103进行摄影。 这里，所谓"低分辨率"，是指例如NTSC的1帧的像素数(水平720像素 X垂直480像素)左右，或者，其以下的VGA (Video Graphics Array:水平640像素X垂直480像素)左右的像素数的分辨率。所谓"高帧率"， 是指30fps (帧/秒)至60fps左右。所谓"短时间曝光"，是指即使最长 也以帧率所决定的上限值(本实施方式的情况，30分之一秒至60分之一 秒)以下的时间进行曝光。
对于上述G成分的动态图像，也按照由控制部120所指示的摄像条 件即长时间曝光、高分辨率、低帧率的摄像条件，利用第2摄影部104进 行摄影。这里，所谓"高分辨率"，是指例如通常的数字静物照相机的像 素数(例如水平约4000像素，垂直约3000像素)的分辨率。所谓"低帧 率"，是指从第1摄像部103的数分之1到10分之1乃至20分之1的程 度的帧率(例如3fps (帧/秒))。所谓"长时间曝光"，是指由将所述低 帧率的值所决定的时间(例如1 / 3秒)作为上限而进行曝光。
在本实施方式中，第1摄像部103以及第2摄像部104，由控制部120 进行同步控制而动作。然而，也并不必须同步而动作。
另外，上述的曝光时间的长短、分辨率的高低、帧率的高低，表示第 1摄像部103以及第2摄像部104中的相对性摄像条件。彩色图像的R成 分以及B成分的曝光时间，可以比G成分的曝光时间短。R成分以及B成 分的分辨率(这里与像素数对应)可以比G成分的分辨率低。R成分以及 B成分的帧率可以比G成分分辨率高。不限定于例示的上述的数值范围。
以下，本说明书中，把分辨率高(H)帧率低(L)的G的色成分的 动态图像表记为G^，将分辨率低(L)帧率高(H)的R以及B的色成 分的动态图像分别表记为I^h， B,h。第l个文字表示色成分，第2个文字 (第l下标)表示分辨率，第3文字(第2下标)表示帧率。
G用向上变换器106，将按照长时间曝光、高分辨率进行低帧率摄像 的G圈像Gh,，和按照短时间曝光、低分辨率进行高帧率摄像的R图像以 及B图像R,h、 Bu,的数据作为摄像条件而受理，并将G^高分辨率化，作 为Gnu而输出。
也即，G用向上变换器106，生成以相同的分辨率高帧率化后的合成 动态图像。这表示以绿色的合成动态图像的主观像质最好的方式进行处理。
如此处理的理由，是因为人视觉灵敏度相对于绿色比相对于红色、蓝色高特性，通常希望绿色的合成动态图像的主观像质最佳的缘故。
为了优化绿色的合成动态图像的主观像质，大多数情况下认为以高分 辨率低帧率对绿色的动态图像进行摄影是合适的情况。例如，在图像中的 被拍摄体是静止或者活动较小的情况下，若以高分辨率低帧率对绿色的动 态图像进行摄影，则相对于红色、蓝色的合成动态图像，绿色的合成动态 图像的分辨率较高，结果主观像质变高。并且，与红色、蓝色相比，进一 步提高了绿色的动态图像的帧率，因此能够期待主观像质优化。
图2更详细地表示G用向上变换器106的构成。在图2中，对于与图 1的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，而省
略其说明。
G用向上变换器106，具有移动检测部108以及时间分辨率向上变换 器109。
移动检测部108，利用区段匹配、梯度法、相位相关法等的既存的公 知技术，根据FU、 B^对移动(光学流才7。亍^力，:7口一)进行检测。 作为公知技术，周知的有例如J. L. Barron， D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt."Performance of Optical Flow Techniques" , In Proc. Computer Vision and Pattern Recognition, pp. 236-242， 1992。
图3 ( a )以及(b )，表示由区段匹配进行移动检测时的基准帧和参 照帧。移动检测部108，在作为基准的帧(为了求取移动而着眼的时刻t 中的图像)内，设定图3(a)所示的窗区域A。并且，在参照帧内对与 窗区域内的图案类似的图案进行探索。作为参照帧，较多地利用例如着眼 帧的下一个帧。
探索范围，以在图3(b)所示的那样，通常，以移动量零的位置B 为基准而预先设定一定的范围(同图3 (b)中的C)。另外，图案的类似 度(程度)，通过将由(数学式l)所示的残差平方和(平饱和)(S S D: Sum of Square Differrences)、(数学式2) 所示的残差绝对值和(SAD: Sum ofAbsoluted D i f f e r e n c e s )作为评价值进行计算而评价。数学式l卿=J] (/(""，"v，"A/)-/(x，W))数学式2
雄=Z 1/(则j + v,"A/)-/(:c，y，/)1
在(数学式1)以及(数学式2)中，x、 yEW，表示在基准帧的 窗区域内包含的像素的坐标值。
移动检测部108，通过在探索范围内使(u， v)变化，而探索将上 述评价值最小化(u， v)的组，并将此作为帧间的移动向量V。通过使 窗区域的设定位置顺次移动，能够针对每像素或者每区段(例如8像素X8 像素)求算移动。
再次参照图2。时间分辨率向上变换器109，对由第1摄像部103所 摄像的R图像Rw和B图像BLH，由第2摄影部104所摄像的G图像Ga, 以及由移动检测部108所检测的移动向量V的各数据进行受理(受〖t取<9 )， 将Gm.高分辨率化，并作为GHH输出。
这里，G^的高分辨率化，通过求算将下述的(数学式3)最小化的G
"H而进行。
数学式3
/ = (HfG冊- G肌)2 + & (Q,G冊)2 + & (Q加G冊)2 + 4 (QAG朋)2
这里，GHH、GH,是以动态图像的各像素为元素的纵向量，Ht是将基
于长时间曝光的光的加算模型化后的矩阵，入s是针对平滑度约束的权重， Qs是平滑度约束，、是针对移动约束的权重，(^是移动约束，入。是针 对色相关约束的权重，Hs是将高分辨率图像和低分辨率图像的关系模型化 后的矩阵，Q。表示色相关约束。利用控制部120在第2摄像部104设定的 摄影条件至少反映在上述HT， Qs、 GL以及Q。中。
所谓将上述(数学式3)最小化的Ghh，表示完全满足所赋予的约束条 件的浅性和的Ghh。另外，数学式3的左边是数量(7力，一 scalar)。 右边的各项的导出过程如后述。
时间分辨率提高变换器109，基于下述(数学式4)而得到将(数学 式3)最小化的Ghh。数学式4
} = 2H纟(H^册-G战)十24QrQ'G冊+ 2^Q:QmG冊+24^<^< 凡6册=0
结果，时间分辨率向上变换器109，通过求解(数学式5)所示的联
立方程式而得到Ghh。
数学式5
通过利用共轭梯度法、最急下降法等的既存的数值计算法(联立方程 式的解法)而求解(数学式5)。
时间分辨率向上变换器109通过上述的过程对所输入的GH,进行高分 辨率化从而求取GHH的处理，是增加帧数的处理，也即不仅是提高时间分 辨率的处理，也包含将模糊后的图像更换为明锐的(、乂卞一7。 sharp) 图像的处理。G成分的动态图像，通过第2摄像部104而以高分辨率进行 摄影，但是也可能存在因为长时间曝光的影响而使得图像的一部模糊的情 况。因此，也包含图像的锐化处理而称作'高分辨率化'。
以下，对(数学式3)的各项的含义，针对作用而更详细地进行说明。
(数学式3)的第一项表示根据高分辨率化后的GHH而预测的长时间曝 光图像与实际观测的长时间曝光图像GH,差异。这里，表示高分辨率化后 的GHH和长时间曝光图像G^图像间的时间空间的对应关系。这里，Ht中 行数比列数少。这可以从如下情况理解G^是长时间曝光图像，帧率比 G,ni低(也即，总的像素数较少)。为此，假若仅将(数学式3)的左边作 为第一项，则成为应该求解的问题(也即联立方程式)不能唯一地得到求 解的不良设定问题。
为了将该不良设定问题变更为良好设定问题，在(数学式3)的第一 项附加第二项以下的项。(数学式3)的第二项，表示图像通常满足的特性， 也即近旁像素间的局部的平滑度。设动态图像为I (x， y， t)，则局部
的平滑度能够作为数学式6,2/(一『血办说=J
。2
St
3:
而表示。这里，积分范围是动态图像所占的时空间全体，数学式6的被积 分函数中的l卜ll表示向量的范数(乂少厶)。(数学式3)的第二项，是 对(数学式6)进行差分展开，将I置换为G，并以矩阵Qs和向量GHH的 积的形式进行表示。
(数学式3)的第三项，是与图像中的移动相关的约束。这里，假定 动态图像中的各点没有改变亮度而移动。第三项中的矩阵Qm，是与动态 图像中检测到的移动向量的始点和终点的像素相关的元素，并分别成为1 和_1。为此，(QmG^2成为与移动向量的始点和终点间的残差的平方(2
乗)的动态图像全体相关的总和。
(数学式3)的第四项是与R、 G、 B间的局部性相关有关的约束。 与在(数学式3)的第二项假定局部的平滑度同样，这里，假定局部的R、 G、 B的像素值之间的相关(色相关)。
现在，为了简单化，以图4所示的例子进行考虑。图4，表示构成2X2 像素的彩色图像的R、 G、 B像素组。这里，假定在R、 G、 B间存在相 关。也即，各像素中的R、 G、 B的比是同样的。这样的，下述的(数学 式7)成立。
数学式7
若从这些各4个的比选择2个， 得到(数学式8)。数学式8
根据其选择如4C2二6所示，能够
一- I-
ii =
I- --叫-
G,广 G,广
G,广 G254
G2i 1=0 G4A = 0
G4J^ = 0
_G352=0 一0 4爲=0
-Gj瑪=0 —G4B2=0
若以矩阵和向量表示(数学式8),数学式9
j成为(数学式9),<formula>formula see original document page 19</formula>
作为局部的区域考虑2X2像素的情况，RGB间的相关，能够由(数学 式9)的左边的范数(数学式IO)所评价。数学式10<formula>formula see original document page 20</formula>这里，qTq能够(数学式ll)由所表示'数学式ll
qTq =
、、《+《+《 《 -械-赋 --M-"A
——烏A—《+《+《十g'+《+ ^ -&天4 —AA
5,S4 -AA—— 《+/ +《+《+《+《
接下来，作为比2X2像素大的图像中的局部区域考虑2X2像素的区 域。图5表示构成较大的图像中的局部区域的像素i 、 i +1、 i十w以 及i + w + l。如在图5中所示的那样，若设局部区域的左上的像素为第i 个像素，右上的像素是第i +1个，左下的像素是第i + w个(这里，w是 图像的宽度的像素数)，右下的像素为第i +w + l的像素。为此，该情况 (数学式ll)如(数学式12)那样被变形。数学式12
^d+《,+K 阜-祧'
—狄"-W +《,+《+ ^
第i列
第i+l列
-站d
-^A' -n
-耿w -多Atrn
"代"&W1曙及W及WW1
- 《+&-+fl'，+乾'+1
第i+w列
第i+w+l列
第i列 第i+l列 第i+w列 葛i+w+l歹廿
为了对图像全体计算Q。TQ。，在将Q。TQ。的全元素置为0后， 一边顺 次移动局部区域的左上的像素的位置(即i )， 一边将(数学式10)所示 的局部的系数加算到较大区域的系数矩阵Q。TQ。即可。此时，也可以将局部区域的位置分别沿纵横每1像素地移动而互相地重叠的方式进行配置， 或者，也可以按照沿纵横分别每2像素进行移动而互相地不重叠而邻接的 方式进行配置。对于后者的情况，也可能存在在局部区域边界产生伪迹(7 一于7 7夕卜)情况，但能够以更少的运算量得到大致同等的效果。
通过以上述的过程，能够计算HT、 Qs、 Qm、 Q。TQ。。另外，在(数 学式3)的第4项中包含的Hs，是将GHH空间地低分辨率化的算子(作用 素)。这是为了在GHn的中域和R,h， B,h之间施加上述的色相关约束而使用的。
另外，关于各约束的权重入s、入》、、的各值，按照所生成的图像G
hh的像质变好的方式进行设定。例如(数学式3)中，作为在这些参数中进
行加权的各项(包含前头的项的4项)的大小量级(才一夕'一)大致一致，
成为设定权重AS、 Am、、的值时的一个目标。相反，若这些4项的大小
的量级不一致，则值大的项作为约束条件而成为支配性的，值小的项不作 为约束条件发挥效力。
使用如以上的那样所计算的矩阵和权重，能够通过对所观测的图像G 求解(数学式5)的联立方程式，而生成Ghh。
另外，与(数学式12)所示的局部的区域中的R和B的相关相对应地， 以(数学式13)的方式进行加权，能够与RB间的相关相对应地通过视觉 性而再现自然的G,数学式13
I1L
『
第i列
《 +《L+d+A)+《+ L,
第i + l列
第i列
第i+l列 第i+w列 第i+w+l歹ij
第i + w列
第i+w+l列
这里，作为权重W的分布，与局部区域内的R和B的相关值(从一l 到1)相对应地，采用从0到1的值而进行设定。例如图6表示R和B的 局部性相关P和权重W的关系。与图4所示的2X2像素的区域相关地， R和B的局部性相关值p由(数学式14)所表示。数学式14若得到R和B的局部性相关值p ，则能够基于图6的关系决定权重W。
另外，局部的R和B的相关，并不一定必须对于2X2像素的区域进 行求取，也可以针对3X3像素、4X4像素、5X5像素等的更宽范围的矩 形区域而求取。另外，也可以对于圆形、4边形以上的多边形等的区域进 行求取，利用高斯(力、，、》)函数等附加对着眼像素位置近旁进行重视 那样的权重而进行计算。利用这种计算方法，能够针对图像的图案，使相 关值的计算更加各向同性化。
另外，本实施方式中，使用R、 G、 B的等级(k《》)本身计算与 色相关有关的约束Q。，但是作为等级本身的替代，也能够使用R、 G、 B 的梯度(二5配)得到同样的效果。针对这样的例子在以下进行说明。
与动态图像中的移动相关地，若假定对应点间亮度一定，则可知对 于图像中的移动向量(u， v)，光学流的关系近似成立。对于R、 G、 B各个的光学流的式为(数学式15)。数学式15
朋 战 朋 n ——w+——v+——=U
ac * 沩 ao 3c n
——《 +——v+-= 0
Sx 汾
朋朋朋 A
ac * 改
这里，若假定图像中的移动向量
得到(数学式16)。数学式16
(u， v)在R、 G、 B间相同，则<formula>formula see original document page 23</formula>(数学式16)中，R、 G是针对1像素的值而考虑的。然而，由于d 3x， d/dy能够通过差分展开而作为矩阵表现，因此若将R、 G作为向 :而考虑，则对于动态图像全体得到(数学式17)。数学式17
<formula>formula see original document page 23</formula>
对于图像全体，为了使(数学式17)的各式尽可能同时成立，而求取 将(数学式18)最小化的G,数学式18<formula>formula see original document page 23</formula>为了求取使(数学式18)最小化的Ghh，也可以求取将利用Ghh対(数 学式18)迸行偏微分而得到的式置零的Ghh。由此得到(数学式19)。数学式19
pR"i-^#'「〖lR"H")H'l'*4 .「〖!^K)Hf|^HB"i>f|g"U)Hfr"。。
通过(数学式19)和(数学式3)的第4项的比较，而得到(数学式
20)。
数学式20
另外，局部性相关关系，也没有必要限于与至此所说明的空间的近旁 有关的相关关系，针对时间的、空间的近旁进行考虑当然也可以。例如， 作为其一例，通过针对图19那样的近旁区域而进行考虑，能够得到更稳 定的效果。图19表示构成2X2X2像素的彩色图像的R、 G、 B像素组。 这里，假定在R、 G、 B间存在相关。也即，假定各像素中的R、 G、 B 的比一样。如此，下述(数学式21)成立。数学式21
<formula>formula see original document page 24</formula>
若从这些各8个的比选择2个，则其选择方法按照8(:2 = 28。结果， 得到(数学式22)以及(数学式23)。数学式22<formula>formula see original document page 25</formula><formula>formula see original document page 26</formula><formula>formula see original document page 27</formula><formula>formula see original document page 28</formula>在作为局部的区域考虑2X2X2像素的情况下，RGB间的相关，能够 由(数学式25)的左边的范数(乂》厶)(数学式27)所评价。数学式27
q
"'、
G5 G6 G7 、G"
,G2 G3 G4 G5 G6 G7 G8)qrq
、G"
作为比2 X 2 X2像素大的图像中的局部区域，在考虑2 X2 X 2像素的 区域的情况下，先与针对2X2像素的空间上近旁区域进行考虑的情况同 样，通过将局部的关系顺次加算到大域的关系式，而能够得到大域的关系式。
另外，也可以代替针对上述2X2X2像素的近旁区域考虑局部性相关 关系，而如图20所示那样，仅对着眼像素和与着眼像素在时间上、空间 上邻接的3像素的合计4像素考虑局部性相关关系进行考虑。该情况，能 够以比针对2X2X2像素的近旁区域考虑局部性相关关系更少的运算量， 得到大致同样的效果。
此外，作为按照如上述那样的形式对时间方向的近旁区域考虑局部性 相关关系的替代，而沿光学流的方向也即移动向量的方向假定局部性相关 关系，而正确地求得了光学流(移动向量场)的情况下，能够得到更稳定 的效果。此外，在以子像素(廿:/匕。夕ir/VO精度得到移动向量的情况下， 能够通过使用了小数学式点以下的移动向量的值的权重，有效地使用子像 素精度的移动信息。
关于上述的(数学式3)，从右边第1项到第4项的约束条件，并不一 定同时需要全部这些。也可以使用以下的那样的变形例。也即，也可以是 仅仅能够利用(数学式l)的第1项和第2项。数学式287 册-Gffl)2 +讽6甜)2
或者，也可以利用仅仅基于(数学式3)的第1项和第4项的(数学 式29)。
数学式29
/ = (H ,G冊-Gffl)2 + A(QcH,G朋)2
或者，也可以利用仅仅基于(数学式3)的第1项和第2项以及第3 项的(数学式30)。数学式30
= (HrG^ -G肌)2 +4 (Q,G冊)2 +人(CLG冊)2
或者，也可以利用仅仅基于第1项和第2项以及第4项的(数学式31 )。数学式31
7 = (HrGm —Gffl)2 ", (Q,G冊)2十4(QAG朋)2
根据这些变形例，能够以比使用(数学式3)所示的4项全部的约束 条件(数学式1)而计算更少的运算量实现G成分的高分辨率化。但是， 为了缓和约束条件，所生成的图像的高分辨率感会多少有所降低。
另外，移动检测较难的场景中，通过不使用移动检测的结果的数学式 ((数学式28)、(数学式29)或者(数学式31))而进行高分辨率化处理， 能够与所输出的图像的像质相关地，抑制由移动的误检测引起的伪迹(图 像的紊乱、噪声)的产生。根据场景的移动检测是否较难，可以(a )根 据时间上在双方向上进行移动检测的结果的差异进行判断，(b )根据(数 学式1)、(数学式2)所示的移动检测时的评价值的探索范围内的最小值 进行判断。
前者(a)的情况，若假设基准帧的图像中的(x， y)中，时间上 顺方向的移动检测结果为(u， v)，则以接下来顺方向的移动检测时的 参照帧为基准而逆方向进行移动检测，若(x + u， y + v)中的移动检 测结果是(一u， 一v)，则双方向的移动检测中具有一贯性，可以信頼。 另一方面，与(一u， 一v)不同的情况，例如在存在一定的阈值以上的 差异的情况下，能够判断为是移动检测较难的状况。
另外，与后者(b)的情况同样，在对于SSD、 SAD的移动检测时的评价值的探索范围内的最小值，例如予定的阈值以上的情况下，能够 判断为是移动检测较难的状况。
另外，对于没有色相关的场景，也可以使用(数学式28)、(数学式
30)。根据(数学式13)所示的加权方法，若对没有色相关的场景进行处 理，则权重变得较小。因此，在该情况下，自动地使用(数学式30)。
另外，参照图1。 R、 B用向上变换器107，使用通过G用向上变换 器106而进行了高分辨率化的G成分的动态图像，利用第1摄像部103， 而对以短时间曝光、低分辨率、高帧率的摄像条件进行摄像的R、 B成分 的动态图像进行高分辨率化。
以下， 一边参照图7， 一边详细地说明对R、 B成分的动态图像进行 高分辨率化的处理。
图7更详细地表示R、 B用向上变换器107的构成。图7中，对于与 图1的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，并 省略其说明。
R、 B用向上变换器107，具有向下变换器IIO、系数推定部lll、复 原滤波器112。
向下变换器110，对利用G用向上变换器106进行了高分辨率化后的 G成分(GHH)空间地进行低分辨化，并输出G,系数推定部111，从G nn和GLH推定复原滤波器112 (复原滤波器H + )的滤波器系数。作为复原 滤波器112，能够使用威纳(々^一于)滤波器、 一般逆滤波器等公知的 滤波器。这些复原滤波器，能够使用G皿和G,h的关系，从低分辨率侧的信 号推定高分辨率侧的信号。复原滤波器U2，使用由系数推定部111推定 的滤波器系数，从Rlh， Bm复原R冊，BHH。
另外，R、 B用向上变换器107中的R、 B的高分辨率化处理，不限 于上述那样的所谓的再构成型的处理，也可以通过其他的高分辨率化处理 进行。以下说明基于其他例的高分辨率化处理。
图8对基于其他例的R、 B用向上变换器107的构成详细地进行表示。 这里，R、 B用向上变换器107，根据R和B的相关而将G的高域成分重 叠于插补放大后的R成分以及B成分，从而对R成分以及B成分进行高分 辨率化。图8所示的R、 B用向上变换器107，具有向下变换器113、插补放 大部114、局部相关运算部115、权重生成部116、计数器117、图像存储 器118、标准化部119。
R、 B用向上变换器107,以构成动态图像的帧单位进行处理。首先， 在各帧处理之初，用例如0填充计数器117的内容和图像存储器118的内 容而进行清零。
低分辨率化部113对利用G用向上变换器106高分辨率化后的G成分 (GHH)空间地进行低分辨化，而输出G,h。
插补放大部114，对以低分辨率、高帧率摄像的RuK B』和摄影条件 进行受理，并进行插补放大以使得R w和B lh与Ghh具有相同像素数。
局部相关运算部115,与2X2像素、3X3像素程度的局部的区域相 关，对R吣B^的局部性相关值进行计算。在对于2X2像素计算局部性 相关值P时，局部相关运算部115，能够利用例如(数14)。
权重生成部116，生成与由局部相关运算部115所计算的相关值对应 的权重。图9表示相关值P和权重W2的关系。权重生成部116，基于相 关值P和图9所示的关系，求取权重W2。
如图8所示那样，将由权重生成部116生成并输出的权重，和Ghh与 Ga的差(也即G的高域成分)进行乘算，对图像存储器118进行更新。 更详细地说，进行乘算后，对与图像存储器118内的像素数据的存储位置 对应的地址进行特定。并且，对乘算结果和保持于其地址的值加算，其地 址值被改写为加算结果。
此时，对图像存储器118进行写入的对象，可以是1像素，或者，也 可以是计算局部性相关值的范围。但是，在如后者那样对多像素重叠高域 成分的情况下，利用对局部相关进行计算的区域的设定的方法(也即图像 内的增加的方法)，对于同一像素重叠多次、高域成分。考虑这样的情况， 而在图8的R、 B用向上变换器107中，利用计数器117。计数器117，
针对各像素对重叠了高域成分后的次数进行存储。
标准化部119，将多次重叠后的高域成分，除以针对每1个像素而写 入计数器117中的次数值。标准化后的高域成分，被重叠于由插补放大部 114所插补放大后的r、 B图像，并作为rhh、 Bhh而瑜出。利用以上所述的方法，能够对R、 B进行高分辨率化，从而能够在保 持局部的色离散状态中对R和B进行高分辨率化，结果，能够进行抑制伪 色的发生的高分辨率化。
另外，在图9，作为相关值和权重的关系的一例示出了线性的关系的 情况。可是，这是例子，也可以考虑摄像时、显示时的Y特性而成为非
线性的关系。另外，对于R，利用(R的局部平均)/ (G的局部平均) 对所述的权重进行标准化，对于B利用(B的局部平均)/ (G的局部平 均)对所述的权重进行标准化。利用该标准化，能够与R、 G、 B的像素 值相对应，对R和B所重叠的G的高域成分的振幅进行调节，并能够降低 由过度的高域的重叠引起的观察时的不适感。这里，作为R、 G、 B的局 部平均，也可以利用插朴放大后的Rlh、 B,h、图8的向下变换器113对 G冊进行向下变换(^夕y〕:/A—卜)后的Glh的像素信。
另外，若以针对每1个像素进行对插补放大后的R、 B图像的高域成 分重叠的方式而动作，则不需要图8的图像存储器118、计数器117、标 准化部119，能够采用图IO所示的构成。图10表示R、 B用向上变换器 107的构成的变形例。如图10所示那样，若与图8比较，能够以更简单构 成实现R、 B用向上变换器107，并且能够得到同样的效果。
另外，R、 B用向上变换器107中的R、 B的高分辨率化处理，并没 有必要限于在上述的所谓的再构成型的超分辨处理、将G的高域成分重叠 于R以及B成分的处理。也可以，对高分辨率化后的G成分与将其低分辨 率化后的成分(上述G,h和Ghh)之间的关系进行学习，并基于学习结果对 R成分、B成分进行高分辨率化。
另外，学习不限于所输入的图像的处理过程中所进行的，也可以预先 事前准备学习模式而进行。该情况下，不仅是学习低分辨率的G成分和高 分辨率的G成分的关系的方法，而且也能够学习低分辨的RGB成分和高分 辨率的RGB成分的关系。
至此的说明中，输出信号是R、 G、 B的各色成分。以下中，说明将 RGB的各输出信号变换为辉度成分和色差成分而输出的摄像处理装置。
图11表示基于本实施方式的变形例的摄像处理装置11的构成。图11 中，对于与上述的摄像处理装置的构成元素共通的构成元素附加相同的参照符号，并省略其说明。
图像处理部105，除了具有G用向上变换器106、插补放大部114、以 及向下变换器113，还具有色差计算部129以及辉度计算部130。
控制部120，对通过插补放大部114插补放大后的R成分、B成分的 信号，以及由低分辨率化部113低分辨率化的G成分的信号进行受理，而 利用(数学式32)的计算变换为色差信号(C b信号，C r信号)并输出。数学式32
C6 =0.5640 —= —0.169及—0.331G +0.5005 O = 0.713(/ —y) = 0.500i -0.419G-0.0815
辉度计算部130,对利用插补放大部114插补放大后的R成分、B成 分的信号，以及利用G用向上变换器而高分辨率化后的G成分的信号进行 受理，而利用(数学式33)的计算变换为辉度信号(Y信号)并输出。数学式33
r = 0.299J + 0.587G+0.1145
如从上述的色差计算部129以及辉度计算部130的说明所理解的那 样，在色差成分Cb、 C r的计算中使用低分辨率化的G，另一方面，在 辉度成分Y的计算中使用高分辨率化后的G。由此，能够一边抑制伪色的
发生， 一边实现输出的图像的高分辨率化。
另外，也可以，在图像处理部105的后级，进一步设置将Y、 Cb、 C r的各信号变换为RGB的各信号的模块，而做成将RGB成分的信号输出 的构成。
另外，基于本实施方式的摄像处理装置以及基于其变形例的摄像处理 装置，以高分辨率、长时间曝光、低帧率对G成分进行摄像，并以低分辨 率、短时间曝光、高帧率对R成分以及B成分进行摄像。然而，这是示例。 关于以高分辨率、长时间曝光、低帧率对哪个色成分(波长带)进行摄像， 可以采用其他的例。
例如，如对海、游泳池等水中的场景进行摄像的情况的那样，在事先 明白场景中B成分较强地出现的情况下，以高分辨率、长时间曝光、低帧 率对B成分进行摄像，并以低分辨率、短时间曝光、高帧率对R成分以及 G成分进行摄像，而向观察者显示具有高分辨率感的图像。例如图12表示将摄像处理装置1 一般化后的摄像处理装置13的构成。
图12中，对于与图1的摄像处理装置的构成元素共通的构成元素附加相
同的参照符号，而省略其说明。
摄像处理装置13，具有R成分摄像部131、 G成分摄像部132、 B成 分摄像部133、控制部134、切换部135、 HL用向上变换器136、 L H用 向上变换器137、输出部138。以下，与摄像处理装置13的动作一起说明 各构成元素的功能。
通过光学系统101的可见光，由二向色棱镜(夕V夕口,y夕7。y乂 厶)所波长分解，并被R成分摄像元件131、 G成分摄像元件132、 B成 分摄像元件133所摄像。RGB各成分的摄像部131、 132、 133的读出像素 数，能够利用binning(tf二y夕')读出方法，个别且动态地设定。所谓 "binning读出方法"，是对邻接的像素中蓄积电荷进行加算而读出的方法。 另外，各摄像部131、 132、 133中，对于曝光时间、帧率也能够同样地能 够设定。读出时的条件设定，由控制部134进行。
控制部134，与场景中的色成分的分布相对应地，将R成分摄像元件 131、 G成分摄像元件132、 B成分摄像元件133的其中之一设定为高分辨 率、长时间曝光、低帧率(相当于实施方式1中的G)，并将其余设定为 低分辨率、短时间曝光、高帧率(相当于实施方式l中的R、 B)。
另外，由于摄像开始时场景中的色成分的分布是未知的，因此也可以 将例如G设定为高分辨率、长时间曝光、低帧率那样。
切换部135，与基于控制部的RGB各成分的摄像部131、 132、 133的
设定相对应地，将对以高分辨率、长时间曝光、低帧率的摄像进行设定的 成分的摄像数据输入到HL用向上变换器136，并将其余成分的数据输入 到L H用向上变换器137而进行切换动作。
HL用向上变换器136，进行与G用向上变换器106 (例如图l)相同 的处理，并对以高分辨率、长时间曝光、低帧率摄像的成分的动态图像， 空间地进行高分辨化。
LH用向上变换器137，对以低分辨率、短时间曝光、高帧率进行摄 像所得到的2系统(2个的色成分)的动态图像，和利用H L用向上变换 器136高分辨率化后的动态图像进行受理，而进行与R、 B用向上变换器107 (例如图1)相同的处理，并对该2系统的动态图像空间地进行高分辨 化。
输出部138对利用H L用向上变换器136和L H用向上变换器137分 别高分辨率化后的动态图像进行受理，并根据基于控制部134的设定，而 输出RGB三系统的动画。当然，输出部138也可以变换为辉度信号(Y) 以及色差信号(C b ， C r)信号等其他的信号形式而输出。 (实施方式2)
上述的实施方式l中，对利用同一的系统进行摄像处理和高分辨率化 处理的例子进行了说明。然而，两处理并不一定必须在同一的系统中进行。
本实施方式中，对摄像处理和高分辨率化处理在不同的系统中进行的 例子进行说明。
图13表示基于由本实施方式的摄像装置901、网络902以及处理装 置903构成的图像处理系统的例。也可以替代网络902，而使用介质906， 构成基于本实施方式的图像处理系统。图14中，对于与实施方式1的摄 像处理装置(例如图1)的构成元素共通的构成要素附加相同的参照符号，
而省略其说明。
摄像装置901，具有透镜系统101、 二向色反射镜102、第1摄像部 103、第2摄像部104、摄影模式设定部904。
第1摄像部103以短时间的曝光时间、低分辨率且高帧率对彩色图像 的R成分和B成分进行摄像，并输出R图像R^以及B图像B,H。第2摄像 部104以长时间的曝光时间、高分辨率且低帧率对彩色图像的G成分进行 摄像，并输出G图像G吣
摄影模式设定部904，对例如第2摄像部104中的帧率、曝光时间等 设定可变的摄影条件进行设定，并将表示设定的条件表示的信息向影像信 号的标题(八、7夕')中的评论(二^y卜)区域写入，或者，另外作为数 据通过输出部905而输出到网络902。
输出部905将由摄像装置901摄像的G图像GHh R图像R^、 B图像 BUI、以及它们的摄影条件的信息输出到网络902或者介质906。
处理装置903具有图像处理部105。图像处理部105,通过网络902 或者介质906，而对上述Gi R吣B^以及其摄影条件的信息进行受理，并通过实施方式l中说明的处理，输出将它们空间地、时间地高分辨率化
S6tl GHH、 Fl冊、B hh。
通过以上的构成，摄像装置和处理装置另体构成，即使空间上离开而
存在，也能够通过构成为通过网络902或者介质906而能够发送接收动态 图像信号以及摄影条件的信息，而使得输出处理装置输出高时空分辨率的 动态图像。
另外，网络902也可以是在家庭内构筑的L A N ( L o c a 1A r eaNetwork),互联网乂夕一氺y卜)等WAN (W i d eAreaNetwork )。或者，也可以是U S B标准、I E E E1394标准的的通信线路。此外，可以是无线，也可以是有线。上述的介 质906，包括光盘、可取出的硬盘等可移动盘，Flash (:7，、;/、乂二)存储 器卡。
在上述的各实施方式中，作为具有图示的各种的构成而说明了摄像处 理装置。例如，各构成中包含的图像处理部等，作为功能性表现的模块而 记载。这些的功能模块，在硬件方面，能够由数字信号处理器(DSP) 那样的1个的半导体芯片或者I C所实现，并能够利用例如计算机和软件 (计算机程序)而实现。
例如，图14表示计算机构成的图像处理装置的硬件。 各实施方式的图像处理装置的各功能模块和图14所示的硬件的对应 关系如下。以下作为例子，主要例举图l所示的图像处理装置l而进行说 明。
摄像处理装置1的透镜系统101、 二向色反射镜102、第1摄像部103 以及第2摄像部104，与图14所示的照相机151以及A / D变换器152相 对应。另外，图像处理部105在实际的处理中利用的暂时缓存器(未图示)、 介质906，与图15所示的帧存储器153或者硬盘驱动器(H D D ) 160相 对应。并且，控制部120以及图像处理部105,由执行计算机程序的图14 的C PU154实现。
使图14的计算机动作的计算机程序，保持在例如R 0 M155中。或者， 也可以存储在光盘、磁盘中。另外，也可以通过有线、无线的网络、广播 等而传送，并取入到计算机的RAM156。计算机程序由作为处理器的C PU154而读出到RAM156中被展开。 CPU154执行作为计算机程序的实态的编码化后的各命令。作为命令的 执行结果而得到的数字图像信号，被发送到帧存储器157而暂时地保持， 并利用D/A变换器158变换为模拟信号，并被发送到显示器159，而被显示。
实现了图像处理部105的计算机程序的处理，根据例如接下来说明的 流程图而记载。
例如图15是表示本发明的处理的过程的流程图。该处理，作为基于 实施方式1的处理而说明，但是也能够作为利用实施方式2的摄像装置901 以及处理装置903而个别地进行的处理而把握。
首先S 101中，第1摄像部103以及第2摄像部104，对长时间曝光 高分辨率低帧率的G图像G^和短时间曝光低分辨率高帧率的R图像Rlh， B图像B,h进行摄像。步骤S102中，图像处理部105的G用向上变换器 106，对G成分的动态图像进行高分辨率化。更具体来说，能够分为步骤 S104和S105。步骤S104中，G用向上变换器106的移动检测部108进 行移动检测。步骤S105中，时间分辨率向上变换器109，利用移动检测 的结果等，而求取基于(数学式4)将(数学式3)最小化的Ghh。
在接下来的步骤S103中，R、 B用向上变换器107，对R成分以及 B成分的各动态图像进行高分辨率化。其后，控制部120，判定摄像是否 结束，若判断为没有结束，则从步骤S101重复进行处理，若判定为结束， 则结束处理。
图16是表示图15所示的步骤S103的详细的处理的过程的流程图。 该处理与图7所示的R、 B用向上变换器107的处理相对应。
图16的步骤S106中，向下变换器IIO，基于擾像条件而将Ghh低分 辨率化。步骤S107中，系数推定部111对旨在适用复原滤波器112的系 数进行推定。步骤S108中，推定的系数被适用于复原滤波器112，复原 滤波器112，将R^以及Bw高分辨率化，而瑜出Rhh以及B冊。
图17是表示基于其他例的步骤S 103的详细的处理的过程的流程图。 该处理，与图8所示的R、 B用向上变换器107的处理相对应。
步骤S109中，向下变换器113，基于擾像条件而将Ghh低分辨率化。步骤S110中，从Ghh減算Glh。
另一方面，步骤Slll中，若插补放大部114基于摄像条件而对Rw
以及B,h进行插补放大，则基于该信号，在步骤S112中局部相关运算部 115计算局部性相关值。
并且，步骤S113中，若权重生成部116生成权重，则步骤S114中 计数器117针对各像素存储将高域成分重叠后的次数。步骤S115中，将 由权重生成部116生成并输出的权重，和Ghh与G^的差(也即G的高域成 分)乘算，并在步骤S116中对图像存储器118进行更新。
步骤S117中，将保持在标准化部119、图像存储器118中的多次重 叠的高域成分，除以针对每1像素写入在计数器117中的次数值，而进行 标准化。
并且，步骤S118中，标准化后的高域成分，被叠加在通过插补放大 部114被插补放大后的R、 B图像，并作为R吣Bhh瑜出。
以上，说明了本发明的各实施方式。实施方式l以及2中，针对将R、 G、 B的3成分由二向色反射镜分离的情况进行了说明，但是色成分的分
离的形态不限于此。例如通过以下处理也能够得到同样的效果即利用在 单一的元件中在深度方向顺次分为R+G+B、 R+G、 R这3层地进行
摄像的摄像元件，受理以高分辨率、长时间曝光、低帧率对R + G或者R 十G + B进行摄像，并以低分辨率、短时间、低帧率对其他进行摄像的图像。
产业上的利用可能性
本发明的摄像装置以及处理装置作为由将摄像元件尺寸小型化的照 相机所进行的高精细图像的摄像及其再生装置、系统是有用的。另外，也 能够作为计算机程序而实现。
权利要求
1、一种摄像处理装置，其特征在于，具有分离部，其将可见光分离为第1色成分、第2色成分以及第3色成分；第1摄像部，其对所述第1色成分以及第3色成分的动态图像进行摄影，摄像处理装置比所述第1空间分辨率高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制；第1向上变换器，其基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像的信息，生成提高了时空分辨率后的所述第2成分的动态图像；第2向上变换器，其基于所述第1色成分和所述第3色成分的各动态图像的信息，以及提高了时空分辨率后的所述第2成分的动态图像的信息，生成提高了空间分辨率后的所述第1色成分以及所述第3色成分的动态图像。
2、 根据权利要求1所述的摄像处理装置，其特征在于， 所述第2向上变换器，具有向下变换器，其对提高了时空分辨率后的所述第2成分的动态图像，空 间地进行低分辨率化；系数推定部，其基于降低了空间分辨率后的所述第2成分的动态图像以 及提高了时空分辨率后的所述第2成分的动态图像的关系，对用于从分辨率 较低的动态图像生成分辨率较高的动态图像的复原滤波器的系数进行推定；复原滤波器，其利用所推定的所述系数，提高了所述第l色成分以及所 述第3色成分的动态图像的空间分辨率而输出。
3、 根据权利要求l所述的摄像处理装置，其特征在于，所述第2向上变换器，备有对提高了时空分辨率后的所述第2成分的动 态图像空间地进行低分辨率化的向下变换器，所述第2向上变换器，对由所述向下变换器降低了空间分辨率后的所述 第2成分的动态图像以及提高了时空分辨率后的所述第2成分的动态图像的关系进行学习，并基于学习结果，提高所述第1色成分以及所述第3色成分 的动态图像的空间分辨率而输出。
4、 根据权利要求1所述的摄像处理装置，其特征在于，所述第2向上变换器，还具有对提高了时空分辨率后的所述第2成分的 动态图像空间地进行低分辨率的向下变换器，所述第2向上变换器，基于预先确定的、与由所述向下变换器降低了空 间分辨率后的所述第2成分的动态图像以及提高了时空分辨率后的所述第2 成分的动态图像的关系相关的学习模式，提高所述第1色成分以及所述第3 色成分的动态图像的空间分辨率而输出。
5、 根据权利要求1所述的摄像处理装置，其特征在于， 所述第2向上变换器，具有向下变换器，其对提高了时空分辨率后的所述第2成分的动态图像空间 地进行低分辨率化；插补放大部，其对所述第1色成分以及所述第3色成分的动态图像空间 地进行插补放大；相关运算部，其对表示插补放大后的所述第1色成分以及所述第3色成 分的动态图像的局部性相关的相关值进行运算，并基于提高了时空分辨率后的所述第2成分的动态图像的广域成分以及 所述相关值，生成与所述第1色成分以及所述第3色成分的动态图像相对应 的广域成分，并重叠于插补放大后的所述第1色成分以及所述第3色成分的 动态图像，且输出提高了空间分辨率后的所述第1色成分以及所述第3色成 分的动态图像。
6、 根据权利要求5所述的摄像处理装置，其特征在于，所述第2向上变换器，对由所述向下变换器降低了空间分辨率后的所述 第2成分的动态图像和提高了时空分辨率后的所述第2成分的动态图像之差 进行运算，而生成提高了时空分辨率后的所述第2成分的动态图像的广域成 分。
7、 根据权利要求6所述的摄像处理装置，其特征在于，所述第2向上变换器，通过对提高了时空分辨率后的所述第2成分的动 态图像的广域成分和所述相关值进行乘算，而生成与所述第1色成分以及所述第3色成分的动态图像相对应的广域成分。
8、 根据权利要求1所述的摄像处理装置，其特征在于，所述第2向上变换器，具有对所述第1色成分以及所述第3色成分的动 态图像的各帧空间地进行插补放大的插补放大部。
9、 根据权利要求1所述的摄像处理装置，其特征在于，所述第2向上变换器，具有向下变换器，其对提高了时空分辨率后的所述第2成分的动态图像空间 地进行低分辨率化；插补放大部，其对所述第1色成分以及所述第3色成分的动态图像空间 地进行插补放大；辉度计算部，其基于提高了时空分辨率后的所述第2成分的动态图像， 以及插补放大后的所述第1色成分以及所述第3色成分的动态图像，而计算 辉度成分；色差计算部，其基于空间地低分辨率化后的所述第2成分的动态图像以 及插补放大后的所述第1色成分以及所述第3色成分的动态图像，而计算色差成分。
10、 根据权利要求1所述的摄像处理装置，其特征在于， 所述第2色成分是绿色。
11、 根据权利要求1所述的摄像处理装置，其特征在于， 所述第2色成分能够从红色、绿色以及蓝色的其中之一选择。
12、 一种图像处理方法，其特征在于， 对由摄像装置所摄影的动态图像的信息进行处理， 所述摄像装置，具有分离部，其将可见光分离为第1色成分、第2色成分以及第3色成分； 第1摄像部，其对所述第1色成分以及第3色成分的动态图像进行摄影，并在第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，并在比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率 高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率，对构成所述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，所述图像处理方法包括基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像 的信息，生成提高了时空分辨率后的所述第2成分的动态图像的步骤；基于所述第1色成分和所述第3色成分的各动态图像的信息，以及提高 了时空分辨率后的所述第2成分的动态图像的信息，生成提高了空间分辨率 后的所述第1色成分以及所述第3色成分的动态图像的步骤。
13、 一种计算机程序，其特征在于，使设于图像处理装置中的处理器，处理由摄像装置所摄影的动态图像的"(曰息，所述摄像装置，具有分离部，其将可见光分离为第1色成分、第2色成分以及第3色成分； 第1摄像部，其对所述第1色成分以及第3色成分的动态图像进行摄影，并在第1电荷蓄积期间进行曝光，以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对所述第2色成分的动态图像进行摄影，并在比所述第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，以比所述第1空间分辨率 高的第2空间分辨率、比所述第1时间分辨率低的第2时间分辨率对构成所 述动态图像的各图像进行摄影；控制部，其对所述第1摄像部以及所述第2摄像部中的摄像条件进行控制，所述计算机程序使所述处理器执行如下步骤基于所述第1色成分的动态图像的信息以及所述第2色成分的动态图像 的信息，而生成提高了时空分辨率后的所述第2成分的动态图像的步骤；基于所述第1色成分以及所述第3色成分的各动态图像的信息，以及提高了时空分辨率后的所述第2成分的动态图像的信息，生成提高了空间分辨 率后的所述第1色成分以及所述第3色成分的动态图像的步骤。
全文摘要
本发明公开一种摄像处理装置以及方法，具有分离部，其将可见光至少分离为第1色成分以及第2色成分；第1摄像部，其对所述第1色成分的动态图像进行摄影，在第1电荷蓄积期间进行曝光，并以第1空间分辨率、第1时间分辨率对构成所述动态图像的各图像进行摄影；第2摄像部，其对第2色成分的动态图像进行摄影，并在比第1电荷蓄积期间长的第2电荷蓄积期间进行曝光，并以比第1空间分辨率高的第2空间分辨率、比第1时间分辨率低的第2时间分辨率对构成动态图像的各图像进行摄影；控制部，其对第1摄像部以及第2摄像部中的摄像条件进行控制；处理部，其基于第1色成分和第2色成分的各动态图像的信息而生成提高了时空分辨率后的第2成分的动态图像。从而能够在不降低向各照相机入射的光量的降低的情况下，生成高分辨率、且高帧率的动态图像。
文档编号H04N5/232GK101578886SQ20088000191
公开日2009年11月11日 申请日期2008年7月25日 优先权日2007年8月7日
发明者吾妻健夫, 广濑良文, 本村秀人, 登一生 申请人:松下电器产业株式会社