图像处理装置、摄像装置、计算机、图像处理方法及程序的制作方法
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置、图像处理方法及程序，特别是涉及根据摄影 图像生成放大图像的图像放大处理。
【背景技术】
[0002] 在相机等摄像装置的领域中，由配置有RGB等滤色器的摄像元件（CCD、CMOS等） 获取数字摄影图像。在如此获取的摄影图像中有时所谓的莫尔条纹、离焦、纹理紊乱、伪色、 重叠失真等画质劣化较为明显，特别是，有时根据摄影图像生成的变倍图像中这些画质劣 化较为显著地表现。因此，提出了对莫尔条纹等图像劣化进行抑制的各种各样的技术。
[0003] 例如专利文献1公开了如下技术：根据边缘区域的检测结果、变倍率、利用者的指 定信息对低通滤光器进行切换而实施与图像种类和变倍率对应的平滑化处理，由此生成莫 尔条纹、离焦较少的变倍图像。
[0004] 另外，专利文献2公开了如下技术：取入由多个像素数据构成的处理对象的图像， 使这多个像素数据的位置在各像素数据的附近区域内对应每个像素数据随机地移动，从而 与图案、网点等重复图案的周期无关地降低莫尔条纹。
[0005] 专利文献
[0006] 专利文献1 :日本特开平05 - 328106号公报
[0007] 专利文献2 :日本特开2005-056006号公报
【发明内容】
[0008] 发明要解决的课题
[0009] 如专利文献1所公开的技术那样，为了抑制莫尔条纹等图像劣化将空间频率较高 的成分（高频成分）去除较为有效，通常使用低通滤光器（LPF)。作为该低通滤光器，除了 基于信号处理的低通滤光器外，将照射到摄像元件的光中的高频成分光学性地截止的光学 低通滤光器（OLPF)的活用也有所进展。
[0010] 另一方面，通过对滤色器的排列图案进行改良等，即使不使用低通滤光器，也能够 获取充分地抑制了莫尔条纹等图像劣化的摄影图像。因此，在滤色器的排列图案的情况下， 不积极地使用光学低通滤光器，也能够在不丧失高频成分的情况下获取进一步提高了分辨 率感的摄影图像。
[0011] 如此，光学低通滤光器的有无、各种排列图案的滤色器的使用等摄像装置的结构 和功能也多样化，但是在如专利文献1、专利文献2所公开那样的以往的技术中，与上述多 样化对应的适当的图像放大加工较为困难。
[0012] 例如，在专利文献1所公开的技术中，根据变倍率、图像种类等而对低通滤光器的 种类进行切换，但是关于光学低通滤光器的有无、对滤色器的排列图案进行了变更的情况 的处理，在专利文献1中既没有公开也没有给出启示。
[0013] 另外，在专利文献2中虽然也公开了莫尔条纹降低处理技术，但是并没有根据光 学低通滤光器的有无、滤色器的排列图案而使莫尔条纹降低处理最佳化。因此，根据专利文 献2的莫尔条纹降低处理技术，例如，在对经由拜耳排列滤色器而得到的摄影图像和经由 具有进行了防止莫尔条纹的改良的其他图案排列的滤色器而得到的摄影图像实施相同的 图像放大处理的情况下，分辨率感在两者之间不同，或者在一方的放大图像中莫尔条纹等 图像劣化也有可能比较显著。
[0014] 如此，将从所使用的滤色器的种类、光学低通滤光器的有无等摄影条件不同的摄 像装置获取的摄影图像（图像数据）以同样的放大率进行放大的情况下，也设想分辨率感 不同等、在摄影图像间无法得到同样画质的情况。
[0015] 本发明鉴于上述的情形而提出，目的在于提供一种能够对光学低通滤光器的有 无、各种排列图案的滤色器适当地进行对应的图像放大处理，并能够防止分辨率感的降低 而生成图像劣化不明显的放大图像的技术。
[0016] 用于解决课题的手段
[0017] 本发明的一方式涉及一种图像处理装置，被输入包含摄像数据的图像摄影数据， 该图像处理装置具备：数据获取单元，判别在所输入的图像摄影数据中是否包含摄影条件 数据，且在判别为在所输入的图像摄影数据中包含摄影条件数据的情况下获取摄影条件数 据的内容；及放大处理决定单元，基于由数据获取单元获取的摄影条件数据的获取结果，决 定与根据摄像数据生成放大图像数据的放大处理关联的放大关联处理执行与否、放大关联 处理的处理参数和放大处理的处理参数中的至少任一个，摄影条件数据包含与摄像数据的 摄像生成时的光学低通滤光器的有无相关的信息。
[0018] 根据本方式，能够基于与光学低通滤光器的有无相关的信息，决定放大关联处理 执行与否、放大关联处理的处理参数和放大处理的处理参数中的至少任一个。由此，能够使 与光学低通滤光器的有无对应的放大关联处理和放大处理最佳化。
[0019] 另外，在此所谓的"放大关联处理"，是能够包含与摄像数据的放大处理相关联的 全部处理的概念，包含能够提高通过放大处理得到的放大图像的画质的处理。具体来说，在 放大关联处理中包含提高图像清晰度的轮廓强调处理、其他处理。因此，作为"放大关联处 理的处理参数"，例如能够列举出对轮廓强调处理中的轮廓强调程度进行规定的参数，更具 体来说，能够列举出轮廓强调处理滤光器的滤光系数等。
[0020] 另外，所谓"放大处理"，是能够包含对摄像数据的图像尺寸进行放大的全部处理 的概念，包括获取使通过摄像数据再现的图像的横向像素数/纵向像素数增大后的放大图 像的图像处理。例如，基于能够对VGA、SVGA、XGA、SXGA、UXGA、QXGA、全尺寸图像（摄像元 件的能够拍摄的最大尺寸的图像）、或者其他尺寸的图像进行再现的摄像数据，生成用于放 大图像的图像数据的图像处理包含于放大处理。因此，作为"放大处理的处理参数"，例如能 够列举出放大处理中的放大率、放大插值处理的处理参数。另外，本方式对于在放大图像中 向分辨率感的降低、图像劣化易于明显的尺寸的放大处理特别有效，但摄像数据的尺寸、放 大图像的尺寸不特别被限定。
[0021] 另外，所谓"光学低通滤光器"是将光的高频成分光学性地截止的滤光要素，能够 适当配置于从照射到摄像元件之前的光将高频成分截止的位置。另外，与光学低通滤光器 的有无相关的信息也可以直接包含于摄影条件数据，例如，如对应摄像装置的每个机种来 决定光学低通滤光器的有无的情况那样，能够间接地获取与光学低通滤光器的有无相关的 信息的机种名等其他信息也可以包含在摄影条件数据中。
[0022] 本发明的其他方式涉及一种图像处理装置，被输入包含摄像数据的图像摄影数 据，该图像处理装置具备：数据获取单元，判别在所输入的图像摄影数据中是否包含摄影条 件数据，且在判别为在所输入的图像摄影数据中包含摄影条件数据的情况下获取摄影条件 数据的内容；及放大处理决定单元，基于由数据获取单元获取的摄影条件数据的获取结果， 决定与根据摄像数据生成放大图像数据的放大处理关联的放大关联处理执行与否、放大关 联处理的处理参数和放大处理的处理参数中的至少任一个，摄影条件数据包含与摄像数据 的摄像生成时所用的摄像部的滤色器的排列相关的信息。
[0023] 根据本方式，能够基于与滤色器的排列相关的信息，决定放大关联处理执行与否、 放大关联处理的处理参数和放大处理的处理参数中的至少任一个。由此，能够使与滤色器 的排列图案特性对应的放大关联处理和放大处理最佳化。
[0024] 另外，所谓"滤色器"是用于在照射到摄像元件时使光通过而对每种颜色的光的强 度进行判断的滤光要素，能够将原色滤光片（红、绿、蓝等）、互补色滤光片（青色、品红色、 黄色、绿色等）作为滤色器而使用。另外，滤色器的排列图案、结构颜色要素不特别被限定。 与滤色器的排列相关的信息可以直接包含在摄影条件数据中，例如像对应摄像装置的每个 机种决定滤色器的排列的情况那样，能够间接地获取与滤色器的排列相关的信息的机种名 等其他信息也可以包含在摄影条件数据中。
[0025] 优选为，放大关联处理是对摄像数据的轮廓强调处理。
[0026] 根据本方式，能够在利用轮廓强调处理提高摄像数据中的图像清晰度后进行放大 处理。由此，在通过放大处理得到的放大图像中，能够进一步防止产生分辨率感的降低、图 像劣化。另外，在此所谓的"轮廓强调处理"能够设为对图像的轮廓部分进行强调的任意的 处理（锐度处理），并不特别限定。
[0027] 优选为，放大处理的处理参数是放大处理中的放大率。
[0028] 根据本方式，能够利用与摄影条件数据（与光学低通滤光器的有无、滤色器的排 列相关的信息）对应的放大率，实施摄像数据的放大处理。由此，在利用放大处理得到的放 大图像中，能够进一步防止产生分辨率感的降低、图像劣化。
[0029] 优选为，放大处理的处理参数是放大处理中的插值处理的处理参数。
[0030] 根据本方式，能够利用与摄影条件数据（与光学低通滤光器的有无、滤色器的排 列相关的信息）对应的处理参数，进行放大处理的插值处理。由此，在通过放大处理得到的 放大图像中，能够进一步防止产生图像劣化。另外，在此所谓的插值处理并不特别被限定， 能够采用能够得到期望的放大图像数据的任意的插值处理。
[0031] 作为这种插值处理，能够列举例如近邻取样（Nearest Neighbor)法、双线性插值 (Bi-linear Interpolation)法、双三次插值（Bi-cubic Convolution Interpolation)法、 样条插值（Spline Interpolation)法或者其他插值处理方法。
[0032] 优选为，插值处理基于样条插值处理法，插值处理的处理参数是样条插值系数。
[0033] 如本方式那样，利用基于插值再现性优良的样条插值处理法的插值处理实施放大 处理，从而使分辨率感的降低、图像劣化非常难以发生，能够生成优异画质的放大图像的图 像数据。
[0034] 样条插值处理法是已经公知的手法，但是其插值方法不特别被限定。因此，也能够 基于例如日本特开平09 - 050515记载的样条插值处理法进行放大处理。
[0035] 优选为，图像处理装置被输入包含由多个摄像部摄像生成的摄像数据的图像摄影 数据，该多个摄像部至少包括第一摄像部和第二摄像部，放大处理决定单元以在由第一摄 像部摄像生成的图像摄影数据和由第二摄像部摄像生成的图像摄影数据之间使放大处理 后的放大图像数据的画质包含于预定的容许范围的方式，决定放大关联处理执行与否、放 大关联处理的处理参数和放大处理的处理参数中的至少任一个。
[0036] 根据本方式，在由多个摄像部摄像生成的图像摄影数据被输入到图像处理装置的 情况下，以在由第一摄像部摄像生成的图像摄影数据和由第二摄像部摄像生成的图像摄影 数据之间使放大处理后的画质包含于预定的容许范围的方式，决定放大关联处理执行与 否、放大关联处理的处理参数和放大处理的处理参数中的至少任一个。因此，即使在多个摄 像部间的摄像能力不同的情况下，也能够生成均匀画质的放大图像。
[0037] 另外，在此所谓的"放大处理后的放大图像的画质包含于预定的容许范围"，是指 通过放大处理得到的放大图像的画质包含于预定的容许范围的范围，例如，是指成为分辨 率感的降低、放大图像的图像劣化（莫尔条纹等）的要因的各种参数处于预定的容许范围 内。作为这种"放大图像的画质"，例如，能够列举出空间频率、色度量等。
[0038] 另外，所谓"摄像部"，是能够包含有助于摄像数据的生成的各种设备类的概念，也 能够将摄像元件自身作为摄像部而理解，也能够将包含把光导入到摄像元件的透镜类的整 体的结构作为摄像部而理解。因此，对于被输入包含由不同的摄像元件、不同的透镜、或者 透镜?摄像元件间的结构不同的摄像装置摄像生成的摄像数据的图像摄影数据的图像处 理装置，也能够适用本方式。
[0039] 优选为，图像处理装置还具备根据放大处理决定单元的决定结果进行放大关联处 理的放大关联处理单元。
[0040] 根据本方式，能够基于与根据摄影条件数据而决定的摄像数据的放大处理关联的 放大关联处理执行与否、放大关联处理的处理参数的决定结果，利用放大关联处理单元进 行摄像数据的放大关联处理。因此，在根据摄影条件数据判断为不需要放大关联处理的情 况下不进行放大关联处理，另外，能够利用适合于摄影条件数据的处理参数实施放大关联 处理。
[0041] 优选为，图像处理装置还具备根据放大处理决定单元的决定结果进行放大处理的 放大处理单元。
[0042] 根据本方式，能够基于根据摄影条件数据而决定的放大处理的处理参数进行基于 放大处理单元的放大处理。因此，能够利用适合于摄影条件数据的处理参数实施放大处理。
[0043] 优选为，图像处理装置还具备对放大处理决定单元的决定结果进行显示的显示单 J Ll 〇
[0044] 根据本方式，用户能够经由基于显示单元的显示对放大处理决定单元的决定结果 进行确认。在此，基于显示单元的显示方法不特别被限定，可以对用户警告通知放大处理决 定单元的决定结果，也可以进行选择显示使得用户能够了解（确定）/不了解（不确定）放 大处理决定单元的决定结果。
[0045] 优选为，显示单元能够选择地显