本发明涉及一种图像处理装置、摄像装置以及图像处理方法，尤其涉及一种基于摄像光学系统的点扩散函数对通过摄像光学系统拍摄的图像进行复原处理的技术。
背景技术：
通过摄像光学系统拍摄的被摄体像中，由于摄像光学系统所引起的像差和衍射等的影响，有时会发现点被摄体具有微小的扩展的点扩散现象。表示摄像光学系统对点光源的应答的函数被称为点扩散函数(psf：pointspreadfunction)，并且已知为左右摄像图像的解析度劣化(模糊)的特性。
针对由于点扩散现象而画质劣化的摄像图像，基于psf进行点像复原处理，由此能够复原(恢复)劣化的摄像图像的画质。该点像复原处理为如下处理，即，预先求出摄像光学系统(透镜和光圈)的像差等所引起的劣化特性(点像特性)，并且通过使用与该点像特性对应的复原滤波器进行的图像处理而消除或减少摄像图像的点扩散的处理。
以往，作为进行这种点像复原处理的摄像装置，有专利文献1中记载的摄像装置。
专利文献1中记载有如下趣旨：关于由摄像装置得到的摄像图像，即使在高精度地校正了摄像光学系统的球面像差、彗形像差、像面弯曲、像散等各像差的情况下，也会由于取决于光圈值(f数)的衍射现象而发生劣化，并且，虽然像差能够通过提高摄像光学系统的成像性能而得到改善，但由于无法避免的物理现象即衍射，因此对由衍射导致的图像的劣化进行校正是重要课题。
并且，专利文献1中记载有如下趣旨：f16以上的f数中，通过光圈减少像差，并且衍射的影响成为主导。
因此，专利文献1中记载的摄像装置中，仅将光圈值为规定值以上(小光圈)时产生的衍射(所谓的小光圈模糊)作为点像复原处理的对象，当拍摄摄像图像时的光圈值为规定值以上时，使用与该光圈值对应的一个复原滤波器进行摄像图像的点像复原处理。
并且，小光圈模糊取决于光圈值和光的波长而不取决于像高(图像的位置)，因此能够对一个图像内使用一个复原滤波器来减少小光圈模糊，由此能够减少数据量和运算量。
以往技术文献
专利文献
专利文献1：日本特开2014-150423号公报
技术实现要素：
发明要解决的技术课题
专利文献1中记载的摄像装置中，由于仅将小光圈模糊作为点像复原处理的对象，因此无法恢复摄像光学系统的球面像差，尤其是通过瞳孔外缘附近的光线所具有的大球面像差所引起的画质的劣化。因此，专利文献1中记载的摄像装置中适用的摄像光学系统需要使用球面像差所引起的画质的劣化少的摄像光学系统，并且存在摄像光学系统昂贵的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够获取所希望的画质的摄像图像的图像处理装置、摄像装置以及图像处理方法。
用于解决技术课题的手段
为了实现上述目的，本发明的一种方式所涉及的图像处理装置具备：点像复原处理部，针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从成像元件获取的图像数据，使用基于摄像光学系统的点扩散函数的复原滤波器进行点像复原处理；以及判别部，当点像复原处理所贡献的规定的空间频率下的调制传递函数且根据摄像条件变动的调制传递函数低于阈值时，判别为由点像复原处理部进行点像复原处理，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理。
点像复原处理所贡献的规定的空间频率下的调制传递函数根据摄像条件发生变动，而当根据摄像条件变动的调制传递函数低于阈值时，判别部判别为进行点像复原处理。而且，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理，因此能够将劣化的摄像图像复原(恢复)成所希望的画质的摄像图像。并且，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理(即，设为当调制传递函数为阈值以上时可获取所希望的画质的摄像图像而不进行点像复原处理)，因此能够减少点像复原处理中使用的复原滤波器等的数据量和点像复原处理的运算成本。
在本发明的另一方式所涉及的图像处理装置中优选为，当将基于成像元件的采样频率设为fs时，规定的空间频率为0.25fs至0.3fs的范围内的空间频率。这是因为，当通过点像复原处理而0.25fs至0.3fs的范围内的空间频率下的调制传递函数变高时，与其他空间频率区域中的调制传递函数变高的情况相比，摄像图像的画质提高。
在本发明的又一方式所涉及的图像处理装置中优选为，当将空间频率为0时的调制传递函数设为100％时，阈值为10％至50％的范围内的值。
在本发明的又一方式所涉及的图像处理装置中，摄像条件为构成摄像光学系统的光圈的光圈值。摄像光学系统的球面像差根据光圈的光圈值发生变化，其结果，调制传递函数也根据光圈值发生变化。并且，当光圈值成为规定值以上(小光圈)时，产生小光圈模糊而调制传递函数下降。因此，光圈的光圈值是改变调制传递函数的摄像条件之一。
在本发明的又一方式所涉及的图像处理装置中优选为，判别部根据光圈的光圈值来判别根据摄像条件变动的调制传递函数是否低于阈值。判别部根据改变调制传递函数的参数之一的光圈的光圈值，间接地判别调制传递函数是否低于阈值。
在本发明的又一方式所涉及的图像处理装置中优选为，判别部根据基于复原滤波器的规定的空间频率下的滤波器增益来判别根据摄像条件变动的调制传递函数是否低于阈值。通常，调制传递函数越下降，基于复原滤波器的滤波器增益变得越大。因此，判别部根据基于复原滤波器的滤波器增益，间接地判别调制传递函数是否低于阈值。
在本发明的又一方式所涉及的图像处理装置中，摄像条件为对被摄体进行照明的光源的种类或光源的波长。摄像光学系统的球面像差根据波长发生变动，其结果，调制传递函数也根据波长发生变动，因此对被摄体进行照明的光源的种类等为改变调制传递函数的摄像条件之一。
在本发明的又一方式所涉及的图像处理装置中优选为，作为根据摄像条件变动的调制传递函数，判别部使用与对被摄体进行照明的光源的种类或光源的波长对应的调制传递函数。这是因为，光源的波长(指定为光源的种类的光源的波长)是改变调制传递函数的参数之一。
在本发明的又一方式所涉及的图像处理装置中优选为，判别部根据成像元件的成像画面上的规定区域中的调制传递函数来判别根据摄像条件变动的调制传递函数是否低于阈值。通常，调制传递函数在成像画面上并不均匀，因此优选采用成像画面上的规定区域中的调制传递函数。
在本发明的又一方式所涉及的图像处理装置中优选为，规定区域中的调制传递函数为成像画面上的像高为50％以上的区域的调制传递函数。通常，调制传递函数中，与像高小于50％的区域(中心区域)相比，像高为50％以上的区域(周边区域)降低，因此优选采用降低区域的调制传递函数。这是因为，通过点像复原处理来恢复劣化的摄像图像(至少调制传递函数降低的区域的图像)的画质。
在本发明的又一方式所涉及的图像处理装置中优选为，规定区域中的调制传递函数为成像画面的画面整体的调制传递函数。
在本发明的又一方式所涉及的图像处理装置中优选为，规定区域中的调制传递函数为成像画面的任意多个点的调制传递函数。作为成像画面的任意多个点的调制传递函数，例如能够设为将成像画面的画面整体分割成多个区域的各分割区域的中心位置的调制传递函数。
在本发明的又一方式所涉及的图像处理装置中优选为，当构成摄像光学系统的光圈至少为开放光圈时，摄像光学系统的调制传递函数低于阈值。作为摄像光学系统，通过采用光圈为开放光圈时的调制传递函数低于阈值的摄像光学系统，与以即使在光圈为开放光圈的情况下调制传递函数也高于阈值的方式进行了光学设计的摄像光学系统相比，能够设为光学设计的自由度高且廉价的摄像光学系统。
本发明的又一方式所涉及的摄像装置具备上述任一方式中所述的图像处理装置以及摄像部。
本发明的又一方式所涉及的摄像装置优选用作工业相机。
本发明的又一方式所涉及的图像处理方法包括如下步骤：针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从成像元件获取的图像数据，使用基于摄像光学系统的点扩散函数的复原滤波器进行点像复原处理的步骤；以及当点像复原所贡献的规定的空间频率下的调制传递函数且根据摄像条件变动的调制传递函数低于阈值时，判别为进行点像复原处理的步骤，进行点像复原处理的步骤中，仅在进行判别的步骤中判别为进行点像复原处理时使用复原滤波器进行点像复原处理。
在本发明的又一方式所涉及的图像处理方法中优选为，当将基于成像元件的采样频率设为fs时，规定的空间频率为0.25fs至0.3fs的范围内的空间频率。
在本发明的又一方式所涉及的图像处理方法中优选为，当将空间频率为0时的调制传递函数设为100％时，阈值为10％至50％的范围内的值。
在本发明的又一方式所涉及的图像处理方法中优选为，摄像条件为构成摄像光学系统的光圈的光圈值。
在本发明的又一方式所涉及的图像处理方法中优选为，进行判别的步骤中，根据光圈的光圈值来判别根据摄像条件变动的调制传递函数是否低于阈值。
在本发明的又一方式所涉及的图像处理方法中优选为，进行判别的步骤中，根据基于复原滤波器的规定的空间频率下的滤波器增益来判别根据摄像条件变动的调制传递函数是否低于阈值。
发明效果
根据本发明，仅在根据摄像条件变动的调制传递函数低于阈值时进行点像复原处理，因此能够将劣化的摄像图像复原(恢复)成所希望的画质的摄像图像，并且，当调制传递函数为阈值以上时设为已获取所希望的画质的摄像图像而不进行点像复原处理，因此能够减少点像复原处理中使用的复原滤波器等的数据量和点像复原处理的运算成本。
附图说明
图1是表示与计算机连接的摄像装置的功能结构例的框图
图2是表示图1中示出的相机控制器的结构例的框图
图3是表示图2中示出的相机控制器内的图像处理部的第1实施方式的框图
图4是表示针对球面像差与f值的每个组合计算出的mtf的一例的图表
图5是表示与点像复原处理后的mtf和复原处理前的mtf之比对应的滤波器增益的图表
图6是与图4对应的图表，且表示点像复原处理后的mtf的图表
图7是表示示出针对球面像差与f值的每个组合计算出的mtf的另一例的图表
图8是表示图2中示出的相机控制器内的图像处理部的第2实施方式的框图
图9是表示图像处理方法的第1实施方式的流程图
图10是表示图像处理方法的第2实施方式的流程图
图11是表示图像处理方法的第3实施方式的流程图
具体实施方式
以下，根据附图对本发明所涉及的图像处理装置、摄像装置以及图像处理方法的实施方式进行说明。以下实施方式中，作为一例，对用于机器视觉系统的摄像装置中适用本发明的情况进行说明。
图1是表示与计算机(pc：personalcomputer(个人计算机))连接的摄像装置10的功能结构例的框图。
对于工业相机，要求加宽景深，同时尽可能减小光圈的光圈值(f值)，由此高速获取对象范围的聚集图像，并且使用会产生如通常的相机透镜那种小光圈模糊的f值的机会很少。
图1所示的摄像装置10为机器视觉系统中使用的工业相机，主要由构成摄像部的透镜单元12和成像元件26、相机控制器28、输入输出接口32以及照明装置40构成。
透镜单元12具备由透镜16和光圈18构成的摄像光学系统以及控制该摄像光学系统的光学系统操作部20。光学系统操作部20包括调整透镜16的对焦位置的手动操作部以及通过从相机控制器28添加的控制信号来驱动光圈18的光圈驱动部。
对于机器视觉系统中使用的摄像装置的透镜，重要的是解析度、亮度等透镜性能是面内均匀的。作为用于实现这种性能的设计方法，有限制光圈的光圈值(f值)的方法，而作为透镜规格，还需要透镜的亮度。
另一方面，对于机器视觉系统中使用的摄像装置而言，从景深的必要性考虑，针对实用上使用的光圈的范围，通常使用中频带的光圈(大于开放光圈的f值且小于产生小光圈模糊的小光圈的f值的f值范围的光圈)。
因此，该摄像装置10的透镜16是在规定的摄像条件下(包含实用上使用的光圈的f值)以能够拍摄产品的检查、测量或定位等中要求的所希望的画质的摄像图像的方式重点化而进行了透镜设计的透镜。对于使用该透镜16而拍摄的摄像图像而言，在除了规定的摄像条件以外的摄像条件下画质劣化且不能满足所希望的画质(成为劣化的摄像图像)，但劣化的摄像图像能够通过后述点像复原处理而复原(恢复)。并且，对于本例的透镜16的焦距(f)而言，f＝16mm。
光圈18由多个光圈叶片构成，并且将光圈从f1.4(开放f值)至f22以1av(aperturevalue(光圈值))的增量进行10级控制。
成像元件26由cmos(complementarymetal-oxidesemiconductor(互补金属氧化物半导体))型的影像传感器构成。另外，成像元件26并不限于cmos型，也可以是xy地址型或ccd(chargecoupleddevice(电荷耦合器件))型的影像传感器。并且，本例的成像元件26的采样频率(fs)为90根/mm。
照明装置40是对基于摄像装置10的摄像区域的被摄体进行照明的装置，例如具备汞灯、红外线光源以及红(r)、绿(g)、蓝(b)的rgb光源等多个光源，通过选择发光光源的种类，从而通过所希望的波长的照明光对被摄体进行照明。本例中，照明装置40能够适当选择如下光来进行发光，即，通过打开汞灯而将e射线光谱(波长λ＝546.070nm)作为峰值波长的光或者通过打开红外线光源而将e射线的两倍的波长(1092.14nm)作为峰值波长的红外光。并且，通过从rgb光源选择一个光源或以适当组合打开光源，也能够发出具有所希望的峰值波长的光。
如图2所示，相机控制器28具有：综合控制摄像装置10的各部的作为设备控制部34的功能；以及对从成像元件26发送来的图像数据进行图像处理的作为图像处理部(图像处理装置)35的功能，对于详细内容在之后进行说明。
通过相机控制器28进行了图像处理的图像数据通过输入输出接口32发送至计算机60等中。从相机控制器28输出的图像数据的格式并没有特别限定，为动态图像时，可以设为mpeg(movingpictureexpertsgroup(运动图像专家组))、h.264等格式，为静态图像时，可以设为jpeg(jointphotographicexpertsgroup(联合图像专家组))、tiff(taggedimagefileformat(标记图像文件格式))等格式。并且，可以输出不进行基于图像处理部35的图像处理的原始数据(raw数据)。而且，如所谓的exif(exchangeableimagefileformat(可交换图像文件格式))那样，相机控制器28也可以将标题信息(摄像日期/时间、型号、像素数、f值、光源的种类等)、主图像数据以及缩略图像数据等多个相关数据彼此建立对应关系而构成为一个图像文件，并输出该图像文件。
计算机60是构成对各种产品进行检查等的机器视觉系统的一部分的部分，其通过摄像装置10的输入输出接口32和计算机输入输出部62与摄像装置10连接，并接收从摄像装置10发送来的图像数据等数据类。计算机控制器64综合控制计算机60，对来自摄像装置10的图像数据进行图像处理，并对所拍摄的产品进行检查等，并且，对其与通过网络连接的工业机器人等各种装置(未图示)之间的通信进行控制。
计算机60具有显示器66，计算机控制器64中的处理内容和检查结果等根据需要而显示在显示器66中。用户一边确认显示器66的显示一边操作键盘等输入装置(省略图示)，从而能够将数据和命令输入到计算机控制器64中。由此，用户能够对计算机60和与计算机60连接的摄像装置10进行控制。
各控制器(相机控制器28、计算机控制器64)具有控制处理所需的电路类，例如具备中央处理器(cpu(centralprocessingunit)等)和存储器等。
[图像处理装置]
＜图像处理部的第1实施方式＞
图3是表示图2中示出的相机控制器28内的图像处理部35的第1实施方式的框图。
图3所示的图像处理部35主要由点像复原处理部51、判别部53以及切换部(切换开关)54构成。另外，图像处理部35除了点像复原处理部51以外，还具备偏移处理、灰度校正处理以及轮廓强调处理等各种处理部，图3中进行了省略。
从成像元件26(图1)读取且轮换成数字信号的图像数据被添加到切换开关54的第1输入54a以及点像复原处理部51(复原滤波器处理部51a)。
点像复原处理部51主要由复原滤波器处理部51a、复原滤波器存储部51b以及复原滤波器选择部51c构成。
复原滤波器处理部51a的一侧的输入中添加了复原处理前的图像数据且由于透镜16的球面像差等而画质劣化的摄像图像的图像数据，另一侧的输入中添加了从存储于复原滤波器存储部51b的多个复原滤波器通过复原滤波器选择部51c而适当选择的复原滤波器。
复原滤波器处理部51a针对所输入的图像数据，使用从复原滤波器选择部51c添加的复原滤波器进行点像复原处理，并计算已进行点像复原处理的图像数据。即，复原滤波器处理部51a进行所输入的图像数据中以处理对象像素为中心的规定核尺寸(是与复原滤波器相同的核尺寸，例如7×7等)的图像数据与复原滤波器的卷积运算，并计算已进行点像复原处理的图像数据。
通过复原滤波器处理部51a进行了点像复原处理的图像数据添加到切换开关54的第2输入54b中。
判别部53是判别是否需要对所输入的图像数据进行由点像复原处理部51进行的点像复原处理的部分，若判别为需要进行点像复原处理，则输出将切换开关54的可动接片54c切换成第2输入54b的切换信号(例如，高电平信号)，并且是判别是否需要进行由点像复原处理部51进行的点像复原处理的的部分，若判别为不需要进行点像复原处理，则输出将切换开关54的可动接片54c切换成第1输入54a的切换信号(例如，低电平信号)。另外，对于判别部53的详细内容在之后进行说明。
[复原滤波器]
接着，对存储于复原滤波器存储部51b的复原滤波器进行说明。
通常，在基于表示摄像光学系统(透镜16、光圈18)对点光源的应答的点扩散函数(psf)进行的模糊图像的复原中能够利用卷积型维纳(wiener)滤波器。参考将psf(x,y)进行了傅立叶变换的光学传递函数(otf：opticaltransferfunction)和信噪比(snr：signaltonoiseratio)的信息，能够通过下式计算复原滤波器的频率特性d(ωx,ωy)。
[数式1]
其中，h(ωx,ωy)表示otf，h*(ωx,ωy)表示其复共轭。并且，snr(ωx,ωy)表示信噪比。
复原滤波器的滤波器系数的设计是选择系数值以使滤波器的频率特性最接近所希望的维纳频率特性的优化问题，能够通过任意公知的方法适当地计算滤波器系数。
另外，psf根据f值、照明光的波长(峰值波长)、像高以及焦距等摄像条件发生变动，因此复原滤波器需要使用根据摄像条件变动的psf来进行计算。并且，也可以使用表示otf的振幅成分的调制传递函数(mtf：modulationtransferfunction)来计算复原滤波器，以代替otf。
复原滤波器存储部51b中与摄像条件相关联地存储有根据与多个摄像条件对应的psf计算出的多个复原滤波器。本例的复原滤波器存储部51b中存储有与光圈18的f值以及照明装置40的光源的种类或光源的波长(峰值波长)对应的复原滤波器，但并不限于此，也可以进一步生成并存储与像高对应的复原滤波器。
复原滤波器选择部51c中从相机控制器28(图1)添加有表示光圈18的当前的光圈值(f值)的信息(f值信息)以及由照明装置40使用的多个光源中表示拍摄时使用的光源的种类的信息(光源信息)，复原滤波器选择部51c根据从相机控制器28输入的f值信息和光源信息，从复原滤波器存储部51b读取与这些信息对应的复原滤波器，并将已读取的复原滤波器输出至复原滤波器处理部51a。另外，光源信息并不限于表示拍摄时使用的光源的种类的信息，也可以是表示拍摄时使用的光源的波长(峰值波长)的信息。
判别部53中从相机控制器28添加有f值信息和光源信息，判别部53判别是否需要对根据f值信息和光源信息输入的图像数据进行由点像复原处理部51进行的点像复原处理，并如上述那样将与判别结果对应的切换信号输出至切换开关54。
接着，对是否需要对所拍摄的图像数据进行点像复原处理的具体判别方法进行说明。
摄像图像的解析度劣化(模糊)被透镜的点扩散函数(psf)所左右，并且，psf主要取决于透镜的球面像差。
作为近似摄像光学系统的波面像差的多项式，利用了使用极坐标的泽尼克(zernike)多项式，泽尼克多项式(弗里茨泽尼克多项式)的第9项表示球面像差。
现今，对于使用焦距f为16mm的透镜、将以e射线光谱(波长λ＝546.070nm)为峰值波长的汞灯作为照明光源且球面像差不同的各种透镜，针对每一由弗里茨泽尼克多项式的第9项表示的球面像差和f值，计算出mtf。
其中，基于成像元件26的采样频率(fs)为90根/mm，mtf为0.25fs至0.3fs的范围内的规定的空间频率(本例中，0.25fs)下的值。另外，将0.25fs至0.3fs的范围内的空间频率下的mtf作为评价对象的理由在于，该范围内的空间频率下的mtf适合对画质进行评价，并且是点像复原处理有助于画质的空间频率区域。
图4是表示针对球面像差与f值的每一组合计算出的mtf的一例的图表。
图4中示出球面像差为0λ、0.2λ、……、5λ的10种透镜与f1.4～f22的10级f值的每个组合的mtf。
在此，图4所示的mtf是光轴上的规定的空间频率(0.25fs)下的值，并且是成像元件26的成像画面上的规定区域中的mtf，但也可以是除此以外的区域。
规定区域的mtf能够设为成像画面上的像高为50％(将成像画面的中心至成像画面的四角的距离设为100％时的50％)以上的区域的mtf。这是因为，通常像高越高时mtf越低，并优选采用降低区域的mtf。
而且，作为规定区域的mtf的其他例，可以采用成像画面的画面整体的mtf，并且也可以采用成像画面的任意多个点的mtf。
此外，作为规定区域的mtf，使用规定区域的mtf的代表值(例如，平均值、中央值或最频值等)。
如图4所示，f1.4为开放f值，随着f值从开放f值增大(光圈开口减小)，mtf增大，若f值成为f5.6以上，则mtf逐渐减小。若f值成为f5.6以上则mtf逐渐减小是因为，小光圈模糊比球面像差占主导地位。另外，f22中，由于mtf过低而无法正确地进行计算，因此将mtf设为0。
从景深的必要性考虑，机器视觉系统中使用的摄像装置10将实用上使用的光圈的范围作为中频带的光圈，对于透镜16而言，以即使在中频带的光圈中不进行点像复原处理，也能够拍摄产品的检查等中要求的所希望的画质的摄像图像的方式重点化而进行了透镜设计。
另一方面，作为透镜规格，还需要透镜的亮度，因此例如，即使开放光圈，也需要能够获取产品的检查等中要求的所希望的画质的摄像图像，此时，通过点像复原处理来恢复劣化的摄像图像。
另外，本例的透镜16以球面像差成为2λ的方式进行了透镜设计，但并不限定于此。并且，球面像差越大的透镜，透镜设计越容易，透镜也越便宜。
当根据摄像条件(f值、光源的波长)变动的mtf且成像元件26的成像画面上的规定区域中的mtf低于阈值时，判别部53判别为进行点像复原处理。
本例中，当将空间频率为0时的mtf设为100％时，将阈值设为50％，但阈值并不限于该值，例如也能够采用10％至50％的范围内的值。
如图4所示，当为球面像差2λ的透镜16且从照明装置40发出的照明光为将e射线光谱作为峰值波长的光时，由于光圈18的f值为f1.4(开放f值)、f1.8、f11以及f16时mtf小于50％，因此判别部53判别为进行点像复原处理。
即，代替比较mtf与阈值，判别部53能够将根据摄像条件(f值、光源的波长)变动的mtf是否低于阈值50％替换成f值来进行判别，本例中，f值为f2.0～f8(光圈为中频带)时，判别为不进行点像复原处理，f值在除此以外的范围时，判别为进行点像复原处理。另外，本例中，f22设为在产品的检查等中不使用的f值。
并且，图5是表示与图6中示出的点像复原处理后(校正后)的mtf和图4中示出的复原处理前的mtf之比对应的滤波器增益的图表。
从图4与图5的比较中可知，mtf越降低，为了接近目标mtf而滤波器增益取越大的值。
因此，代替比较mtf与阈值，判别部53能够将根据摄像条件变动的mtf是否低于阈值50％替换成滤波器增益来进行判别。即，如图5所示，当滤波器增益为2以上且5以下时，由于mtf低于阈值50％，因此判别部53判别为进行点像复原处理。
另外，图6中，为了便于说明滤波器增益，对所有透镜和f值示出点像复原处理后的mtf，但实际上点像复原处理部51仅在由判别部53判别为应进行点像复原处理的摄像条件时进行点像复原处理即可，因此复原滤波器存储部51b仅在应进行点像复原处理的摄像条件下存储与该摄像条件对应的复原滤波器即可，由此能够减少应存储的复原滤波器的数据量。并且，点像复原处理部51仅在由判别部53判别为应进行点像复原处理的摄像条件时进行点像复原处理即可，因此与无论摄像条件如何均对所有图像进行点像复原处理时相比，能够减少运算成本。
图7是表示示出针对球面像差与f值的每个组合计算出的mtf的另一例的图表。另外，图7所示的mtf仅在光源的种类上与图4中示出的一例不同，作为照明光的光源，示出了有关使用将图4中示出的e射线的两倍的波长(1092.14nm)作为峰值波长的红外线光源的情况。
若光源的波长不同，则透镜中的折射率不同，其结果，mtf也不同。从图4中示出的mtf与图7中示出的mtf的比较可知，作为拍摄时的光源，若使用具有e射线的两倍的波长的红外光，则与使用将以汞灯为光源的e射线作为峰值波长的光的情况相比，mtf降低。
在以球面像差成为2λ的方式进行了透镜设计的本例的透镜16的情况下，若使用将e射线作为峰值波长的光源，并将f值减小为f2，则mtf成为阈值50％以上，而若使用发出具有e射线的两倍的波长的红外光的红外线光源，则即使将f值减小为f2，mtf也不会成为阈值50％以上，需要减小为f2.8以上。
因此，对于判别部53，作为根据摄像条件变动的mtf，使用根据拍摄时使用的光圈18的f值和从照明装置40发出的照明光的光源的种类(或光源的波长)指定的mtf，并根据该mtf是否低于阈值50％来判别是否进行点像复原处理。另外，也可以通过f值或滤波器增益进行判别，以代替通过mtf进行判断。
＜图像处理部的第2实施方式＞
图8是表示图2中示出的相机控制器28内的图像处理部35的第2实施方式的框图。另外，对与图3中示出的第1实施方式相同的部分标注相同符号，并省略其详细说明。
图8所示的第2实施方式的图像处理部35主要由点像复原处理部52、判别部53以及切换开关54构成。
点像复原处理部52具备点扩散函数存储部52b和复原滤波器生成部52c来代替点像复原处理部51的复原滤波器存储部51b和复原滤波器选择部51c，在这一方面与第1实施方式的图像处理部35的点像复原处理部51不同。
点像复原处理部51的复原滤波器存储部51b存储与f值等摄像条件对应的多个复原滤波器，相对于此，点扩散函数存储部52b存储用于生成多个复原滤波器的来源的、表示摄像光学系统(透镜16、光圈18)对点光源的应答的点扩散函数(psf)。另外，复原滤波器存储部51b仅在应进行点像复原处理的摄像条件下存储与该摄像条件对应的psf即可，由此能够减少应存储的psf的数据量。
复原滤波器生成部52c中从相机控制器28(图1)添加有表示光圈18的当前的f值的f值信息以及由照明装置40使用的多个光源中表示拍摄时使用的光源的种类的光源信息，复原滤波器生成部52c根据从相机控制器28输入的f值信息和光源信息，从点扩散函数存储部52b读取与这些信息对应的psf，并根据已读取的psf生成复原滤波器。
即，复原滤波器生成部52c根据将已读取的psf进行了傅立叶变换的otf和预先设定的snr，求出例如如[数式1]式中示出的复原滤波器的频率特性d(ωx,ωy)，并将其进行傅立叶逆变换而生成卷积型维纳滤波器(复原滤波器)。
这样制作出的复原滤波器添加到复原滤波器处理部52a，在此进行图像数据与复原滤波器的卷积运算。
另外，点扩散函数存储部52b存储有psf，但也可以存储将psf进行了傅立叶变换的otf或表示otf的振幅成分的mtf来代替psf。
[图像处理方法]
＜图像处理方法的第1实施方式＞
接着，根据图9中示出的流程图对本发明所涉及的图像处理方法的第1实施方式进行说明。
图9中，图像处理部35的判别部53(图3、图8)从相机控制器28获取摄像条件(表示光圈18的当前的f值的f值信息以及照明装置40的多个光源中表示拍摄时使用的光源的种类的光源信息)(步骤s10)。
接着，判别部53获取与已获取的摄像条件对应的摄像光学系统(透镜16、光圈18)的mtf且规定的空间频率(例如，基于成像元件26的采样频率(fs)的四分之一的空间频率(0.25fs))下的mtf(步骤s12)。例如，判别部53具有存储部，该存储部存储图4和图7中示出的拍摄时使用的光源的每个种类(波长λ＝546.070nm、λ＝1092.14nm)以及与本例的透镜16的球面像差(2λ)对应的每个f值的mtf，通过从该存储部读取与当前摄像条件对应的mtf来获取mtf。
判别部53判别如上述那样获取的mtf是否低于阈值(50％)，当低于该阈值时(“是”的情况)，判别为进行由点像复原处理部51或52(图3、图8)进行的点像复原处理，并过渡到步骤s16(步骤s14)。即，若判别部53判别为进行点像复原处理，则能够使点像复原处理部51或52工作，并且输出将切换开关54的可动接片54c切换成第2输入54b的切换信号。
在步骤s16中，点像复原处理部51或52仅在判别部53判别为进行点像复原处理时进行点像复原处理，并将已进行点像复原处理的图像数据输出至切换开关54的第2输入54b。由此，通过切换开关54输出已进行点像复原处理的图像数据。
另一方面，当已获取的mtf为阈值(50％)以上时(“否”的情况)，判别部53判别为不进行由点像复原处理部51或52进行的点像复原处理，并结束本处理(步骤s14)。此时，判别部53输出将切换开关54的可动接片54c切换成第1输入54a的切换信号，并通过切换开关54输出输入到第1输入54a的未进行点像复原处理的未处理的图像数据。并且，若判别部53判别为不进行点像复原处理，则优选使点像复原处理部51或52不能工作，从而产生运算成本。
＜图像处理方法的第2实施方式＞
图10是表示本发明所涉及的图像处理方法的第2实施方式的流程图。另外，图10中，对与图9中示出的第1实施方式相同的步骤标注相同的步骤号，并省略其详细说明。
第1实施方式中根据mtf的大小判别了是否进行点像复原处理，但图10所示的第2实施方式中，根据在步骤s10中获取的f值来代替mtf而判别是否进行点像复原处理，这一点不同。
即，第2实施方式的判别部53判别在步骤s10中获取的f值是否为f2以上且f8以下(f2≤f值≤f8)，当为f2≤f值≤f8时(“是”的情况)，判别为不进行点像复原处理，并结束本处理(步骤s20)。
另一方面，当在步骤s10中获取的f值小于f2或超过f8时(“否”的情况)，判别部53判别为进行点像复原处理，并过渡到步骤s16(步骤s20)。
另外，在步骤s20中判别的f值的范围(f2≤f值≤f8)是光源的种类与汞灯(波长λ＝546.070nm)对应的范围(参考与图4的2λ的球面像差对应的f值)，而当光源的种类为红外线光源(波长λ＝1092.14nm)时，在步骤s20中判别的f值的范围成为f2.8≤f值≤f8(参考与图7的2λ的球面像差对应的f值)。
＜图像处理方法的第3实施方式＞
图11是表示本发明所涉及的图像处理方法的第3实施方式的流程图。另外，图11中，对与图9中示出的第1实施方式相同的步骤标注相同的步骤号，并省略其详细说明。
图11中，第3实施方式的判别部53获取与在步骤s10中获取的摄像条件对应的复原滤波器的滤波器增益(即，基于复原滤波器的点像复原处理后的规定的空间频率下的mtf与复原处理前的规定的空间频率下的mtf之比)(参考步骤s22、与图6的2λ的球面像差对应的滤波器增益)。
接着，判别部53判别在步骤s22中获取的滤波器增益是否为2以上且5以下(2≤滤波器增益≤5)，当为2≤滤波器增益≤5时(“是”的情况)，判别为进行点像复原处理，并过渡到步骤s16(步骤s24)。这是因为，当为2≤滤波器增益≤5时，与2λ的球面像差对应的mtf小于阈值(50％)(参考图4)，从而图像数据不满足产品的检查等中要求的所希望的画质。
另一方面，当在步骤s22中获取的滤波器增益小于2或超过5时(“否”的情况)，判别部53判别为不进行点像复原处理，并结束本处理(步骤s24)。当滤波器增益小于2时，与2λ的球面像差对应的mtf成为阈值(50％)以上(参考图4)，图像数据满足所希望的画质，因此无需进行点像复原处理。并且，当滤波器增益超过5时，复原强度强而可能导致过校正，因此本例中不进行点像复原处理，但也可以使用复原强度弱的复原滤波器来进行点像复原处理。其中，作为对产品进行检查等时的摄像条件，优选不使用滤波器增益超过5的摄像条件。
[其他]
本实施方式中，对机器视觉系统中使用的摄像装置10进行了说明，但摄像装置10的用途并不限定于机器视觉用途。并且，也能够适用于一般的数码相机、数码摄像机、监控摄像机等中，而且在不发生小光圈模糊的f值的范围内经常使用的相机中容易得到效果。
并且，本实施方式中，摄像装置10的相机控制器28内的图像处理部35(图2、图3、图8)作为本发明所涉及的图像处理装置发挥作用，但并不限于此，当从摄像装置10向计算机60发送raw数据时，也可以以使计算机60的图像处理部(图像处理装置)发挥与相机控制器28内的图像处理部35相同功能的方式构成计算机60的图像处理部。此时，当计算机60不通过相机控制器28控制摄像条件时，相机控制器28需要将f值等摄像条件与raw数据一同发送至计算机60的图像处理部。
而且，本实施方式的点像复原处理中，作为复原滤波器使用了卷积型维纳滤波器，但并不限于此，例如也可以使用[数式1]式中示出的空间频率区域的复原滤波器。此时，需要对所输入的图像数据进行傅立叶变换，将已进行傅立叶变换的空间频率区域的图像数据与空间频率区域的复原滤波器相乘，并将相乘结果进行傅立叶逆变换。
并且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，当然能够进行各种变形。
符号说明
10-摄像装置，12-透镜单元，16-透镜，18-光圈，20-光学系统操作部，26-成像元件，28-相机控制器，32-输入输出接口，34-设备控制部，35-图像处理部，40-照明装置，51、52-点像复原处理部，51a、52a-复原滤波器处理部，51b-复原滤波器存储部，51c-复原滤波器选择部，52b-点扩散函数存储部，52c-复原滤波器生成部，53-判别部，54-切换开关，54a-第1输入，54b-第2输入，54c-可动接片，60-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，s10～s24-步骤，f-焦距，λ-波长。