红外线摄像装置、固定图案噪声计算方法及固定图案噪声计算程序与流程

本发明涉及一种红外线摄像装置、固定图案噪声计算方法及固定图案噪声计算程序。

背景技术：

以往，在红外线摄像装置中产生红外线检测像素所具有的灵敏度的偏差或电路的增益及偏移的偏差等装置固有的固定图案噪声(fixedpatternnoise，以下简称为fpn。)。尤其，在具有红外线检测像素以2维状配置的摄像元件的红外线摄像装置中，各个红外线检测像素具有特性的变动，因此，最终产生较短时间内发生变化的fpn。

若在红外线摄像装置中产生这种fpn，则即使拍摄均匀温度的表面，也无法得到均匀亮度(浓度)的摄像图像。由此，在红外线线摄像装置中，在装置内设置快门，在将从外部入射到红外线检测像素的光进行阻断的状态下计算fpn，并对fpn进行校正(例如，参考专利文献1)。

并且，专利文献2为在摄像装置中进行fpn校正的技术，而不是有关红外线摄像装置的技术。

在专利文献2中公开了如下摄像装置，其将在动态摄像中得到的多个摄像图像数据进行重叠，并通过过滤器从重叠后的摄像图像数据提取高频成分而计算fpn。

并且，专利文献3公开了如下方法，求出赋予接近于亮度均匀的多个摄像图像数据的平均值的连续函数，从该平均值减去该连续函数而进行fpn校正。

现有技术文献

专利文献

专利文献1：日本特开2009-089138号公报

专利文献2：日本特开2006-140982号公报

专利文献3：日本特开平02-046072号公报

技术实现要素：

发明所要解决的问题

如专利文献1，在关闭快门的状态下计算fpn的方法中，在红外线摄像装置工作中快门定期关闭。因此，若为动态摄像中，则所拍摄的动态图像定期被中断。

专利文献2中所记载的摄像装置无需关闭快门便能够计算fpn。然而，专利文献2中所记载的摄像装置前提是拍摄可见光的装置，即使适用于红外线摄像装置，也无法进行充分的fpn校正。

即，红外线摄像装置中的fpn并不限定于高频成分，也存在除了高频成分以外的fpn。因此，若将专利文献2中所记载的方法应用到红外线摄像装置，则无法去除除了高频成分以外的fpn，无法充分地提高摄像图像品质。

专利文献3中所记载的方法需要得到亮度均匀的多个摄像图像数据，因此无法适用于动态摄像。

本发明是鉴于上述情况而完成的，其目的在于提供无需中断动态图像便进行拍摄的同时，能够以高精度计算fpn的红外线摄像装置和固定图案噪声计算方法及程序。

用于解决问题的手段

本发明的红外线摄像装置具备：摄像元件，包含以二维状配置的多个红外线检测像素；及固定图案噪声计算部，将平均图像数据作为从上述多个红外线检测像素的至少一部分中输出的固定图案噪声进行存储，所述平均图像数据为将选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由上述摄像元件拍摄包括相对于上述摄像元件运动的运动物体的被摄体而得到。

本发明的固定图案噪声计算方法具备如下固定图案噪声计算步骤，将平均图像数据作为从上述多个红外线检测像素的至少一部分输出的固定图案噪声进行存储，所述平均图像数据为将选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由包含以二维状配置的多个红外线检测像素的上述摄像元件拍摄包括相对于上述摄像元件运动的运动物体的被摄体而得到。

本发明的固定图案噪声计算程序为用于使计算机执行固定图案噪声计算步骤的程序，所述固定图案噪声计算步骤为如下，将平均图像数据作为从上述多个红外线检测像素的至少一部分输出的固定图案噪声进行存储，所述平均图像数据为将选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由包含以二维状配置的多个红外线检测像素的上述摄像元件拍摄包括相对于上述摄像元件运动的运动物体的被摄体而得到。

发明效果

根据本发明能够提供无需中断动态图像而进行拍摄的同时，以高精度计算fpn的红外线摄像装置和固定图案噪声计算方法及程序。

附图说明

图1是表示用于对本发明的一实施方式进行说明的红外线摄像装置的概略结构的图。

图2是用于对基于fpn计算部19的对应于移动范围的fpn的计算方法进行说明的图。

图3是用于对图1所示的红外线摄像装置的fpn计算动作进行说明的流程图。

图4是表示图1所示的红外线摄像装置的结构的变形例的图。

图5是用于对图4所示的红外线摄像装置的fpn计算动作进行说明的流程图。

图6是表示选择摄像图像数据的个数n与移动速度v的关系的图。

图7(a)、图7(b)是用于对fpn的计算方法的变形例进行说明的图。

具体实施方式

以下，参考附图，对本发明的实施方式进行说明。

图1是表示用于对本发明的一实施方式进行说明的红外线摄像装置的概略结构的图。

图1所示的红外线摄像装置具备成像透镜1、通过成像透镜1而拍摄被摄体的摄像元件3、模拟信号处理部6、模拟数字转换电路(a/d转换电路)7及摄像元件驱动部10。

摄像元件3具有对经由成像透镜1聚光的、从被摄体发射的红外线(通常，波长为8μm～12μm的光)进行检测的以二维状配置的多个红外线检测像素。摄像元件3由摄像元件驱动部10来驱动。

作为使用于红外线检测像素的红外线检测元件，可以举出例如热释电元件。或者可以使用将产生塞贝克效应的热电偶进行连接的热电堆型、利用由温度上升引起的电阻值的变化的热辐射计型等红外线检测元件。

另外，红外线检测元件并不限定于这些，只要是能够检测红外线的红外线检测元件，则其种类没有限制。在本说明书中，将从摄像元件3的所有红外线检测像素输出的像素信号的集合称作摄像图像数据。

模拟信号处理部6进行包括放大处理的模拟信号处理，所述放大处理对从摄像元件3输出的摄像图像数据的各个像素信号值乘以增益而进行放大。

a/d转换电路7将从模拟信号处理部6输出的模拟的摄像图像数据转换为数字数据。

模拟信号处理部6、a/d转换电路7及摄像元件驱动部10由系统控制部11来控制。

在系统控制部11中，来自用户的命令信号通过操作部14而被输入。

另外，红外线摄像装置的电气控制系统具备：主存储器16；存储器控制部15，连接于主存储器16；数字信号处理部17，进行将从a/d转换电路7输出的摄像图像数据转换为可以在显示部23显示的形式的处理等；运动物体判定部18，判定通过由摄像元件3拍摄而得到的摄像图像数据中是否包含运动物体(运动的物体)；fpn计算部19，计算从摄像元件3的红外线检测像素输出的fpn；外部存储器控制部20，连接有装卸自如的记录介质21；及显示控制部22，连接有显示部23。

存储器控制部15、数字信号处理部17、fpn计算部19、外部存储器控制部20及显示控制部22通过控制总线24及数据总线25彼此连接，并通过来自系统控制部11的指令而被控制。

运动物体判定部18根据通过由摄像元件3拍摄而得到的以时序排列的多个摄像图像数据的比较(例如模式匹配等)，进行由摄像图像数据来检测运动物体的处理，在检测到运动物体的情况下，判定为在摄像图像数据中包含运动物体。

fpn计算部19在通过定期由摄像元件3拍摄而得到的摄像图像数据中，从通过拍摄包括相对于摄像元件3运动的运动物体的被摄体而得到的多个摄像图像数据中，选择多个选择摄像图像数据。fpn计算部19将对所选择的多个选择摄像图像数据的每一个的至少一部分进行平均的平均图像数据，作为摄像元件3的多个红外线检测像素的至少一部分fpn，存储于主存储器16的fpn存储区域。

具体而言，fpn计算部19在多个选择摄像图像数据中，对该多个选择摄像图像数据的每一个中的运动物体的移动范围内的数据进行平均，从而生成平均图像数据。fpn计算部19将该平均图像数据作为对应于该移动范围的红外线检测像素的fpn存储于主存储器16的fpn存储区域。

图2是用于对基于fpn计算部19的对应于移动范围的fpn的计算方法进行说明的图。

图2中，符号g1、g2、g3分别表示通过由摄像元件3依次拍摄包括运动物体ob的被摄体而得到的摄像图像数据。

运动物体判定部18通过摄像图像数据g1与摄像图像数据g2的比较来检测运动物体ob。若检测到运动物体ob，则在摄像图像数据g1、g2、g3中能够确定运动物体ob移动的移动范围h。

图2中，在摄像图像数据g2中用虚线来表示摄像图像数据g1中的运动物体ob所存在的位置。并且，在摄像图像数据g3中，用虚线来表示摄像图像数据g1中的运动物体ob所存在的位置，且用单点划线来表示摄像图像数据g2中的运动物体ob所存在的位置。

fpn计算部19根据由摄像图像数据g1、g2、g3检测到的运动物体ob的轨迹，在摄像图像数据g1、g2、g3的每一个中确定运动物体ob移动的移动范围h。

具体而言，在摄像图像数据g3中，将运动物体ob所存在的区域、在摄像图像数据g1中运动物体ob所存在的区域、及在摄像图像数据g2中运动物体ob所存在的区域全部包括在内的范围设为移动范围h。

fpn计算部19将摄像图像数据g3中的移动范围h内的各个像素信号值、摄像图像数据g2中的移动范围h内的各个像素信号值、摄像图像数据g1中的移动范围h内的各个像素信号值进行平均，从而生成平均图像数据。

fpn计算部19将该平均图像数据作为红外线检测像素(对应于移动范围h的红外线检测像素)的fpn而存储于主存储器16，所述红外线检测像素输出摄像图像数据中的移动范围h的各个像素信号值。

图2中的移动范围h中，在每一个摄像图像数据中运动物体ob的位置随机发生变化。因此，若用3个摄像图像数据来对该移动范围h内的各个像素信号值进行平均，则对应于被摄体的信号成分被抵消而减小。因此，在平均图像数据中仅剩下对应于fpn的信号成分。从而，可以将该平均图像数据用作fpn。

图2中，对关于3个摄像图像数据求出在移动范围h内的像素信号值的平均值的例子进行了说明，但由于成为计算平均值的对象的选择摄像图像数据的个数增加，因此能够使对应于被摄体的信号成分极小化，因此可以将平均图像数据用作fpn。

图3是用于对图1所示的红外线摄像装置的fpn计算动作进行说明的流程图。

若红外线摄像装置的电源接通，则系统控制部11使摄像元件3开始进行被摄体的动态摄像(步骤s1)。

若开始进行动态摄像，则从摄像元件3输出摄像图像数据，该摄像图像数据被进行处理，并存储于主存储器16(步骤s2)。存储于主存储器16中的摄像图像数据通过数字信号处理部17进行减去存储于fpn校正区域的fpn的fpn校正等处理，从而转换为记录用数据。根据该记录用数据的图像显示于显示部23，并且该记录用图像数据记录于记录介质21。

在图1所示的红外线摄像装置中，例如在基于摄像元件3的动态摄像中，从摄像元件3每隔1秒钟输出60个摄像图像数据。在主存储器16中可以存储300个摄像图像数据，在存储300个摄像图像数据之后，删除最旧的摄像图像数据，取而代之，存储最新的摄像图像数据。

若成为存储于主存储器16的fpn存储区域中的fpn的更新定时，(步骤s3：是)，则运动物体判定部18对存储于主存储器16的在过去一定期间(例如5秒钟)内拍摄而得到的多个(＝300个)摄像图像数据进行运动物体检测处理(步骤s4)。

存储于主存储器16的fpn存储区域中的fpn的更新定时为预先确定的定时，在此，设为5秒1次的定时。另外，在步骤s3中，在不是fpn的更新定时的情况下，处理返回到步骤s1。

经过步骤s4的运动物体检测处理的结果，在运动物体判定部18检测到运动物体的情况下(步骤s5：是)，fpn计算部19从存储于主存储器16的300个摄像图像数据中的包含运动物体的多个摄像图像数据中选择多个摄像图像数据。在此，所选择的摄像图像数据称作选择摄像图像数据。步骤s5的判定为否时，处理返回到步骤s1。

fpn计算部19对所选择的多个选择摄像图像数据的每一个中的运动物体移动的移动范围内的像素信号值进行平均，从而生成平均图像数据(步骤s6)。

fpn计算部19用上述平均图像数据来覆盖记录于fpn记录区域的、对应于上述移动范围的红外线检测像素的fpn，从而更新对应于上述移动范围的红外线检测像素的fpn(步骤s7)。

如上所述，根据图1所示的红外线摄像装置，即使在动态摄像中，也无需关闭快门，并且无需使动态图像的画质变动便能够计算fpn。并且，由于通过对多个选择摄像图像数据进行平均而计算fpn，因此在动态摄像中也能够毫无问题地进行应用。

并且，fpn计算部19通过计算多个选择摄像图像数据的平均值而生成fpn。因此，通过使用所生成的fpn来进行摄像图像数据的fpn校正，也可以去除除了高频成分以外的fpn，并能够提高摄像图像品质。

在将红外线摄像装置搭载于汽车等车辆上的情况下，由于车辆开始移动，因此整个被摄体成为运动物体。因此，通过图3中已说明的处理可以对摄像元件3的所有红外线检测像素逐渐更新fpn。

另外，即使为包含在相同的期间得到的运动物体的多个摄像图像数据，在该运动物体微动的情况下，通过对更少数的选择摄像图像数据进行平均而能够减小对应于被摄体的信号成分。

因此，优选存储于主存储器16的包括运动物体的多个摄像图像数据中的运动物体的移动量的累计值越大，fpn计算部19使设为平均图像数据的计算对象的选择摄像图像数据的个数越少。

该情况下，运动物体判定部18向fpn计算部19通知包括运动物体的多个摄像图像数据中所包含的运动物体的移动矢量(图2的符号m1、m2)。

fpn计算部19求出关于包括运动物体的多个摄像图像数据所求出的多个移动矢量的各个大小(相当于运动物体的移动量)的累计值。而且，fpn计算部19从包括运动物体的摄像图像数据中选择与所求出的累计值对应的个数的选择摄像图像数据，关于所选择的选择摄像图像数据，对移动范围内的数据进行平均，从而生成平均图像数据。

由此，根据所拍摄的被摄体的情况，能够优化fpn计算中所需要的时间及运算处理量。

图4是表示图1所示的红外线摄像装置的结构的变形例的图。图4所示的红外线摄像装置假设搭载于车辆进行使用。

图4所示的红外线摄像装置设置速度检测部30来代替运动物体判定部18，且部分变更了fpn计算部19的功能，除了这些方面以外，与图1所示的红外线摄像装置结构相同。

速度检测部30检测红外线摄像装置的移动速度。速度检测部30能够使用通过设置于红外线摄像装置的加速度传感器或gps(globalpositioningsystem)传感器等物理传感器来检测移动速度的速度检测部。或者，速度检测部30对通过由摄像元件3进行连拍而得到的多个摄像图像数据中共同包含的被摄体部分的运动矢量进行运算，并可以根据该运动矢量的大小来检测移动速度。

图5是用于对图4所示的红外线摄像装置的fpn计算动作进行说明的流程图。在图5中，对与图3相同的处理标注相同的符号并省略说明。

若成为fpn的更新定时，则fpn计算部19获取由速度检测部30检测的移动速度，并判定移动速度是否为阈值th1以上(步骤s14)。

若移动速度小于阈值th1，则处理返回到步骤s1。另一方面，若移动速度为阈值th1以上，则fpn计算部19在存储于主存储器16中的300个摄像图像数据中，从最新的摄像图像数据中选择n个(n为2以上的自然数)摄像图像数据而作为选择摄像图像数据。然后，关于所选择的n个选择摄像图像数据对各个像素信号值进行平均，从而生成平均图像数据(步骤s15)。

接着，fpn计算部19用步骤s15中所生成的平均图像数据来覆盖存储于fpn存储区域的所有红外线检测像素的fpn，从而更新fpn(步骤s16)。

在移动速度成为阈值th1以上的情况下，即搭载红外线摄像装置的车辆移动的情况下，整个被摄体成为相对于摄像元件3运动的运动物体。因此，在fpn更新的定时，若移动速度成为阈值th1以上，则从该定时之前得到并存储于主存储器16的最新的摄像图像数据开始数，n个摄像图像数据的每一个成为通过拍摄完全不同的被摄体的而得到的摄像图像数据。从而，通过对该n个摄像图像数据进行平均，能够得到使对应于被摄体的信号成分抵消而仅剩下fpn的平均图像数据。

如此，根据图4所示的红外线摄像装置，在红外线摄像装置的移动速度为阈值th1以上的情况下，计算由摄像元件3拍摄的过去n个摄像图像数据的每一个的各个像素信号值的平均值而作为各红外线检测像素的fpn。因此与图1所示的红外线摄像装置同样，能够防止在动态摄像时产生动态图像的中断或者动态图像的画质变动。

并且，由于不需要由摄像图像数据检测运动物体的处理，因此能够比图1所示的红外线摄像装置更简单地计算fpn。

另外，若上述阈值th1设定为太小的值，则在步骤s15中选择的n个选择摄像图像数据中不产生差异，基于平均化的对应于被摄体的信号成分的抵消效果减弱。因此，上述阈值th1设定为可期待该抵消效果的程度的较大的值。

并且，在图5的步骤s15中选择的选择摄像图像数据的个数n，可以根据在步骤s14中判定的移动速度的大小来确定。

图6是表示选择摄像图像数据的个数n与移动速度v的关系的图。在图6中，将阈值th1设为5[m/s]。

如图6所示，移动速度v越大，n的个数越小，由此可以减少fpn计算中所需要的运算量。

如上所述，在图1及图4所示的红外线摄像装置中，对从通过拍摄包括相对于摄像元件3运动的运动物体的被摄体而得到的多个摄像图像数据中选择的多个选择摄像图像数据的每一个的一部分或全部进行平均，将进行平均而得到的平均图像数据作为fpn进行存储。

在图3的步骤s6和图5的步骤s15中，若在成为计算平均值的对象的多个选择摄像图像数据的相同的坐标位置包含有相同的被摄体(例如天空)，则平均图像数据中的该部分的像素信号值有可能直接残留，而对应于被摄体的信号成分不会被抵消。

由此，fpn计算部19在生成平均图像数据之后，如图7(a)所示，将该平均图像数据分割为多个(图7(a)中为4个)区域61。符号60表示平均图像数据。

关于各个区域61，fpn计算部19对区域61内的像素信号值进行平均而计算4个区域平均值av。fpn计算部19提取4个区域平均值av中的最小值min，用该最小值min来替换平均图像数据60的各个像素信号值中的成为阈值th2以上的像素信号值，并设为最终的fpn。

或者，fpn计算部19在生成平均图像数据之后，提取平均图像数据的各个像素信号值中的最小值，用所提取的最小值来替换平均图像数据的各个像素信号值中的作为阈值th2以上的像素信号值，并设为最终的fpn。

由此，在数字信号处理部17进行从摄像图像数据的各个像素信号值减去fpn的fpn校正的情况下，能够防止对应于天空的像素信号值变得过小，可以提供反映了被摄体的浓淡的图像。

阈值th2设定为比作为固定图案噪声而有可能产生的信号值充分大的值。由此，能够用多个选择摄像图像数据来提高存在不运动的被摄体部分的情况下的fpn计算精度。

也可以作为用于使计算机执行本实施方式的fpn计算部19所进行的各步骤的程序来提供。这种程序将该程序记录于计算机可读取的非临时性(non-transitory)记录介质。

这种“计算机可读取的记录介质”包括例如cd-rom(compactdisc-rom)等光学介质或存储卡等磁记录介质等。并且，也可以通过经由网络的下载而提供这种程序。

如以上所进行的说明，本说明书中记载有以下内容。

所公开的红外线摄像装置具备：摄像元件，包含以二维状配置的多个红外线检测像素；及固定图案噪声计算部，将平均图像数据作为从上述多个红外线检测像素的至少一部分输出的固定图案噪声进行存储，所述平均图像数据为将选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由上述摄像元件拍摄包含相对于上述摄像元件运动的运动物体的被摄体而得到。

所公开的红外线摄像装置为如下装置，即上述固定图案噪声计算部将上述多个选择摄像图像数据的每一个中的上述运动物体的移动范围内的数据进行平均，从而生成上述平均图像数据，并将该平均图像数据作为对应于上述移动范围的上述红外线检测像素的固定图案噪声进行存储。

所公开的红外线摄像装置为如下装置，即上述固定图案噪声计算部计算上述多个摄像图像数据中所包含的上述运动物体的移动量的累计值，上述累计值越大，使上述选择摄像图像数据的个数越少。

所公开的红外线摄像装置为如下装置，即上述固定图案噪声计算部将平均图像数据作为从上述多个红外线检测像素输出的固定图案噪声进行存储，所述平均图像数据为对上述多个选择摄像图像数据的每一个的全部进行平均后的数据。

所公开的红外线摄像装置还具备检测移动速度的速度检测部，由上述速度检测部检测的移动速度越大，上述固定图案噪声计算部使上述选择摄像图像数据的个数越少。

所公开的红外线摄像装置为如下装置，即上述固定图案噪声计算部将构成上述平均图像数据的像素信号值中的最小值、或者通过将上述平均图像数据分割为多个区域而得到的各个区域的像素信号值的平均值中的最小值，与上述平均图像数据的像素信号值中成为阈值以上的像素信号值进行替换，从而计算上述固定图案噪声。

所公开的固定图案噪声计算方法具备如下固定图案噪声计算步骤，即将平均图像数据作为从上述多个红外线检测像素的至少一部分输出的固定图案噪声进行存储，所述平均图像数据为将选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由包含以二维状配置的多个红外线检测像素的摄像元件来拍摄包括相对于上述摄像元件运动的运动物体的被摄体而得到。

所公开的固定图案噪声计算方法在上述固定图案噪声计算步骤中，将上述多个选择摄像图像数据的每一个中的上述运动物体的移动范围内的数据进行平均，从而生成上述平均图像数据，将该平均图像数据作为对应于上述移动范围的上述红外线检测像素的固定图案噪声进行存储。

所公开的固定图案噪声计算方法，在上述固定图案噪声计算步骤中，计算上述多个摄像图像数据中所包含的上述运动物体的移动量的累计值，上述累计值越大，使上述选择摄像图像数据的个数越少。

所公开的固定图案噪声计算方法，在上述固定图案噪声计算步骤中，将对上述多个选择摄像图像数据的每一个的全部进行平均的平均图像数据，作为从上述多个红外线检测像素输出的固定图案噪声进行存储。

所公开的固定图案噪声计算方法，在上述固定图案噪声计算步骤中，搭载上述摄像元件的红外线摄像装置的移动速度越大，使上述选择摄像图像数据的个数越少。

所公开的固定图案噪声计算方法，在上述固定图案噪声计算步骤中，将构成上述平均图像数据的像素信号值中的最小值、或者通过将上述平均图像数据分割为多个区域而得到的各个区域的像素信号值的平均值中的最小值，与上述平均图像数据的像素信号值中成为阈值以上的像素信号值进行替换，从而计算上述固定图案噪声。

所公开的固定图案噪声计算程序为用于使计算机执行固定图案噪声计算步骤的程序，在所述固定图案噪声计算步骤中，将平均图像数据作为从上述多个红外线检测像素的至少一部分输出的固定图案噪声进行存储，所述平均图像数据为对选自多个摄像图像数据的多个选择摄像图像数据的每一个的至少一部分进行平均后的数据，所述多个摄像图像数据通过由包含以二维状配置的多个红外线检测像素的摄像元件来拍摄包括相对于上述摄像元件运动的运动物体而得到。

工业实用性

本发明尤其适用于车辆用摄像机等，方便性高且有效。

参考特定的实施方式对本发明详细地进行了说明，但在不脱离本发明的宗旨和范围的情况下，可以追加各种变更和修改，这对本领域技术人员来讲是显而易见的。

本申请主张基于2014年9月29日于日本申请的日本专利申请(专利申请2014-199015)，其内容作为参考而援用于此。

符号说明

3-摄像元件，19-fpn计算部。