内窥镜系统和处理装置的制作方法

本发明涉及具有内窥镜的内窥镜系统和对从内窥镜输出的图像信号进行处理的处理装置。

背景技术：

以往，在医疗领域中，为了进行被检体内部的观察而使用内窥镜系统。一般情况下，内窥镜将呈细长形状的挠性的插入部插入到患者等被检体内，从该插入部前端照射从光源装置供给的照明光，利用插入部前端的摄像部接收该照明光的反射光，由此对体内图像进行摄像。在内窥镜系统的处理装置中对这样由内窥镜的摄像部拍摄的体内图像实施了规定的图像处理后，将其显示在内窥镜系统的显示器中。医师等用户根据显示器中显示的体内图像进行被检体的脏器的观察。

提出了如下技术：在这种内窥镜系统所具有的摄像元件中应用cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)传感器，并且，依次照射蓝色光、绿色光和红色光作为针对被摄体的照明光，依次生成与这三个颜色的光对应的摄像信号(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2013-202189号公报

技术实现要素：

发明要解决的课题

cmos传感器通过按照每个水平行错开定时进行曝光或读出的卷帘快门方式，生成图像数据。在该cmos传感器中，为了针对全部像素确保足够的曝光期间，需要提高能够在全部水平行中共同曝光的期间(v消隐期间)的比率。但是，在提高了v消隐期间的比率的情况下，相应地，信号传送用的期间减少，需要从cmos传感器进行高速读出，所以需要摄像缆线中的高速传送，存在传送负担增大这样的问题。

本发明是鉴于上述情况而完成的，其目的在于，提供能够抑制缆线的传送负担、并且能够针对全部像素确保足够的曝光期间的内窥镜系统和处理装置。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的内窥镜系统的特征在于，所述内窥镜系统具有：光源装置，其与规定的周期对应地依次发出不同颜色的照明光作为用于对被摄体进行照明的照明光；内窥镜装置，其具有呈矩阵状配置有多个像素的摄像元件，该多个像素对来自被照射所述照明光的被摄体的光进行光电转换，而生成并输出图像信号；以及处理装置，其具有颜色成分运算部，该颜色成分运算部使用从所述摄像元件输出的图像信号中的、与所述照明光的颜色数量对应的连续多帧的图像信号的输出值，按照所述摄像元件中的像素排列的每行运算各颜色成分信号。

并且，本发明的内窥镜系统的特征在于，所述颜色成分运算部使用从所述摄像元件输出图像信号的最新的帧和该帧以前的帧的图像信号的输出值中的、与作为运算对象的行相同的行的输出值，运算作为运算对象的行的颜色成分信号。

并且，本发明的内窥镜系统的特征在于，所述处理装置具有照明控制部，该照明控制部进行使所述光源装置按照每1行曝光期间在1行曝光期间以下的期间内照射所述照明光的控制。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置照射各颜色的照明光，使得各颜色的照明光满足一定的条件，所述颜色成分运算部使用关系式按照每行运算各颜色成分信号，该关系式使用运算中使用的各帧中的各颜色的1行曝光期间的每一次的各个照明期间和运算中使用的各帧中的针对运算对象的行的各颜色的各个曝光期间。

并且，本发明的内窥镜系统的特征在于，所述光源装置照射3个颜色的照明光，所述颜色成分运算部在所述关系式中应用从所述摄像元件输出图像信号的最新的帧以及该帧的1帧前和2帧前的图像信号的输出值中的、与作为运算对象的行相同的行的输出值，对运算对象的行中的各颜色成分信号进行运算。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置依次执行在一个所述1行曝光期间内照射所述3个颜色中的一个颜色的照明光的照明处理。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置在一个所述1行曝光期间内照射所述3个颜色中的2个颜色的照明光。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置在所述2个颜色的照明光的照明期间的至少一部分重合的状态下进行照明。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置在一个所述1行曝光期间内在分别不同的照明期间内照射全部所述3个颜色的照明光。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置以包含所述3个颜色的照明光均重合照射的期间的方式照射所述3个颜色的照明光。

并且，本发明的内窥镜系统的特征在于，所述处理装置还具有：调光部，其根据从所述摄像元件输出的图像信号检测图像的明亮度，根据该检测到的图像的明亮度求出从所述光源装置照射的各颜色的照明光的照明期间；以及存储部，其存储照明期间信息，该照明期间信息表示多个由所述关系式的解唯一确定的各颜色的照明光的照明期间的组合，所述照明控制部使所述光源装置在所述存储部存储的照明期间信息所表示的各颜色的照明光的照明期间的组合中的、与所述调光部求出的各颜色的照明光的照明期间最接近的组合的照明期间内，照射各颜色的照明光。

并且，本发明的内窥镜系统的特征在于，所述3个颜色的照明光是红色光、绿色光、蓝色光。

并且，本发明的内窥镜系统的特征在于，所述摄像元件是cmos摄像元件。

并且，本发明的内窥镜系统的特征在于，所述照明控制部使所述光源装置按照与针对所述摄像元件中的起始行的像素的曝光期间的结束定时相同的定时熄灭所述照明光。

并且，本发明的内窥镜系统的特征在于，所述摄像元件是ccd摄像元件。

并且，本发明的处理装置对发出照明光的光源装置进行控制，并且对从呈矩阵状配置有多个像素的内窥镜装置的摄像元件输出的图像信号进行处理，所述照明光用于对被摄体进行照明，所述多个像素对来自被照射所述照明光的被摄体的光进行光电转换，而生成并输出图像信号，其特征在于，所述处理装置具有：照明控制部，其使所述光源装置与规定的周期对应地依次照射不同颜色的照明光；以及颜色成分运算部，其使用从所述内窥镜装置的摄像元件输出的图像信号的输出值中的、与所述照明光的颜色数量对应的连续多帧的图像信号的输出值，按照所述摄像元件中的像素排列的每行运算各颜色成分信号。

发明效果

根据本发明，使用从摄像元件输出的图像信号中的、与照明光的颜色数量对应的连续多帧的图像信号的输出值，按照每行通过运算处理求出取得对象的帧的各颜色成分的图像信号，所以，不设置v消隐期间，也能够在足够的期间内对全部像素进行曝光，能够抑制缆线的传送负担，并且能够针对全部像素确保足够的曝光期间。

附图说明

图1是示出本发明的实施方式1的内窥镜系统的概略结构的示意图。

图2是示意地示出图1所示的内窥镜系统的结构的框图。

图3是示出在图2所示的处理装置中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。

图4是示出图2所示的摄像元件中的曝光、读出定时的时序图。

图5是说明本实施方式1中求出的图像信号的解的唯一性的图。

图6是示出实施方式1的变形例1的摄像元件中的nbi观察方式下的曝光、读出定时的时序图。

图7是示出实施方式1的变形例1的摄像元件中的nbi观察方式下的曝光、读出定时的另一例的时序图。

图8是示出实施方式1的摄像元件是ccd摄像元件时的曝光、读出定时的时序图。

图9是示意地示出实施方式2的内窥镜系统的结构的框图。

图10是示出在图9所示的处理装置中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。

图11是示出图9所示的摄像元件中的曝光、读出定时的时序图。

图12是说明本实施方式2中求出的图像信号的解的唯一性的图。

图13是说明本实施方式2中求出的图像信号的解的唯一性的图。

图14是示出实施方式2的摄像元件为ccd摄像元件时的曝光、读出定时的时序图。

图15是示意地示出实施方式3的内窥镜系统的结构的框图。

图16是示出在图15所示的处理装置中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。

图17是示出图15所示的摄像元件中的曝光、读出定时的时序图。

图18是说明本实施方式3中求出的图像信号的解的唯一性的图。

图19是说明本实施方式3中求出的图像信号的解的唯一性的图。

图20是示出实施方式3的摄像元件为ccd摄像元件时的曝光、读出定时的时序图。

具体实施方式

在以下的说明中，作为用于实施本发明的方式(以下称为“实施方式”)，对内窥镜系统进行说明。并且，该实施方式并不限定本发明。进而，在附图的记载中，对相同部分标注相同标号。

(实施方式1)

图1是示出本发明的实施方式1的内窥镜系统的概略结构的示意图。如图1所示，本实施方式1的内窥镜系统1具有：内窥镜2(镜体)，其被导入到被检体内，对被检体的体内进行摄像并生成被检体内的图像信号；处理装置3(信号处理装置)，其以拆装自如的方式装配内窥镜2，对从内窥镜2发送的图像信号进行规定的图像处理，并且对内窥镜系统1的各部进行控制；光源装置4，其生成内窥镜2的照明光(观察光)；以及显示装置5，其显示与处理装置3实施了图像处理后的图像信号对应的图像。

内窥镜2具有插入到被检体内的插入部21、位于插入部21的基端部侧且供手术医生把持的操作部22、从操作部22延伸的挠性的通用软线23。

插入部21使用照明光纤(光导缆线)和电缆等实现。插入部21具有：前端部21a，其具有摄像部，该摄像部内置有cmos摄像元件作为对被检体内进行摄像的摄像元件；弯曲自如的弯曲部21b，其由多个弯曲块构成；以及具有挠性的挠性管部21c，其设置在弯曲部21b的基端部侧。在前端部21a设置有经由照明透镜对被检体内进行照明的照明部、对被检体内进行摄像的观察部、连通处理器械用通道的开口部21d和送气/送水用喷嘴(未图示)。

操作部22具有：弯曲旋钮22a，其使弯曲部21b向上下方向和左右方向弯曲；处置器械插入部22b，其将活体钳子、激光刀等处置器械插入到被检体的体腔内；以及多个开关部22c，它们进行处理装置3、光源装置4、送气装置、送水装置和送雾装置等外围设备的操作。从处置器械插入部22b插入的处置器械经由设置在内部的处置器械用通道而从插入部21前端的开口部21d露出。

通用软线23使用照明光纤和电缆等构成。通用软线23具有在基端分支的、相对于处理装置3和光源装置4拆装自如的连接器23a、23b。通用软线23将设置在前端部21a的摄像部拍摄的图像信号经由连接器23a传送到处理装置3。通用软线23将从光源装置4出射的照明光经由连接器23b、操作部22和挠性管部21c传播到前端部21a。

处理装置3对经由通用软线23输入的内窥镜2的前端部21a中的摄像部拍摄的被检体内的摄像信号实施规定的图像处理。处理装置3根据经由通用软线23从内窥镜2的操作部22中的开关部22c发送的各种指示信号，对内窥镜系统1的各部进行控制。

光源装置4使用射出多个波段(颜色)的光的光源和会聚透镜等构成。光源装置4将从光源射出的光作为用于对作为被摄体的被检体内进行照明的照明光，供给到经由连接器23b和通用软线23的照明光纤连接的内窥镜2。光源例如发出红色(r)、绿色(g)和蓝色(b)的光。

显示装置5利用使用液晶或有机el(electroluminescence)的显示器等构成。显示装置5经由影像缆线显示包含图像在内的各种信息，该图像与被处理装置3实施了规定的图像处理的显示用图像信号对应。由此，手术医生通过一边观察显示装置5显示的图像(体内图像)一边对内窥镜2进行操作，能够进行被检体内的期望位置的观察和性状的判定。

接着，对图1中说明的内窥镜系统1的结构进行说明。图2是示意地示出图1所示的内窥镜系统1的结构的框图。

内窥镜2在前端部21a具有光学系统24和摄像元件25。从光源装置4经由连接器23b延伸的光导缆线23c的前端位于前端部21a。在光导缆线23c的前端设置有照明透镜21e。从光源装置4发出的光经由光导缆线23c从插入部21的前端部21a的照明窗21f对被摄体进行照明。

光学系统24使用设置在摄像元件25的前级的一个或多个透镜构成，具有使视场角变化的光学变焦功能和使焦点变化的对焦功能。

摄像元件25具有受光部26和读出部27。摄像元件25是能够进行每个水平行的曝光和读出的cmos摄像元件。

受光部26在受光面上呈矩阵状配置有多个像素。各像素接收来自被照射光的被摄体的光，对接收到的光进行光电转换，生成像素信号(图像信号)。在受光部26的受光面侧配置有光学系统24。

读出部27读出受光部26的多个像素生成的图像信号。读出部27通过卷帘快门方式生成图像信号，该卷帘快门方式是指，从起始的水平行起执行进行曝光和读出的摄像动作，按照每个水平行错开定时进行电荷复位、曝光和读出。因此，在摄像元件25中，在一个摄像期间(帧)内，曝光定时和读出定时也按照每个水平行而分别不同。换言之，关于对1个水平行的像素组进行曝光的期间(1行曝光期间)，在任意的水平行中成为相同的时间宽度，但是，始点和终点按照每个水平行而错开。读出部27读出的图像信号是电信号(模拟)。摄像元件25具有对读出部27读出的图像信号的电信号进行噪声去除和a/d转换等的afe部(未图示)、以及根据从处理装置3接收到的控制信号对摄像元件25的动作进行控制的控制部(未图示)。摄像元件25生成的图像信号(数字)经由信号缆线(未图示)和连接器23a输出到处理装置3。

处理装置3具有图像处理部31、显示控制部32、调光部33、控制部34、输入部35、存储部36。

图像处理部31对由摄像元件25的读出部27读出的图像信号进行规定的图像处理。图像处理部31具有颜色成分运算部31a、能够以帧单位暂时保持从摄像元件25读出的图像信号的可改写的存储器31b、增益调整部31c、白平衡(wb)调整部31d、同时化部31e。图像处理部31有时还进行光学黑体减法处理、边缘强调处理。

颜色成分运算部31a使用从内窥镜2的摄像元件25输出的图像信号中的、与照明光的波段(颜色)数量对应的连续多帧的图像信号的输出值，按照每个水平行运算各颜色成分信号。颜色成分运算部31a使用从摄像元件25输出图像信号的最新的帧和该帧的1帧前的图像信号的输出值中的、与作为运算对象的行相同的行的输出值，运算作为运算对象的行的颜色成分信号。颜色成分运算部31a使用关系式按照每个水平行运算各颜色成分信号，该关系式使用了运算中使用的各帧中的各颜色的1行曝光期间的每一次的各个照明期间和运算中使用的各帧中的针对作为运算对象的水平行的各颜色的各个曝光期间。在照射r、g、b这3个颜色的照明光的情况下，颜色成分运算部31a在连续的3帧内，按照每个水平行生成受光部26仅接收来自被照射r光的被摄体的r光时的r图像信号、受光部26仅接收来自被照射g光的被摄体的g光时的g图像信号和受光部26仅接收来自被照射b光的被摄体的b光时的b图像信号。

增益调整部31c根据由后述调光部33计算出的增益调整值以及由后述照明控制部34a设定的r、g、b这3个颜色的照明光的各照明期间，进行从颜色成分运算部31a输出的各颜色的颜色成分信号即r、g、b图像信号的增益调整。

wb调整部31d对从颜色成分运算部31a输出的各颜色成分即r、g、b图像信号的白平衡进行调整。

同时化部31e将所输入的各r、g、b图像信号输入到按照每个像素设置的存储器(未图示)，与读出部27读出的受光部26的像素的地址对应地，利用所输入的各图像信号依次更新各存储器的值并进行保持，并且，将这3个存储器的各图像信号作为rgb图像信号进行同时化。

显示控制部32与显示装置5对应地对从图像处理部31输出的rgb图像信号进行灰度转换，并且，生成变更为与显示装置5对应的格式的显示用图像信号，将其输出到显示装置5。其结果是，在显示装置5中显示一张体内图像。

调光部33从输入到图像处理部31的图像信号中检测与各像素对应的明亮度电平，根据检测到的明亮度电平计算针对该图像信号的增益调整值。调光部33根据检测到的明亮度电平，计算下一次发出的照明光中的光照射量作为调光条件。调光部33将计算出的增益调整值输出到增益调整部31c，将检测到的明亮度电平和调光条件输出到控制部34。

控制部34使用cpu等实现。控制部34对处理装置3的各部的处理动作进行控制。控制部34进行针对处理装置3的各结构的指示信息和数据的传输等，由此对处理装置3的动作进行控制。控制部34经由各缆线而与摄像元件25和光源装置4分别连接，还进行针对摄像元件25和光源装置4的控制。控制部34具有照明控制部34a。

照明控制部34a根据从调光部33输出的调光条件，设定光源装置4的各颜色的照明期间和照明强度。在实施方式1中，照明控制部34a使照明光的照明强度固定，设定照明期间。照明控制部34a设定对各光源供给的电流量和电流供给期间等驱动条件，将包含设定条件的光源同步信号输出到光源装置4。照明控制部34a设定光源装置4发出的光的类别、光量、照明定时。照明控制部34a进行如下控制：使光源装置4按照起始的水平行1中的每个曝光期间(1行曝光期间)在1行曝光期间以下的期间内照射照明光。另外，照明控制部34a在摄像元件25的输出值不饱和的条件下设定照射时间、照射强度。照明控制部34a也可以设定摄像元件25的输出值饱和之前的照射时间、照射强度，增益调整部31c也可以利用负增益对图像信号进行增益调整。

输入部35使用鼠标、键盘和触摸面板等操作器件实现，受理内窥镜系统1的各种指示信息的输入。具体而言，输入部35受理被检体信息(例如id、出生年月日、姓名等)、内窥镜2的识别信息(例如id、检查对应项目)和检查内容等各种指示信息的输入。

存储部36使用易失性存储器或非易失性存储器实现，存储用于使处理装置3和光源装置4进行动作的各种程序。存储部36暂时记录处理装置3的处理中的信息。存储部36存储由读出部27读出的图像信号。并且，存储部36存储图像处理部31中处理后的图像信号。

光源装置4具有光源控制部41和照明部42，该照明部42具有光源驱动器43和光源44。

光源控制部41在照明控制部34a的控制下，对光源44的照明光的照明处理进行控制。照明部42的光源驱动器43在光源控制部41的控制下，对光源44供给规定的电力。照明部42的光源44发出多个波段(颜色)的光作为供给到内窥镜2的照明光。光源44例如使用红色led、绿色led、蓝色led等光源和会聚透镜等光学系统构成，发出r、g和b的波段(例如r：600nm～700nm、g：500nm～600nm、b：400nm～500nm)的光。从光源44发出的光通过光导缆线23c，经由连接器23b和通用软线23，经由插入部21的前端部21a的照明透镜21e从照明窗21f对被摄体进行照明。另外，在照明窗21f附近配置摄像元件25。并且，光源44也可以是白色光led和旋转滤镜的组合，该旋转滤镜具有透射r光、g光和b光即具有各个波段的光的红色滤镜、绿色滤镜和蓝色滤镜。

图3是示出在处理装置3中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。如图3所示，首先，进行从调光部33对控制部34的照明控制部34a输入下一次照射的照明光的调光条件的调光条件输入处理(步骤s1)。照明控制部34a进行如下的照明控制处理：根据所输入的调光条件，设定下一次照射的照明光的照明条件，在所设定的照明条件下使光源装置4照射照明光(步骤s2)。照明控制部34a使任何颜色的照明光的照明强度都固定，然后设定下一次照射的照明光的颜色和照明期间。与此同时，控制部34进行如下的图像信号读出处理：使内窥镜2的摄像元件25从起始的水平行起依次执行进行曝光和图像信号的读出的图像信号读出处理(步骤s3)。

图像处理部31的颜色成分运算部31a进行如下的颜色成分运算处理：使用包含从摄像元件25输出的图像信号的连续多帧的图像信号的输出值，按照每个水平行运算各颜色成分信号(步骤s4)。颜色成分运算部31a针对全部水平行运算各颜色成分信号，以帧单位输出各颜色成分信号。然后，图像处理部31进行如下的图像信号处理：对颜色成分运算部31a输出的各颜色成分信号进行增益调整处理、白平衡调整处理、同时化处理，生成1帧的rgb图像信号(步骤s5)。另外，图像处理部31有时还在步骤s5中进行光学黑体减法处理、边缘强调处理等图像信号处理。

接着，参照图4对图3所示的各处理进行说明。图4是示出图2所示的摄像元件25中的曝光、读出定时的时序图。在图4中，还与摄像元件25的曝光、读出定时(图4的(1)对应地示出从摄像元件25读出的图像信号(图4的(2))、根据该图像信号生成的r、g、b图像信号(图4的(3)～(5))。另外，在图4的(3)～(5)中，为了容易说明生成各颜色成分的图像信号所使用的图像信号，在从实际定时移动的状态下示出各颜色成分的图像信号的生成定时。

照明控制部34a进行如下的照明控制处理：根据步骤s1中输入的调光条件，使光源装置4依次执行在1行曝光期间内的1行曝光期间以下的期间内照射r光、g光、b光中的一个颜色的光的照明处理(步骤s2)。照明控制部34a按照与摄像元件25中的各帧的1行曝光期间的结束定时相同的定时熄灭所有颜色的光。照明控制部34a根据调光条件，在各1行曝光期间内调整照明开始时间。在图4的例子中，照明控制部34a使光源装置4在每1行曝光期间按照g光、b光、r光的顺序依次照明，也在各帧的1行曝光期间的结束时间熄灭所有的光。

具体而言，在帧1的1行曝光期间(时间t0～t1)内，期间lg1成为g光的照明期间，在帧2的1行曝光期间(时间t1～t2)内，期间lb2成为b光的照明期间，在帧3的1行曝光期间(时间t2～t3)内，期间lr3成为r光的照明期间，在帧4的1行曝光期间(时间t3～t4)内，期间lg4成为g光的照明期间，在帧5的1行曝光期间(时间t4～t5)内，期间lb5成为b光的照明期间。光源装置4在任意的帧内，都在各帧的1行曝光期间的结束时间t1、t2、t3、t4、t5熄灭各光。

接着，对图3的图像信号读出处理(步骤s3)进行说明。在本内窥镜系统1中，作为摄像元件25，采用cmos摄像元件，按照每个水平行使定时在时间方向上位移来进行曝光和读出，所述cmos摄像元件应用按照每个水平行改变曝光和读出的定时的卷帘快门方式。

具体而言，在图4的(1)的例子中，在帧1中，关于起始的水平行1，在时间t0～t1内进行曝光后，在时间t1读出像素信号。关于以后的水平行的像素，按照每个水平行使定时在时间方向上位移来进行曝光和读出。因此，在帧1中，在时间t1～t2的期间内从起始起依次读出各水平行的像素信号，由此输出帧1的图像信号f1(参照图4的(2))。在帧2中，在时间t2～t3的期间内依次读出各水平行的像素信号，由此输出帧2的图像信号f2。同样，在帧3中，通过时间t3～t4的期间内的读出处理，输出帧3的图像信号f3，在帧4中，通过时间t4～t5的期间内的读出处理，输出帧4的图像信号f4，在帧5中，通过时间t5～t6的期间内的读出处理，输出帧5的图像信号f5。

这样，在摄像元件25中，曝光和读出的定时根据每个水平行而不同，所以，关于各帧的图像信号f1～f5的各输出值，根据水平行，被照射的光的颜色、照明次数和照明期间不同，成为与多个颜色的光的曝光对应的值。并且，r、g、b光被控制成，按照各帧的每1行曝光期间，依次各照射一个颜色，所以，各r、b、g光的曝光期间分散在连续的3帧中。因此，在图3的颜色成分运算处理(步骤s4)中，颜色成分运算部31a按照每个水平行考虑连续3帧的各帧中每1行曝光期间的各颜色的照明期间与各帧中针对作为运算对象的水平行的各颜色的曝光期间之间的关系，并且从包含从摄像元件25输出图像信号的最新帧在内的连续3帧的图像信号中提取取得对象的颜色成分的信号，由此求出取得对象的颜色成分的信号。另外，被摄体不进行动作是前提。并且，颜色成分运算部31a在运算中使用的多帧的图像信号暂时保持在存储器31b中。

在实施方式1中，三元一次联立方程式((1)式)成立，该三元一次联立方程式表示连续的帧(k-3)～(k-1)中的水平行n的输出图像信号f(k-3)n、f(k-2)n、f(k-1)n的值；基于连续的帧(k-3)～(k-1)的各1行曝光期间内的各颜色的照明期间和帧(k-3)～(k-1)中的针对水平行n的各颜色的曝光期间的矩阵ak；运算上的帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)之间的关系。

【数学式1】

因此，为了求出运算上的帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)，求出对(1)式进行变形后的(2)式的逆矩阵ak^-1，求解(2)式即可。即，颜色成分运算部31a在(2)式中应用从摄像元件25输出图像信号的最新帧以及该帧的1帧前和2帧前的图像信号的输出值中的、与作为运算对象的行相同的行的输出值，对运算对象的行中的各颜色成分信号进行运算。

【数学式2】

例如，关于第4帧的水平行n的r图像信号f4n(r)、g图像信号f4n(g)、b图像信号f4n(b)，在以下的(3)式中输入帧1～3的图像信号f1n、f2n、f3n中的水平行n的输出值来进行求解(参照箭头y1)。在(3)式中，连续的帧2、3各自的1行曝光期间内的b、r光的照明期间lb2、lr3、帧1～3中的针对水平行n的g光的曝光期间g1、g3、b光的曝光期间b1、b2和r色的曝光期间r2、r3成为矩阵a4的参数。

【数学式3】

颜色成分运算部31a进行如下的运算处理：应用与水平行n对应的r色的曝光期间r2、r3、g光的曝光期间g1、g3、b光的曝光期间b1、b2作为矩阵a4的参数，求解输入了图像信号f3n、f2n、f1n的水平行n的输出值而得到的(3)式。其结果是，颜色成分运算部31a能够生成与第4帧的水平行n对应的与照明期间lr3内利用r光进行曝光时的图像信号对应的r图像信号f4n(r)、与期间(g1+g3)内利用g光进行曝光时的图像信号对应的g图像信号f4n(g)、与照明期间lb2内利用b光进行曝光时的图像信号对应的b图像信号f4n(b)。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵a4的参数，求解输入了作为运算对象的水平行n的图像信号f3n、f2n、f1n的输出值而得到的(3)式。其结果是，能够以帧单位取得第4帧的r图像信号f4(r)、g图像信号f4(g)、b图像信号f4(b)。下面，将(3)式中的由矩阵a4的第1行的成分构成的行向量(r3/lr3、g3/(g1+g3)、0)称为ra，将由第2行的成分构成的行向量(r2/lr3、0、b2/lb2)称为rb，将由第3行的成分构成的行向量(0、g1/(g1+g3)、b1/lb2)称为rc。

关于第5帧的水平行n的r图像信号f5n(r)、g图像信号f5n(g)、b图像信号f5n(b)，在以下的(4)式中输入帧2～4的图像信号f2n、f3n、f4n中的水平行n的输出值来进行求解(参照箭头y2)。在(4)式中，连续的帧3、4各自的1行曝光期间内的r、g光的照明期间lr3、lg4以及帧2～4中的针对水平行n的r色的曝光期间r2、r3、g光的曝光期间g3、g4、b光的曝光期间b2、b4成为矩阵a5的参数。

【数学式4】

颜色成分运算部31a进行如下的运算处理：应用与水平行n对应的r色的曝光期间r2、r3、g光的曝光期间g3、g4、b光的曝光期间b2、b4作为矩阵a5的参数，求解输入了图像信号f4n、f3n、f2n的水平行n的输出值而得到的(4)式。其结果是，颜色成分运算部31a能够生成与第5帧的水平行n对应的与照明期间lr3内利用r光进行曝光时的图像信号对应的r图像信号f5n(r)、与照明期间lg4内利用g光进行曝光时的图像信号对应的g图像信号f5n(g)、与期间(b2+b4)内利用b光进行曝光时的图像信号对应的b图像信号f5n(b)。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵a5的参数，求解输入了作为运算对象的水平行的图像信号f4n、f3n、f2n的输出值而得到的(4)式。其结果是，能够以帧单位取得第5帧的r图像信号f5(r)、g图像信号f5(g)、b图像信号f5(b)。

关于第6帧的水平行n的r图像信号f6n(r)、g图像信号f6n(g)、b图像信号f6n(b)，在以下的(5)式中输入帧3～5的图像信号f3n、f4n、f5n中的水平行n的输出值来进行求解(参照箭头y3)。在(5)式中，连续的帧4、5各自的1行曝光期间内的g、b光的照明期间lg4、lb5以及帧3～5中的针对水平行n的r色的曝光期间r3、r5、g光的曝光期间g3、g4、b光的曝光期间b4、b5成为矩阵a6的参数。

【数学式5】

颜色成分运算部31a进行如下的运算处理：应用与水平行n对应的r光的曝光期间r3、r5、g光的曝光期间g3、g4、b光的曝光期间b4、b5作为矩阵a6的参数，求解输入了图像信号f5n、f4n、f3n的水平行n的输出值而得到的(5)式。其结果是，颜色成分运算部31a能够生成与第6帧的水平行n对应的与照明期间(r3+r5)内利用r光进行曝光时的图像信号对应的r图像信号f6n(r)、与照明期间lg4内利用g光进行曝光时的图像信号对应的g图像信号f6n(g)、与照明期间lb5内利用b光进行曝光时的图像信号对应的b图像信号f6n(b)。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵a6的参数，求解输入了作为运算对象的水平行的图像信号f5n、f4n、f3n的输出值而得到的(5)式。其结果是，能够以帧单位取得第6帧的r图像信号f6(r)、g图像信号f6(g)、b图像信号f6(b)。

关于7帧以后，以3帧为单位依次使用(3)式～(5)式运算各水平行n的各颜色成分的图像信号即可。关于(3)式～(5)式的矩阵ak，对各参数的帧编号分别加上3，按照各水平行n运算矩阵ak的逆矩阵ak^-1，按照每个水平行n取得各颜色成分的图像信号。

另外，对本实施方式1中使用的关系式中的矩阵ak的阶数进行说明。图5是说明本实施方式1中求出的图像信号的解的唯一性的图，是示出在r、g、b空间内观察(3)式的行向量ra、rb、rc的情况的图。行向量ra是r-g平面上的向量，描绘随着行编号的行进而从与水平行1对应的位置ra1朝向位置rc1行进的轨迹pra。行向量rb是b-r平面上的向量，描绘随着行编号的行进而从与水平行1对应的位置rb1朝向位置ra1行进的轨迹prb。行向量rc是g-b平面上的向量，描绘随着行编号的行进而从与水平行1对应的位置rc1朝向位置rb1行进的轨迹prc。如图5那样，这些行向量ra、rb、rc成为在r-g平面、b-r平面、g-b平面的各平面上描绘分别不同的轨迹pra、prb、prc的关系，所以，关于所有的行向量ra～rc，2个行向量不会同时在r、g、b轴上重合。

因此，行向量ra～rc始终是线性独立的，所以，矩阵ak的阶数(秩)为3，(3)式的解唯一确定。因此，在r、g、b的照明期间相同的情况下和不同的情况下，(3)式的解都必定唯一确定，所以，能够在运算中求出各r图像信号f4n(r)、g图像信号f4n(g)、b图像信号f4n(b)的值。(4)式、(5)式也同样，所以，任意帧的颜色成分信号都能够唯一地求出。

在上述颜色成分运算处理(步骤s4)中，在1帧中运算全部r、g、b图像信号作为颜色成分信号，在图像信号处理(步骤s5)中，对这些r、g、b图像信号执行规定的图像信号处理。其中，在同时化处理中，同时化部31e采用该r、g、b图像信号中的、在最接近运算中使用的连续3帧中的最后帧的读出期间的曝光期间内曝光的颜色的图像信号。然后，以3帧为单位，根据在各帧中各采用一个颜色的图像信号进行同时化处理。例如，在第4帧中，采用与最接近帧3中的读出期间t3～t4的曝光期间lr3对应的r图像信号f4(r)，在第5帧中，采用与最接近帧4中的读出期间t4～t5的曝光期间lg4对应的g图像信号f5(g)，在第6帧中，采用与最接近帧5中的读出期间t5～t6的曝光期间lb5对应的b图像信号f6(b)，使用所采用的r图像信号f4(r)、g图像信号f5(g)、b图像信号f6(b)进行同时化处理，生成rgb图像信号。当然，同时化部31e也可以使用相同帧的r、g、b图像信号进行同时化处理，按照每1帧生成rgb图像信号。

这样，在实施方式1中，在处理装置3的颜色成分运算部31a中，通过使用了多个连续帧的图像信号的输出值的运算，按照每个水平行提取作为取得对象的帧的各颜色成分的图像信号。因此，根据实施方式1，能够在1行曝光期间中自由设定各照明光的曝光期间，所以，能够针对全部像素确保足够的曝光期间，能够维持摄像元件25的感光度。并且，在本实施方式1中，颜色成分运算部31a通过运算处理提取取得对象的帧的各颜色成分的图像信号，所以，可以不设置在全部水平行中共同曝光的期间(v消隐期间)，所以，还能够足够确保信号传送用的期间。因此，根据实施方式1，能够抑制缆线的传送负担，并且针对全部像素确保足够的曝光期间。

(实施方式1的变形例1)

实施方式1不限于依次切换r、g、b这3个颜色的照明光的面顺次方式，例如还能够应用于nbi观察方式，该nbi观察方式使用窄带化以容易被血液中的血红蛋白吸收的蓝色光和绿色光这两种频带的nbi(narrowbandimaging：窄带成像)照明光进行观察。在nbi观察方式的情况下，光源装置4根据照明控制部34a的控制，依次切换窄带化的蓝色光(v光)和窄带化的g光进行照射。v光的波段例如是波长390～470nm。

图6是示出nbi观察方式下的摄像元件25中的曝光、读出定时的时序图。在图6中，还与摄像元件25的曝光、读出定时(图6的(1))对应地示出从摄像元件25读出的图像信号(图6的(2))、根据该图像信号生成的v、g图像信号等(图6的(3)～(5))。另外，在图6的(3)～(5)中，为了容易说明生成各颜色成分的图像信号所使用的图像信号，在从实际定时移动的状态下示出各颜色成分的图像信号的生成定时。另外，该情况下，处理装置3通过进行与图3所示的各处理大致相同的处理，生成1帧的v图像信号和g图像信号。

首先，照明控制部34a根据调光条件输入处理(图3的步骤s1)中输入的调光条件进行照明控制处理(步骤s2)。在nbi观察方式中，照射光成为v光、g光这2个颜色，所以，为了使运算处理中使用的矩阵式的秩保持3，设定不发出光的无光帧。具体而言，照明控制部34a使光源装置4在帧1的1行曝光期间内照射v光，在帧2的1行曝光期间内照射g光，在下一个帧3的1行曝光期间内设为不发光的无光帧。然后，在连续的3帧中，照明控制部34a设为v光照射(帧4)、g光照射(帧5)、不发光(帧6)，以3帧为单位反复进行该照明控制。

接着，颜色成分运算部31a使用图像信号读出处理(步骤s3)中读出的连续3帧的图像信号和上述(3)～(5)式中任意的对应的运算式，按照每个水平行生成v图像信号和g图像信号(步骤s4)。颜色成分运算部31a例如在生成第4帧的v图像信号f4v(v)、g图像信号f4v(g)的情况下，按照每个水平行n在(3)式中输入连续3帧图像信号f1～f3(参照图6的(2))的水平行n的输出值。该情况下，在水平行n中，除了连续的帧1～3各自的1行曝光期间内的v、b光的照明期间lv1、lg2以及帧1～3中的针对水平行n的v光的曝光期间v1、v3、g光的曝光期间g1、g2以外，不发光的帧3中的看起来的照明期间lo3和曝光期间o2、o3也成为(3)式的矩阵ak的参数。

然后，颜色成分运算部31a通过求解(3)式，生成与第4帧的水平行n对应的与期间(v1+v3)内利用v光进行曝光时的图像信号对应的v图像信号f4vn(v)(图6的(3))、与照明期间lg2内利用g光进行曝光时的图像信号对应的g图像信号f4vn(g)(图6的(4))。另外，在运算上，还生成与看起来的照明期间lo3对应的无照明时图像信号f4vn(o)(图6的(5))。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵ak的参数，求解输入了作为运算对象的水平行的图像信号f3n、f2n、f1n的输出值而得到的(3)式。其结果是，能够以帧单位取得第4帧的v图像信号f4v(v)、g图像信号f4v(g)、无照明时图像信号f4v(o)。接着，图像处理部31对颜色成分运算部31a运算出的各v图像信号f4v(v)、g图像信号f4v(g)进行包含增益调整处理等的图像信号处理(步骤s5)，生成nbi图像信号。这里，在设定了该无光帧的情况下，不需要进行调光，所以，能够始终以最长的照射时间照射v光、g光而不用进行调光，因此，能够减少计算误差，认为还能够减少余像的影响。

并且，图7是示出nbi观察方式下的摄像元件25中的其他曝光、读出定时的时序图。如图7的(1)所示，照明控制部34a也可以使光源装置4在图6中设为无光帧的帧3、6中照射第2v光(vv光)。该情况下，关于第4帧的水平行n，连续的帧1～3各自的1行曝光期间内的v、g、vv光的照明期间lv1、lg2、lvv3以及帧1～3中的针对水平行n的v光的曝光期间v1、v3、g光的曝光期间g1、g2、vv光的曝光期间vv2、vv3成为(3)式的矩阵ak的参数。颜色成分运算部31a在(3)式中输入帧图像信号f1～f3(参照图7的(2))的水平行n的输出值并求解，由此，除了第4帧的水平行n中的v图像信号f4vvn(v)(图7的(3))、g图像信号f4vvn(g)(图7的(4))以外，还能够生成与照明期间lvv3内利用vv光进行曝光时的图像信号对应的vv图像信号f4vvn(vv)(图7的(5))。颜色成分运算部31a从起始的水平行1到最终的水平行n依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵ak的参数，求解输入了作为运算对象的水平行n的图像信号f3n、f2n、f1n的输出值而得到的(3)式，由此，能够以帧单位取得第4帧的v图像信号f4vv(v)、g图像信号f4vv(g)、vv图像信号f4vv(vv)。v光无法充分确保感光度，所以，该情况下，进行2次v光照明，使用2张v光图像信号，由此取得v光图像信号与g光图像信号的感光度的平衡。另外，在3帧中，除了照射2次v光以外，当然也可以照射2次g光。

(实施方式1的变形例2)

并且，实施方式1还能够应用于摄像元件25是采用全局快门方式的ccd摄像元件的情况。图8是示出摄像元件25是ccd摄像元件时的曝光、读出定时的时序图。

如图8的(1)所示，照明控制部34a使光源装置4按照g光、b光、r光的顺序依次照射照明光。关于全部水平行，均在各b光照射期间lb2内的时间t1从摄像元件25读出帧1的图像信号f1。同样，在r光照射期间lr3、g光照射期间lg4的期间内的时间t2、t3从摄像元件25读出帧2、3的图像信号f2、f3。颜色成分运算部31a在生成第4帧的r图像信号f4c(r)、g图像信号f4c(g)、b图像信号f4c(b)的情况下，按照每个水平行，从起始的水平行1到最终的水平行n分别依次进行输入连续3帧图像信号f1～f3(参照图8的(2))中的作为运算对象的水平行的输出值来求解(3)式的运算处理。该情况下，与实施方式1同样，在水平行n中，连续的帧1～3各自的1行曝光期间内的r、b光的照明期间lr3、lb2以及帧1～3中的针对水平行n的r光的曝光期间r2、r3、g光的曝光期间g1、g3、b光的曝光期间b1、b2成为(3)式的矩阵ak的参数。

(实施方式2)

接着，对实施方式2进行说明。在实施方式2中，对在一个1行曝光期间内照射3个颜色中的2个颜色的照明光的情况进行说明。

图9是示意地示出实施方式2的内窥镜系统的结构的框图。如图9所示，实施方式2的内窥镜系统201代替图2所示的处理装置3而具有处理装置203。处理装置203具备具有照明控制部234a的控制部234。照明控制部234a使光源装置4在一个1行曝光期间内照射r、g、b这3个颜色中的2个颜色的照明光。照明控制部234a使光源装置4进行照明处理，以在连续3个1行曝光期间内照射相同次数的任意颜色的照明光。照明控制部234a使光源装置4在相同的1行曝光期间内照射的2个颜色的照明光的照明期间的至少一部分重合的状态下进行照明。

并且，存储部36存储照明期间表236a(照明期间信息)。照明期间表236a是表示多个由颜色成分运算部31a使用的规定关系式的解唯一确定的各颜色的照明光的照明期间的组合的表。照明控制部234a使光源装置4在照明期间表236a所表示的各颜色的照明光的照明期间的组合中的、与调光部33求出的各颜色的照明光的照明期间最接近的组合的照明期间内，照射各颜色的照明光。

图10是示出在处理装置203中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。照明控制部234a进行取得前帧的照明期间的前帧照明期间取得处理(步骤s11)。在步骤s11中，照明控制部234a取得过去1帧的2个光的各照明期间。步骤s12是图3所示的步骤s1。照明控制部234a进行参照存储部36的照明期间表236a的照明期间表参照处理(步骤s13)。照明控制部234a进行如下的照明期间设定处理：考虑步骤s11中取得的前帧的照明期间，设定在照明期间表236a所表示的各颜色的照明光的照明期间的组合中的、与调光部33求出的各颜色的照明光的照明期间最接近的组合的照明期间内下一次照射的各颜色的照明期间(步骤s14)。照明控制部234a进行使光源装置4在所设定的照明期间内照射各照明光的照明控制处理(步骤s15)。步骤s16～步骤s18是图3所示的步骤s3～步骤s5。

接着，参照图11对图10所示的一部分处理进行说明。图11是示出图9所示的摄像元件25中的曝光、读出定时的时序图。在图11中，还与摄像元件25的曝光、读出定时(图11的(1))对应地示出从摄像元件25读出的图像信号(图11的(2))、根据该图像信号生成的r、g、b图像信号(图11的(3)～(5))。另外，在图11的(3)～(5)中，为了容易说明生成各颜色成分的图像信号所使用的图像信号，在从实际定时移动的状态下示出各颜色成分的图像信号的生成定时。

照明控制部234a在步骤s13中设定的照明期间内，使光源装置4执行在一个1行曝光期间内照射r、g、b这3个颜色中的2个颜色的照明光的照明期间设定处理(步骤s14)，以使得在连续的3个1行曝光期间内任何颜色的照明光都被照射相同次数。进而，照明控制部234a使光源装置4在相同的1行曝光期间内照射的2个颜色的照明光的照明期间的至少一部分重合的状态下进行照明。然后，与实施方式1同样，照明控制部234a使光源装置4在各帧的1行曝光期间的结束时间t1、t2、t3、t4、t5熄灭任意的光。

具体而言，在帧1的1行曝光期间内，在照明期间lb1内照射第1光的b光，并且在照明期间lr1内照射第2光的r光，在帧2的1行曝光期间内，在照明期间lg2内照射第1光的g光，并且在照明期间lb2内照射第2光的b光，在帧3的1行曝光期间内，在照明期间lr3内照射第1光的r光，并且在照明期间lg3内照射第2光的g光。关于以后的帧，也在连续的3帧内任何颜色的照明光都被照射相同次数，并且，在相同的1行曝光期间内照射的2个颜色的照明光的照明期间的至少一部分重合的状态下进行照明。

关于步骤s16中的图像信号读出处理中读出的帧的图像信号f1～f5的各输出值，照明光的颜色和数量、照明次数以及照明期间根据水平行而不同，成为与多个颜色的光的曝光对应的值。在实施方式2中，三元一次联立方程式成立((1)式)，该三元一次联立方程式表示连续的帧(k-3)～(k-1)中的水平行n的输出图像信号f(k-3)n、f(k-2)n、f(k-1)n的值；基于连续的帧(k-3)～(k-1)的各1行曝光期间内的第1光、第2光的各照明期间和帧(k-3)～(k-1)中的针对水平行n的第1光和第2光的各曝光期间的矩阵ak与帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)之间的关系。颜色成分运算部31a按照每个水平行n求出与实施方式2对应的矩阵ak的逆矩阵ak^-1，来求解(2)式，求出帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)。

在实施方式2中，连续的帧(k-3)～(k-1)的各1行曝光期间内的第1光、第2光的照明期间以及帧(k-3)～(k-1)中的针对水平行n的第1光和第2光的各曝光期间成为矩阵ak的参数。例如，关于第4帧的水平行n的r图像信号f4n(r)、g图像信号f4n(g)、b图像信号f4n(b)，在以下的(6)式中输入帧1～3中的水平行n的图像信号f1n、f2n、f3n的输出值来求解。

【数学式6】

在(6)式中，连续的帧1、2、3的第1光的b、g、r光的各照明期间lb1、lg2、lr3、第2光的r、b、g光的各照明期间lr1、lb2、lg3、帧1～3中的针对水平行n的第1光的b光的曝光期间b1、b3、第1光的g光的曝光期间g1、g2、第1光的r光的曝光期间r2、r3、第2光的r光的曝光期间r1、r3、第2光的b光的曝光期间b1、b2、和第2光的g光的曝光期间g2、g3成为第4帧的运算式中的矩阵a4的参数。下面，将(6)式中的由矩阵a4的第1行的分子成分构成的行向量(r3+r3、g3、b3)称为sa，将由第2行的分子成分构成的行向量(r2、g2+g2、b2)称为sb，将由第3行的分子成分构成的行向量(r1、g1、b1+b1)称为sc。

颜色成分运算部31a进行如下的运算处理：应用与水平行n对应的各第1颜色和第2颜色的照明期间和曝光时间作为矩阵a4的参数，求解输入了图像信号f3n、f2n、f1n的水平行n的输出值而得到的(6)式。其结果是，颜色成分运算部31a能够生成与第4帧的水平行n对应的与期间(r1+lr3+r3)内利用r光进行曝光时的图像信号对应的r图像信号f4n(r)、与期间(lg2+lg3)内利用g光进行曝光时的图像信号对应的g图像信号f4n(g)、与期间(b1+lb2+b3)内利用b光进行曝光时的图像信号对应的b图像信号f4n(b)。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行n对应的参数作为矩阵ak的参数，求解输入了作为运算对象的水平行n的图像信号f3n、f2n、f1n的输出值而得到的(6)式。其结果是，颜色成分运算部31a能够以帧单位取得第4帧的r图像信号f4(r)、g图像信号f4(g)、b图像信号f4(b)。第5帧也同样，在(6)式的矩阵ak中应用分别对应的参数，按照每个水平行n运算矩阵ak的逆矩阵ak^-1，按照每个水平行n生成各颜色成分的图像信号(r图像信号f5n(r)、g图像信号f5n(g)、b图像信号f5(b))，以帧单位取得第5帧的r图像信号f5(r)、g图像信号f5(g)、b图像信号f5(b)。第6帧也同样。

接着，对(6)式中的矩阵a4的阶数进行说明。(6)式的矩阵a4能够如以下的(7)式那样分解。

【数学式7】

如(7)式那样，矩阵a4能够分解成将第1光的各曝光时间r2、r3、g1、g2、b1、b3作为参数的矩阵a4-1、将第2光的各曝光时间r1、r3、g2、g3、b1、b2作为参数的矩阵a4-2、将第1光的照射期间与第2光的照射期间之和的倒数作为参数的矩阵a4-3。其中，矩阵a4-3是对角矩阵，所以秩是3，存在逆矩阵。因此，为了唯一确定(6)式的解，使矩阵a4-1和矩阵a4-2相加后的矩阵的秩为3即可。下面，将(7)式中的由矩阵a4-1的第1行的成分构成的行向量(r3、0、b3)称为saa，将由第2行的成分构成的行向量(r2、g2、0)称为sba，将由第3行的成分构成的行向量(0、g1、b1)称为sca。将(7)式中的由矩阵a4-2的第1行的成分构成的行向量(r3、g3、0)称为sab，将由第2行的成分构成的行向量(0、g2、b2)称为sbb，将由第3行的成分构成的行向量(r1、0、b1)称为scb。

图12是说明本实施方式2中求出的图像信号的解的唯一性的图，是示出在r、g、b空间内观察矩阵a4-1的行向量saa、sba、sca和矩阵a4-2的行向量sab、sbb、scb的情况的图。在图12中，示出任意颜色的照明期间全部是相同期间、不进行调光的情况。该情况下，行向量saa和行向量scb在r-b平面上描绘相同的轨迹psaa、pscb。并且，行向量sba和行向量sab在r-g平面上描绘相同的轨迹psba、psab，行向量sca和行向量sbb在g-b平面上描绘相同的轨迹psca、psbb。因此，最终，(6)式中的行向量sa沿着将点p1作为起点、将点p2作为终点的轨迹psa，行向量sb沿着将点p3作为起点、将点p1作为终点的轨迹psb，行向量sc沿着将点p2作为起点、将点p3作为终点的轨迹psc。因此，行向量sa～sc始终是线性独立的，矩阵a4的秩为3，所以，存在(6)式中的矩阵a4的逆矩阵a4^-1，(6)式的解唯一确定。

图13是说明本实施方式2中求出的图像信号的解的唯一性的图，是示出在r、g、b空间内观察矩阵a4-1的行向量saa、sba、sca和矩阵a4-2的行向量sab、sbb、scb的情况的另一例的图。在图13中，示出各颜色的照明期间中的、帧3的第2光即g光的照明期间lg3以外的各颜色的照明期间全部是相同期间、调光成仅照明期间lg3比其他照明期间长的情况。

该情况下，行向量sba和行向量sab在r-b平面上描绘不同的轨迹psba、psab，但是终点一致。并且，行向量sca和行向量sbb在g-b平面上描绘不同的轨迹psca、psbb，但是起点一致。因此，最终，与图12的情况相比，(6)式中的行向量sa的轨迹psa中的起点和行向量sb的轨迹psb中的终点仅成为与照明期间lg3对应的点p4，行向量sa～sc始终是线性独立的，矩阵a4的秩为3，所以，在进行了调光的情况下，也存在(6)式中的矩阵a4的逆矩阵a4^-1，(6)式的解唯一确定。因此，与有无针对r、g、b的调光无关，(6)式的解必定唯一确定，所以，能够在运算中求出各r图像信号f4n(r)、g图像信号f4n(g)、b图像信号f4n(b)的值。另外，在实施方式2中，通过以颜色成分运算部31a使用的关系式((6)式)的解唯一确定的各颜色照明光的照明期间的组合中、与调光条件的照明期间最接近的组合照射各光，实现了颜色成分运算部31a的运算的简化。

在上述颜色成分运算处理(步骤s17)中，在1帧中运算全部r、g、b图像信号。在图像信号处理(步骤s18)中，同时化部31e在同时化处理中采用该r、g、b图像信号中的、在接近运算中使用的连续3帧中的最后帧的读出期间的2个期间内曝光的颜色的图像信号，以成为低余像。例如，在第4帧中，采用与接近帧3中的读出期间t3～t4的曝光期间lg3和曝光期间lg2这2个期间对应的g图像信号f4(g)，在第5帧中，采用与最接近帧4中的读出期间t4～t5的曝光期间lr4和曝光期间lr3这2个期间对应的r图像信号f5(r)，在第6帧中，采用与最接近帧5中的读出期间t5～t6的曝光期间lb5和曝光期间lb4对应的b图像信号f6(b)，使用所采用的r图像信号f4(r)、g图像信号f5(g)、b图像信号f6(b)进行同时化，生成rgb图像信号。

如该实施方式2那样在1帧中进行2个颜色发光的情况下，也在使用了多个连续帧的图像信号的输出值的运算处理中，提取取得对象的帧的各颜色成分的图像信号，所以，发挥与实施方式1相同的效果。进而，在实施方式2中，与实施方式1相比，各颜色的照明频度增多，所以，能够减少被摄体运动时的余像。

另外，与实施方式1同样，实施方式2也能够应用于摄像元件25是采用全局快门方式的ccd摄像元件的情况。图14是示出摄像元件25是ccd摄像元件时的曝光、读出定时的时序图。照明控制部234a使光源装置4在图14的(1)所示的条件下照射g光、b光、r光，例如在生成第4帧的r图像信号f4c(r)、g图像信号f4c(g)、b图像信号f4c(b)的情况下，按照每个水平行，在(6)式中输入连续的3帧图像信号f1～f3(参照图14的(2))的输出值来进行运算。该情况下，与cmos摄像元件的情况同样，关于水平行n，也是连续的帧1～3的第1光的b、g、r光的各照明期间lb1、lg2、lr3、第2光的r、b、g光的各照明期间lr1、lb2、lg3、帧1～3中的针对水平行n的第1光的b光的曝光期间b1、b3、第1光的g光的曝光期间g1、g2、第1光的r光的曝光期间r2、r3、第2光的r光的曝光期间r1、r3、第2光的b光的曝光期间b1、b2和第2光的g光的曝光期间g2、g3成为(6)式的矩阵a4的参数。

并且，与实施方式1同样，本实施方式2也能够应用于nbi观察方式。该情况下，照明控制部234a使用v光、g光、无光的组合；v光、g光、vv光的组合；或v光、g光、gg光(第2次的g光)的组合中的任意一个模式，与r、g、b光照射的条件同样，以在连续的3个帧期间内任何颜色的照明光都照射相同次数的方式，执行在一个1行曝光期间内照射3个颜色中的2个颜色的照明光的照明处理即可。并且，在实施方式2中，以在相同的1行曝光期间内照射的2个颜色的照明光的照明期间的至少一部分重合的状态下进行照明的情况为例进行了说明，但是，只要满足矩阵ak的秩为3的条件即可，在相同的1行曝光期间内照射的2个颜色的照明光的照明期间也可以不重合。

(实施方式3)

接着，对实施方式3进行说明。在实施方式2中，对在一个1行曝光期间内照射全部3个颜色的照明光的情况进行说明。

图15是示意地示出实施方式3的内窥镜系统的结构的框图。如图15所示，实施方式3的内窥镜系统301代替图9所示的处理装置203而具有处理装置303。处理装置303具备具有照明控制部334a的控制部334。照明控制部334a使光源装置4在一个1行曝光期间内、在分别不同的照明期间内照射r、g、b这全部3个颜色的照明光。照明控制部334a以在相同的1行曝光期间内包含被照射的3个颜色的照明光均重合照射的期间的方式，使光源装置4照射3个颜色的照明光。

并且，与实施方式2同样，存储部36存储照明期间表336a(照明期间信息)，该照明期间表336a表示多个由颜色成分运算部31a使用的规定关系式的解唯一确定的各颜色的照明光的照明期间的组合。照明控制部334a使光源装置4在照明期间表336a所表示的各颜色的照明光的照明期间的组合中的、与调光部33求出的各颜色的照明光的照明期间最接近的组合的照明期间内照射各颜色的照明光。

图16是示出在处理装置303中生成1帧的rgb图像信号为止的处理的处理顺序的流程图。照明控制部334a进行取得前帧的照明期间的前帧照明期间取得处理(步骤s21)。在步骤s21中，照明控制部334a取得过去1帧的3个光的各照明期间和过去2帧的3个光的各照明期间。步骤s22是图3所示的步骤s1。照明控制部334a进行参照存储部36的照明期间表336a的照明期间表参照处理(步骤s23)。照明控制部334a进行如下的照明期间设定处理：考虑步骤s21中取得的前帧的照明期间，设定在照明期间表336a所表示的各颜色的照明光的照明期间的组合中的、与调光部33求出的各颜色的照明光的照明期间最接近的组合的照明期间内下一次照射的各颜色的照明期间(步骤s24)。照明控制部334a进行使光源装置4在所设定的照明期间内照射各照明光的照明控制处理(步骤s25)。步骤s26～步骤s28是图3所示的步骤s3～步骤s5。

接着，参照图17对图16所示的一部分处理进行说明。图17是示出图15所示的摄像元件25中的曝光、读出定时的时序图。在图17中，还与摄像元件25的曝光、读出定时(图17的(1))对应地示出从摄像元件25读出的图像信号(图17的(2))、根据该图像信号生成的r、g、b图像信号(图17的(3)～(5))。另外，在图17的(3)～(5)中，为了容易说明生成各颜色成分的图像信号所使用的图像信号，在从实际定时移动的状态下示出各颜色成分的图像信号的生成定时。

照明控制部334a在步骤s23中设定的照明期间内，使光源装置4以相同的1行曝光期间内的3个颜色的照明光分别在不同的期间内照射的方式，执行在一个1行曝光期间内照射r、g、b这全部3个颜色的照明光的照明处理(步骤s24)。进而，照明控制部334a以在相同的1行曝光期间内包含被照射的3个颜色的照明光均重合照射的期间的方式，使光源装置4照射3个颜色的照明光。然后，与实施方式1同样，照明控制部334a使光源装置4在各帧的1行曝光期间的结束时间t1、t2、t3、t4、t5熄灭所有的光。

具体而言，在帧1的1行曝光期间内，在照明期间lg1内照射第1光的g光，在照明期间lb1(<lg1)内照射第2光的b光，在照明期间lr1(<lb1)内照射第3光的r光。在帧2的1行曝光期间内，在照明期间lb2内照射第1光的b光，在照明期间lr2(<lb2)内照射第2光的r光，在照明期间lg2(<lr2)内照射第3光的g光。在帧3的1行曝光期间内，在照明期间lr3内照射第1光的r光，在照明期间lg3(<lr3)内照射第2光的g光，在照明期间lb3(<lg3)内照射第3光的b光。关于以后的帧，也是相同的1行曝光期间内的3个颜色的照明光分别在不同的期间内照射，并且，以在相同的1行曝光期间内包含被照射的3个颜色的照明光均重合照射的期间的方式，照射3个颜色的照明光。

关于步骤s26中的图像信号读出处理中读出的帧的图像信号f1～f5的各输出值，照明光的颜色和数量、照明次数以及照明期间根据水平行而不同，成为与多个颜色的光的曝光对应的值。在实施方式3中，三元一次联立方程式((1)式)成立，该三元一次联立方程式表示连续的帧(k-3)～(k-1)中的水平行n的输出图像信号f(k-3)n、f(k-2)n、f(k-1)n的值；基于连续的帧(k-3)～(k-1)的各1行曝光期间内的第1光、第2光和第3光的各照明期间、以及帧(k-3)～(k-1)中的针对水平行n的第1光、第2光和第3光的各曝光期间的矩阵ak；帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)之间的关系。颜色成分运算部31a按照每个水平行求出与实施方式3对应的矩阵ak的逆矩阵ak^-1，来求解(2)式，求出帧k的水平行n的r图像信号fkn(r)、g图像信号fkn(g)、b图像信号fkn(b)。

在实施方式3中，连续的帧(k-3)～(k-1)的各1行曝光期间内的第1光、第2光和第3光的照明期间以及帧(k-3)～(k-1)中的针对水平行n的第1光、第2光和第3光的各曝光期间成为矩阵ak的参数。例如，关于第4帧的水平行n的r图像信号f4n(r)、g图像信号f4n(g)、b图像信号f4n(b)，在以下的(8)式中输入帧1～3的图像信号f1n、f2n、f3n中的水平行n的输出值来求解。

【数学式8】

在(8)式中，连续的帧1、2、3的第1光的g、b、r光的各照明期间lg1、lb2、lr3、第2光的b、r、g光的各照明期间lb1、lr2、lg3、第3光的r、g、b光的各照明期间lr1、lg2、lb3、帧1～3中的针对水平行n的第1光的g光的曝光期间g1、g3、第1光的b光的曝光期间b1、b2、第1光的r光的曝光期间r2、r3、第2光的b光的曝光期间b1、b3、第2光的r光的曝光期间r1、r2、第2光的g光的曝光期间g2、g3、第3光的r光的曝光期间r1′、r3′、第3光的g光的曝光期间g1′、g2′、第3光的b光的曝光期间b2′、b3′成为第4帧的运算式中的矩阵a4的参数。下面，将(8)式中的由矩阵a4的第1行的分子成分构成的行向量(r3+r3′、g2+g3、b3+b3′)称为qa，将由第2行的分子成分构成的行向量(r2+r2、g2+g2′、b2+b2′)称为qb，将由第3行的分子成分构成的行向量(r1+r1′、g1+g1′、b1+b1)称为qc。

颜色成分运算部31a进行如下的运算处理：应用与水平行n对应的各第1颜色、第2颜色和第3颜色的照明期间和曝光时间作为矩阵a4的参数，求解输入了图像信号f3n、f2n、f1n的水平行n的输出值而得到的(8)式。其结果是，能够生成与第4帧的水平行n对应的与期间(r1′+lr2+lr3+r3′)内利用r光进行曝光时的图像信号对应的r图像信号f4n(r)、与期间(g1+lg2+lg3+g3)内利用g光进行曝光时的图像信号对应的g图像信号f4n(g)、与期间(b1+lb2+lb3+b3)内利用b光进行曝光时的图像信号对应的b图像信号f4n(b)。颜色成分运算部31a从起始的水平行1到最终的水平行n分别依次进行如下的运算处理：使用与各水平行对应的参数作为矩阵ak的参数，求解输入了作为运算对象的水平行的图像信号f3n、f2n、f1n的输出值而得到的(8)式。其结果是，颜色成分运算部31a能够以帧单位取得第4帧的r图像信号f4(r)、g图像信号f4(g)、b图像信号f4(b)。在5帧以后，也在(8)式的矩阵ak中应用分别对应的参数，按照各水平行n运算矩阵ak的逆矩阵ak^-1，按照每个水平行n取得各颜色成分的图像信号。

接着，对(8)式中的矩阵a4的阶数进行说明。(8)式的矩阵a4能够如以下的(9)式那样分解。

【数学式9】

如(9)式那样，矩阵a4能够分解成将第1光的各曝光时间r2、r3、g1、g3、b1、b2作为参数的矩阵a4-11、将第2光的各曝光时间r1、r2、g2、g3、b1、b3作为参数的矩阵a4-12、将第3光的各曝光时间r1′、r3′、g1′、g2′、b2′、b3′作为参数的矩阵a4-13、将第1光的照射期间、第2光的照射期间和第3光的照射期间之和的倒数作为参数的矩阵a4-14。其中，矩阵a4-14是对角矩阵，所以秩是3，存在逆矩阵。因此，为了唯一确定(8)式的解，使矩阵a4-11～矩阵a4-13相加后的矩阵的秩为3即可。下面，将(9)式中的由矩阵a4-11的第1行的成分构成的行向量(r3、g3、0)称为qaa，将由第2行的成分构成的行向量(r2、0、b2)称为qba，将由第3行的成分构成的行向量(0、g1、b1)称为qca。将(9)式中的由矩阵a4-12的第1行的成分构成的行向量(0、g3、b3)称为qab，将由第2行的成分构成的行向量(r2、g2、0)称为qbb，将由第3行的成分构成的行向量(r1、0、b1)称为qcb。将(9)式中的由矩阵a4-13的第1行的成分构成的行向量(r3′、0、b3′)称为qac，将由第2行的成分构成的行向量(0、g2′、b2′)称为qbc，将由第3行的成分构成的行向量(r1′、g1′、0)称为qcc。

图18是说明本实施方式3中求出的图像信号的解的唯一性的图，是示出在r、g、b空间内观察矩阵a4-11的行向量qaa、qba、qca、矩阵a4-12的行向量qab、qbb、qcb、矩阵a4-13的行向量qac、qbc、qcc的情况的图。图18示出第1光的r、g、b的照明期间是相同期间、第2光的r、g、b的各照明期间是相同期间、第3光的r、g、b的照明期间是相同期间、第1光是第3光的照明期间的3倍的期间、第2光是第3光的照明期间的2倍的期间的情况。

与第1光的曝光期间对应的行向量qaa、qba、qca在r-g平面、b-r平面、g-b平面的各平面上描绘将r轴上、g轴上、b轴上的与第1光的照明时间宽度对应的3点作为起点或终点的轨迹pqaa、pqba、pqca。与第2光的曝光期间对应的行向量qab、qbb、qcb在r-g平面、b-r平面、g-b平面的各平面上描绘将r轴上、g轴上、b轴上的与第2光的照明时间宽度对应的3点作为起点或终点的轨迹pqab、pqbb、pqcb。与第3光的曝光期间对应的行向量qac、qbc、qcc在r-g平面、b-r平面、g-b平面的各平面上描绘将r轴上、g轴上、b轴上的与第3光的照明时间宽度对应的3点作为起点或终点的轨迹pqac、pqbc、pqcc。

其结果是，行向量qaa、qab、qac的合成向量即矩阵a4的行向量qa描绘轨迹pqa，行向量qba、qbb、qbc的合成向量即矩阵a4的行向量qb描绘轨迹pqb，行向量qac、qbc、qcc的合成向量即矩阵a4的行向量qc描绘轨迹pqc，成为由与行向量qa～qc对应的轨迹形成的三角形具有面积的状态。该情况下，关于任意的行向量qa～qc，对应的轨迹都不会重合。行向量qa～qc保持独立性，矩阵a4的秩为3，所以，(8)式中的矩阵a4存在逆矩阵a4^-1，(8)式的解唯一确定。

图19是说明本实施方式3中求出的图像信号的解的唯一性的图，是示出在r、g、b空间内观察矩阵a4-11的行向量qaa、qba、qca、矩阵a4-12的行向量qab、qbb、qcb、矩阵a4-13的行向量qac、qbc、qcc的情况的另一例的图。示出各颜色的照明期间中的帧3的第1光的r光的照明期间lr3较长为其他帧1、2的第1光的照明期间的(4/3)倍、第2光的g光的照明期间lg3较长为其他帧1、2的第2光的照明期间的(4/3)倍、第3光的b光的照明期间lb3较长为其他帧1、2的第3光的照明期间的(4/3)倍的情况。

该情况下，与图18相比，轨迹pqba的起点和轨迹pqca的终点成为与帧3的第1光的r光的照明期间lr3对应的点，该照明期间lr3较长为其他帧1、2的第1光的照明期间的(4/3)倍，轨迹pqab的起点和轨迹pqbb的终点成为与帧3的第2光的g光的照明期间lg3对应的点，该照明期间lg3较长为其他帧1、2的第2光的照明期间的(4/3)倍，轨迹pqac的起点和轨迹pqbc的终点成为与帧3的第3光的b光的照明期间lb3对应的点，该照明期间lb3较长为其他帧1、2的第2光的照明期间的(4/3)倍。该情况下，也成为由与行向量qa～qc对应的轨迹pqa、pqb、pqc形成的三角形具有面积的状态，行向量qa～qc保持独立性，矩阵a4的秩为3。因此，在实施方式3中，能够将第1光、第2光、第3光的照明期间变更为与其他帧的第1光、第2光、第3光的照明期间不同的期间。

但是，在同一帧中的第1光、第2光、第3光的照明期间均为相同期间的情况下，行向量qaa、qbb、qcc重合，行向量qac、qba、qcb重合，行向量qab、qbc、qca重合。该情况下，行向量qa～qc位于由行向量qaa、qbb、qcc、行向量qac、qba、qcb、行向量qab、qbc、qca的轨迹形成的三角形的重心，不会移动，所以，行向量qa～qc的线性独立被破坏，秩不为3，(8)式的解不是唯一确定的。因此，由与行向量qa～qc对应的轨迹pqa、pqb、pqc形成的三角形具有面积成为维持矩阵a4的秩为3的条件，所以，照明控制部334a需要控制为相同的1行曝光期间内的3个颜色的照明光分别在不同的期间内照射。另外，当第1光、第2光和第3光的照明期间的差较大时，由与行向量qa～qc对应的轨迹pqa、pqb、pqc形成的三角形的面积增大，容易维持行向量qa～qc的独立性，所以，优选照明控制部334a设定使相同的1行曝光期间内的第1光、第2光和第3光的照明期间的差较大的条件。

如该实施方式3那样在1帧中进行3个颜色发光的情况下，在使用了多个连续帧的图像信号的输出值的运算处理中，提取取得对象的帧的各颜色成分的图像信号，所以，发挥与实施方式1相同的效果。进而，在实施方式3中，与实施方式2相比，各颜色的照明频度更多，相应地，能够减少被摄体运动时的余像。

另外，与实施方式1、2同样，实施方式3也能够应用于摄像元件25是采用全局快门方式的ccd摄像元件的情况。图20是示出摄像元件25是ccd摄像元件时的曝光、读出定时的时序图。照明控制部334a使光源装置4在图20的(1)所示的条件下照射g光、b光、r光，例如在生成第4帧的r图像信号f4c(r)、g图像信号f4c(g)、b图像信号f4c(b)的情况下，在(8)式中输入与连续的3帧图像信号f1～f3(参照图20的(2))的作为运算对象的水平行相同的行的输出值，按照每个水平行进行运算。该情况下，与cmos摄像元件的情况同样，关于水平行n，连续的帧1～3的第1光的g、b、r光的各照明期间lg1、lb2、lr3、第2光的b、r、g光的各照明期间lb1、lr2、lg3、第3光的r、g、b光的各照明期间lr1、lg2、lb3、帧1～3中的针对水平行n的第1光的g光的曝光期间g1、g3、第1光的b光的曝光期间b1、b2、第1光的r光的曝光期间r2、r3、第2光的b光的曝光期间b1、b3、第2光的r光的曝光期间r1、r2、第2光的g光的曝光期间g2、g3、第3光的r光的曝光期间r1′、r3′、第3光的g光的曝光期间g1′、g2′、第3光的b光的曝光期间b2′、b3′成为(8)式的矩阵a4的参数。

并且，与实施方式1、2同样，本实施方式3也能够应用于nbi观察方式。该情况下，照明控制部334a使用v光、g光、无光的组合；v光、g光、vv光的组合；或v光、g光、gg光的组合中的任意模式，与r、g、b光照射的条件同样，以相同的1行曝光期间内的3个颜色的照明光分别在不同的期间内照射的方式，执行在一个1行曝光期间内照射全部3个颜色的照明光的照明处理即可。并且，在实施方式3中，作例子说明书了以在相同的1行曝光期间内包含被照射的3个颜色的照明光均重合照射的期间的方式照射3个颜色的照明光的情况，但是，只要满足(8)式的矩阵a4的秩为3的条件即可，在相同的1行曝光期间内照射的3个颜色的照明光的照明期间也可以不重合。

并且，在本实施方式中，以与光源装置分开的处理装置3、203、303为例进行了说明，但是，当然也可以应用于与光源一体的光源一体型处理装置。并且，在本实施方式中，照明光的组合不限于r、g、b光的组合；或窄带化的v光和g光的组合。也可以是g光、激励光、激励光的组合；g光、第1r光、波段与第1r光不同的第2r光的组合。并且，如窄带化的v光和g光的组合例中说明的那样，在以3次为单位发出的照明光中的2次照明光中，只要波段不同，就能够应用本实施方式。

并且，针对由本实施方式的处理装置3、203、303和其他结构部执行的各处理的执行程序，可以以可安装形式或可执行形式的文件记录在cd-rom、软盘、cd-r、dvd(digitalversatiledisk：数字通用盘)等计算机可读取的记录介质中进行提供，也可以存储在与因特网等网络连接的计算机上并经由网络下载进行提供。并且，还可以经由因特网等网络进行提供或发布。

标号说明

1、201、301：内窥镜系统；2：内窥镜；3、203、303：处理装置；4：光源装置；5：显示装置；21：插入部；21a：前端部；21b：弯曲部；21c：挠性管部；21d：开口部；21e：照明透镜；21f：照明窗；22：操作部；22a：弯曲旋钮；22b：处置器械插入部；22c：开关部；23：通用软线；23a、23b：连接器；23c：光导缆线；24：光学系统；25：摄像元件；26：受光部；27：读出部；31：图像处理部；31a：颜色成分运算部；31b：存储器；31c：增益调整部；31d：wb调整部；31e：同时化部；32：显示控制部；33：调光部；34、234、334：控制部；34a、234a、334a：照明控制部；35：输入部；36：存储部；41：光源控制部；42：照明部；43：光源驱动器；44：光源；236a、336a：照明期间表。