内窥镜装置的制作方法

本发明涉及内窥镜装置。

背景技术：

公知有如下的诊断方法：对来自在癌症等病灶中蓄积的荧光物质的荧光进行检测，根据基于该荧光的荧光图像的明亮度来判断有无病变。例如，将被称作靛氰绿(icg)的荧光物质预先施用到检查对象者的体内。另外，对荧光物质进行激励的激励光被照射到荧光物质。icg对病灶具有亲和性，在红外区域激励而发出荧光。能够进行荧光观察的内窥镜除了使用基于可见光的可见光图像的普通观察之外还能够进行荧光图像的观察。能够进行荧光观察的内窥镜用于上述的诊断。

例如，在专利文献1和专利文献2中公开了能够进行荧光观察的内窥镜。在专利文献1所公开的第一现有技术中，光源装置所生成的可见光和激励光被照射到被检查体。被被检查体反射的可见光和激励光以及在激励光被照射到icg时激励出的荧光入射到物镜。物镜配置于插入到体腔内的内窥镜插入部的前端部。在内窥镜插入部内配置有图像引导纤维。在图像引导纤维的后端面配置有摄像头。从物镜经由图像引导纤维入射到摄像头的光被分色镜分离为可见光、激励光以及荧光。通过ccd来检测可见光。利用激励光截止滤镜从激励光和荧光中遮断激励光。仅荧光被与检测可见光的ccd不同的ccd检测。

在专利文献1所公开的第二现有技术中，通过光源装置，在进行可见光的摄影时仅生成可见光，在进行荧光的摄影时仅生成激励光。在进行可见光的摄影时，通过ccd来检测被被检查体反射的可见光。在进行荧光的摄影时，被被检查体反射的激励光和在激励光被照射到icg时激励出的荧光入射到物镜。利用激励光截止滤镜来遮断激励光。仅荧光被与检测可见光的ccd相同的ccd检测。

在专利文献2所公开的第三现有技术中，光源所生成的可见光和激励光被照射到被检查体。被被检查体反射的可见光和激励光以及在激励光被照射到icg时激励出的荧光入射到内窥镜前端部。利用激励光截止滤镜来遮断激励光。摄像装置具有层叠的第一基板和第二基板。用第一基板对可见光进行检测。可见光被配置于第一基板与第二基板之间的可见光截止滤镜遮断。仅荧光用第二基板来检测。

现有技术文献

专利文献

专利文献1：日本专利第3962122号公报

专利文献2：日本特开2014-135535号公报

技术实现要素：

发明要解决的课题

在第一现有技术中，为了进行基于分色镜的光的分离而需要空间。因此，难以实现搭载有作为图像传感器的ccd的摄像头的小型化。

在第二现有技术中，通过相同的ccd来检测荧光和可见光。因此，不需要分色镜。但是，由于荧光是微弱的，因此要想进行荧光的高灵敏度的检测，需要更大的像素尺寸。即，像素数减少，因此分辨率降低。其结果是，基于可见光的检测结果的可见光图像的画质大幅劣化。另一方面，在保持较大的像素尺寸的情况下，即保持像素数的情况下，图像传感器的尺寸更大。因此，难以实现搭载有图像传感器的摄像部(内窥镜插入部的前端部)的小型化。在优先进行可见光的检测的情况下，保持像素尺寸。但是，难以进行荧光的高灵敏度的检测。

在第三现有技术中，不需要分色镜。用不同的基板来检测可见光和荧光。因此，荧光检测的高灵敏度化即像素尺寸的大型化对可见光图像的画质没有影响。但是，在对荧光进行检测的第二基板的光学前方至少配置有第一基板和可见光截止滤镜。这会使非常微弱的荧光衰减而更加微弱，因此在第二基板难以进行荧光的检测。若为了解决该问题而增大第二基板的像素尺寸，则会使基于荧光的检测结果的荧光图像的画质大幅劣化。其结果是，有时难以确定病变位置。

如上所述，在第一至第三现有技术中，难以兼顾搭载有图像传感器的区域(摄像部)的小型化以及荧光和可见光的高精度(高灵敏度、高分辨率)的检测。

本发明提供一种内窥镜装置，该内窥镜装置能够兼顾摄像部的小型化以及荧光和可见光的高精度的检测。

用于解决课题的手段

根据本发明的第一方式，内窥镜装置具有光源、摄像部、运算部以及切换部。所述光源产生可见光和激励光。所述运算部生成基于第一信号的可见光图像信号和基于第二信号和第三信号的荧光图像信号。所述切换部对第一状态和第二状态进行切换。在所述第一状态下所述可见光被照射到被摄体。在所述第二状态下所述激励光被照射到所述被摄体。所述摄像部具有激励光截止滤镜、第一图像传感器以及第二图像传感器。所述激励光截止滤镜透射在所述可见光被照射到所述被摄体时被所述被摄体反射的所述可见光，并透射在所述激励光被照射到所述被摄体时产生的荧光，而遮断在所述激励光被照射到被摄体时被所述被摄体反射的所述激励光。所述第一图像传感器具有多个第一光电二极管。所述多个第一光电二极管生成与透过所述激励光截止滤镜的所述可见光对应的所述第一信号和与透过所述激励光截止滤镜的所述荧光对应的所述第二信号。所述第二图像传感器具有多个第二光电二极管。所述多个第二光电二极管生成与透过所述多个第一光电二极管的所述荧光对应的所述第三信号。

根据本发明的第二方式，在第一方式中，所述多个第二光电二极管各自的尺寸也可以比所述多个第一光电二极管各自的尺寸大。

根据本发明的第三方式，在第二方式中，两个以上的所述第一光电二极管与一个所述第二光电二极管也可以重叠。透过所述两个以上的所述第一光电二极管的所述荧光也可以入射到所述一个所述第二光电二极管。

根据本发明的第四方式，在第一方式中，所述运算部可以根据所述第二信号和所述第三信号对与所述多个第二光电二极管各自的区域对应的像素值进行运算，由此生成所述荧光图像信号。

根据本发明的第五方式，在第一方式中，所述运算部可以根据所述第二信号和所述第三信号对与所述多个第一光电二极管各自的区域对应的像素值进行运算，由此生成所述荧光图像信号。

根据本发明的第六方式，在第一方式中，所述运算部可以在与所述可见光图像信号中的一个像素对应的所述荧光图像信号中的像素的数量不为1的情况下，基于所述可见光图像信号和所述荧光图像信号中的至少一方进行运算，使得与所述可见光图像信号中的一个像素对应的所述荧光图像信号中的像素的数量为1。所述运算部也可以对进行了所述运算后的所述可见光图像信号和所述荧光图像信号进行叠加。

根据本发明的第七方式，在第六方式中，也可以是，对所述可见光图像信号和所述荧光图像信号进行叠加时的所述可见光图像信号与所述荧光图像信号的加权能够变更。

根据本发明的第八方式，在第七方式中，所述运算部也可以根据所述荧光图像信号的像素值来确定所述加权。

根据本发明的第九方式，在第七方式中，所述运算部也可以根据用户的指示来确定所述加权。

根据本发明的第十方式，在第六方式中，所述运算部也可以在对所述可见光图像信号和所述荧光图像信号进行叠加时使用与波长相对较长的光被强调的图像对应的所述可见光图像信号。

根据本发明的第十一方式，在第一方式中，所述切换部也可以以固定的周期进行从所述第一状态向所述第二状态的切换，并以所述固定的周期进行从所述第二状态向所述第一状态的切换。

在所述内窥镜装置处于所述第二状态时所述第一图像传感器和所述第二图像传感器所进行的摄像的帧数也可以与在所述内窥镜装置处于所述第一状态时所述第一图像传感器所进行的摄像的帧数相同。

根据本发明的第十二方式，在第一方式中，所述切换部也可以以固定的周期进行从所述第一状态向所述第二状态的切换，并以所述固定的周期进行从所述第二状态向所述第一状态的切换。在所述内窥镜装置处于所述第二状态时所述第一图像传感器和所述第二图像传感器所进行的摄像的帧数也可以比在所述内窥镜装置处于所述第一状态时所述第一图像传感器所进行的摄像的帧数多。

根据本发明的第十三方式，在第一方式中，所述切换部也可以以固定的周期进行从所述第一状态向所述第二状态的切换，并以所述固定的周期进行从所述第二状态向所述第一状态的切换，在所述内窥镜装置处于所述第二状态时所述第一图像传感器和所述第二图像传感器所进行的摄像的帧长也可以比在所述内窥镜装置处于所述第一状态时所述第一图像传感器所进行的摄像的帧长长。

根据本发明的第十四方式，在第一方式中，所述第二图像传感器对近红外光的灵敏度也可以比所述第一图像传感器对近红外光的灵敏度高。

发明效果

根据上述的各方式，多个第一光电二极管和多个第二光电二极管配置于不同的图像传感器。因此，通过将多个第一光电二极管各自的尺寸设定为比多个第二光电二极管各自的尺寸小，能够进行可见光的高分辨率的检测。另外，通过对第一图像传感器和第二图像传感器进行层叠而不需要基于分色镜等的光的分离，从而能够实现摄像部的小型化。并且，根据两个图像传感器的信号(第一图像传感器所生成的第二信号和第二图像传感器所生成的第三信号)而生成荧光图像信号。因此，能够进行荧光的高灵敏度的检测。因此，能够兼顾摄像部的小型化以及荧光和可见光的高精度的检测。

附图说明

图1是示出本发明的实施方式的内窥镜装置的结构的框图。

图2是示出本发明的实施方式的摄像部的结构的框图。

图3是示出在本发明的实施方式中第一图像传感器所具有的多个第一光电二极管和第二图像传感器所具有的多个第二光电二极管的示意图。

图4是示出在本发明的实施方式中第一图像传感器所具有的多个第一光电二极管和第二图像传感器所具有的多个第二光电二极管的示意图。

图5是示出在本发明的实施方式中第一图像传感器所具有的多个第一光电二极管和第二图像传感器所具有的多个第二光电二极管的示意图。

图6是示出在本发明的实施方式中可见光图像信号和荧光图像信号的像素值的示意图。

图7是示出在本发明的实施方式中可见光图像信号和荧光图像信号的像素值的示意图。

图8是示出在本发明的实施方式中可见光图像信号和荧光图像信号的像素值的示意图。

图9是示出在本发明的实施方式中可见光图像信号和荧光图像信号的像素值的示意图。

图10是示出本发明的实施方式的变形例的内窥镜装置的结构的框图。

图11是示出在本发明的实施方式中对可见光和激励光进行切换的情形的参考图。

图12是示出在本发明的实施方式中对可见光和激励光进行切换的情形的参考图。

图13是示出在本发明的实施方式中对可见光和激励光进行切换的情形的参考图。

具体实施方式

参照附图对本发明的实施方式进行说明。图1示出本发明的实施方式的内窥镜装置1的结构。如图1所示，内窥镜装置1具有内窥镜插入部10、光源11、光导12、处理器13以及显示器14。内窥镜插入部10在前端部具有摄像部100。

内窥镜插入部10插入于被摄体(被检查体)。光源11产生可见光和波长比可见光的波长长的激励光。例如，光源11具有产生可见光的第一光源和产生激励光的第二光源。光源11也可以配置于摄像部100。光导12将光源11所产生的可见光和激励光引导到内窥镜插入部10。

处理器13具有运算部130和切换部131。运算部130生成基于第一信号的可见光图像信号和基于第二信号和第三信号的荧光图像信号。第一信号是在可见光被照射到被摄体时摄像部100所生成的信号。第二信号和第三信号是在激励光被照射到被摄体时摄像部100所生成的信号。

切换部131对第一状态和第二状态进行切换。在第一状态下可见光被照射到被摄体。在第二状态下激励光被照射到被摄体。即，切换部131对可见光和激励光之间的切换进行控制，使得可见光和激励光以时分方式照射到被摄体上。

显示器14显示基于运算部130所生成的可见光图像信号的可见光图像和基于运算部130所生成的荧光图像信号的荧光图像。显示器14也可以显示基于可见光图像信号和荧光图像信号叠加而成的叠加图像信号的图像。

图2示出配置于内窥镜插入部10的前端部的摄像部100的结构。如图2所示，摄像部100具有透镜101、激励光截止滤镜102、第一图像传感器103以及第二图像传感器104。另外，光导12配置于摄像部100内。被光导12传送到摄像部100的可见光和激励光从摄像部100的前端面照射到被摄体。第一图像传感器103和第二图像传感器104被层叠。

透镜101对来自被检查体的光进行聚光。穿过透镜101的光入射到激励光截止滤镜102。激励光截止滤镜102透射在可见光被照射到被摄体时被被摄体反射的可见光。另外，激励光截止滤镜102透射在激励光被照射到被摄体时产生的荧光。另外，激励光截止滤镜102遮断在激励光被照射到被摄体时被被摄体反射的激励光。

第一图像传感器103具有多个第一光电二极管。多个第一光电二极管生成与透过激励光截止滤镜102的可见光对应的第一信号和与透过激励光截止滤镜102的荧光对应的第二信号。即，第一图像传感器103进行摄像，生成第一信号和第二信号。由于可见光和激励光以时分方式照射到被摄体，因此第一图像传感器103以时分方式生成第一信号和第二信号。

第二图像传感器104具有多个第二光电二极管。多个第二光电二极管生成与透过多个第一光电二极管的荧光对应的第三信号。即，第二的图像传感器104进行摄像，生成第三信号。

如上所述，用于检测可见光和荧光的多个第一光电二极管和用于检测荧光的多个第二光电二极管配置于不同的图像传感器。因此，不管多个第二光电二极管的尺寸如何，都能够增加多个第一光电二极管的数量。即，能够进行可见光的高分辨率的检测。另外，由于对第一图像传感器103和第二图像传感器104进行层叠，因此不需要基于分色镜等的光的分离，从而能够实现摄像部100的小型化。

另外，根据第一图像传感器103所生成的第二信号和第二图像传感器104所生成的第三信号而生成荧光图像信号。因此，能够进行荧光的高灵敏度的检测。因此，能够兼顾摄像部100的小型化以及荧光和可见光的高精度的检测。

图3示出第一图像传感器103所具有的多个第一光电二极管1030和第二图像传感器104所具有的多个第二光电二极管1040。如图3所示，第一图像传感器103和第二图像传感器104被层叠。多个第一光电二极管1030被配置成矩阵状。多个第二光电二极管1040被配置成矩阵状。多个第一光电二极管1030各自的尺寸(面积)与多个第二光电二极管1040各自的尺寸(面积)不同。因此，多个第一光电二极管1030的数量与多个第二光电二极管1040的数量不同。

在多个第一光电二极管1030的表面上配置有滤色器。例如，配置有透射红(r)的波长的光的r滤色器、透射绿(g)的波长的光的g滤色器以及透射蓝(b)的波长的光的b滤色器。r滤色器、g滤色器以及b滤色器的排列是拜耳排列。

多个第二光电二极管1040各自的尺寸比多个第一光电二极管1030各自的尺寸大。因此，能够进行高灵敏度的荧光检测，而不会损害可见光检测的分辨率。

两个以上的第一光电二极管1030与一个第二光电二极管1040重叠。透过两个以上的第一光电二极管1030的荧光入射到一个第二光电二极管1040。在图3中，四个第一光电二极管1030与一个第二光电二极管1040重叠。另外，透过四个第一光电二极管1030的荧光入射到一个第二光电二极管1040。因此，在第二图像传感器104中能够有效地接受透过第一图像传感器103的荧光。

对荧光图像信号的生成方法进行说明。在荧光图像信号的第一生成方法中，运算部130根据第二信号和第三信号对与多个第二光电二极管1040各自的区域对应的像素值进行运算，由此生成荧光图像信号。

图4与图3同样地示出多个第一光电二极管1030和多个第二光电二极管1040。当激励光被照射到被摄体时，由被摄体产生荧光。由于激励光被激励光截止滤镜102遮断，因此荧光入射到第一图像传感器103。荧光的一部分被多个第一光电二极管1030吸收。剩余的荧光透过第一图像传感器103而入射到第二图像传感器104。

在图4中，示出十六个第一光电二极管1030。十六个第一光电二极管1030所生成的第二信号的值(像素值)分别是r1＿ir～r4＿ir、gr1＿ir～gr4＿ir、gb1＿ir～gb4_ir、b1_ir～b4_ir。

在图4中，示出四个第二光电二极管1040。四个第二光电二极管1040所生成的第三信号的值(像素值)分别是ir1～ir4。

例如，运算部130通过(1)式来计算与一个第二光电二极管1040a对应的荧光图像信号的像素值s＿ir1。

s_ir1＝ir1+r1_ir+gr1_ir+b1_ir+gb1_ir(1)

在(1)式中，将与四个第一光电二极管1030分别对应的第二信号的运算结果(r1＿ir+gr1＿ir+b1＿ir+gb1＿ir)与对应于一个第二光电二极管1040a的第三信号(ir1)相加。在(1)式中，第二信号的运算是加法。但是，第二信号的运算也可以是加法以外。与第二光电二极管1040a以外的第二光电二极管1040对应的荧光图像信号的像素值通过与(1)式相同的运算来计算。

在荧光图像信号的第一生成方法中，提高了荧光检测的灵敏度。

在荧光图像信号的第二生成方法中，运算部130根据第二信号和第三信号对与多个第一光电二极管1030各自的区域对应的像素值进行运算，由此生成荧光图像信号。

图5与图3同样地示出多个第一光电二极管1030和多个第二光电二极管1040。在图5中，示出十六个第一光电二极管1030和四个第二光电二极管1040。十六个第一光电二极管1030所生成的第二信号的值(像素值)和四个第二光电二极管1040所生成的第三信号的值(像素值)与使用图4进行说明的值相同。

例如，运算部130通过(2)式来计算与一个第一光电二极管1030a对应的荧光图像信号的像素值s＿r1。在(2)式中，n1是校正参数。例如，n1的值是与滤色器对荧光的透射率对应的值。

s_r1＝ir1+r1_ir×n1(2)

在(2)式中，将与第一光电二极管1030a对应的第二信号的运算结果(r1＿ir×n1)与对应于一个第二光电二极管1040的第三信号(ir1)相加。在(2)式中，第二信号的运算乘法运算。但是，第二信号的运算也可以是乘法运算以外。与第一光电二极管1030a以外的第一光电二极管1030对应的荧光图像信号的像素值通过与(2)式相同的运算来计算。

在荧光图像信号的第二生成方法中，提高了荧光检测的灵敏度。由于第一光电二极管1030的尺寸比第二光电二极管1040的尺寸小，因此可以配置比第二光电二极管1040多的第一光电二极管1030。因此，在荧光图像信号的第二生成方法中，与荧光图像信号的第一生成方法相比较，提高了荧光图像信号的分辨率。

也可以对可见光图像信号和荧光图像信号进行叠加。下面，对叠加可见光图像信号和荧光图像信号的方法进行说明。

这里，将构成可见光图像信号的多个像素定义为多个第一像素，所述可见光图像信号由多个第一光电二极管1030生成，并基于与可见光对应的信号。将构成荧光图像信号的多个像素定义为多个第二像素，所述荧光图像信号由多个第一光电二极管1030和多个第二光电二极管1040生成，并基于与荧光对应的信号。例如，第二像素的像素值是通过与(1)式或(2)式相同的运算而计算出的值。运算部130在第一像素与第二像素的数量不同(与一个第一像素对应的第二像素的数量不是1)的情况下，以使其一致(变为1)的方式基于可见光图像信号和荧光图像信号中的至少一方进行运算。运算部130对进行了运算的可见光图像信号和荧光图像信号进行叠加。

对叠加可见光图像信号和荧光图像信号的第一例进行说明。图6示出对可见光图像信号和荧光图像信号进行叠加的第一例中的可见光图像信号和荧光图像信号的像素值。

在图6中，可见光图像信号和荧光图像信号中的一部分的像素值作为代表而被示出，未示出可见光图像信号和荧光图像信号的所有像素值。在图6中，示出荧光图像信号的四个第二像素的像素值(ir1～ir4)。另外，在图6中，示出可见光图像信号的四个第一像素的像素值(r、g、g、b)。可见光图像信号具有构成拜耳排列的每个颜色的第一像素的像素值。

例如，荧光图像信号的第二像素的像素值通过图5和(2)式所示出的荧光图像信号的第二生成方法而生成。也可以对荧光图像信号进行边缘强调处理。

例如，对可见光图像信号进行去马赛克。在去马赛克时，使用图6所示的四个第一像素的像素值及其周围的多个第一像素的像素值。通过去马赛克来对构成拜耳排列的每个颜色插值像素值。在图6中，进行了去马赛克后的可见光图像信号具有与红(r)对应的四个第一像素的像素值(r1～r4)、与绿(g)对应的四个第一像素的像素值(g1～g4)以及与蓝(b)对应的四个第一像素的像素值(b1～b4)。即，在进行了去马赛克后的可见光图像信号中，与各自的第一像素对应的像素值具有每个颜色的像素值。

通过去马赛克而使与可见光图像信号的一个像素对应的荧光图像信号的像素的数量为1。也可以对进行了去马赛克后的可见光图像信号进行白平衡处理或边缘强调处理等。

运算部130对进行了去马赛克后的可见光图像信号和荧光图像信号进行叠加，由此生成叠加图像信号。例如，运算部130通过(3)～(5)式来计算与一个第一像素对应的叠加图像信号的像素值r1’、g1’、b1’。在(3)～(5)式中，α是确定可见光图像信号与荧光图像信号的比例的加权系数。在(3)～(5)式中，βr、βg以及βb是确定每个颜色的荧光图像信号的比例的系数。例如，在βr为0，βg为1，βb为0的情况下，在基于叠加图像信号的图像中，用绿色来显示荧光。

r1’＝α×r1+(1-α)×ir1×βr(3)

g1’＝α×g1+(1-α)×ir1×βg(4)

b1’＝α×b1+(1-α)×ir1×βb(5)

与其他第一像素对应的叠加图像信号的像素值通过与(3)～(5)式相同的运算来计算。

通过对可见光图像信号和荧光图像信号进行叠加，能够在基于叠加图像信号的图像中显示荧光的发光位置即病变的位置。因此，观察图像的用户容易确定病变的位置。

对叠加可见光图像信号和荧光图像信号的第二例进行说明。图7示出对可见光图像信号和荧光图像信号进行叠加的第二例中的可见光图像信号和荧光图像信号的像素值。

在图7中，可见光图像信号和荧光图像信号中的一部分的像素值作为代表而被示出，未示出可见光图像信号和荧光图像信号的所有像素值。在图7中，示出荧光图像信号的一个第二像素的像素值(ir)。另外，在图7中，示出可见光图像信号的四个第一像素的像素值(r、g、g、b)。可见光图像信号具有构成拜耳排列的每个颜色的第一像素的像素值。例如，荧光图像信号的第二像素的像素值通过图4和(1)式所示的荧光图像信号的第一生成方法而生成。

例如，对可见光图像信号进行去马赛克。在图7中，进行了去马赛克后的可见光图像信号具有与红(r)对应的四个第一像素的像素值(r1～r4)、与绿(g)对应的四个第一像素的像素值(g1～g4)以及与蓝(b)对应的四个第一像素的像素值(b1～b4)。即，在进行了去马赛克后的可见光图像信号中，与各自的第一像素对应的第一像素的像素值具有每个颜色的像素值。

例如，对进行了去马赛克后的可见光图像信号进行像素混合。在像素混合中，对每个颜色混合像素值。在图7中，进行了像素混合后的可见光图像信号具有与红(r)对应的一个第一像素的像素值(r5)、与绿(g)对应的一个第一像素的像素值(g5)以及与蓝(b)对应的一个第一像素的像素值(b5)。

通过像素混合而使与可见光图像信号的一个像素对应的荧光图像信号的像素的数量相同。

运算部130对进行了像素混合后的可见光图像信号和荧光图像信号进行叠加，由此生成叠加图像信号。例如，运算部130通过(6)～(8)式来计算与一个第一像素对应的叠加图像信号的像素值r5’、g5’、b5’。在(6)～(8)式中，α是确定可见光图像信号与荧光图像信号的比例的加权系数。在(6)～(8)式中，βr、βg以及βb是确定每个颜色的荧光图像信号的比例的系数。

r5’＝α×r5+(1-α)×ir×βr(6)

g5’＝α×g5+(1-α)×ir×βg(7)

b5’＝α×b5+(1-α)×ir×βb(8)

与其他第一像素对应的叠加图像信号的像素值通过与(6)～(8)式相同的运算来计算。

对叠加可见光图像信号和荧光图像信号的第三例进行说明。图8示出对可见光图像信号和荧光图像信号进行叠加的第三例中的可见光图像信号和荧光图像信号的像素值。

在图8中，可见光图像信号和荧光图像信号中的一部分的像素值作为代表而被示出，未示出可见光图像信号和荧光图像信号的所有像素值。在图8中，示出荧光图像信号的一个第二像素的像素值(ir)。另外，在图8中，示出可见光图像信号的四个第一像素的像素值(r、g、g、b)。可见光图像信号具有构成拜耳排列的每个颜色的第一像素的像素值。例如，荧光图像信号的第二像素的像素值通过图4和(1)式所示的荧光图像信号的第一生成方法而生成。

例如，对荧光图像信号进行像素插值。在像素插值中，对与可见光图像信号的各像素对应的位置的像素值进行插值。例如，进行公知的最近邻插值处理。也可以进行双线性或双三次插值处理。在图8中，进行了像素插值后的荧光图像信号具有四个第二像素的像素值(ir1～ir4)。也可以对进行了像素插值后的荧光图像信号进行可见光图像被用作引导图像的滤波处理或轮廓强调滤波处理。例如，可见光图像被用作引导图像的滤波处理是基于公知的“引导滤波器”或“联合双边滤波器”的处理。例如，轮廓强调滤波处理是基于公知的拉普拉斯滤波器或sobel(索贝尔)滤波器的处理。

例如，对可见光图像信号进行去马赛克。在图8中，进行了去马赛克后的可见光图像信号具有与红(r)对应的四个第一像素的像素值(r1～r4)、与绿(g)对应的四个第一像素的像素值(g1～g4)以及与蓝(b)对应的四个第一像素的像素值(b1～b4)。即，在进行了去马赛克后的可见光图像信号中，与各自的第一像素对应的第一像素的像素值具有每个颜色的像素值。

运算部130通过对进行了去马赛克后的可见光图像信号和进行了像素插值后的荧光图像信号进行叠加而生成叠加图像信号。例如，运算部130通过与(3)～(5)式相同的运算而生成叠加图像信号。

对叠加可见光图像信号和荧光图像信号的第四例进行说明。运算部130在对可见光图像信号和荧光图像信号进行叠加时也可以使用与波长相对较长的光被强调的图像对应的可见光图像信号。图9示出对可见光图像信号和荧光图像信号进行叠加的第四例中的可见光图像信号和荧光图像信号的像素值。

在图9中，可见光图像信号和荧光图像信号中的一部分的像素值作为代表而被示出，未示出可见光图像信号和荧光图像信号的所有像素值。在图9中，示出荧光图像信号的四个第二像素的像素值(ir1～ir4)。另外，在图9中，示出可见光图像信号的四个第一像素的像素值(r、g、g、b)。可见光图像信号具有构成拜耳排列的每个颜色的第一像素的像素值。例如，荧光图像信号的第二像素的像素值通过图5和(2)式所示的荧光图像信号的第二生成方法而生成。

例如，对可见光图像信号进行像素插值。在对可见光图像信号的像素插值中，仅使用与红(r)对应的第一像素的像素值。例如，在对可见光图像信号的像素插值中，进行双线性的插值处理。在图9中，进行了像素插值后的可见光图像信号具有与红(r)对应的四个第一像素的像素值(r1～r4)。即，在进行了像素插值后的可见光图像信号中，与各自的第一像素对应的第一像素的像素值具有与红(r)对应的像素值。进行了像素插值后的可见光图像信号与波长比绿(g)和蓝(b)的光长的红(r)的光被强调的图像对应。

通过像素插值而使与可见光图像信号的一个像素对应的荧光图像信号的像素的数量相同。

运算部130对进行了像素插值后的可见光图像信号和荧光图像信号进行叠加，由此生成叠加图像信号。例如，运算部130通过(9)～(11)式来计算与一个第一像素对应的叠加图像信号的像素值r1’、g1’、b1’。在(9)～(11)式中，α是确定可见光图像信号与荧光图像信号的比例的加权系数。在(9)～(11)式中，βr、βg以及βb是确定每个颜色的荧光图像信号的比例的系数。

r1’＝α×r1+(1-α)×ir1×βr(9)

g1’＝(1-α)×ir1×βg(10)

b1’＝(1-α)×ir1×βb(11)

与其他第一像素对应的叠加图像信号的像素值通过与(9)～(11)式相同的运算来计算。

在波长相对较长的光被强调的图像中，强调了与深位置的血管等的病变的位置比较接近的区域。通过使用与波长相对较长的光被强调的图像对应的可见光图像信号对可见光图像信号和荧光图像信号进行叠加，而更容易进行病变位置的确定。

能够变更对可见光图像信号和荧光图像信号进行叠加时的可见光图像信号与荧光图像信号的加权((3)～(11)式的加权系数α)。根据可见光图像信号与荧光图像信号的加权而使荧光图像相对于可见光图像的强调的程度发生变化。例如，可见光图像信号与荧光图像信号的加权根据被摄体而变更。由此，在基于叠加图像信号的图像中，根据被摄体而容易看到荧光。

运算部130也可以根据荧光图像信号的多个第二像素的像素值来确定可见光图像信号与荧光图像信号的加权。例如，运算部130通过(9)式来确定可见光图像信号与荧光图像信号的加权。

在(9)式中，对第二平均值除以第一平均值后的值乘以校正参数n2。第二平均值是在荧光图像信号中像素值超过规定值的像素的平均像素值。第一平均值是在可见光图像信号中与上述的像素对应的像素的平均像素值。通过对可见光图像信号的去马赛克等而使与可见光图像信号的一个像素的数量对应的荧光图像信号的像素的数量为1。因此，荧光图像信号的各像素的第二像素的像素值与可见光图像信号的各像素的第一像素的像素值对应。在与某个像素对应的荧光图像信号的像素值超过规定值的情况下，根据与相同的像素对应的可见光图像信号的像素值来计算第一平均值。

根据上述，运算部130能够根据荧光的强度来确定可见光图像信号与荧光图像信号的加权。

图10示出本发明的实施方式的变形例的内窥镜装置1a的结构。如图10所示，内窥镜装置1a具有内窥镜插入部10、光源11、光导12、处理器13、显示器14以及设定按钮15。内窥镜插入部10在前端部具有摄像部100。

针对图10所示的结构，对与图1所示的结构的不同之处进行说明。设定按钮15由用户进行操作而接受来自用户的指示。运算部130根据用户的指示来确定可见光图像信号与荧光图像信号的加权。

对于上述以外的点，图10所示的结构与图1所示的结构相同。

例如，运算部130将可见光图像信号与荧光图像信号的加权设定为规定值。运算部130使用所设定的加权来生成叠加图像信号。显示器14显示基于叠加图像信号的图像。用户一边确认显示于显示器14的图像一边操作设定按钮15。通过设定按钮15的操作来指示可见光图像信号与荧光图像信号的加权的变更。运算部130根据用户的指示来确定可见光图像信号与荧光图像信号的加权。运算部130使用所确定的加权来生成叠加图像信号。显示器14显示基于叠加图像信号的图像。

根据上述，运算部130能够根据用户的喜好来确定可见光图像信号与荧光图像信号的加权。

对可见光与激励光的切换方法进行说明。在可见光与激励光的第一切换方法中，切换部131以固定的周期进行从第一状态向第二状态的切换，并以固定的周期进行从第二状态向第一状态的切换。从第一状态向第二状态的切换的周期与从第二状态向第一状态的切换的周期相同。第一状态所持续的时间与第二状态所持续的时间相同。在内窥镜装置1处于第二状态时第一图像传感器103和第二图像传感器104所进行的摄像的帧数与在内窥镜装置1处于第一状态时第一图像传感器103所进行的摄像的帧数相同的情况下，在第一状态下，可见光被照射到被摄体。在第二状态下，激励光被照射到被摄体。

图11示出通过可见光与激励光的第一切换方法来切换可见光和激励光的情形。第一图像传感器103和第二图像传感器104以固定的帧周期进行摄像。与基于第一图像传感器103和第二图像传感器104的摄像同步地，交替进行可见光的照射和激励光的照射。即，可见光的照射和激励光的照射在摄像的每一帧交替进行。当进行可见光的照射时，第一图像传感器103进行摄像。也可以是，当进行可见光的照射时，第二图像传感器104停止摄像。当进行激励光的照射时，第一图像传感器103和第二图像传感器104进行摄像。

在图11中，摄像的一帧被放大示出。在摄像的一帧中，按多个第一光电二极管或多个第二光电二极管的排列的行依次进行摄像的控制。一行的摄像的控制按照如下方式进行。第一光电二极管或第二光电二极管被复位。接着，在第一光电二极管或第二光电二极管中进行曝光。接着，在第一光电二极管或第二光电二极管中蓄积的电荷被传送到电容等蓄积部之后，从蓄积部读出信号。

在可见光与激励光的第一切换方法中，与摄像的一帧同步地切换可见光和激励光。可见光图像的摄像与荧光图像的摄像的定时的偏差仅是一帧。因此，能够获取在大致相同的时刻拍摄的可见光图像和荧光图像。其结果是，抑制了可见光图像和荧光图像中的被摄体的偏移量。并且，用户容易进行可见光图像与荧光图像的比较。即使在叠加了可见光图像信号和荧光图像信号的情况下，用户在基于叠加图像信号的图像中，也容易进行基于可见光图像信号的部分与基于荧光图像信号的部分的比较。

在可见光与激励光的第二切换方法中，切换部131以固定的周期进行从第一状态向第二状态的切换，并以固定的周期进行从第二状态向第一状态的切换。从第一状态向第二状态的切换的周期与从第二状态向第一状态的切换的周期相同。第一状态所持续的时间与第二状态所持续的时间不同。在内窥镜装置1处于第二状态时第一图像传感器103和第二图像传感器104所进行的摄像的帧数比在内窥镜装置1处于第一状态时第一图像传感器103所进行的摄像的帧数多。在第一状态下，可见光被照射到被摄体。在第二状态下，激励光被照射到被摄体。

图12示出通过可见光与激励光的第二切换方法来切换可见光和激励光的情形。第一图像传感器103和第二图像传感器104以固定的帧周期进行摄像。可见光的照射在摄像的一帧中进行。激励光的照射在连续摄像的两帧中进行。交替进行可见光的照射和激励光的照射。即，在连续摄像的三帧中的一帧进行可见光的照射，在剩余的两帧进行激励光的照射。当进行可见光的照射时，第一图像传感器103进行摄像。也可以是，当进行可见光的照射时，第二图像传感器104停止摄像。当进行激励光的照射时，第一图像传感器103和第二图像传感器104进行摄像。

在图12中，摄像的一帧被放大示出。图12中的摄像的一帧与图11中的摄像的一帧相同。

在可见光与激励光的第二切换方法中，只要以使激励光在规定时间中所占的照射时间比可见光的照射时间长的方式进行可见光与激励光的切换即可。可见光的照射所持续的期间不限于连续摄像的两帧。可见光的照射所持续的期间也可以是连续摄像的三帧以上。另外，激励光的照射所持续的期间不限于摄像的一帧。激励光的照射所持续的期间也可以是连续摄像的两帧以上。

可见光与激励光的第二切换方法中，提高了荧光检测的灵敏度，而不会大幅损害可见光图像和荧光图像的获取的同时性。

在可见光与激励光的第三切换方法中，切换部131以固定的周期进行从第一状态向第二状态的切换，并以固定的周期进行从第二状态向第一状态的切换。从第一状态向第二状态切换的周期与从第二状态向第一状态切换的周期相同。第一状态所持续的时间与第二状态所持续的时间不同。在内窥镜装置1处于第二状态时第一图像传感器103和第二图像传感器104所进行的摄像的帧长比在内窥镜装置1处于第一状态时第一图像传感器103所进行的摄像的帧长长。在第一状态下，可见光被照射到被摄体。在第二状态下，激励光被照射到被摄体。

图13示出通过可见光与激励光的第三切换方法来切换可见光和激励光的情形。激励光被照射时的摄像的一帧比可见光被照射时的摄像的一帧长。与基于第一图像传感器103和第二图像传感器104的摄像同步地交替进行可见光的照射和激励光的照射。即，可见光的照射和激励光的照射在摄像的每一帧交替进行。

如上所述，在可见光被照射的第一状态和激励光被照射的第二状态下，摄像的一帧的长度不同。因此，可见光的照射时间与激励光的照射时间不同。由于激励光被照射时的摄像的一帧比可见光被照射时的摄像的一帧长，因此激励光的照射时间比可见光的照射时间长。当进行可见光的照射时，第一图像传感器103进行摄像。也可以是，当进行可见光的照射时，第二图像传感器104停止摄像。当进行激励光的照射时，第一图像传感器103和第二图像传感器104进行摄像。

在图13中，将激励光被照射时的摄像的一帧和可见光被照射时的摄像的一帧分别放大示出。基于第一图像传感器103和第二图像传感器104的摄像中的动作的步骤与参照图11进行说明的步骤相同。但是，在激励光被照射时的摄像和可见光被照射时的摄像中，曝光期间不同。如图13所示，激励光被照射时的摄像中的曝光期间比可见光被照射时的摄像中的曝光期间长。

在可见光与激励光的第三切换方法中，提高了荧光检测的灵敏度，而不会大幅损害可见光图像和荧光图像的获取的同时性。

第二图像传感器104对近红外光的灵敏度也可以比第一图像传感器103对近红外光的灵敏度高。例如，在第一图像传感器103中使用近红外光的灵敏度较低、即比较容易透射近红外光的背面照射(bsi：backsideillumination：背侧照明)型图像传感器。例如，在第二图像传感器104中使用近红外光的灵敏度非常高的表面照射(fsi：frontsideillumination：前侧照明)型图像传感器。

激励光和荧光的波长存在于近红外光的波段。由于第二图像传感器104对近红外光的灵敏度较高，所以提高了荧光检测的灵敏度。

本发明的各方式的内窥镜装置也可以不具有与光导12、显示器14以及设定按钮15中的至少一个对应的结构。

根据本发明的实施方式，内窥镜装置1具有光源11、具有摄像部100的内窥镜插入部10、运算部130以及切换部131。摄像部100具有激励光截止滤镜102、第一图像传感器103以及第二图像传感器104。

在本发明的实施方式中，能够兼顾摄像部100的小型化以及荧光和可见光的高精度的检测。

以上，参照附图对本发明的各实施方式进行了详细说明，但具体的结构并不限于上述的实施方式，也包含不脱离本发明的主旨的范围的设计变更等。

工业上的可利用性

根据本发明的各实施方式，能够兼顾摄像头的小型化以及荧光和可见光的高精度的检测。

标号说明

1，1a：内窥镜装置；10：内窥镜插入部；11：光源；12：光导；13：处理器；14：显示器；15：设定按钮；100：摄像部；101：透镜；102：激励光截止滤镜；103：第一图像传感器；104：第二图像传感器；130：运算部；131：切换部。