电子内窥镜系统及其处理器装置、荧光图像的高灵敏度化方法

专利名称：电子内窥镜系统及其处理器装置、荧光图像的高灵敏度化方法
技术领域：
本发明涉及观察从体腔内的生物体组织发出的自体荧光等的荧光的电子内窥镜系统及其处理器装置、和荧光图像的高灵敏度化方法。
背景技术：
在近年来的医疗领域，大量进行使用了电子内窥镜系统的诊断和治疗。在电子内窥镜系统中，用波长从蓝色光带直到红色光带的白色光来照射体腔内，用CCD等的摄像元件来拍摄在体腔内的反射像。然后，将通过拍摄所获得的图像显示于监视器。由此，由于能实时地确认体腔内的图像，因此能可靠地进行诊断等。虽然从照射白色光时获得的摄像图像中能粗略掌握被摄体组织整体，但清楚地观察毛细血管、深层血管、腺口形态(pit pattern)、称为凹陷和隆起的凹凸构造等被摄体组织还是困难的。由于在这样的被摄体组织中有潜藏病变部的可能性，因此，正不断要求从摄像图像中也能可靠地掌握毛细血管、凹陷和凸起等。例如，作为观察癌等的肿瘤性病变的方法，如日本特开2009-342 号公报所示那样，通过限定在特定波长的激励光而使得从生物体组织内的内生性荧光物质发出自体荧光，用摄像元件捕捉该自体荧光的AFI (Auto Fluorescence Imaging,自体荧光成像)广为人知。在AFI中，从癌等病变部发出的自体荧光的强度比非病变部的正常部所发出的自体荧光的强度要弱，利用这一性质，在画面上用不同的颜色来显示病变部和正常部。因此，通过该AFI，即使是几乎难以和正常部区分的病变部也能进行观察。但是，由于自体荧光的光量微弱，基于该自体荧光的自体荧光图像不能直接进行有用的图像诊断。因此，为了能在诊断中有效地利用自体荧光图像，需要用某些方法来使自体荧光图像高画质化。例如，在日本特开2009-342M号公报中，在电子内窥镜的前端部，除了设置照射白色光和激励光的通常的照明窗之外，还另外设置激励光专用照明窗，通过从这两个照明窗分别照射激励光，使生物体组织照射到充分的激励光。但是，在电子内窥镜的前端部设置激励光专用的照明窗，并且还要将向激励光专用的照明窗引导激励光的光导 (light guide)组装入电子内窥镜的插入部内，这会导致成本的增大。

发明内容
本发明的目的在于不增加成本而能使自体荧光图像等的荧光图像高画质化。为了达到上述目的，本发明的电子内窥镜系统特征在于，具备光源装置，其发出用于从体腔内的生物体组织激励荧光的激励光、和与该激励光的波长范围不同的照明光； 电子内窥镜，其通过用摄像元件拍摄由于照射所述激励光而发出所述荧光的所述体腔内， 以取得荧光图像，并且通过用所述摄像元件对照射了所述照明光的所述体腔内进行拍摄， 以取得被检体图像；运动检测单元，其从所述被检体图像中检测所述体腔内的观察对象的运动；帧相加单元，其进行帧相加，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和帧相加控制单元，其按照所述观察对象的运动，使表示应进行所述帧相加的帧数的帧相加数发生变化。优选所述高灵敏度化处理单元在所述观察对象中没有运动时，随着时间的经过而增大所述帧相加数。优选在从所述观察对象中没有运动的静止状态切换到所述观察对象中有细微的运动的准静止状态的情况下，所述高灵敏度化处理单元使所述准静止状态下的帧相加数维持在从所述静止状态切换到所述准静止状态时的帧相加数。优选在开始了所述荧光图像的拍摄的初始状态下，按照所述荧光图像的荧光强度来决定所述帧相加数。优选所述照明光是波长从蓝色光带直到红色光带的白色光，所述被检体图像是通过对照射了白色光的所述体腔内进行拍摄而获得的白色光图像，所述运动检测单元从所述白色光图像中检测所述观察对象的运动。优选所述荧光图像是用AFI获得的自体荧光图像。优选所述荧光图像是利用PDD 或红外荧光观察而获得的药剂荧光图像。本发明的电子内窥镜系统中的处理器装置特征在于，所述电子内窥镜系统具有电子内窥镜，该电子内窥镜向体腔内照射用于从体腔内的生物体组织激励荧光的激励光和与该激励光的波长范围不同的照明光，且用摄像元件来拍摄来自所述体腔内的返回光。该电子内窥镜处理器装置具备接收单元，其从所述电子内窥镜接收通过用所述摄像元件拍摄发出所述荧光的所述体腔内而获得的荧光图像、和通过用所述摄像元件拍摄照射了所述照明光的所述体腔内而获得的被检体图像；运动检测单元，其从所述被检体图像中检测所述体腔内的观察对象的运动；帧相加单元，其进行帧相加，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和帧相加控制单元，其按照所述观察对象的运动， 使表示应进行所述帧相加的帧数的帧相加数发生变化。本发明的荧光图像的高灵敏度化方法特征在于，具有交替向体腔内照射用于从体腔内的生物体组织激励荧光的激励光和与该激励光的波长范围不同的照明光的步骤；通过用摄像元件拍摄由于照射所述激励光而发出所述荧光的所述体腔内，以取得荧光图像， 并且通过用所述摄像元件对照射了所述照明光的所述体腔内进行拍摄，以取得被检体图像的步骤；从所述被检体图像中检测所述体腔内的观察对象的运动的步骤；进行帧相加的步骤，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和按照所述观察对象的运动，使表示应进行所述帧相加的帧数的帧相加数发生变化的步骤。根据本发明，在电子内窥镜系统中，通过对荧光图像施加已经具备的帧相加处理， 能不增加成本地来进行高灵敏度化处理。此外，按照体腔内的观察对象的运动来使表示要进行帧相加的帧数的帧相加数变化。由此，即使在观察对象中产生较大的运动，也能使该部分的帧相加数降低，因此，在观察对象的像中不会产生抖动。


图1是表示第1实施方式的电子内窥镜系统的概略图。图2是表示第1实施方式的电子内窥镜系统中的电结构的框图。图3是表示激励光、自体荧光以及白色光的分光强度的图表。图4是表示安装有外套管(overtube)以及外罩(hood)的第1实施方式的电子内窥镜的前端部的立体图。
图5是表示白色光的照射范围的俯视图。图6A是表示白色光照射期间时的旋转遮光器(rotary shutter)的俯视图。图6B是表示白色光遮光期间时的旋转遮光器的俯视图。图7是用于说明按照白色光的光量来控制激励光的光量的方法的时序图。图8是表示激励光的照射范围的图。图9是表示激励光照射用的第1投光单元和外罩以及外套管的一部分的剖面图。图IOA是用于说明通常光观察模式下的CXD的摄像控制的时序图。图IOB是用于说明自体荧光观察模式下的CCD的摄像控制的时序图。图11是在信号处理部的处理流程图。图12是绘制有初始设定值的图表。图13是用于说明静止状态持续情况下的高灵敏度化处理的图表。图14是用于说明与图13不同的静止状态时的高灵敏度化处理的图表。图15是用于说明从静止状态变化到在观察对象中产生运动的运动状态的情况下的高灵敏度化处理的图表。图16是表示存储了运动量和帧相加数以及像素混合(binning)数的对应关系的 LUT的表。图17是用于说明基于帧相加的高灵敏度化处理的说明图。图18是RGB的帧序列光的照射中使用的旋转遮光器的俯视图。图19是表示具备通过蓝色激励光和荧光部件来照射白色光的投光单元的电子内窥镜系统的电结构的框图。图20是激励光用探针、外罩以及前端部的立体图。
具体实施例方式如图1所示，本发明的电子内窥镜系统10具备用CCD等的摄像元件来拍摄被检体内的电子内窥镜11 ；插通该电子内窥镜11的插入部20的外套管13 ；安装于插入部20的前端部2 的外罩14 ；根据由拍摄而获得的信号来生成被检体内的被摄体组织的图像的处理器装置15 ；提高照射到被检体内的白色光的白色光的光源装置16 ；向电子内窥镜11提供用于从被检体内的生物体组织激励自体荧光的激励光的激励光光源装置17 ；和显示被检体内的图像的监视器18。电子内窥镜11具备插入到体腔内的挠性的插入部20 ；设于插入部的基端部分的操作部21 ；连结了操作部21与处理器装置15以及白色光的光源装置16之间的通用线缆 23。在插入部20的前端形成有连结多个弯曲段(湾曲駒)的弯曲部对。弯曲部M通过操作部的角度旋钮26的操作，在上下左右方向上进行弯曲动作。在弯曲部M的前端设有内置有体腔内摄影用的光学系统的前端部Ma。前端部 2 通过弯曲部M的弯曲动作而朝向体腔内的所期望的方向。如图4所示，在前端部2 设有照射白色光、激励光的两个第1以及第2照明窗57、59 ；接受来自体腔内的白色光、自体荧光的观察窗62 ；向观察窗喷射水或空气的送气/送水喷嘴63 ；和成为插通于插入部20 内的钳子管路的处理用具的出口的钳子出口 64。在操作部21中，设有切换为使用白色光来进行体腔内的观察的通常光观察模式、以及使用激励光来观察从生物体组织内发出的自体荧光的自体荧光观察模式的任一种的观察模式切换按钮观。将该观察模式切换按钮观的切换信息发送给处理器装置的控制器 113(参照图2)。在此，在被设定为通常光观察模式的情况下，通过拍摄体腔内的反射像而获得的白色光图像被显示于监视器18，在设定于自体荧光观察模式的情况下，通过拍摄自体荧光而获得的自体荧光图像、或合成白色光图像与自体荧光图像的合成图像被显示于监视器 18。在通用线缆23中的处理器装置15以及白色光的光源装置16侧的端部安装有连接器30。连接器30是由通信用连接器和光源用连接器构成的复合型的连接器，电子内窥镜 11经由该连接器30，拆装自由地连接于处理器装置15以及白色光的光源装置16。外罩14具备激励光截止滤光器32。该激励光截止滤光器32通过覆盖设于前端部2 的观察窗62 (参照图4)，能截止或减少进入到观察窗62之前的光中的激励光波段的光。将能量非常高的激励光在观察窗62跟前截止，通过使该激励光不进入设于观察窗62 的内侧的CCD100 (参照图2~)，能防止CCD100的像素成为电荷饱和状态而导致画面成全白的晕影。外套管13具备外套管主体35 ；设于该外套管主体35内，且插通电子内窥镜11 的插入部四的内窥镜插通管路37 ；设于该内窥镜插通管路37的周围，引导来自激励光的光源装置17的激励光的两条第1以及第2光纤38、39。内窥镜插通管路37具备成为电子内窥镜的插入部20的插入口的基端侧开口 37a;和成为该插入部20的出口的前端侧开口 37b。因此，在将插入部20插通内窥镜插通管路37时，从前端侧开口 37b露出电子内窥镜的前端部Ma以及安装于该前端部2 的外罩14。在电子内窥镜的插入部20插入到体腔内时，使插入部20插通外套管13。另外，在外罩14的外周面，固定安装有向体腔内照射来自第1以及第2光纤38、39的激励光的第1 以及第2投光单元41、42。如图2所示，白色光的光源装置16具备白色光光源45 ；光圈调节机构46 ；白色光控制部47 ；旋转遮光器48 ；位置检测部49和旋转控制部50。在白色光的光源装置16的电源的接通的期间，白色光光源45被通电，发出白色光。白色光是波长从蓝色光带直到红色光带的宽带光，例如，如图3所示，具有400nm 700nm的波段。作为白色光光源45，例如使用氖灯、卤素灯、LED (发光二极管)、荧光发光元件等或LD (激光二极管)等。从白色光光源45发出的白色光被透镜53聚光。被透镜53聚光的光经由光圈调节机构46而入射到第1以及第2光导55、56。第1以及第2光导55、56由大口径的光纤等构成。第1以及第2光导55、56的入射侧端部连接于白色光的光源装置16。另一方面，第1光导55的出射侧端部朝向电子内窥镜11的前端部Ma的第1照明窗57，第2光导55的出射侧端部朝向前端部Ma的第2照明窗59。分别从第1以及第2照明窗57、59向体腔内出射白色光。如图4所示，第1照明窗57和第2照明窗59设置在相对于设于外罩14的激励光截止滤光器32 (或观察窗6 分别对称的位置上。另外，如图5所示，从第1照明窗57出射的白色光的照射范围WLl与从第2照明窗59出射的白色光的照射范围WL2大致重合。因此，在将前端部2 朝向观察对象时，观察对象T大致进入到这些照射范围WLl>WL2的重复范围WjR内。由此，能对观察对象T充分且没有照明模糊地照射白色光。另外，外罩14仅覆盖前端部2 中的观察窗62，而其余的部分从开口部Ha露出。 因此，外罩14不会妨碍到来自第1以及第2照明窗57、59的白色光的照射。另外，能将来自送气/送水喷嘴63的空气或水喷射到外罩的激励截止滤光器32上。进而，能使处理用具从钳子出口 64向体腔内凸出。如图2所示，光圈调节机构46配置于透镜53与旋转遮光器48之间，调节从白色光光源45发出的白色光的光量。光圈调节机构46例如由使光圈口径可变的多个光圈叶片、 以及驱动该光圈叶片的开闭动作的电动机的等构成。由白色光控制部47经由驱动器47a 来控制光圈调节机构的光圈量(即白色光的光量)。白色光控制部47根据通过处理器装置 15内的信号处理而获得的白色光图像来控制光圈量。如图6A以及图6B所示，旋转遮光器48在圆板形状的一部分具有扇形的切口部分。旋转遮光器48中的切口部分成为透过白色光的光透过部48a，其余的部分成为遮蔽白色光的遮光板48b。旋转遮光器48被安装于与白色光光源45的光轴平行配置的电动机70 的旋转轴70a。通过该电动机70的驱动，使旋转遮光器48旋转，从而使光透过部48a与遮光板48b交替地位于白色光光源的光路P上。通过由光传感器等构成的位置检测部49而检测出光透过部48a、遮光部48b的哪一个位于光路P上。在此，在图2、图6A以及图6B中，位置检测部49被配置于旋转遮光器的外周附近，但也可以为任意位置，例如在旋转遮光器的内部。如图6A所示，在光透过部48a位于光路P上的期间，由于白色光入射到第1以及第2光导55、56，因此白色光照射到体腔内。将该期间设为白色光照射期间。另一方面，如图6B所示，在遮光部48b位于光路P上的期间，由于白色光不入射到第1以及第2光导55、 56，因此，在体腔内，白色光处于被遮光的状态。将该期间设为白色光遮光期间。位置检测部49将与处在白色光照射期间和白色光遮光期间的哪个状态相关的信息适当地发送给激励光的光源装置内的激励光控制部75以及处理器装置的控制器113。白色光照射期间和白色光遮光期间因观察模式不同而不同，自体荧光观察模式时的各期间被设定为通常光观察模式时的2倍。因此，旋转控制部50在自体荧光观察模式时， 使旋转遮光器48的旋转速度为通常光观察模式时的旋转速度的一半。另外，旋转控制部50 通过与电动机70连接的驱动器50a来控制旋转遮光器8的旋转速度。如图2所示，激励光的光源装置17具备第1以及第2激光光源72、73、激励光控制部75。第1以及第2激光光源72、73由发光二极管等构成，发出具有图3所示那样的 405士 IOnm的波长的激励光。通过向体腔内照射具有这样的波段的激励光，能使得从生物体组织内的内生性荧光物质发出波长为420nm 650nm的自体荧光。第1以及第2激光光源72、73在被设定为自体荧光观察模式的情况下，总是发出激励光。由此，总是从生物体组织发出自体荧光。如图3所示，返回到电子内窥镜的前端部 24a的激励光被激励光截止滤光器截止，另外，自体荧光的前端部2 的光量与白色光相比微弱。因此，在体腔内不仅存在白色光还存在激励光或自体荧光的状态下，即使取得白色光图像，在该取得的白色光图像中，也完全不会受到激励光和自体荧光的影响。激励光控制部75经由驱动器75a、75b来控制第1以及第2激光光源72、73的激励光的光量。激励光控制部75与白色光控制部47连接，按照白色光控制部47的白色光的光量控制，来控制激励光的光量。激励光的光量的控制按照白色光和激励光具有规定的相关的方式、例如激励光的光量与白色光的光量的光量比维持1/10等的方式来使激励光的
光量变化。如此，在白色光的光量变更的情况下，激励光控制部也跟随该变更而自动地变更激励光的光量，因此，能将白色光图像和自体荧光图像的曝光平衡总是维持在适当的状态。 另外，也可以是激励光的光量控制不是与白色光的光量控制联动来进行，而是如图7所示， 在从白色光照射期间切换到白色光遮光期间时，控制为白色光和激励光维持规定的相关。从第1激光光源72发出的激励光入射到外套管的第1光纤38。从另一方的第2 激光光源73发出的激励光入射到外套管的第2光纤39。并且，第1光纤38内的激励光EL 从外罩14的第1投光单元41出射，第2光纤39内的激励光EL从外罩14的第2投光单元 42出射。这些第1以及第2光纤38、39使用大口径的单模光纤。如图4所示，第1以及第2投光单元41、42设置在相对于外罩14的激励光截止滤光器32(或观察窗6 分别对称的位置。另外，如图8所示，从第1投光单元41出射的激励光的照射范围ELl和第2投光单元42出射的激励光的照射范围EL2大致重合(重复区域ELR)。进而，该重复区域ELR包含于2个白色光的照射范围重合的重复区域W^R中。由于具有以上那样的照射范围EL1、EL2，因此在将前端部2 朝向观察对象T时， 观察对象T大致进入这些照射范围ELI、EL2的重复区域ELR中。由此，能对观察对象T照射充分且没有照明模糊的激励光。因此，例如，在观察对象T的整体是正常部的情况下，从该观察对象的全部区域发出大致相同强度的自体荧光。进而，由于2个激励光的照射范围重合的重复区域ELR包含于2个白色光的照射范围的重复区域WjR中，因此在观察对象T 整体中，白色光与激励光的光量比维持恒定。如图9所示，配置于外罩14的外周的第1投光单元41具备光扩散部件90 ；覆盖该光扩散部件90的外周的筒状的衬套部件91 ；和密封该衬套部件91的一端侧的保护玻璃 92。在光扩散部件90，从光纤94的出射端射出的激励光入射到光扩散部件90。该光纤94 被引入到外罩14内，在其入射端安装有套圈93。在外套管13内，在第1光纤38的出射端安装有套圈40。通过该套圈40和套圈 93，外套管13内的第1光纤38与外罩14内的光纤94光学接触。另外，第2投光单元的构成与第1投光单元的构成相同，因此省略说明。光扩散部件90由使来自第1光纤38的激励光扩散的透光性树脂材料构成。除了透光性树脂材料以外，例如还能利用透光性陶瓷或玻璃等。另外，光扩散部件90也可以是在其表面或中间层等设置有混杂了微小的凹凸或折射率不同的粒子(填料等)的光扩散层的结构、或是使用了半透明材料的结构。由此，从光扩散部件90出射的激励光，由于光的偏光效应和扩散效应而光量均勻化。因此，通过适当地变更光扩散部件的材料或份量，能在第 1投光单元内调节激励光的照射范围或光量。另外，在第1投光单元内的光的照射范围或光量除了通过光扩散部件以外，还可以通过适当变更透镜或保护玻璃来进行调节。如图2所示，电子内窥镜11具备CCD100、逻辑处理电路104(AFE =Analog Front End)、和摄像控制部106。(XD100用摄像面IOOa来接受透过激励光截止滤光器32、观察窗62、以及聚光透镜102的光。然后，在(XD100中，将摄像面IOOa接受到的光进行光电变换，从而积蓄信号电荷，并将积蓄的信号电荷作为摄像信号而读出。将读出的摄像信号送到AFE104。(XD100是彩色(XD，在摄像面IOOa排列有设置了 R色、G色、B色的滤色器的R像
素、G像素、B像素的三色像素。在此，由于白色光的波段是从蓝色光带直到红色光带，因此， 在白色光入射到CXD的摄像面时，R像素、G像素、B像素全部发生感应。因此，在白色光受光时所获得的摄像信号中，包含从R像素输出的摄像信号、从G像素输出的摄像信号、以及从B像素输出的摄像信号这三种摄像信号。另一方面，自体荧光主要的波段为绿色光带，也涉及一部分的蓝色光带或红色光带。因此，在自体荧光入射到CXD的摄像面IOOa时，G像素会可靠地感应自体荧光。AFE104由相关二重采样电路(⑶S)以及自动增益控制电路(AGC)构成。⑶S对从来自CXD的摄像信号实施相关二重采样处理，消除(XD100的驱动所产生的噪声。AGC放大由⑶S除去噪声后的摄像信号。摄像控制部106进行(XD44的摄像控制。按照该摄像控制部106的摄像控制，以规定的帧速率从AFE45输出摄像信号。摄像控制部106连接于处理器装置15内的控制部 113，在摄像时，根据控制器113所识别的观察模式，摄像控制部106适当地变更控制方法。在此，如图IOA所示，在被设定为通常光观察模式的情况下，在白色光照射期间时，进行对白色光进行光电变换从而积蓄信号电荷的步骤。然后，在从白色光照射期间切换到白色光遮光期间时，从摄像控制部106向(XD100发送摄像信号读出脉冲。在(XD100接收到摄像信号读出脉冲时，将在CCD100积蓄的信号电荷作为摄像信号而输出给AFE104。然后，在从白色光遮光期间切换为白色光照射期间时，再次进行对白色光进行光电变换从而积蓄信号电荷的步骤。在设定为通常光图像模式的期间，反复进行以上的一系列动作。与此相对，在被设定为自体荧光观察模式的情况下，如图IOB所示，在白色光照射期间时，进行对白色光进行光电变换从而积蓄信号电荷的步骤。然后，在从白色光照射期间切换为白色光遮光期间时，从摄像控制部106将摄像信号读出脉冲发送给CCD100。在 CCD100接收到摄像信号读出脉冲时，将在CCD100积蓄的信号电荷作为摄像信号而输出给 AFE104。几乎与此同时，进行对自体荧光进行光电变换从而积蓄信号电荷的步骤。虽然自体荧光微弱，但通过将自体荧光观察模式时的白色光遮光期间即自体荧光观察期间设定为通常光观察模式时的白色光遮光期间的2倍，能用CCD100可靠地接受可形成自体荧光图像程度的光量。然后，在从白色光照射期间切换为白色光遮光期间之后经过了一定时间后，从摄像控制部106将摄像信号读出脉冲发送给(XD100。据此，将在(XD100积蓄的信号电荷作为摄像信号而输出给AFE104。然后，在从白色光遮光期间切换为白色光照射期间时，再次进行对白色光进行光电变换从而积蓄信号电荷的步骤。在设定为自体荧光观察模式的期间，反复进行以上的一系列的动作。如图2所示，处理器装置15与电子内窥镜11、白色光的光源装置16、激励光的光源装置17、监视器18、键盘(图示省略)、打印机(图示省略)等电连接，统一地控制电子内窥镜系统10整体。处理器装置15具备信号处理部110、帧存储器112、控制器113。信号处理部110对从电子内窥镜11的AFE104输出的摄像信号，用A/D变换部115、 色调补偿部116以及图像处理部117实施各种处理，由此生成能在监视器118进行显示的影像信号。然后，根据该影像信号来将各种图像显示于监视器118。另外，色调补偿部116以及图像处理部117例如由进行各自对应的处理软件和容纳该软件的EPROM (可改写型ROM) 等存储装置构成。另外，A/D变换后的数字的图像数据或在图像处理部中经图像处理后的影像信号暂时或每当实施处理地存储于帧存储器112中。A/D变换部115将来自AFE104的摄像信号变换为数字的图像数据。在图像数据中，包含基于来自(XD100的B像素的摄像信号的B图像、基于来自G像素的摄像信号的G 图像、基于来自R像素的摄像信号的R图像。另外，在A/D变换后的图像数据中，有在通常光观察模式时或自体荧光观察模式时取得的白色光图像的图像数据、在自体荧光观察模式时取得的自体荧光图像的图像数据。色调补偿部116以及图像处理部117按照图11所示的流程来进行处理。色调补偿部116补偿白色光图像中通过激励光截止滤光器而截止或减少的B图像的分量。由于电子内窥镜11通过截止或减少415nm以下的波段的分量的激励光截止滤光器32来进行拍摄 (参照图3)，因此，白色光图像以及自体荧光图像的B图像中的低波长侧的一部分被截止。 因此，将该被截止的部分通过色调补偿部116来进行补偿。白色光图像的B图像的补偿如下进行。首先，在使用内窥镜前，预先求取未安装激励光截止滤光器32的情况下的白色光图像的B图像的光量B'，求取安装激励光截止滤光器32的气相的白色光图像的B'图像的光量B。用下面的式(1)来表示B和B'的关系。B = B' X α ...⑴在此，α是基于激励光截止滤光器的光量截止率。因此，能用下面的式( 来求取B'。B' =B/α …⑵如式⑵所示，在B和B'的关系是线性的关系的情况下，通过用系数α除以实际使用内窥镜时所获得的白色光图像的B图像的光量B，来求取通过激励光截止滤光器32所截止的部分的光量B'。然后，通过将白色光的B图像中的被截止的部分的光量B置换为光量B'，能得到与安装激励光截止滤光器32的情况相同的白色光图像。另外，在B与B'的关系不是线性的关系的情况下，通过例如乘法、加法、矩阵变换等的运算处理，能增加相当于B图像的被截止的部分的光量。另外，也可以减少相当于B图像的被截止的分量的G图像以及R图像的分量。进而，在通过激励光截止滤光器32将G图像中的低频侧的一部分的分量截止的情况下，与B图像的情况相同，优选进行色调补偿。图像处理部117具备平衡调整部120、高灵敏度化处理部121和显示灰度处理部 122。平衡调整部120使用补偿数据来进行白色光图像和自体荧光图像的平衡调整。补偿数据能由对不特定的被摄体的病变部(早期癌等的发生部)以及正常部进行预先摄像的白色光图像以及自体荧光图像而获得。通过使用补偿数据来进行平衡调整，例如使得白色光图像中的病变部和正常部的对比度、与自体荧光图像中的病变部和正常部的对比度变得相等。例如，在自体荧光图像的对比度相对于白色光图像的对比度为1/5的情况下，色调补偿部116根据补偿数据来进行使自体荧光图像的对比度为5倍的平衡调整。另外，如上所述，通过将白色光与激励光的光量比保持恒定，能精度良好地进行平衡调整。由于白色光图像与自体荧光图像的平衡依赖于CCD等的特性，因此优选在电子内窥镜系统的出厂前或第一次使用电子内窥镜系统之前，至少实施1次平衡调整。
在高灵敏度化处理部121中，通过对自体荧光图像实施帧相加和软件像素混合， 进行自体荧光图像的高灵敏度化。帧相加是通过合成一定的摄像期间内获得的多帧的自体荧光图像，来获得1帧的高画质的自体荧光图像的处理。在此，多帧的自体荧光图像的合成是通过将各自体荧光图像的像素值相加来进行的。软件像素混合是以多个像素为单位来将自体荧光图像的像素值进行相加的处理。在此，M、N为2以上的自然数。另外，高灵敏度化处理也可以不仅对自体荧光图像实施，还对白色光图像实施。在下面的说明中，在帧相加中，将在1帧的高画质的自体荧光图像的生成中所使用的自体荧光图像的帧数称为帧相加数。另外，在软件像素混合中，将像素值相加的像素单位被称为像素混合数。另外，像素混合数表现为沿垂直方向配置的像素数与沿水平方向配置的像素数的相乘，例如表现为2X2。在像素混合数为2X2的情况下，软件像素混合后的自体荧光图像的像素单位成为2 X 2的像素群，另外，该像素群中的像素值成为将2 X 2的合计4个像素的像素值进行合计后得到的值。帧相加和软件像素混合都能实现提高自体荧光图像中的亮度值、即能实现高灵敏度化。另一方面，帧相加通过增加帧显示数，能进一步实现高灵敏度化，而另一方面，由于帧相加所需要的帧数变大，所以会降低帧速率并会在像中产生抖动。另外，软件像素混合通过使像素混合数变大，能进一步提高明亮度，而另一方面，由于图像整体的显示变得粗糙，所以自体荧光图像的分辨率会降低。因此，在进行高灵敏度化处理时，需要进行与体腔内的摄影状况相应的适当的帧相加和软件像素混合。在本实施方式中，在刚切换为自体荧光观察模式之后，要立刻根据自体荧光的荧光强度来决定帧相加数和像素混合数的初始设定值。荧光强度根据自体荧光图像而算出。然后，由于若算出的荧光强度较大，则帧相加以及软件像素混合的必要性降低，因此初始设定值会使帧相加数变小且会使像素混合数也变小。因此，此时的初始设定值hi 被描绘在图12所示的图表上的左下部分。另一方面，由于若算出的荧光强度较小，则帧相加以及软件像素混合的必要性较高，因此初始设定值会使帧相加数变大且使像素混合数变大。因此，此时的初始设定值Pa2被描绘在图12所示的图表上的右上部分。在决定初始设定值后，通过处理变更单元121b来使帧相加数和像素混合数变化， 以使得能没有抖动且分辨率不降低地实现自体荧光的高灵敏度化。在此，使帧相加数和像素混合数按照观察对象的像尺寸和观察对象的运动量来变化。观察对象的尺寸从白色光图像或自体荧光图像中取得，或从连接于处理器装置15的尺寸输入部125(参照图2、取得。 在此，若观察对象的尺寸较大则从初始设定值起增加像素混合数，若观察对象的尺寸较小则维持初始设定值。另外，也可以向尺寸输入部125输入倍率或观察对象与前端部的距离。另一方面，观察对象的运动量通过高灵敏度化处理部内的运动检测部121a从白色光图像中取得。由于白色光图像和自体荧光图像相比整体亮度值较高，因此从白色光图像中更易于取得观察对象的运动量。在此，在运动量为“0”时，即静止状态时，伴随着时间的经过而从初始设定值起增加帧相加数。通过这样的在静止状态增加帧相加数，使自体荧光图像高灵敏度化。另一方面，在产生运动时，按照该运动量来使帧相加数减少。由此，能防止观察对象的像抖动的产生。另外，作为图像内的观察对象的指定方法，例如除了通过连接于处理器装置15的观察对象输入控制器(图示省略)来手动指定以外，还能通过处理器装置15的图像处理来自动指定。在这种情况下，也可以预先在处理器装置15内的存储器(图示省略)中存储癌等的典型的形态(pattern)作为模板，在通过形态匹配处理而从图像内检测出与模板相似的形态时，将该检测形态作为观察对象来指定。另外，也可以利用癌等的病变部具有与正常部不同的色调的特有的颜色的特性，在用颜色检测处理检测出该癌所特有的颜色时，将该检测出的颜色部分的区域指定为观察对象。另外，在观察对象的运动中，具有2种形态观察对象自体发生运动的情形；和在观察对象自身为静止的状态下，通过以电子内窥镜的前端部2 的弯曲动作而使CCD100运动，从而在图像上观察对象发生运动的情形。另外，关于观察对象的运动量，优选对在不同的时间拍摄的图像的每个像素进行模板匹配处理来求取运动向量，将该运动向量的运动分量的平均值作为观察对象的运动量。接下来，将高灵敏度化处理部中的处理的具体例分为(A)、(B)两种情形来说明， 其中(A)观察对象中没有运动而持续静止状态的情形；(B)经过一定时间后，从静止状态向在观察对象中产生运动的状态变化的情形。(A)的情形的处理按照图13的直线130 132来进行。这些直线130 132分别与观察对象的尺寸对应，按照观察对象尺寸较大的位于右侧的方式来配置。因此，在直线 130 132中，直线132与最大的尺寸对应，直线131与中间的尺寸对应，直线131与最小的尺寸对应。然后，在进行帧相加以及软件像素混合时，从这些直线130 132中选择1个与观察对象的尺寸对应的图表。另外，在图13中，1 表示初始设定值下的帧相加数和像素混合数。I3X表示规定时间下的帧相加数和像素混合数，该I3X伴随着时间的经过而沿着直线130 132向右上移动。然后，在经过一定时间后，I3X到达稳定值此。若经过一定时间后观察对象的尺寸以及运动没有变化，则维持该稳定值1 下的帧相加数和像素混合数。观察对象的尺寸越大，则稳定值1 被设定得越大。通过按照这样的直线130 132来使帧相加数和像素混合数发生变化，能确保与观察对象的尺寸相应的适当的灵敏度，并且通过随着时间的经过而使帧相加数增加能实现高画质化。另外，在(A)的情况的处理中，若观察对象的尺寸不大，则如图14的曲线133 135所示，随着时间的经过而增加帧相加数，另一方面减少像素混合数。在这种情况下，在进行帧相加以及软件像素混合时，从图14所示的曲线133 135中选择1条与观察对象的尺寸的其它的条件对应的曲线。另外，图14所示的I^、Pb、I^与图13相同。(B)的情形的处理按照图15的直线136 138来进行。这些直线136 138与观察对象的尺寸对应，这些图表的配置顺序与图13的情形相同。另一方面，在图15的直线 136 138中，在静止状态下，表示规定时间下的帧相加数和像素混合数的Px，已经到达稳定值此。然后，在观察对象中产生运动时，&按照该运动的量而沿着直线向右下移动。在此，在运动量较小时，Px的移动量变小，在运动量较大时，Px的移动量也变大。 并且，根据该I3X所示的帧相加数和像素混合数来进行帧相加和软件像素混合。另外，观察对象的运动量的检测每隔一定时间来进行，根据检测结果，I3X也移动。因此，I3X通过观察对象的运动量而在直线上向右下或左上移动。如上所述，通过使帧相加数和像素混合数发生变化，能确保与观察对象的尺寸相应的适当的灵敏度，并且能按照观察对象的运动量来增减帧相加数，因此能防止观察对象的像抖动的发生。另外，虽然使帧相加数以及像素混合数是按照图13 图15所示的直线、曲线等特性线来变化的，但也可以取而代之，按照如图16所示的LUT140来使帧相加数以及像素混合数发生变化，其中LUT140存储有观察对象的运动量、和该运动量时所使用的帧相加数以及像素混合数。另外，也可以在高灵敏度化处理部中，在观察对象内较多地包含高频构造的情况下，减少像素混合数，在观察对象内高频构造较少的情况下，增加像素混合数。另外，也可以在像素混合数变大的情况下，进行高频强调信号处理。在显示灰度处理部122中，进行将白色光图像或自体荧光图像变换成能显示于监视器的影像信号的显示灰度处理。在该显示灰度处理中，包括与监视器对应的Y补偿处理、灰度补偿处理。在该显示灰度处理中，在设定为通常观察模式的情况下，对影像信号的B 信道信号分配白色光图像中的B图像，对影像信号的G信道信号分配白色光图像中的G图像，对R信道信号分配白色光图像中的R图像。另一方面，在设定为自体荧光观察模式的情况下，对影像信号的B信道信号分配白色光图像的B图像，对影像信号的R信道信号分配白色光图像的R图像，对影像信号的G 信道信号分配自体荧光图像的G图像。由此，获得合成了白色光图像与自体荧光图像的合成图像。通过将这样的合成图像显示于监视器18，能以绿色显示正常部，以品红色显示病变部。另外，自体荧光的亮度等级变低，除了是病变部的原因之外，摄像距离变远也是原因之一。因此，图像处理部在监视器中显示品红色之前，先将白色光图像的G图像与自体荧光图像的G图像的亮度等级进行比较。在其比较结果为两者都较低的情况下，判断为不是病变部，而仅是摄像距离变远而导致亮度等级变低，不用品红色而用绿色来进行显示。另一方面，在白色光图像的G图像的亮度等级高、且自体荧光图像的亮度等级低的情况下，判断为是病变部，用品红色来进行显示。接着，说明本发明的作用。首先，通过观察模式切换按钮观，设定为自体荧光观察模式。在自体荧光观察模式下，在白色光照射期间向体腔内照射白色光和激励光，在白色光遮光期间仅向体腔内照射激励光。由于在白色光照射期间和白色光遮光期间这两方都照射激励光，因此，从体腔内的生物体组织总是发出自体荧光。然后，电子内窥镜11使用 CCD100，在白色光照射期间时，拍摄白色光图像，在白色光遮光期间时，拍摄自体荧光图像。 将通过这些摄像而取得的摄像信号送到处理器装置15中。在处理器装置15中，通过A/D变换部115将摄像信号变换为数字的图像数据。然后，根据获得的图像数据，用色调补偿部116进行色调补偿，之后用图像处理部117的平衡调整部120来进行使用了校正数据的平衡调整，用高灵敏度化处理部121进行高灵敏度化处理，用显示灰度处理部122进行显示灰度处理。经过这些处理，获得合成了白色光图像与自体荧光图像的合成图像。然后，将该合成图像显示于监视器18。在图像处理部117中的高灵敏度化处理部121中，通过对自体荧光图像实施帧相加和软件像素混合，来进行自体荧光图像的高灵敏度化。在进行帧相加以及软件像素混合时，首先从自体荧光图像中检测出荧光强度。然后，按照荧光强度来决定帧相加数和像素混合数。在决定了初始设定值后，为了没有像抖动且不使分辨率降低地来进行自体荧光的高灵敏度化，而使帧相加数和像素混合数发生变化。在此，按照观察对象的像尺寸和观察对象的运动量来使帧相加数和像素混合数发生变化。观察对象的像尺寸从白色光图像或自体荧光图像中获得，或从尺寸输入部125获得。另一方面，观察对象的运动量从白色光图像中获得。例如，在观察对象的像尺寸较大的情况下，从初始设定值起使像素混合数增加，从而确保与观察对象的尺寸相应的适当的灵敏度。另一方面，在观察对象的运动量为“0”的情况下，即静止状态时，伴随着时间的经过而从初始设定值起增加帧相加数，由此使自体荧光图像高灵敏度化。并且，在观察对象中产生运动时，通过使帧相加数减少，来抑制观察对象的像抖动的产生。另外，在上述实施方式中，对从电子内窥镜送到处理器装置的自体荧光图像进行了像素混合处理的软件像素混合，但也可以取而代之，在用电子内窥镜内的CCD进行拍摄时进行像素混合处理的硬件像素混合。硬件像素混合是指从CXD以垂直方向的M个像素和水平方向的N个像素的多个像素构成的像素群为单位来输出1个像素值(摄像信号)的处理(M、N为2以上的自然数)。因此，在观察对象的尺寸较小时，减少构成各像素群的像素数，而另一方面，在观察对象的尺寸较大时，增加构成各像素群的像素数。另外，在上述实施方式中，按照观察对象的尺寸以及运动量来使帧相加数和像素混合数的两者变化，但在不具备软件像素混合或硬件像素混合等的像素混合处理的电子内窥镜系统中，也可以按照观察对象的运动量来仅使帧相加数发生变化。在这种情况下，优选按照图17所示的特性线142来使帧相加数发生变化。另外，初始设定值1 与上述实施方式相同，是根据自体荧光图像的荧光强度来决定的。在静止状态下，如上所述，随着时间的经过而从初始设定值1 起使帧相加数增加，由此实现自体荧光图像的高灵敏度化。然后，在从静止状态变换为观察对象刚作出运动之后等运动量接近“0”的准静止状态时，停止帧相加数的增加。设此时的帧相加数为Px。 然后，如特性线142所示，将准静止状态下的帧相加数维持在从静止状态变化到准静止状态时的帧相加数I^x。在准静止状态下，由于运动量几乎接近“0”，因此即使以帧相加数来进行帧相加，也不用担心会产生像抖动。因此，能实现与静止状态的情形相同的高灵敏度化。然后， 在运动量变大而从准静止状态脱离的情况下，按照运动量来减少帧相加数。在此，帧相加数的减少，如特性线142所示，运动量越大而减少得越多。并且，在上述实施方式中，直接向体腔内照射了白色光，但也可以取而代之，向体腔内照射由R色的光、G色的光、B色的光构成的帧序列光。为了照射帧序列光，使用图18 所示的旋转滤光器220，来取代图6A以及图6B所示的旋转遮光器48。在旋转滤光器220 中，沿着周方向设置有与旋转遮光器48的遮光部48b相同的遮光部221 ；使来自白色光光源45的白色光中的R色的光透过的R色滤色器223r ；使来自白色光光源45的白色光中的 G色的光透过的G色滤色器223g ；以及使来自白色光光源45的白色光中的B色的光透过的 B色滤色器22北。通过使该旋转滤光器220以旋转轴220a为中心进行旋转，能在白色光照射期间按照R色的光、G色的光、B色的光的顺序向体腔内照射。另外，在上述实施方式中，在白色光的光源装置内的白色光光源产生了照射到体腔内的白色光，也可以取而代之，如图19的电子内窥镜系统300所示那样，通过白色光的光源装置内的蓝色激光光源304和设于电子内窥镜的前端部Ma内的投光单元306、307来产生白色光。蓝色激光光源304发出具有中心波长445nm的蓝色激光。所发出的蓝色激光经由光导55、56，从投光单元306、307向体腔内照射。另外，蓝色激光光源304经由驱动器 30 ，通过蓝色激光控制部305来进行控制。投光单元306具有在第1以及第2投光单元41、42中除了代替光扩散部件而具备了荧光体310以外其它都相同的结构。荧光体310构成为包含吸收来自光导55的蓝色激光的一部分来激励发出绿色 黄色的多种荧光物质(例如YAG系荧光体、或BAM(BaMgAlltlO17) 等的荧光体)。由此，以蓝色激光为激励光的绿色 黄色的激励发光、与未被荧光体310吸收而透过的蓝色激光合起来生成白色光。关于投光单元307，由于与投光单元306相同，因此省略说明。另外，荧光体310优选具有大致长方体形状。在这种情况下，荧光体310也可以用粘结剂将荧光体物质固化成大致长方体状，另外，也可以是将在无机玻璃等的树脂中混合荧光体物质后的材料形成为大致长方体状。另外，在上述实施方式中，从固定安装于外罩14的第1以及第2投光单元41、42 照射了激励光，但也可以取而代之，如图20所示，也可以使插通插入部20的钳子管路20a 的激励光用探针400从外罩402的探针保持部403凸出，从该激励光用探针400的照射部 400a照射激励光。另外，激励光用探针400连接于与上述实施方式相同的具有激光光源72、 73的激励光的光源装置401。外罩402在具备激励光截止滤光器32的这点上与上述实施方式的外罩14相同， 但在形成有探针保持部403、第1以及第2照明窗57、59用的开口 405、406的这点上与外罩 14不同。因此，保持于探针保持部403的激励光用探针400的照射部400a朝向体腔内，另外，第1以及第2照明窗57、59从开口 405、406露出，因此，外罩402的安装不会妨碍到激励光和白色光的照射。另外，在上述实施方式中，说明了观察通过激励光的照射而从生物体组织内的内生性荧光物质发出的自体荧光的AFI应用于本发明中的情况，但本发明也可以在使用了荧光药剂的PDD(Wioto Dynamic Diagnosis，光动力诊断分析)、近红外荧光观察中应用。在PDD中，根据投放给患者的荧光药剂不同而荧光的波长不同。例如，在作为药剂而投放“光注液”、“激光注液”、“e ^夕^ > (visudyne，商品名)”时，通过向体腔内的生物体组织照射中心波长405nm的激励光，而从生物体组织发出中心波长660nm的荧光。另外， 在作为药剂而投放了“5-ALA(5-氨基酮戊酸)”时，通过向体腔内的生物体组织照射中心波长405nm的激励光，使得从生物体组织发出具有波长635nm、670nm的2个峰值的荧光。另一方面，在近红外荧光观察中，作为药剂而使用ICGandocyanine Green)。通过将该ICG投放给患者，向体腔内的生物体组织照射SOOnm前后的激励光，而从生物体组织发出具有峰值波长845nm的近红外域的荧光。以上的PDD或近红外荧光观察的药剂荧光比用AFI进行观察的自体荧光的光量大，但由于荧光药剂不能充分地积蓄在生物体组织等其它的原因，而有时会呈现光量不足。 在这种情况下，对通过药剂荧光的摄像等所得的药剂荧光图像实施上述实施方式的帧相加以及像素混合处理。然后，按照观察对象的运动来使这些帧相加以及像素混合处理发生变化。由此实现药剂荧光图像的高灵敏度化。
权利要求
1.一种电子内窥镜系统，具备光源装置，其发出用于从体腔内的生物体组织激励荧光的激励光、和与该激励光的波长范围不同的照明光；电子内窥镜，其通过用摄像元件拍摄由于照射所述激励光而发出所述荧光的所述体腔内，以取得荧光图像，并且通过用所述摄像元件对照射了所述照明光的所述体腔内进行拍摄，以取得被检体图像；运动检测单元，其从所述被检体图像中检测所述体腔内的观察对象的运动； 帧相加单元，其进行帧相加，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和帧相加控制单元，其按照所述观察对象的运动，使表示应进行所述帧相加的帧数的帧相加数发生变化。
2.根据权利要求1所述的电子内窥镜系统，其特征在于，所述高灵敏度化处理单元在所述观察对象中没有运动时，随着时间的经过而增大所述帧相加数。
3.根据权利要求1所述的电子内窥镜系统，其特征在于，在从所述观察对象中没有运动的静止状态切换到所述观察对象中有细微的运动的准静止状态的情况下，所述高灵敏度化处理单元使所述准静止状态下的帧相加数维持在从所述静止状态切换到所述准静止状态时的帧相加数。
4.根据权利要求1所述的电子内窥镜系统，其特征在于，在开始了所述荧光图像的拍摄的初始状态下，按照所述荧光图像的荧光强度来决定所述帧相加数。
5.根据权利要求1所述的电子内窥镜系统，其特征在于， 所述照明光是波长从蓝色光带直到红色光带的白色光，所述被检体图像是通过对照射了白色光的所述体腔内进行拍摄而获得的白色光图像， 所述运动检测单元从所述白色光图像中检测所述观察对象的运动。
6.根据权利要求1所述的电子内窥镜系统，其特征在于， 所述荧光图像是用自体荧光成像而获得的自体荧光图像。
7.根据权利要求1所述的电子内窥镜系统，其特征在于，所述荧光图像是利用光动力诊断分析或红外荧光观察而获得的药剂荧光图像。
8.一种电子内窥镜系统的处理器装置，所述电子内窥镜系统具有电子内窥镜，该电子内窥镜向体腔内照射用于从体腔内的生物体组织激励荧光的激励光、和与该激励光的波长范围不同的照明光，且用摄像元件来拍摄来自所述体腔内的返回光，所述电子内窥镜系统的处理器装置具备接收单元，其从所述电子内窥镜接收通过用所述摄像元件拍摄发出所述荧光的所述体腔内而获得的荧光图像、和通过用所述摄像元件拍摄照射了所述照明光的所述体腔内而获得的被检体图像；运动检测单元，其从所述被检体图像中检测所述体腔内的观察对象的运动； 帧相加单元，其进行帧相加，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和帧相加控制单元，其按照所述观察对象的运动，使表示应进行所述帧相加的帧数的帧相加数发生变化。
9. 一种荧光图像的高灵敏度方法，具有交替向体腔内照射用于从体腔内的生物体组织激励荧光的激励光、和与该激励光的波长范围不同的照明光的步骤；通过用摄像元件拍摄由于照射所述激励光而发出所述荧光的所述体腔内，以取得荧光图像，并且通过用所述摄像元件对照射了所述照明光的所述体腔内进行拍摄，以取得被检体图像的步骤；从所述被检体图像中检测所述体腔内的观察对象的运动的步骤； 进行帧相加的步骤，所述帧相加用于合成多帧的所述荧光图像来生成1帧的高画质的荧光图像；和按照所述观察对象的运动，使表示应进行所述帧相加的帧数的帧相加数发生变化的步骤。
全文摘要
一种电子内窥镜系统及其处理器装置、荧光图像的高灵敏度化方法。向体腔内照射白色光和激励光。电子内窥镜通过用CCD拍摄在体腔内反射的白色光来取得白色光图像，且通过用CCD拍摄利用照射激励光而从体腔内的生物体组织发出的自体荧光来取得自体荧光图像。从白色光图像中检测出体腔内的观察对象的运动。为了提高自体荧光图像的亮度，对自体荧光图像实施帧相加。在帧相加时，按照观察对象的运动，使表示应进行帧相加的帧数的帧相加数发生变化。
文档编号A61B1/06GK102551647SQ20111032271
公开日2012年7月11日 申请日期2011年10月21日 优先权日2010年10月21日
发明者安田裕昭, 室冈孝, 山口博司, 饭田孝之 申请人:富士胶片株式会社