生物体观测装置的制作方法

专利名称：生物体观测装置的制作方法
技术领域：
本发明涉及利用拍摄生物体而获得的彩色图像信号，并通过信号处 理作为光谱图像显示在显示装置上的生物体观测装置。
背景技术：
以往，作为生物体观测装置，广泛使用照射照明光来获得体腔内的 内窥镜图像的内窥镜装置。在这种内窥镜装置中，使用具有摄像部的电 子内窥镜，该摄像部使用光导等将来自光源装置的照明光导入到体腔内， 并通过其返回光拍摄被摄体，该内窥镜装置通过视频处理器对来自摄像 部的摄像信号进行信号处理，从而在观察监视器上显示内窥镜图像，来 观察患部等观察部位。在内窥镜装置中进行通常的生物体组织观察的情况下，作为一种方式，利用光源装置发出可见光区域的白色光，经由例如RGB等的旋转滤 波器，向被摄体照射面顺次光，由视频处理器对该面顺次光的返回光进 行同时化来进行图像处理，从而获得彩色图像。并且，在内窥镜装置中 进行通常的生物体组织观察的情况下，作为其他方式，在内窥镜的摄像 部的摄像面的前表面配置色卡(color chip)，利用光源装置发出可见光区 域的白色光，利用色卡将该白色光的返回光按照各颜色成分进行分离， 从而进行拍摄，利用视频处理器进行图像处理，由此获得彩色图像。根据所照射的光的波长，生物体组织的光吸收特性和散射特性不同， 所以，例如在日本特开2002-95635号公报中公开了如下的窄频带光内窥 镜装置向生物体组织照射离散的光谱特性的窄频带的RGB面顺次光作 为可见光区域的照明光，获得生物体组织的期望深部的组织信息。在曰本特开2003-93336号公报中公开了如下的窄频带光内窥镜装 置对基于可见光区域的照明光的图像信号进行信号处理，生成离散的
光谱图像，获得生物体组织的期望深部的组织信息。在该日本特开2003-93336号公报的装置中，进行如下处理针对获 得通常光观察图像时的照明光量，利用光量控制部降低获得光谱图像时 的照明光量(例如，照明光照射定时控制、光斩波器控制、灯施加电流 控制和电子快门控制等)，并进行避免作为摄像部的CCD的饱和的控制。但是，例如在上述日本特幵2003-93336号公报所记载的装置中，在 向被摄体照射来自灯的照明光的照明光学系统以及拍摄被摄体像的摄像 光学系统中，例如，由于遮断近紫外光用的内窥镜的光导的传送特性以 及插入在光源光路上的红外截止滤波器的透射特性等，大多为蓝色波长 频带的照明光量降低，并且CCD的灵敏度特性也在蓝色波长频带降低， 所以，根据所拍摄的图像信息来生成该蓝色波长频带的光谱图像时，与 其他波长频带的光谱图像相比，具有S/N相对较低的问题。发明内容本发明是鉴于上述问题而完成的，其目的在于，提供一种生物体观 测装置，该生物体观测装置能够改善基于可见光区域的照明光的离散的 光谱图像生成中的S/N。本发明的一个方式的生物体观测装置具有照明部，其向作为被检 体的生物体照射光；和/或信号处理控制部，其对摄像部的动作进行控制 并向显示装置输出摄像信号，所述摄像部根据来自该照明部的照明光， 对从所述生物体反射的光进行光电转换并生成所述摄像信号，该生物体 观测装置的特征在于，其具有光谱信号生成部，其根据所述摄像信号，通过信号处理来生成与光学波长窄频带的图像对应的光谱信号；以及颜色调节部，在向所述显示装置输出所述光谱信号时，该颜色调节部按照形 成该光谱信号的多个频带来调节色调，在从所述照明部到所述摄像部的光 路上还设置光谱特性控制部，该光谱特性控制部控制针对所述光路上的光 的光谱特性。


图1是示出本发明的实施例1的电子内窥镜装置的外观的外观图。 图2是示出图1的电子内窥镜装置的结构的框图。图3是示出图2的光量限制滤波器的透射特性的图。 图4是示出在图2的CCD前表面设置的颜色滤波器的排列的图。 图5是说明图2的矩阵运算部中计算矩阵的矩阵计算方法的图。 图6是示出由图2的矩阵运算部所生成的光谱图像的光谱特性的图。 图7是示出通过图2的电子内窥镜装置观察到的生物体组织的层方 向结构的图。图8是说明来自图2的电子内窥镜装置的照明光到达生物体组织的 层方向的状态的图。图9是示出通过图2的电子内窥镜装置进行通常观察时的RGB光的 各波段的光谱特性的图。图10是示出图9的通常观察时的基于RGB光的各波段图像的第1图。图11是示出图9的通常观察时的基于RGB光的各波段图像的第2图。图12是示出图9的通常观察时的基于RGB光的各波段图像的第3图。图13是示出图6的各光谱图像的第1图。 图14是示出图6的各光谱图像的第2图。 图15是示出图6的各光谱图像的第3图。图16是说明使用了图2的触摸面板功能的图形用户界面的第1图。 图17是说明使用了图2的触摸面板功能的图形用户界面的第2图。 图18是说明使用了图2的触摸面板功能的图形用户界面的第3图。 图19是说明使用了图2的触摸面板功能的图形用户界面的第4图。 图20是说明使用了图2的触摸面板功能的图形用户界面的第5图。 图21是说明使用了图2的触摸面板功能的图形用户界面的第6图。 图22是说明使用了图2的触摸面板功能的图形用户界面的第7图。 图23是说明使用了图2的触摸面板功能的图形用户界面的第8图。
图24是说明使用了图2的触摸面板功能的图形用户界面的第9图。 图25是说明使用了图2的触摸面板功能的图形用户界面的第10图。 图26是说明使用了图2的触摸面板功能的图形用户界面的第11图。 图27是说明使用了图2的触摸面板功能的图形用户界面的第12图。 图28是说明由图2的矩阵运算部所生成的光谱图像的白平衡处理的图。
图29是说明使用了图2的触摸面板功能的图形用户界面的第13图。 图30是说明使用了图2的触摸面板功能的图形用户界面的第14图。 图31是示出图1的内窥镜装置主体的背面的板槽(board slot)的结
构的图。
图32是说明插入设置在图31的板槽中的功能扩张基板的追加功能 菜单的第l图。
图33是说明插入设置在图31的板槽中的功能扩张基板的追加功能 菜单的第2图。
图34是说明插入设置在图31的板槽中的功能扩张基板的追加功能 菜单的第3图。
图35是示出可以连接在图2的内窥镜装置主体上的波长选择用的专
用键盘的一例的图。
图36是示出图4的颜色滤波器的变形例的排列的图。
图37是示出本发明的实施例2的电子内窥镜装置的结构的框图。
图38是示出图37的RGB旋转滤波器的结构的图。
图39是示出第1光谱图像生成模式即在光路上没有光量限制滤波器
时、透过图38的RGB旋转滤波器的光的光谱特性的图。
图40是示出第2光谱图像生成模式即在光路上存在光量限制滤波器
时、透过图38的RGB旋转滤波器的光的光谱特性的图。
图41是示出图37的电子内窥镜装置的变形例的结构的框图。
图42是示出图41的RGB旋转滤波器的结构的图。
图43是示出图37的RGB旋转滤波器的变形例的结构的图。
具体实施例方式
下面，参照附图叙述本发明的实施例。 (实施例l)
图1 图36涉及本发明的实施例1，图1是示出电子内窥镜装置的
外观的外观图，图2是示出图1的电子内窥镜装置的结构的框图，图3 是示出图2的光量限制滤波器的透射特性的图，图4是示出在图2的CCD 前表面设置的颜色滤波器的排列的图，图5是说明图2的矩阵运算部中 计算矩阵的矩阵计算方法的图，图6是示出由图2的矩阵运算部所生成 的光谱图像的光谱特性的图，图7是示出通过图2的电子内窥镜装置观 察到的生物体组织的层方向结构的图，图8是说明来自图2的电子内窥 镜装置的照明光到达生物体组织的层方向的状态的图，图9是示出通过 图2的电子内窥镜装置进行通常观察时的RGB光的各波段的光谱特性的 图，图10是示出图9的通常观察时的基于RGB光的各波段图像的第1 图。
图11是示出图9的通常观察时的基于RGB光的各波段图像的第2 图，图12是示出图9的通常观察时的基于RGB光的各波段图像的第3 图，图13是示出图6的各光谱图像的第1图，图14是示出图6的各光 谱图像的第2图，图15是示出图6的各光谱图像的第3图，图16是说 明使用了图2的触摸面板功能的图形用户界面的第1图，图17是说明使 用了图2的触摸面板功能的图形用户界面的第2图，图18是说明使用了 图2的触摸面板功能的图形用户界面的第3图，图19是说明使用了图2 的触摸面板功能的图形用户界面的第4图，图20是说明使用了图2的触 摸面板功能的图形用户界面的第5图。
图21是说明使用了图2的触摸面板功能的图形用户界面的第6图， 图22是说明使用了图2的触摸面板功能的图形用户界面的第7图，图23 是说明使用了图2的触摸面板功能的图形用户界面的第8图，图24是说 明使用了图2的触摸面板功能的图形用户界面的第9图，图25是说明使 用了图2的触摸面板功能的图形用户界面的第10图，图26是说明使用 了图2的触摸面板功能的图形用户界面的第11图，图27是说明使用了
图2的触摸面板功能的图形用户界面的第12图，图28是说明由图2的 矩阵运算部所生成的光谱图像的白平衡处理的图，图29是说明使用了图 2的触摸面板功能的图形用户界面的第13图，图30是说明使用了图2的 触摸面板功能的图形用户界面的第14图。
图31是示出图1的内窥镜装置主体的背面的板槽(board slot)的结 构的图，图32是说明插入设置在图31的板槽中的功能扩张基板的追加 功能菜单的第1图，图33是说明插入设置在图31的板槽中的功能扩张 基板的追加功能菜单的第2图，图34是说明插入设置在图31的板槽中 的功能扩张基板的追加功能菜单的第3图，图35是示出可以连接在图2 的内窥镜装置主体上的波长选择用的专用键盘的一例的图，图36是示出 图4的颜色滤波器的变形例的排列的图。
在作为本发明的实施例中的生物体观测装置的电子内窥镜装置中， 从照明用光源向作为被检体的生物体照射光，利用作为摄像部的固体摄 像元件接收根据该照射光从生物体反射的光，并对其进行光电转换，从 而生成彩色图像信号即摄像信号，根据该摄像信号，通过信号处理，生 成与光学波长窄频带的图像对应的光谱信号即光谱图像信号(以下简称 为光谱图像)。
如图1所示，实施例1的电子内窥镜装置100具有作为观察部的 内窥镜101、内窥镜装置主体105、作为显示装置的显示监视器106。并 且，内窥镜101主要由以下部分构成插入部102，其插入到被检体的体 内；前端部103，其设置在该插入部102前端；以及角度操作部104，其 设置在插入部102的前端侧的相反侧，用于指示前端部103的弯曲动作 等。
在内窥镜装置主体105中，对由软性镜即内窥镜101所取得的被检 体图像进行规定的信号处理，在显示监视器106上显示处理后的图像。 在显示监视器106的显示部上设有触摸面板106a，在显示监视器106的 显示部上显示各种设定画面，实现使用了触摸面板106a的指示设备功能 (以下称为触摸面板功能)的图形界面。
接着，参照图2详细说明内窥镜装置主体105。另外，图2是电子
内窥镜装置100的框图。
如图2所示，内窥镜装置主体105主要由以下部分构成作为照明 部的光源部41、作为信号处理控制部的控制部42、主体处理装置43。控 制部42和主体处理装置43构成如下的信号处理控制部其控制所述光 源部41和/或作为摄像部的CCD21的动作，向作为显示装置的显示监视 器106输出图像信号，并控制触摸面板106a的触摸面板功能。并且，控 制部42与存储各种数据的数据存储部44连接。
另外，在本实施例中，对在作为1个单元的内窥镜装置主体105内 具有光源部41和进行图像处理等的主体处理装置43的情况进行了说明， 但是，这些光源部41和主体处理装置43也可以作为独立于内窥镜装置 主体105的单元以可以取下的方式构成。
作为照明部的光源部41与控制部42和内窥镜101连接，根据来自 控制部42的信号，以规定光量照射白色光(也包含不完全是白色光的情
况)。并且，光源部41具有作为白色光源的灯15;红外截止滤波器15a;
作为光谱特性控制部的光量限制滤波器16，其在光路上插入/取出，限制 白色光在规定波长频带的光量；滤波器插入/取出驱动部17,其在光路上 插入/取出光量限制滤波器16;以及射出白色光的聚光透镜18。
图3示出光量限制滤波器16的透射特性。例如如图3所示，当光量 限制滤波器16设蓝色频带的透射率为100%时，将其他频带的透射率限 制为50%。
并且，经由连接器11连接在光源部41上的内窥镜101，在前端部 103上具有物镜19和CCD等固体摄像元件21 (以下简称为CCD)。本实 施例中的CCD 21是单板式(用于同时式电子内窥镜的CCD)，是原色型。 另夕卜，图4示出在CCD21的摄像面上配置的颜色滤波器的排列。在CCD 21的摄像面上配置的颜色滤波器构成颜色分解部。
并且，如图2所示，插入部102在内部具有光导14,其将从光源 部41照射的光引导到前端部103;信号线，其用于将由CCD 21所获得 的被检体图像传送到主体处理装置43;以及钳子通道28等，其用于进行 处置。另外，用于向钳子通道28插入钳子的钳子口 29设置于操作部104
附近。
操作部104在内部设置有用于存储内窥镜101的类别信息的ID部
110。 并且，操作部104在外表面设置有用于指示各种操作的指示开关部
111。 指示幵关部lll至少具有模式切换开关，该模式切换开关指示用于
生成改善了 S/N的光谱图像的后述的光谱图像生成模式。
并且，作为生物体观测装置用的信号处理装置的主体处理装置43与 光源部41同样，经由连接器11连接在内窥镜101上。主体处理装置43 在内部具有用于驱动所述内窥镜101内的所述CCD 21的CCD驱动器 431。并且，主体处理装置43具有亮度信号处理系统和颜色信号处理系 统，作为用于获得通常图像即彩色图像的信号电路系统。
主体处理装置43的所述亮度信号处理系统具有轮廓校正部432， 其与所述CCD21连接，对来自CCD21的摄像信号进行轮廓校正；以及 亮度信号处理部434，其根据该轮廓校正部432所校正的数据，生成亮度 信号。并且，主体处理装置43的所述颜色信号处理系统具有釆样保持 电路(S/H电路)433a 433c，其与所述CCD21连接，进行由CCD 21 所获得的摄像信号的采样等，生成RGB信号；以及颜色信号处理部435, 其与该S/H电路433a 433c的输出连接，生成颜色信号。
并且，主体处理装置43具有通常图像生成部437，该通常图像生成 部437根据亮度信号处理系统和颜色信号处理系统的输出生成1个通常 图像即彩色图像。该通常图像生成部437向显示图像生成部439输出亮 度信号即Y信号、以及色差信号即R-Y信号和B-Y信号，显示图像生成 部439根据Y信号、R-Y信号和B-Y信号，生成在显示监视器106上显 示的通常图像即彩色图像的通常图像信号。
另一方面，作为用于获得光谱信号即光谱图像信号的信号电路系统， 主体处理装置43具有作为光谱信号生成部的矩阵运算部436，该矩阵运 算部436被输入S/H电路433a 433c的输出(RGB信号)，并对RGB信 号进行规定的矩阵运算。所述矩阵运算部436中的矩阵运算是指进行如 下处理对彩色图像信号彼此进行相加处理等，并且，乘以通过后述的 矩阵计算方法所求出的矩阵。
另外，在本实施例中，作为该矩阵运算的方法，对使用了电子电路 处理(由使用了电子电路的硬件进行的处理)的方法进行了说明，但是， 也可以是使用了数值数据处理(由使用了程序的软件进行的处理)的方 法。并且，在实施时还可以对这些方法进行组合。
利用颜色调节部即颜色调节部440对矩阵运算部436的输出即光谱 图像信号F1 F3进行颜色调节运算，通过光谱图像信号F1 F3生成光 谱彩色通道图像信号Rch、 Gch、 Bch。所生成的光谱彩色通道图像信号 Rch、 Gch、 Bch经由显示图像生成部439发送到显示监视器106的RGB 的彩色通道R- (ch)、 G- (ch)、 B國(ch)。
另外，显示图像生成部439生成由通常图像和/或光谱图像等构成的 显示图像，向显示监视器106输出显示图像，并且，还可以进行显示光 谱图像彼此之间的切换。即，操作者可以根据通常图像、基于彩色通道 R- (ch)的光谱彩色通道图像、基于彩色通道G- (ch)的光谱彩色通道 图像、基于彩色通道B- (ch)的光谱彩色通道图像，在显示监视器106 上选择性地进行显示。并且，也可以构成为能够同时在显示监视器106 上显示任意2个以上的图像。特别地，在能够同时显示通常图像和光谱 彩色通道图像(以下也称为光谱通道图像)的情况下，能够简单地对比 进行一般观察的通常图像和光谱通道图像，能够在参考各自的特征(通 常图像的特征在于，颜色程度接近通常的肉眼观察，易于进行观察。光 谱通道图像的特征在于，能够观察在通常图像中无法观察的规定的血管 等。)的基础上进行观察，在诊断上非常有用。
这里，对矩阵运算部436中计算矩阵的矩阵计算方法进行说明。 (矩阵计算方法)
图5是示出根据彩色图像信号(这里，为了便于说明设为R'G，B， 但是如后所述，在补色型固体摄像元件中，也可以是G，Cy，Mg，Ye的组
合)生成相当于与光学波长窄频带的图像对应的图像的光谱图像信号时 的信号的流程的概念图。下面，向量和矩阵用粗字体或""(例如，将矩 阵A标记为A的粗字体或者"A")进行标记，除此之外用没有修饰的字 体进行标记。
首先，电子内窥镜装置IOO对RWB的各个摄像部的作为光谱灵敏 度特性的彩色灵敏度特性迸行数值数据化。这里，R，G*B的彩色灵敏度 特性是指，使用白色光的光源，拍摄白色的被摄体时分别获得的相对于 波长的输出特性。
另外，R*G B的各个彩色灵敏度特性以简化的曲线图的方式示于各 图像数据的右侧。并且，将此时的R*G*B的彩色灵敏度特性分别设为n 维的列向量"R"*"G"*"B"。
接着，作为希望提取的光谱信号、例如3个光谱信号的基本光谱特 性，电子内窥镜装置100对中心波长XI、 X2、 A3 (例如Xl-420nm、 X2=540nm、入3-605nm)的光谱图像用的窄频带带通滤波器Fl，F2*F3的 特性进行数值数据化。另外，将此时的滤波器的特性分别设为n维的列 向量"F1"'"F2"'"F3"。
根据所获得的数值数据，求出对以下关系进行近似的最佳系数集合。 即，只要求出满足下式的矩阵的要素即可。 CA-F ".(3)
这里，作为表示光谱特性的光谱数据的点列数n，满足1!>3的关系，
所以，(3)式不是作为一元联立方程式的解，而是作为线性最小二乘法
的解来求出。即，只要根据(3)式求解伪逆矩阵即可。若将矩阵"C" 的转置矩阵设为"tC"，则(3)式如下 徵4]
'CC"CF …(4)
'"CC"为nXn的正方矩阵，所以，(4)式可以视为矩阵"A"的联立方 程式，其解如下求出。 [数5]
A<CCTlrCF …(5)
对于由(5)式求出的矩阵"A"，电子内窥镜装置ioo通过进行(3)
式左边的变换，能够近似希望提取的窄频带带通滤波器F1，F2*F3的特 性。
使用这样计算出的矩阵，矩阵运算部436根据通常彩色图像信号生 成光谱图像信号。
接着，参照图2详细说明本实施方式的电子内窥镜装置100的动作。
另外，下面首先说明通常图像生成的动作，然后说明光谱图像生成 的动作。
通常图像生成
首先，说明光源部41的动作。根据来自控制部42的控制信号，将 滤波器插入/取出驱动部17设定在从光路上取出了光量限制滤波器16的 位置上。来自灯15的光束不经由红外截止滤波器15a透过光量限制滤波 器16，而是通过聚光透镜18汇聚在作为光纤束的光导14的入射端，该 光导14设置在位于内窥镜101和光源部41的连接部上的连接器ll内。
汇聚后的光束通过光导14，从设于前端部103的照明光学系统照射 到被检体的体内。所照射的光束在被检体内反射，经由物镜19，在CCD 21中按照图4所示的颜色滤波器来收集信号。
所收集的信号并行地输入到上述亮度信号处理系统和颜色信号处理 系统。将按照各个颜色滤波器收集到的信号按照每个像素进行相加之后 输入到亮度信号系统的轮廓校正部432，进行轮廓校正后，输入到亮度信 号处理部434。在亮度信号处理部434中生成亮度信号，并将其输入到通 常图像生成部437。并且，另一方面，在CCD 21中收集到的信号按照各个滤波器输入 到S/H电路433a 433c，分别生成R，G，B信号。进而，利用颜色信号处 理部435针对ROB信号生成颜色信号，在通常图像生成部437中，根 据所述亮度信号和颜色信号生成Y信号、R-Y信号、B-Y信号，通过显 示图像生成部439在显示监视器106上显示被检体的通常图像。光谱图像生成在光谱图像生成中具有2个生成模式。第1光谱图像生成模式与通 常图像生成时同样，是不使来自灯15的光束透过光量限制滤波器16的 模式。第2光谱图像生成模式是使来自灯15的光束透过光量限制滤波器 16的模式。在默认状态下，控制部42将光谱图像的生成模式设定为所述 第1光谱图像生成模式。然后，当操作指示开关部111的模式切换开关 时，控制部42驱动控制滤波器插入/取出驱动部17，将滤波器插入/取出 驱动部17配置在来自灯15的光束的光路上，设定为第2光谱图像生成 模式。其结果，在第2光谱图像生成模式中，来自灯15的光束透过光量 限制滤波器16。另外，在本实施例中，不限于指示开关部111的模式切换开关，通 过操作设置在主体105上的键盘或触摸面板106a，也可以将光谱图像的 生成模式设定为第2光谱图像生成模式。除此之外的动作在第1光谱图 像生成模式和第2光谱图像生成模式中相同，所以，以第l光谱图像生 成模式为例进行说明。并且，省略进行与通常图像生成同样的动作的说 明。在第1光谱图像生成模式的光谱图像生成时，在矩阵运算部436中 对S/H电路433a 433c的输出(RGB信号)进行放大/相加处理。然后， 利用颜色调节部440对矩阵运算部436的输出即光谱图像信号Fl F3进 行颜色调节运算，通过光谱图像信号F1 F3生成光谱彩色通道图像信号 Rch、 Gch、 Bch。将所生成的光谱彩色通道图像信号Rch、 Gch、 Bch发 送到显示监视器106的1^8的彩色通道11- (ch)、 G- (ch)、 B- (ch)。
由此，主体处理装置43能够在显示监视器106上显示光谱图像，该光谱图像相当于利用经由图6所示的中心波长;u、 X2、入3的窄频带带通滤波器F1，F2，F3的窄频带光获得的窄频带光观察图像。以下示出与窄频带带通滤波器FPF2，F3对应的、利用其伪滤波器特性生成的光谱图像的一例。如图7所示，体腔内组织51大多具有例如深度方向不同的血管等吸 收体分布结构。在粘膜表层附近主要分布有较多毛细血管52，并且，在 比该层深的中层上除了毛细血管之外还分布有比毛细血管粗的血管53， 进而在深层上分布有更粗的血管54。另一方面，光对体腔内组织51的深度方向的到达深度依赖于光的波 长，如图8所示，在包含可见区域的照明光为蓝(B)色这种波长短的光 的情况下，由于生物体组织中的吸收特性和散射特性，光只能到达表层 附近，在到达表层的深度范围内被吸收、散射，可观测到从表面发出的 光。并且，在为波长比蓝(B)色光长的绿(G)色光的情况下，到达比 蓝(B)色光所到达的范围更深的地方，在该范围内被吸收、散射，观测 到从表面发出的光。进而，在为波长比绿(G)色光长的红(R)色光的 情况下，光到达更深的范围。体腔内组织51的通常观察时的RGB光如图9所示，各波长频带重 叠，因此，(1) 在通过B频带光利用CCD 21所拍摄的摄像信号中，拍摄到图 10所示的具有包含较多浅层上的组织信息的浅层和中层组织信息的波段 图像，(2) 并且，在通过G频带光利用CCD21所拍摄的摄像信号中，拍 摄到图11所示的具有包含较多中层上的组织信息的浅层和中层组织信息 的波段图像，G)进而，在通过R频带光利用CCD21所拍摄的摄像信号中，拍 摄到图12所示的具有包含较多深层上的组织信息的中层和深层组织信息 的波段图像。而且，通过内窥镜装置主体105对这些RGB摄像信号进行信号处理，
由此，作为内窥镜图像可以获得期望或自然的颜色再现的内窥镜图像。在上述矩阵运算部436的矩阵处理中，使用如上所述预先生成的伪 带通滤波器(矩阵)，对彩色图像信号制作光谱图像信号。例如使用图6 所示的可提取期望的深层组织信息的离散且窄频带的光谱特性的伪带通 滤波器F1 F3，获得光谱图像信号F1 F3。伪带通滤波器F1 F3如图 6所示，各波长频带未重叠，因此，(4) 在基于伪带通滤波器F1的光谱图像信号F1中，拍摄到图13 所示的具有浅层上的组织信息的波段图像，并且，(5) 在基于伪带通滤波器F2的光谱图像信号F2中，拍摄到图14 所示的具有中层上的组织信息的波段图像，而且，(6) 在基于伪带通滤波器F3的光谱图像信号F3中，拍摄到图15 所示的具有深层上的组织信息的波段图像。针对这样获得的光谱图像信号F1 F3，颜色调节部440作为最单纯 的颜色转换的例子，将光谱图像信号F3分配给光谱彩色通道图像信号 Rch，将光谱图像信号F2分配给光谱彩色通道图像信号Gch，将光谱图 像信号Fl分配给光谱彩色通道图像信号Bch，并经由显示图像生成部439 输出到显示监视器106的RGB的彩色通道R- (ch)、 G- (ch)、 B- (ch)。在利用显示监视器106观察基于这些的彩色通道11- (ch)、 G- (ch)、 B- (ch)的彩色图像的情况下，得到例如图16所示的图像。粗血管位于 深的位置，反映出光谱图像信号F3，作为规定的目标颜色的彩色图像， 显示为红色系的图案。位于中层附近的血管网较强地反应出光谱图像信 号F2，所以，作为规定的目标颜色的彩色图像，显示为品红色系的图案。 存在于血管网内、粘膜表面附近的部分表现为黄色系的图案。另外，除了被摄体的光谱反射率以外，光谱图像信号F1 F3还依赖 于透镜和光电转换系统等内窥镜的光谱灵敏度，所以，控制部43从操作 部104内的ID部110读出内窥镜101的类别信息即ID，根据ID，使用 存储在数据存储部44中的与所连接的内窥镜101对应的校正系数，来校 正光谱图像信号F1 F3。另外，本实施例也可以构成为，预先将校正系 数存储在ID部110中，控制部43从ID部110与ID —起读出校正系数。 如上所述，通过相当于伪带通滤波器F1 F3的矩阵来生成光谱图像 信号F1 F3，通过中心波长X1、 X2、 X3对伪带通滤波器F1 F3赋予特 征。即，主体处理装置43通过设定1个中心波长X，来决定1个伪带通 滤波器F，根据该伪带通滤波器F，生成光谱图像信号F。本实施例可以使用触摸面板106a的功能，通过图形用户界面设定中 心波长X，来生成期望的光谱图像信号F。以下，说明基于触摸面板106a的功能的图形用户界面。在本实施例中，如图17所示，主体处理装置43在具有触摸面板106a 的观察监视器106上显示设定画面，该设定画面用于设定与光谱图像信 号对应的伪带通滤波器的中心波长。该设定画面可以设定多个、例如6 个中心波长XII、 ？J2、入13、 X21、 X22、人23。例如，当使用触摸面板功 能选择开始设定波长人ll的Ul按钮201时，主体处理装置43在观察监 视器106上展开显示具有多个可以选择的波长的弹出窗口 207。然后，通 过使用触摸面板功能选择该弹出窗口 207的设定波长值，由此，主体处 理装置43将波长Xll设定为设定波长值。图17示出主体处理装置43将 设定波长值425nm设定为波长 dl的状态。其他波长即按钮202、 J3 按钮203、 按钮204、 按钮205、人23按钮206的设定操作也与 波长Xll同样，能够在设定画面上使用触摸面板功能对设定波长值进行 设定。通过在该设定画面上分别对至少3个波长(例如波长)dl、)a2A13) 的设定波长值进行设定，由此，能够使光谱图像彩色化。以下，将彩色 化的光谱图像称为彩色光谱图像。在本实施例中，用于设定伪带通滤波器的中心波长的设定画面不限 于图17，作为本实施例的第1变形例，如图18所示，也可以是具有如下 的集合表208的设定画面，该集合表208为了彩色化而预先设定以3个 波长为一组的多个波长集合。在具有触摸面板106a的观察监视器106上 显示该图18的设定画面的情况下，可以使用触摸面板功能来选择设定在 集合表208中的多个波长集合中的更期望的波长集合。并且，作为本实施例的第2变形例，如图19所示，也可以设置选择 按钮209，每当使用触摸面板功能来操作选择按钮209时，使波长集合跳
转移动来设定集合表208。具体而言，每当使用触摸面板功能来操作选择 按钮209时，使设定的集合以集合1—集合2—集合3—集合4—集合1 —这样的方式移动来进行选择。图20示出在图19的状态下使用触摸面 板功能操作选择按钮209时的设定画面，如图20所示，利用选择按钮209 的操作，将图19所示的集合1的选择移动到集合2的选择。在本实施例中，作为在触摸面板106a (即观察监视器106)的显示 画面上显示彩色光谱图像的显示方式，显示图像生成部439通过如下的 显示方式等来实施(1)通常光观察图像和彩色光谱图像同时显示的显 示方式；(2)仅显示彩色光谱图像的显示方式；(3)仅显示通常光观察 图像的显示方式。在通常光观察图像和彩色光谱图像同时显示的显示方式中，如图21 所示，主体处理装置43能够通过显示图像生成部439在观察监视器106 上同时显示通常光观察图像210和彩色化的彩色光谱图像211。此时，除 了通常光观察图像210和彩色光谱图像211以外，显示图像生成部439 还显示可以在彩色光谱图像211的彩色化中使用的、例如在上述设定画 面中所设定的6个中心波长的光谱图像的縮略图像221 226。而且，利 用与其他縮略图像不同的显示方式(例如亮度或色调)，来显示构成彩色 光谱图像211的3个光谱图像的縮略图像。在本实施例中，通过使用触 摸面板功能来选择縮略图像221 226，由此，能够任意地变更构成彩色 光谱图像211的3个光谱图像。具体而言，例如当触摸彩色光谱图像211 时，縮略图像221 226成为可以选择的状态，通过选择用于彩色化的3 个中心波长的光谱图像的縮略图像，来变更构成彩色光谱图像211的3 个光谱图像。图21示出通过中心波长Xll、人12、人13的3个光谱图像来 生成彩色光谱图像211的状态，图22示出通过中心波长入12、 A21、入23 的3个光谱图像来生成彩色光谱图像211的状态。并且，如图23所示，在触摸面板106a上仅显示通常光图像的情况 下，主体处理装置43能够重叠显示用于变更通常光图像的色调的着色设 定窗口 230，通过使用触摸面板功能来触摸着色设定窗口 203的指示器 230a，来变更红色相对于蓝色的比率，由此，能够变更通常光图像的色 调。在仅显示彩色光谱图像的显示方式的情况下，如图24所示，该着色设定窗口 203可以用作中心波长X的波长选择窗口 230。作为波长选择窗 口 230使用时，指示器230a指示波长，对指示器230a的各显示点分配 多个中心波长，通过选择指示器230a的3个显示点，在波长选择窗口 230 中，也能够选择构成彩色光谱图像211的3个光谱图像。另外，选择3 个光谱图像时，在波长选择窗口 230的下方显示用于设定光谱图像的亮 度的亮度设定窗口 231，可以任意地设定各波长的光谱图像的亮度。在仅显示彩色光谱图像的显示方式中，如图25所示，主体处理装置 43可以在彩色光谱图像241附近，将来自被检体的光谱反射率242图表 化并进行显示，例如，在光谱反射率242上提示构成彩色光谱图像241 的3个光谱图像的波长;U、 A2、 X3，通过触摸面板功能使该波长 d、 X2、 A3可动，当波长X1、 X2、 X3可变时，构成彩色光谱图像241的3个光谱 图像也连动地变化。并且，在仅显示彩色光谱图像的显示方式中，例如当操作设置在内 窥镜101的操作部104上的指示开关部111的冻结开关(未图示)时， 如图26所示，以动画方式显示的彩色光谱图像成为静止的冻结彩色光谱 图像241。主体处理装置43在冻结彩色光谱图像241附近，显示可以在 冻结彩色光谱图像241的彩色化中使用的、例如在上述设定画面中所设 定的6个中心波长的光谱图像的縮略图像221 226。而且，利用与其他 縮略图像不同的显示方式(例如不同的亮度或色调)，来显示构成冻结彩 色光谱图像241的3个光谱图像的縮略图像。在本实施例中，如图27所 示，使用触摸面板功能，选择縮略图像221 226并操作选择决定按钮243 ， 由此，能够任意地变更构成冻结彩色光谱图像241的3个光谱图像。进 而，在本实施例中，通过使用触摸面板功能来操作确认按钮244，由此， 能够在縮略图像221 226中显示基于所选择的3个光谱图像的动画的彩 色光谱图像241。并且，在本实施例中，也可以不设置确认按钮244，仅 通过选择决定按钮243的操作，自动地在縮略图像221 226中显示基于 所选择的3个光谱图像的动画的彩色光谱图像241。
如上所述，在本实施例中，内窥镜装置主体105能够任意地变更构成彩色光谱图像的3个光谱图像，但是，该情况下，同时进行3个光谱 图像的白平衡处理的变更。详细地讲，内窥镜装置主体105例如预先在 数据存储部44中离散地存储图28所示的以3个波长Xi、 Xj、 Xk为轴的 三维数据表，在该三维数据表的各体素(Voxel)中存储有白平衡处理所 使用的权重系数(kx、 ky、 kz)，作为体素数据。然后，内窥镜装置主体 105对波长Xil、 Ajm、 Xkn的3个光谱图像Fl、 Fm、 Fn，通过例如"彩色 光谱图像二kxXFl+kyXFm+kzXFn"的运算，来进行白平衡处理。另外，为了削减存储各体素数据的数据存储部44的存储容量，内窥 镜装置主体105离散地存储三维数据表，所以，体素数据间的权重系数 通过一般的线性插值来计算，从而进行白平衡处理。在仅显示通常光观察图像的显示方式的情况下，如图29所示，主体 处理装置43在通常光观察图像210上指定光谱图像显示框281 ，由此， 能够在所指定的光谱图像显示框281的区域上重叠显示该区域的光谱图 像。另外，如图30所示，该光谱图像显示框281通过触摸面板功能，能 够任意地变更框的尺寸和位置。并且，在本实施例中，使用波长作为设定参数来设定光谱图像的结 构，但是不限于此，也可以使用光的到达深度即深度信息作为设定参数 来指定，还可以使用血管强调这样的功能名称作为设定参数来指定。进而，在本实施例中，也可以根据作为观察对象的脏器，自动地指 定最适于观察的光谱图像的结构。这里，作为基于脏器的光谱图像的结 构的指定方法，例如有如下方法等根据来自操作部104内的ID部110 的ID，识别使用了内窥镜101的脏器并进行指定的方法；利用触摸面板 106a上的菜单开关进行指定的方法；通过读入记录有患者信息的PC卡 的数据来进行指定的方法；以及通过场景理解模型对通常光观察图像进 行图像处理，来自动识别脏器的方法。并且，如图31所示，本实施例的内窥镜装置主体105在其背面设有 多个板槽300，在该板槽300中能够插入设置可以扩张功能的功能扩张基 板。另一方面，控制部44在触摸面板106a上显示图32所示的菜单窗口
260，由此来展开可以执行的功能。在将没有插入设置功能扩张基板的控 制部44默认时的功能分类为例如4个基本功能时，可以利用菜单窗口 260，通过菜单l、 2、 3、 4这样的标签261对其进行切换。除了菜单l、 2、 3、 4的标签261以外，菜单窗口 260具有多个功能扩张基板用的菜单 标签262，在功能扩张基板没有放置在板槽300中的默认时，如图33所 示，菜单标签262为空菜单。但是，当控制部44在板槽300中插入设置 功能扩张基板时，如图34所示，能够通过菜单5这样的标签262a，从菜 单窗口 260展开所插入设置的功能扩张基板的功能的追加功能的菜单窗 □。该追加功能的菜单窗口以软件方式构成，当插入设置功能扩张基板 时，控制部44识别功能扩张基板，自动生成与基本功能相同结构的菜单 窗口，所以，不需要变更软件版本，或者，能够容易进行软件版本的升 级。并且，在本实施例中，利用触摸面板106a进行各操作，所以，不变 更硬件，就能够利用软件版本的升级来容易地变更规格。另外，在本实施例中，不需要利用触摸面板106a进行全部操作，也 可以通过跟踪球或鼠标等指示设备进行操作，例如如图35所示，也可以 通过波长选择用的专用键盘270来设定光谱图像的波长。并且，也可以 对普通键盘的功能键分配波长设定功能。如以上说明的那样，在本实施例中，在将光谱图像生成模式设为第 1光谱图像生成模式的默认状态下，可以优先考虑通常光观察图像的画 质，在显示监视器106上选择性地显示通常光观察图像和光谱图像，并 且，通过操作指示开关部111的模式切换幵关，将光谱图像生成模式切 换为第2光谱图像生成模式，使来自灯15的光束透过光量限制滤波器16， 与蓝色波长频带的光相比，使其他波长频带的光的光量减半，由此，可 以优先考虑光谱图像的画质，在显示监视器106上选择性地显示通常光 观察图像和光谱图像。艮P，通过将光谱图像生成模式设定为第2光谱图像生成模式，使来 自灯15的光束透过光量限制滤波器16，由此，能够将例如蓝色波长频带 的光谱图像改善成与其他波长频带的光谱图像相同程度的S/N的图像信 息。另外，在本实施例中，光量限制滤波器16构成为可以在光路上插入 /取出，但是也可以始终设置在光路上。并且，通过使设置在CCD 21上 的颜色滤波器具有与光量限制滤波器同样的光谱特性，也可以省略光量 限制滤波器16。并且，在本实施例中，作为变形例，使用RGB原色型彩色滤波器， 与此相对，也可以使用补色型彩色滤波器。该补色型滤波器的排列如图 36所示，由G、 Mg、 Ye、 Cy的各要素构成。另外，原色型彩色滤波器 的各要素和补色型彩色滤波器的各要素之间的关系为，Mg=R+B、 Cy=G +B、 Ye=R+G。该变形例的情况下，读出CCD 21的全部像素，对来自各颜色滤波 器的图像进行信号处理或图像处理。在使用补色型滤波器的情况下，图2 所示的S/H电路当然不是针对R*G*B进行的，而是分别针对G*Mg*CyYe 进行的，但是，能够利用3个基本光谱特性来近似生物体光谱反射率的 部分为4个或4个以下。所以，由此，用于运算估计矩阵的维数从3变 更为4。(实施例2)图37 图43涉及本发明的实施例2，图37是示出电子内窥镜装置 的结构的框图，图38是示出图37的RGB旋转滤波器的结构的图，图39 是示出第1光谱图像生成模式即在光路上没有光量限制滤波器时、透过 图38的RGB旋转滤波器的光的光谱特性的图，图40是示出第2光谱图 像生成模式即在光路上存在光量限制滤波器时、透过图38的RGB旋转 滤波器的光的光谱特性的图，图41是示出图37的电子内窥镜装置的变 形例的结构的框图，图42是示出图41的RGB旋转滤波器的结构的图， 图43是示出图38的RGB旋转滤波器的变形例的结构的图。实施例2几乎与实施例l相同，所以，仅说明不同点，对相同结构 标注相同标号并省略说明。本实施例与实施例1的主要不同点在于光源部41和CCD 21。在实 施例1中，在CCD 21上设置图4所示的彩色滤波器，通过该彩色滤波器 生成彩色信号，是所谓的同时式，与此相对，在本实施例中，按照RGB 的顺序照射照明光，来生成彩色信号，是所谓的面次序式。如图37所示，在本实施例的光源部41中，经由灯15、红外截止滤 波器15a以及光量限制滤波器16的光透过RGB滤波器23。另外，与实 施例1同样，光量限制滤波器16可以在光路上插入/取出。并且，RGB 旋转滤波器23与RGB旋转滤波器控制部26连接，以规定的旋转速度进 行旋转。如图38所示，RGB旋转滤波器23由透过R频带的光的R滤波器部 23r、透过G频带的光的G滤波器部23g以及透过B频带的光的B滤波 器部23b构成。图39示出第1光谱图像生成模式即在光路上没有光量限 制滤波器16时、透过RGB旋转滤波器23的光的光谱特性，图40示出 第2光谱图像生成模式即在光路上存在光量限制滤波器16时、透过RGB 旋转滤波器23的光的光谱特性。作为本实施例中的光源部的动作，利用红外截止滤波器15a截止从 灯15输出的光束中的不需要的红外成分，透过红外截止滤波器15a的光 束选择性地经由光量限制滤波器16，并透过RGB旋转滤波器23，从而 按照规定时间，作为R，G，B各自的照明光从光源部输出。并且，各个照 明光在被检体内反射而由CCD 21接收。根据所照射的时间，利用设在内 窥镜装置主体105中的切换部(未图示)对由CCD 21所获得的信号进行 划分，分别输入到S/H电路433a 433c。即，在从光源部41经由R滤波 器照射照明光的情况下，向S/H电路433a输入由CCD21所获得的信号。 另外，其他动作与实施例l相同，所以省略说明。根据本实施例，与实施例1 一样，通过将光谱图像生成模式设定为 第2光谱图像生成模式，使来自灯15的光束透过光量限制滤波器16，由 此，能够将例如蓝色波长频带的光谱图像改善成与其他波长频带的光谱 图像相同程度的S/N的图像信息。另外，在本实施例中，光量限制滤波器16构成为可以在光路上插入 /取出，但是不限于此，通过如图42所示那样构成RGB旋转滤波器23，
也可以如图41所示那样省略光量限制滤波器16。艮P，如图42所示，旋转滤波器23构成为圆盘状，且是将中心作为 旋转轴的双重结构，在外侧径部分配置有用于输出图39所示的光谱特性 的面顺次光的构成第1滤波器组的R滤波器部23rl、 G滤波器部23gl以 及B滤波器部23bl，在内侧径部分配置有用于输出图40所示的光谱特 性的面顺次光的构成第2滤波器组的R，滤波器部23r2、 G，滤波器部 23g2以及B，滤波器部23b2。而且，如图41所示，通过控制部42进行旋转滤波器电动机26的驱 动控制，使旋转滤波器23旋转，并且，通过控制部42由滤波器切换电 动机17a进行径方向的移动(是与旋转滤波器23的光路垂直的移动，使 旋转滤波器23的第1滤波器组或第2滤波器组选择性地在光路上移动)。另外，在本实施例中，照射R，G，B的3波段的面顺次光，但是不限 于此，旋转滤波器23也可以是如下的旋转滤波器透过4波段以上的多 波段、例如图43所示的4个不同频带的面顺次光I1、 12、 13、 14，来照 射多波段的面顺次光。该情况下，根据4个频带的信号，如式(6) (8)那样估计光谱 图像。[数6] n、KK〃1、/3、"/、"11 烦2在式(6)中， 色光谱图像。 徵7]fc3 附，-(6) 4/可以根据4个频带的信号，生成由3个波长构成的彩 ，/2詞,3、"N-(w, n2 "3) …(7)在式(7)中，可以根据4个频带的信号，生成由l个波长构成的单 色光谱图像。<formula>formula see original document page 25</formula>…(8)在式(8)中，根据4个频带的信号生成4个波长的光谱图像，利用 显示图像生成部439选择4个光谱图像中的3个，由此，能够生成彩色 光谱图像。在上述的照射多波段的面顺次光的结构中，可以根据4个频带的信 号来估计光谱图像，所以，能够更高精度地估计光谱图像。另外，在上述的照射多波段的面顺次光的结构中，也可以通过多色 的LED、 LD来实现不同频带的多波段光。本发明不限于上述实施例，在不改变本发明的主旨的范围内，可以 进行各种变更、改变等。
权利要求
1. 一种生物体观测装置，其具有照明部，其向作为被检体的生物体照射光；和/或信号处理控制部，其对摄像部的动作进行控制并向显示装置输出摄像信号，所述摄像部根据来自该照明部的照明光，对从所述生物体反射的光进行光电转换并生成所述摄像信号，该生物体观测装置的特征在于，其具有光谱信号生成部，其根据所述摄像信号，通过信号处理来生成与光学波长窄频带的图像对应的光谱信号；以及颜色调节部，在向所述显示装置输出所述光谱信号时，该颜色调节部按照形成该光谱信号的多个频带来调节色调，另外，在从所述照明部到所述摄像部的光路上还设置有光谱特性控制部，该光谱特性控制部控制针对所述光路上的光的光谱特性。
2. 根据权利要求1所述的生物体观测装置，其特征在于， 所述光谱特性控制部是对所述照明光的光谱强度特性进行控制的光谱强度控制部和/或对所述摄像部中的摄像元件的光谱灵敏度特性进行控 制的摄像元件光谱灵敏度控制部。
3. 根据权利要求1或2所述的生物体观测装置，其特征在于， 所述光谱特性控制部使规定波长频带的强度和/或灵敏度相对高于其他波长频带的强度和/或灵敏度。
4. 根据权利要求l、 2或3中的任一项所述的生物体观测装置，其 特征在于，所述光谱特性控制部使蓝色波长频带的强度和/或灵敏度相对高于其 他波长频带的强度和/或灵敏度。
5. 根据权利要求l、 2、 3或4中的任一项所述的生物体观测装置， 其特征在于，所述显示装置具有触摸面板功能，并且具有信号生成控制部，该信号生成控制部通过所述触摸面板功 能来控制所述光谱信号生成部。
全文摘要
光源部(41)与控制部(42)和内窥镜(101)连接，根据来自控制部(42)的信号，以规定光量照射白色光。并且，光源部(41)具有作为白色光源的灯(15)；红外截止滤波器(15a)；光量限制滤波器(16)，其在光路上插入/取出，限制白色光在规定波长频带的光量；滤波器插入/取出驱动部(17)，其在光路上插入/取出光量限制滤波器(16)；以及射出白色光的聚光透镜(18)。例如，当光量限制滤波器(16)设蓝色频带的透射率为100％时，将其他频带的透射率限制为50％。由此，能够改善基于可见光区域的照明光的离散的光谱图像生成中的S/N。
文档编号H04N7/18GK101400294SQ20078000846
公开日2009年4月1日 申请日期2007年2月20日 优先权日2006年3月16日
发明者后野和弘, 山崎健二, 浦崎刚, 竹村尚 申请人:奥林巴斯医疗株式会社