医疗用图像处理装置和医疗用图像处理方法

专利名称：医疗用图像处理装置和医疗用图像处理方法
技术领域：
本发明涉及对根据二维图像所生成的三维表面模型中的各部的可信 度进行处理的医疗用图像处理装置和医疗用图像处理方法。
背景技术：
由插入体腔内的内窥镜获得的内窥镜图像广泛利用在观察部位的诊 断中。由于由内窥镜获得的内窥镜图像是二维图像，因而例如如日本特
开平8—252217号公报公开的现有例那样，有这样的装置，即根据所 取得的图像信息生成三维表面模型，通过显示所生成的表面模型，来提 供更容易诊断的图像信息。
如上所述在生成并显示了三维表面模型的情况下，其图像与二维内 窥镜图像的情况相比是容易诊断的图像。然而，为了根据二维内窥镜图 像构建三维表面模型，例如当插入有内窥镜来观察的体腔内部位处在与 内窥镜的照明窗或观察(摄像)窗相隔很远的距离时，来自照明光源的 照明光的照射量下降。
因此，根据在远距离所拍摄的图像数据部分而生成的表面模型的数 据部分的精度比根据在近距离所拍摄的图像数据部分而生成的表面模型 的数据部分的精度低。
并且，在体腔内，特别是管腔形状的情况下，当管腔部分有皱褶或 隆起物时，成为其背面的位置从成为视点的位置(即观察窗)是看不到 的。因此，在生成与该部位对应的表面模型上的位置的情况下，由于根 据基于该位置的邻近数据等的估计值来生成，因而所生成的表面模型的 精度下降。
在现有例中，由于未考虑这种精度，因而在将表面模型利用在诊断 中的情况下，难以确认其可信度。并且，在通过图像处理使用表面模型
来进行具有病变部的特征量的病变候补的检测和判定的情况下，其可信 度的确认或提高变得困难。

发明内容
本发明是鉴于上述方面而作成的，本发明的目的是提供一种可实现 在将表面模型利用在病变候补检测等中的情况下的可信度的确认或提高 的医疗用图像处理装置和医疗用图像处理方法。
本发明的医疗用图像处理装置，其特征在于，该医疗用图像处理装 置具有表面模型生成单元，其根据二维医疗用图像进行三维表面模型 生成处理；以及区域可信度计算单元，其将所述表面模型划分为多个区 域，计算各区域中的多个数据的可信度。
并且，本发明的医疗用图像处理方法，其特征在于，该医疗用图像 处理方法具有表面模型生成步骤，根据二维医疗用图像进行三维表面 模型生成处理；以及区域可信度计算步骤，将所述表面模型划分为多个 区域，计算各区域中的多个数据的可信度。


图1是示出内窥镜系统的结构的框图。
图2是示出由插入大肠那样的管状部位内的内窥镜进行拍摄的状况 的图。
图3是示出由设置在图2的内窥镜内的摄像装置所拍摄的内窥镜图 像的图。
图4是示出根据图3的内窥镜图像而生成的表面模型的图。 图5是示出CPU的图像分析处理功能的框图。 图6是示出用于生成表面模型的处理进程的流程图。 图7是示出与所拍摄的图像的各像素对应的物体上的对应点和光源 等的位置关系的图。
图8A是示出在物体的面上反射来自光源的光的状况等的图。 图8B是示出在物体的面上反射来自光源的光的状况等的图。
图9是示出设定在对应点周围的多个法线矢量的图。 图IO是示出图8B的矢量m通过二维图像上的位置的图。 图11是示出在图6的步骤S2中生成的表面模型的图。 图12是示出生成体素可信度映射图的处理内容和所使用的数据等 的图。
图13是图12的步骤S12的距离计算的说明图。 图14是示出进行息肉候补提取判定的处理内容和所生成/使用的图 像等的图。
图15A是图14的步骤S24的动作说明图。 图15B是图14的步骤S24的动作说明图。 图15C是图14的步骤S24的动作说明图。 图15D是图14的步骤S24的动作说明图。
图16是示出图14的步骤S26的息肉候补判定处理内容的流程图。 图17是图16的处理的说明图。
具体实施例方式
以下，参照

本发明的实施方式。
图1 图17涉及本发明的一实施方式，图l是示出内窥镜系统的结 构的框图，图2是示出由插入大肠那样的管状部位内的内窥镜进行拍摄 的状况的图，图3是示出由设置在图2的内窥镜内的摄像装置所拍摄的 内窥镜图像的图，图4是示出根据图3的内窥镜图像而生成的表面模型 的图，图5是示出CPU的图像分析处理功能的框图，图6是示出用于生 成表面模型的处理进程的流程图，图7是示出与所拍摄的图像的各像素 对应的物体上的对应点和光源等的位置关系的图，图8A是示出在物体的 面上反射来自光源的光的状况等的图，图8B是示出在物体的面上反射来 自光源的光的状况等的图，图9是示出设定在对应点周围的多个法线矢 量的图，图10是示出图8B的矢量m通过二维图像上的位置的图，图ll 是示出在图6的步骤S2中生成的表面模型的图，图12是示出生成体素 可信度映射图的处理内容和所使用的数据等的图，图13是图12的步骤
S12的距离计算的说明图，图14是示出进行息肉候补提取判定的处理内 容和所生成/使用的图像等的图，图15A是图14的步骤S24的动作说明 图，图15B是图14的步骤S24的动作说明图，图15C是图14的步骤S24 的动作说明图，图15D是图14的步骤S24的动作说明图，图16是示出 图14的步骤S26的息肉候补判定处理内容的流程图，图17是图16的处 理的说明图。
图1所示的内窥镜系统1由以下构成，即内窥镜观察装置2;医 疗用图像处理装置(以下简记为图像处理装置)3，其由个人计算机等构 成，对由该内窥镜观察装置2所获得的作为医疗用图像的内窥镜图像进 行图像处理；以及显示监视器4，其显示由该图像处理装置3进行了图像 处理的图像。
内窥镜观察装置2具有内窥镜6，其被插入体腔内；光源装置7， 其将照明光提供给该内窥镜6;相机控制单元(简记为CCU) 8，其进行
针对内窥镜6的摄像单元的信号处理；以及监视器9，其通过被输入从该
CCU 8所输出的影像信号，显示由摄像元件所拍摄的内窥镜图像。
内窥镜6具有被插入体腔内的插入部11;以及设置在该插入部ll
的后端的操作部12。并且，在插入部11内插通有传送照明光的导光路 13。
该导光路13的后端与光源装置7连接。然后，通过导光路13传送 从该光源装置7提供的照明光，从安装在设置于插入部11的前端部14 上的照明窗上的前端面射出(所传送的照明光)，对患部等的被摄体进行 照明。
设置有摄像装置17，该摄像装置17具有安装在与照明窗邻接的 观察窗上的物镜15,以及配置在该物镜15的成像位置的作为固体摄像元 件的例如电荷耦合元件(简记为CCD) 16。然后，形成在该CCD 16的 摄像面上的光学像由该CCD 16进行光电转换。
该CCD 16经由信号线与CCU 8连接，通过从该CCU 8施加CCD 驱动信号，CCD 16输出光电转换后的图像信号。该图像信号由CCU 8 内的影像处理电路进行信号处理，被转换成影像信号。该影像信号被输
出到监视器9，在监视器9的显示面上显示内窥镜图像。该影像信号也被 输入到图像处理装置3。
该图,处理装置3具有图像输入部21，其被输入与从内窥镜观察 装置2所输入的内窥镜图像对应的影像信号；作为中央运算处理装置的 CPU 22，其进行针对从该图像输入部21所输入的图像数据的图像处理； 以及处理程序存储部23，其存储通过该CPU 22执行图像处理的处理程 序(控制程序)。
并且，该图像处理装置3具有图像存储部24，其存储从图像输入 部21所输入的图像数据等；信息存储部25，其存储由CPU22所处理的 信息等；作为存储装置的硬盘27，其经由存储装置接口 26存储由CPU22 所处理的图像数据和信息等；显示处理部28，其进行用于显示由CPU22 所处理的图像数据等的显示处理；以及输入操作部29,其由用户进行图 像处理参数等的数据输入和指示操作的键盘等构成。
然后，由该显示处理部28所生成的影像信号显示在显示监视器4上， 在该显示监视器4的显示面上显示进行了图像处理的处理图像。另外， 图像输入部21、 CPU 22、处理程序存储部23、图像存储部24、信息存 储部25、存储装置接口26、显示处理部28以及输入操作部29经由数据 总线30相互连接。
在本实施方式中，如图2所示，直视型内窥镜6的插入部11被插入 例如大肠31那样的管状部位(管状器官)内，由摄像装置17进行拍摄。
图3示出由该直视型内窥镜6所拍摄的内窥镜图像的一例。在该内 窥镜图像内存在皱褶或隆起性的凸部。另外，斜线所示的部分表示延伸 到深部侧的管腔暗部。
在本实施方式中，使用直视型等的内窥镜6拍摄大肠31那样的管状 器官，根据所拍摄的二维内窥镜图像估计对象物(具体地说为大肠的管 腔形状的内面)的三维形状的表面模型。例如图4示出所估计的表面模 型的例子。在图4中，生成与图3的凸部对应的凸部G1、 G2。
在根据图3的二维内窥镜图像的图像数据生成图4所示的呈三维形 状的表面模型的情况下，在内窥镜6的前端面距照明窗位置的距离大的
部分中，由于与距离小的部分相比较照明强度下降，因而与该部分对应 而生成的表面模型中的三维数据精度下降。
并且，当管腔有皱褶或隆起的凸部时，由于成为其背面的位置从成 为视点位置的观察窗是看不到的，因而通过估计等而生成的表面模型的 三维数据精度下降。
在本实施方式中，考虑到这些方面，生成可信度映射图，该可信度 映射图表示所生成的三维表面模型中的各点(如后所述作为小区域的体 素)的面或位置的数据可信度。
然后，可将所生成的三维表面模型的各部中的其数据可信度信息有 效地利用在病变的检测或判定等中。
因此，构成本实施方式中的图像处理装置的CPU 22具有图5所示的 图像处理功能。
CPU22具有作为表面模型生成单元的表面模型生成功能22a，其 根据二维内窥镜图像生成(估计)呈三维形状的表面模型；作为区域可 信度计算单元的体素可信度映射图生成功能22b，其针对所生成的表面模 型的表面数据各部中的、作为小区域的体素生成体素可信度映射图，该 体素可信度映射图表示在该体素部分的其数据可信度；以及作为候补检 测单元的息肉候补判定功能(息肉候补检测功能)22c，其根据表面模型 的表面数据提取病变候补，具体地说为息肉候补，进行息肉的可能性的 判定处理(或检测处理)。
在本实施方式中，这样生成三维表面模型，将该表面模型的表面数 据各部视为体素集合体，计算各体素部分中的其三维数据的可信度(体 素可信度)。
然后，例如在进行根据所生成的三维表面模型检测或判定息肉等的 病变的图像处理的情况下，通过利用该可信度信息，可进行可信度更高 的检测或判定。
并且，由于所提供的息肉等的病变检测或判定结果是向医生提供可 信度信息，因而医生在进行息肉等的诊断时，可更有效地利用该信息。 从而容易进行更准确的诊断。
在本实施方式中，图5所示的各功能以软件形式来实现。即，存储 在处理程序存储部23内的处理程序由CPU22读出，CPU22通过按照该 处理程序进行处理，来执行图6所示的与表面模型生成功能22a对应的 流程图的处理等。
下面说明本实施方式的动作。
当图像处理装置3的动作开始时，CPU 22读出处理程序存储部23 的处理程序，开始按照该处理程序进行处理。如图6所示，CPU22在最 初的步骤S1中，将从内窥镜观察装置2的CCU8经过图像输入部21所
输入的内窥镜图像作为原图像的图像数据来取得。
然后，在下一步骤S2中，CPU 22对所取得的图像数据进行失真像 差校正(例如，日本特开平8—256295号公报所记载的内容)、噪声去除 等的预处理。在步骤S3中，CPU 22按以下进程求出与图像内的像素对
应的对象物体的三维位置。
如图7所示，提取与由位于视点O的摄像单元所拍摄的图像的3像 素对应的对象物体上的像素对应点El、 E2、 E3，根据像素对应点El、 E2、 E3的三维位置与光源Q和视点O的位置关系求出以下的式(1)。 [算式l]
<formula>formula see original document page 10</formula>式中，设像素对应点E1、 E2、 E3的三维位置矢量为klml、 k2m2、 k3m3 (ml、 m2、 m3:大小为1的单位矢量)，设从视点O到光源Q的 矢量为d，设从光源Q到3像素对应点El、 E2、 E3的三维位置的矢量为 rl、 r2、 r3。
设由像素对应点E1、E2、E3的三维位置构成的平面的法线矢量为n， 根据式(1)，矢量n如下式(2)所示，由矢量分量kl、 k2、 k3的比率 表7K o <formula>formula see original document page 11</formula> (2)
式中，设从点El到点E2的矢量为112，设从点E2到点E3的矢量 为123， x表示外积。并且，假定如图8A所示成为摄像对象的(大肠内面 等的)对象物体的表面具有在全方向均匀反射光的漫反射率，则像素对 应点E1、 E2、 E3的亮度值I1、 12、 13由下式(3)表示。 [算式3]<formula>formula see original document page 11</formula> (3):
式中，h是对象物体的表面的漫反射率，Iq是光源Q的光度，卩是 在点P的对象物体的表面的法线矢量n与从光源Q到点P的矢量r形成 的角。另外，图8A的点P代表图7的像素对应点E1、 E2、 E3 (因此， 矢量r代表图7的矢量rl、 r2、 r3)。
然后设定以下条件(a)和(b)，根据满足这些条件(a)和(b)的 假定，计算与所拍摄的像素对应的对象物体的三维位置。
现在，在条件(a)和条件(b)这两条件(a)、 (b)成立的情况下， 得到以下的近似式(4)，条件(a)是视点O与光源Q之间的距离《视 点o与像素对应点E1、E2、E3的三维位置之间的距离，即U I << I rm I (或I d I I r I ，这里m-l 3)，条件(b)是像素对应点El、 E2、 E3的三维位置接近。 [算式4]<formula>formula see original document page 11</formula> (4)
在图8B所示r的绝对值比d的绝对值大的情况下，上述条件(a) 成立。并且，在拍摄食道等的管状内面的情况下，认为条件(b)在大部 分情况下成立。另外，图8B将插入部的前端部14中的前端面部分放大
示出。
安装有导光路13的前端面(或照明透镜)的照明窗13a面朝该前端 面，从照明窗13a射出照明光。即，该导光路13的前端面等的照明窗13a 相当于图7和图8A的光源Q。并且，与该照明窗13a邻接的视点O成为 配置有摄像单元(摄像装置17)的物镜15的观察窗(摄像窗)。
根据上述式(4)求出kl、 k2、 k3的比率，并求出法线矢量n。与
图像内的各像素对应的对象物体的表面上的像素对应点由于存在多个邻 接的像素对应点，因而如图9所示针对由一个像素对应点Pa周围的点 Pb Pe中的各3点形成的各面分别求出法线矢量nl n4。因此，可以计 算该多个法线矢量nl n4的平均矢量，并将该平均矢量作为像素对应点 的法线矢量。
如图8A所示将对象物体的表面假定为漫反射，通过进一步改写角|3， 各像素对应点P (x， y)的亮度值I (x， y)可由以下的式(5)表示。 [算式5]
I (x.y〉- h"cos 0 /r2 i ^," . r,x,y)/ I r,x，y) I a (5)
式中，h是对象表面的漫反射率，Iq是光源Q的光度，(3是在点P 的对象物体的表面的法线矢量n (x， y)与光源方向r (x， y)形成的角。 并且，在点P的光源方向r (x， y)可由以下的式(6)表示。 [算式6]
式中，如图8B所示，设从物镜15的视点0到光源Q的矢量为d， 设从视点O到对象物体(具体地说大肠的管腔表面)的位置P的单位矢 量为m (x， y)，设距离OP为k (x， y)。
矢量m (x, y)如图10所示通过(CCD16的)摄像面42的图像上 的位置(x， y)，因而如以下的式(7)所示，得到 [算式7]X
/S/x2+ y2+ f 2
f /S7x2十y2+ f 2 V 乂
(7)
式中，f是摄像装置17的焦距。因此图像上的各像素的亮度值I (x， y) 可由以下的式(8)表示。 [算式8]
+ 今
I ",y产hlq L力,(k (如Ly广d ) / 1 k (x.y〉m(x,y>- d I a ( 8 )
在上述式(8)中k (x， y)以外全部是已知的，因而根据式(8) 计算k (x， y)，并按以下的式(9)计算与图像上的各像素(x， y)对应 的三维位置(X， Y， Z)。 [算式9]
广 、 X
Y。
广
、
f /S/x2+ y2+ f 2
(9)
这样，生成图11所示的呈三维形状的表面模型。图11所示的三维
表面模型的内面上的各位置P如图10所示通过摄像面42的二维图像上 的位置(x， y)，并且是使用该图像上的各位置(x， y)的数据来生成的。 因此，距视点O或摄像面42的距离越大，为生成(构成)在各位置P的 小区域的体素B内包含的该部分所使用的二维图像中的数据点数就越 少。
并且，该数据点数根据各位置P的面与摄像面42形成的角度等的不 同而发生变化。该情况下的数据点数被认为与表示该体素B的三维位置 的可信度的信息量有密切关系。
因此，在本实施方式中，如以下说明那样，在针对设定在所生成的 三维形状的内面上的体素B计算表示其可信度的体素可信度的情况下， 考虑该数据点数。这样，在使用所生成的三维表面模型来检测病变候补 或进行病变候补判定的情况下，可提供该检测结果或判定结果的可信度 信息，实现针对检测结果等的可信度的确认或提高。
并且，在图11所示的三维表面模型的内面在该内面部分有在内侧为
凸的部分(图11中G1、 G2所示)的情况下，处于隐蔽了在从视点O侧 观察的情况下成为该部分的后方侧的背后的内面部分的状态，该背后部 分成为背面而处于隐蔽状态，即所谓的隐蔽(Occlusion),隐蔽部分H1、 H2是数据缺失的部分。
然后，CPU 22扫描通过图6的步骤S3所生成的三维形状数据，如 步骤S4所示进行对隐蔽部分H1、 H2等的插值处理。在该情况下，针对 通过插值处理所生成的表面位置的数据点，将小于1的系数w与该表面 数据相关联来存储。
这样对缺失部分进行插值来生成图4所示的表面模型，该表面模型 的数据(称为表面模型数据)被存储在例如图1的信息存储部25内。
然后，CPU 22进行图12所示的体素可信度映射图生成处理。当该 处理开始时，CPU 22在步骤S11中进行初始设定(将以下的位置参数s 设定为初始值sini)，之后在下一步骤S12中使用存储在信息存储部25的 表面模型数据存储部25a内的表面模型数据，如图13所示在表面模型上 设定各体素Bxyz(简记为Bs)，计算该体素Bs的中心位置与观察位置(即 视点O)之间的距离Ls。
该距离Ls可通过使所拍摄的内窥镜图像的管腔形状部分的直径应 用实际拍摄的大肠31的平均直径值而计算为客观数值。并且这里，计算 体素Bs的中心位置与观察位置(或视点0)之间的距离Ls，然而可以如 图8B所示，使用OQ的矢量d的值来计算体素Bs的中心位置与光源Q (照明窗)之间的距离(设为Lsq)。并且，矢量d的大小可以设定得比 距离Lsq小，也可以设为Ls —Lsq，该距离Ls可以视为从内窥镜前端面
到体素Bs的中心位置的距离。
在将观察位置作为视点O来设定在表面模型生成的原点(0， 0， 0) 的情况下，体素Bs在其中心坐标位置由(Vx+1/2， Vy+l/2， Vz+1/2) 表示时，成为Vx^X<Vx+l、 Vy^Y<Vy+l、 Vz^Z<Vz+l的一边 长度是1的小区域。针对该小区域进行以下处理(下标s简化表示三维 坐标位置(Vx+l/2， Vy+l/2， Vz+1/2)不同的表面模型上的体素Bs 的位置)。
然后，CPU 22在下一步骤S13中，针对各体素Bs取得构成表面模 型数据的构成数据点数(简记为数据点数)Ns。在该情况下，将通过插 值处理而构成的数据点数Nsh乘以小于1的系数w来计算数据点数Ns。
在下一步骤S14中，CPU 22计算针对体素Bs的体素可信度ps。
该ps例如是
ps= (1/Ls) (Ns/1'1.1) a (10)
这里，a表示进行归一化的因子，并且数据点数Ns是不使用插值处 理的实值数据点数Nsi与对通过插值处理所生成的数据点数Nsh乘以(小 于l的)系数w后的结果之和。
即，
Ns=Nsi+wNsh (11)
然后，CPU 22将计算出的体素可信度ps的值与体素Bs的位置数据 相关联来存储在设置于信息存储部25内的体素可信度映射图存储部25b 内。
当距光源Q或观察位置(观察窗)的距离Ls增大时，上述体素可信 度ps的值减小，而且当该体素Bs内的数据点数越少，该体素可信度ps 的值就越小。因此，这成为适当评价所生成的表面模型上的各部的点(小 区域)的可信度的评价手段。
然后，在下一步骤S15中，CPU 22针对所有表面模型数据进行是否 进行了体素Bs的设定的条件判定(换句话说进行是否进行到最终的参数 值sfm的条件判定)。在不符合该条件的情况下，如步骤S16所示变更一 个参数s的值并回到步骤S12。
这样当结束了针对所有表面模型数据计算体素可信度ps的处理时，
在体素可信度映射图存储部25b内生成计算出在表面模型上的各点(作 为小区域的体素)的可信度的体素可信度映射图。
这样，作为基于所生成的体素可信度映射图的利用方法，大致划分 主要有两种。
其中一种是，例如根据计算出的体素可信度映射图的体素可信度ps 对所生成的表面模型的表面形状进行伪彩色化来显示。
例如，并列显示通常的表面模型的显示图像和根据体素可信度ps进 行了伪彩色化的表面模型。在该情况下，可以以相同尺寸显示。
作为上述显示的变形例，在医生等的用户使用未作图示的鼠标等的 指示单元将注目的部位或区域指示作为表面模型上的病变候补的情况 下，CPU22可以从体素可信度映射图中读出与所指示的区域部分对应的 体素可信度来显示。
这样由于可提供表面模型上的各区域的可信度，因而在医生使用表 面模型来进行病变诊断等的情况下，可提供该可信度信息，可进行可信 度确认，并可提高可信度。
然后第二种利用方法是，在通过图像处理使用表面模型进行病变候 补的检测或病变候补的病变判断的情况下，提供针对该检测结果或判断 结果的可信度信息。
作为该情况的例子，以下以使用体素可信度映射图来提取大肠内的 息肉候补并进行检测(判定)的情况进行说明。
图14是示出本实施方式中的息肉候补提取判定处理程序和该程序 使用的数据的框图。
当该处理开始时，CPU 22读出存储在图1的处理程序存储部23内 的息肉候补提取判定处理程序，并按照该程序开始图5所示的息肉候补 判定处理22c。
如图14所示在最初的步骤S21中，CPU 22取入存储在图像处理装 置3内的图像存储部24 (参照图1)内的原图像51的例如R信号分量， 进行边缘提取处理。在该情况下，通过将带通滤波器应用于例如R信号
分量来生成边缘图像52。使用带通滤波器的边缘提取方法是公知技术。并 且，可以取代R信号分量而使用原图像51的亮度分量来生成边缘图像52。
在下一步骤S22中，CPU22对边缘图像52进行二值化处理。然后， 通过该二值化处理，生成二值化图像53。在本实施方式中的二值化处理 中，根据边缘图像52的各像素的像素值与规定或预定阈值的大小比较结 果，将二值化图像53的各像素决定为0或1。
在下一步骤S23中，CPU22将公知的细线化方法应用于二值化图像 53，生成细线化图像54。
在下一步骤S24中，CPU22进行这样的提取处理，即从作为二维 图像的细线化图像54中提取例如作为隆起性病变的息肉的候补等弯曲的 边缘形状等的、具有规定特征量的候补点。在该情况下，CPU22进行这 样的处理，即从细线化图像54中提取注目边缘的端的2点及其中点、 以及将边缘上的端2点连接的直线上的中点，作为二维图像的病变的候 补点信息55来保存。
参照图15A 图15D说明该处理。图15A表示细线化图像54， CPU 22从该细线化图像54取得要进行判定处理的边缘部分，然后如图15B 所示，进行边缘的端2点tl和t2的提取。
然后，CPU 22将边缘的像素数作为线段长度Dl (未作图示)来计 算，并计算得到1/2xDl的中点t (图15C)。
然后，CPU22提取将tl和t2连接的直线，计算其线段长度D2(未 作图示)，之后计算得到l/2xD2的中点p (图15D)。
然后，CPU22保存计算出的二维图像的候补点信息(边缘的端2点 tl、 t2、其中点t、将边缘上的端2点tl、 t2连接的直线上的中点p)。
然后，在图14所示的步骤S25中，CPU 22进行提取与二维图像上 的候补点对应的三维图像(表面模型)上的候补点的数据的处理。
艮卩，取得三维表面模型上的二维图像上的候补点(边缘的端2点tl、 t2、其中点t、将边缘上的端2点连接的直线上的中点p)的坐标，保存 该候补点的坐标信息(三维)56。
然后，在下一步骤S26中，CPU 22使用候补点信息56来进行(利
用图像处理的)作为隆起性病变的息肉候补的可能性判定，即息肉候补 判定处理。
图16示出该息肉候补判定处理。另夕卜，在以下说明中，以将二维图 像上的2点tl和t2连接的直线与x轴平行的情况进行说明。
在最初的步骤S31中，CPU22取得上述的三维表面模型上的候补点 56的坐标信息，在下一步骤S32中计算将边缘的端2点tl、 t2连接的直 线上的中点p的y坐标py，计算包含该py和2点tl、 t2的xz平面。中 点p近似为与将边缘的端2点tl、 t2连接的直线上的y坐标相同的值。
图17示出该情况的表面模型上的候补点56附近。另外，该部分对 应于例如图13的标号Gl所示的部分。
在下一步骤S33中，CPU22从点t画垂直线到由点tl、 t2、 py决定 的xz平面，计算该垂直线的高度h。然后如图17所示，在下一步骤S34 中，CPU22判定高度h和预定阈值Tth的大小。在h〉Tth的情况下，进 到步骤S35，除此以外，即在h^Tth的情况下，判定为该边缘部分不是 息肉候补，结束该处理。
另外，步骤S33中的点t是在二维图像上被设定为点tl和t2的中点 的点(位置)，在三维表面模型上的点t的周边部也求出垂直线的值，可 以将其最大值作为高度h来计算。
在步骤S35中，CPU 22将在图14的步骤S24的处理中所取得的边
缘部分判定为是息肉候补。
另外，在上述2点tl、 t2与x轴不平行的情况下，除了上述高度h 以外，还可以计算从点t到yz平面的高度(设为hy)，计算该2个平方 值的平方根，并比较该计算值与阈值Tth的大小。
在下一步骤S36中，CPU 22从体素可信度映射图中提取与例如在判 定为是上述息肉候补的判定中使用的边缘部分(点tl、 t2、 t、 p (py)等) 对应的(体素的)体素可信度，计算它们的平均值pa。
然后，在下一步骤S37中，CPU22将判定为息肉候补的部分例如以 与其他部分不同的颜色等提供在显示监视器4等上以使用户知道，并提 供其平均值pa作为表示针对该判定的可信度的信息。
然后，在细线化图像有另外的边缘的情况下，进行相同处理。然后， 对所有边缘进行相同处理之后，结束息肉候补判定处理。
这样在通过图像处理装置3提示例如大肠检查的作为隆起性病变的 大肠息肉候补时，根据例如上述平均值pa同时提示表示针对该判定结果 的可信度的信息。
由于该平均值pa是使用在判定为息肉候补的情况下使用的部分的体 素可信度ps来计算的，因而成为适当评价息肉候补判定结果的评价手段 之一。
因此，医生可定量地判断相应的大肠息肉候补的可信度。这样，由 于可定量地判断大肠息肉候补判定功能的可信度，因而在辅助医生进行 病变判定的情况下成为有效的资料或信息。
另外，在上述说明中，例如在计算体素可信度ps的情况下，还可以 包含二维图像上的亮度值的信息。
例如，可以使用在将与暗部和光晕对应的值(亮度值)除外的该情 况下的、随着亮度值增大而增大的加权系数来将该加权系数反映在体素 可信度上。即，亮度值大的部分由于与亮度值低的部分相比噪音等的影 响少，因而成为可信度更高的部分。因此，可以将亮度值的信息反映在 体素可信度上。
另外，作为上述实施方式中的变形例，不限于针对表面模型上的所 有部分计算(体素可信度的)映射图作为体素可信度映射图的情况，可 以仅使用代表性的点来计算。或者，可以仅计算在病变检测(判定)中 使用的部分的体素可信度。
另外，在上述例子中，以判定作为隆起性病变的息肉候补的情况作 了说明，然而本实施方式也能同样应用于凹陷性病变候补。在该情况下， 取代高度h而计算深度h'。然后，在该深度h'大于阈值Tth'的情况下，可 以进行凹陷性病变候补判定，在除此以外的情况下，可以判定为不是候 补。
并且，在上述实施方式中，例如作为息肉候补判定处理，使用高度 的阈值Tth的信息来进行判定，然而此外还可以使用表示曲面形状的特
征量即形状指数(ShapeIndex)和弯曲性(Curvedness)来进行判定(检
在该情况下也不限于隆起性病变的情况，可以进行凹陷性病变候补 判定。并且，不限于仅根据高度的阈值Tth进行判定的情况，可以使用 表示该区域大小的例如曲线性的阈值来进行判定(检测)。
并且，将上述实施方式的内容在不变更其主旨的情况下进行组合等 来变形的情况也属于本发明。
如以上说明那样，根据本发明，在通过图像处理根据二维内窥镜图
像等的医疗用图像生成三维表面模型，并使用所生成的表面模型数据来
检测息肉等的病变候补或者判定病变可能性的情况下，考虑在该检测结
果或判定结果中使用的表面模型各部的数据的可信度，提示针对检测结 果等的可信度信息。由此，具有使医生更容易适当进行诊断的产业上的
可利用性。
并且，本发明具有以下记载的附记中描述的特征。 (附记l)
一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具 有表面模型生成单元，其根据二维医疗用图像进行三维表面模型生成 处理；以及区域可信度计算单元，其将所述表面模型划分为多个区域， 计算各区域中的多个数据的可信度。 (附记2)
根据附记1所述的医疗用图像处理装置，其特征在于，所述二维医 疗用图像是由内窥镜拍摄的内窥镜图像，所述区域可信度计算单元使用 所述各区域与所述内窥镜的照明窗或摄像窗之间的距离的信息、以及所 述区域内包含的构成所述表面模型的构成数据点数的信息中的至少一个 信息来计算所述区域可信度。 (附记3)
根据附记1所述的医疗用图像处理装置，其特征在于，该医疗用图 像处理装置还具有候补检测单元，该候补检测单元根据所述二维医疗用 图像或所述表面模型来检测具有预定特征量的候补，所述医疗用图像处
理装置针对由所述候补检测单元检测的候补，使用在所述候补的检测中 利用的所述表面模型中的所述各区域的区域可信度，计算针对所述候补 的检测结果的可信度。
(附记4)
根据附记3所述的医疗用图像处理装置，其特征在于，所述候补检 测单元检测具有隆起性或凹陷性的特征量的候补部位作为具有所述预定 特征量的候补。 (附记5)
根据附记4所述的医疗用图像处理装置，其特征在于，所述候补检 测单元将具有隆起性或凹陷性的特征量的部分作为候补来提取，在所提
取的部分的高度或深度是阈值以上的情况下，将其检测或判定为隆起性 病变或凹陷性病变。 (附记6)
一种医疗用图像处理方法，其特征在于，该医疗用图像处理方法具 有表面模型生成步骤，根据二维医疗用图像进行三维表面模型生成处 理；以及区域可信度计算步骤，将所述表面模型划分为多个区域，计算 各区域中的多个数据的可信度。 (附记7)
根据附记6所述的医疗用图像处理方法，其特征在于，所述二维医 疗用图像是由内窥镜拍摄的内窥镜图像，所述区域可信度计算步骤使用 所述各区域与所述内窥镜的照明窗或摄像窗之间的距离的信息、以及所 述区域内包含的所述表面模型的构成中利用的构成数据点数的信息中的 至少一个信息来计算所述区域可信度。 (附记8)
根据附记6所述的医疗用图像处理方法，其特征在于，该医疗用图 像处理方法还具有候补检测步骤，该候补检测步骤根据所述二维医疗用 图像或所述表面模型来检测具有预定特征量的候补，所述医疗用图像处 理方法针对由所述候补检测步骤检测的候补，使用在所述候补的检测中 利用的所述表面模型中的所述各区域的区域可信度，计算针对所述候补
的检测结果的可信度。 (附记9)
根据附记8所述的医疗用图像处理方法，其特征在于，所述候补检
测步骤检测或判定具有隆起性或凹陷性的特征量的候补部位作为具有所 述预定特征量的候补。
如以上说明那样，根据本发明，可实现在使用三维表面模型进行病 变候补检测等的情况下的可信度确认和可信度提高。
权利要求
1. 一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有表面模型生成单元，其根据二维医疗用图像进行三维表面模型生成处理；以及区域可信度计算单元，其将所述表面模型划分为多个区域，计算各区域中的多个数据的可信度。
2. 根据权利要求1所述的医疗用图像处理装置，其特征在于，所述 二维医疗用图像是由内窥镜拍摄的内窥镜图像，所述区域可信度计算单 元使用所述各区域与所述内窥镜的照明窗或摄像窗之间的距离的信息、 以及^ 述区域内包含的构成所述表面模型的构成数据点数的信息中的至 少一个信息来计算所述区域可信度。
3. 根据权利要求1所述的医疗用图像处理装置，其特征在于，该医 疗用图像处理装置具有候补检测单元，该候补检测单元根据所述二维医 疗用图像或所述表面模型来检测具有预定特征量的候补，所述医疗用图 像处理装置针对由所述候补检测单元检测的候补，使用在所述候补的检 测中利用的所述表面模型中的所述各区域的区域可信度，计算针对所述 候补的检测结果的可信度。
4. 根据权利要求3所述的医疗用图像处理装置，其特征在于，所述 候补检测单元检测具有隆起性或凹陷性的特征量的候补部位作为具有所 述预定特征量的候补。
5. —种医疗用图像处理方法，其特征在于，该医疗用图像处理方法 具有表面模型生成步骤，根据二维医疗用图像进行三维表面模型生成处 理；以及区域可信度计算步骤，将所述表面模型划分为多个区域，计算各区 域中的多个数据的可信度。
6. 根据权利要求5所述的医疗用图像处理方法，其特征在于，所述 二维医疗用图像是由内窥镜拍摄的内窥镜图像，所述区域可信度计算步 骤使用所述各区域与所述内窥镜的照明窗或摄像窗之间的距离的信息、 以及所述区域内包含的构成所述表面模型的构成数据点数的信息中的至 少一个信息来计算所述区域可信度。
7.根据权利要求5所述的医疗用图像处理方法，其特征在于，该医 疗用图像处理方法具有候补检测步骤，该候补检测步骤根据所述二维医 疗用图像或所述表面模型来检测具有预定特征量的候补，所述医疗用图 像处理方法针对由所述候补检测步骤检测的候补，使用在所述候补的检 测中利用的所述表面模型中的所述各区域的区域可信度，计算针对所述 候补的检测结果的可信度。
全文摘要
本发明提供医疗用图像处理装置和医疗用图像处理方法。在图像处理装置(3)中，根据内窥镜图像生成三维表面模型，设定小区域的体素(Bs)以包含所生成的表面模型的内面各部，计算各体素(Bs)与观察位置之间的距离(Ls)，取得体素(Bs)内的表面模型的构成数据点数(Ns)，计算各体素的可信度(ρs)来生成体素可信度映射图，并将其存储在体素可信度映射图存储部(25b)内。然后，在通过图像处理使用表面模型进行病变候补检测等的情况下，使用所用的体素部分的可信度来提供针对检测结果的可信度信息。
文档编号G06T1/00GK101389260SQ20078000682
公开日2009年3月18日 申请日期2007年2月27日 优先权日2006年3月14日
发明者中村健次, 井上凉子, 沢美穗, 田中秀树, 西村博一 申请人:奥林巴斯医疗株式会社