图像处理装置、图像处理方法以及图像处理程序的制作方法

图像处理装置、图像处理方法以及图像处理程序的制作方法
【专利摘要】提供一种图像处理装置等，在由于摄像距离的差异而在被摄体的细微结构上产生分辨率的差异的情况下，能够精度良好地识别细微结构的异常。图像处理装置(1)具有：摄像距离估计部(110)，其估计与显现于图像中的被摄体之间的摄像距离；检查区域设定部(120)，其在上述图像内设定检查区域，使得表示在该检查区域中显现的被摄体的摄像距离的分布广度的指标位于规定的范围内；以及异常结构识别部(130)，其使用纹理特征量来识别显现于检查区域内的被摄体的细微结构是否为异常，所述纹理特征量是按照检查区域确定的，能够识别显现于检查区域内的被摄体的细微结构的异常。
【专利说明】图像处理装置、图像处理方法以及图像处理程序

【技术领域】
[0001] 本发明涉及根据对活体的管腔内进行摄像得到的图像来判别异常部区域的图像 处理装置、图像处理方法以及图像处理程序。

【背景技术】
[0002] 作为针对通过内窥镜或胶囊型内窥镜等医用观察装置拍摄活体的管腔内得到的 图像（以下，称作内窥镜图像或管腔内图像或简称为图像）进行的图像处理，例如在专利文 献1中公开了从图像内检测异常部的技术，该异常部基于粘膜表面的细微结构或血管行进 方式。在这种技术中，在内窥镜图像中提取出由含有大量的与粘膜的细微结构和血管像有 关的信息的G(绿）成分构成的图像之后，计算使粘膜表面的像素值图案数值化后的特征 量，使用该特征量以及事先制作的线性判别函数，判别被拍摄到该图像中的被摄体是正常 还是异常。作为特征量，例如可使用对特定的空间频率成分的图像进行二值化而提取的区 域的形状特征量（面积、槽宽度、周围长度、圆形度、分支点、端点、分支率等，例如参照专利 文献2)、基于使用了 Gabor滤波器等的空间频率解析的特征量（例如参照专利文献3)。此 夕卜，线性判别函数是以根据正常和异常情况下所见的图像而计算的特征量作为示教数据而 事先制作的。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1日本特开2005-192880号公报
[0006] 专利文献2专利第2918162号公报
[0007] 专利文献3日本特开2002-165757号公报


【发明内容】

[0008] 发明要解决的课题
[0009] 然而，在内窥镜图像中，斜向地对管腔内壁进行摄像的图像较多，因而根据摄像距 离（内窥镜与管腔内壁之间的距离）不同，管腔内壁的粘膜表面的细微结构的分辨率也不 同。即，在远景部中表示细微结构的异常的特征量与在近景部中表示细微结构的异常的特 征量不同。因此，如现有技术那样，在对远景部和近景部混合存在的图像整体即使计算出基 于空间频率的特征量，由于分辨率差的影响，也无法计算适当的特征量，存在无法精度良好 地判别细微结构是正常还是异常的问题。
[0010] 本发明就是鉴于上述情况而完成的，其目的在于提供一种在由于摄像距离的差异 而在被摄体的细微结构中产生分辨率的差异的情况下，能够精度良好地识别细微结构的异 常的图像处理装置、图像处理方法以及图像处理程序。
[0011] 用于解决课题的手段
[0012] 为了解决上述课题，达成目的，本发明的图像处理装置的特征在于，具有：摄像距 离估计部，其估计与显现于图像中的被摄体之间的摄像距离；检查区域设定部，其在所述图 像内设定检查区域，使得表示显现于该检查区域内的被摄体的摄像距离的分布广度的指标 位于规定的范围内；以及异常结构识别部，其使用纹理特征量来识别显现于所述检查区域 内的被摄体的细微结构是否为异常，所述纹理特征量是按照所述检查区域确定的，能够识 别显现于所述检查区域内的被摄体的细微结构的异常。
[0013] 本发明的图像处理方法的特征在于，具有：摄像距离估计步骤，估计与显现于图像 中的被摄体之间的摄像距离；检查区域设定步骤，在所述图像内设定检查区域，使得表示显 现于该检查区域内的被摄体的摄像距离的分布广度的指标位于规定的范围内；以及异常结 构识别步骤，使用纹理特征量来识别显现于所述检查区域内的被摄体的细微结构是否为异 常，所述纹理特征量是按照所述检查区域确定的，能够识别显现于所述检查区域内的被摄 体的细微结构的异常。
[0014] 本发明的图像处理程序的特征在于，使计算机执行如下步骤：摄像距离估计步骤， 估计与显现于图像中的被摄体之间的摄像距离；检查区域设定步骤，在所述图像内设定检 查区域，使得表示显现于该检查区域内的被摄体的摄像距离的分布广度的指标位于规定的 范围内；以及异常结构识别步骤，使用纹理特征量来识别显现于所述检查区域内的被摄体 的细微结构是否为异常，所述纹理特征量是按照所述检查区域确定的，能够识别显现于所 述检查区域内的被摄体的细微结构的异常。
[0015] 发明的效果
[0016] 根据本发明，使用按照各检查区域而设定的纹理特征量对被设定为使得表示显现 于检查区域内的被摄体的摄像距离的分布广度的指标位于规定的范围内的检查区域进行 异常的识别，因此即使在由于摄像距离的差异而在被摄体的细微结构上产生分辨率的差异 的情况下，也能够精度良好地识别细微结构的异常。

【专利附图】

【附图说明】
[0017] 图1是表示本发明的第1实施方式的图像处理装置的结构的框图。
[0018] 图2是表示图1所示的图像处理装置的动作的流程图。
[0019] 图3A是表示通过内窥镜对管腔内进行摄像的情形的示意图。
[0020] 图3B是表示通过内窥镜所拍摄的管腔内图像的示意图。
[0021] 图4是详细表示图1所示的摄像距离估计部执行的处理的流程图。
[0022] 图5是详细表示图1所示的检查区域设定部执行的处理的流程图。
[0023] 图6是说明检查区域的设定方法的示意图。
[0024] 图7是详细表示图1所示的异常结构识别部执行的处理的流程图。
[0025] 图8是表示变形例1-1的图像处理装置具有的运算部的结构的框图。
[0026] 图9是详细表示图8所示的检查区域设定部执行的处理的流程图。
[0027] 图10是说明图8所示的检查区域设定部执行的处理的示意图。
[0028] 图11是详细表示图8所示的异常结构识别部执行的处理的流程图。
[0029] 图12是表示变形例1-2的图像处理装置具有的运算部的结构的框图。
[0030] 图13是详细表示图12所示的检查区域设定部执行的处理的流程图。
[0031] 图14是详细表示图12所示的异常结构识别部执行的处理的流程图。
[0032] 图15是表示本发明的第2实施方式的图像处理装置的结构的框图。
[0033] 图16是表示图15所示的图像处理装置的动作的流程图。
[0034] 图17是表示本发明的第3实施方式的图像处理装置的结构的框图。
[0035] 图18是详细表示图17所示的检查区域设定部执行的处理的流程图。
[0036] 图19是说明图17所示的检查区域设定部执行的处理的示意图。
[0037] 图20是详细表示图17所示的异常结构识别部执行的处理的流程图。
[0038] 图21是表示与管腔内图像的摄像距离对应的频率成分的强度特性的示意图。
[0039] 图22是表示本发明的第4实施方式的图像处理装置的结构的框图。
[0040] 图23是表示图22所示的图像处理装置的动作的流程图。
[0041] 图24是详细表示图22所示的检查区域设定部执行的处理的流程图。
[0042] 图25是说明图22所示的检查区域设定部执行的处理的示意图。
[0043] 图26是表示本发明的第5实施方式的图像处理装置的结构的框图。
[0044] 图27是表示图26所示的图像处理装置的动作的流程图。
[0045] 图28是详细表示图26所示的检查区域变形部执行的处理的流程图。
[0046] 图29是说明图26所示的检查区域变形部执行的处理的概念的示意图。
[0047] 图30是表示变形例5-1的检查区域变形部的结构的框图。
[0048] 图31是表示图30所示的检查区域变形部执行的处理的详细情况的流程图。
[0049] 图32A是说明图30所示的检查区域变形部执行的处理的概念的示意图。
[0050] 图32B是说明图30所示的检查区域变形部执行的处理的示意图。

【具体实施方式】
[0051] 以下，参照【专利附图】

【附图说明】本发明的实施方式的图像处理装置、图像处理方法以及图像 处理程序。另外，本发明不限于这些实施方式。此外，在各附图的描述中，对相同部分赋予 相同标号来进行表不。
[0052] (第1实施方式）
[0053] 图1是表示本发明的第1实施方式的图像处理装置的结构的框图。本第1实施方 式的图像处理装置1作为一例是如下的装置，其对于通过内窥镜或胶囊型内窥镜（以下，将 它们一并简称为内窥镜）对活体的管腔内进行摄像而取得的管腔内图像（以下，有时简称 为图像），实施用于识别粘膜表面的细微结构的异常的图像处理。管腔内图像是通常在各像 素位置对于R(红）、G(绿）、B(蓝）的波长成分（颜色成分）具有规定的（例如256灰度 的）像素级别（像素值）的彩色图像。
[0054] 如图1所示，图像处理装置1具有控制该图像处理装置1整体的动作的控制部10、 取得与内窥镜所拍摄的图像对应的图像数据的图像取得部20、受理从外部输入的输入信号 的输入部30、进行各种显示的显示部40、储存由图像取得部20取得的图像数据和各种程序 的记录部50、对图像数据执行规定的图像处理的运算部100。
[0055] 控制部10通过CPU等硬件实现，通过读入记录于记录部50中的各种程序，从而按 照从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行对于构成图像 处理装置1的各部分的指示和数据的传送等，综合控制图像处理装置1整体的动作。
[0056] 图像取得部20是按照包含内窥镜的系统的形态而适当构成的。例如，在与胶囊型 内窥镜之间的图像数据的交接时使用可搬运型的记录介质的情况下，图像取得部20由读 取器装置构成，该读取器装置能够以自由拆装的方式安装该记录介质，并读出所记录的图 像的图像数据。此外，在设置了预先保存由内窥镜拍摄的图像的图像数据的服务器的情况 下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信以取得图像 数据。抑或，还可以由从内窥镜经由电缆输入图像信号的接口装置等构成图像取得部20。
[0057] 输入部30例如通过键盘、鼠标、触摸面板、各种开关等输入设备实现，将所受理的 输入信号输出给控制部10。
[0058] 显示部40通过IXD或EL显示器等显示装置实现，在控制部10的控制下，显示包 含管腔内图像在内的各种画面。
[0059] 记录部50通过能够更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或 通过数据通信端子连接的硬盘或⑶-ROM等信息记录装置及其读取装置等实现。记录部50 除了储存由图像取得部20取得的图像数据之外，还储存用于使图像处理装置1进行工作、 并使图像处理装置1执行各种功能的程序和在该程序的执行中使用的数据等。具体而言， 记录部50储存用于识别拍摄于图像内的粘膜表面的细微结构的异常的图像处理程序51和 在该程序的执行中使用的各种信息等。
[0060] 运算部100通过CPU等硬件实现，通过读入图像处理程序51而实施对于管腔内图 像的图像处理，执行用于识别粘膜表面的细微结构的异常的各种运算处理。
[0061] 接着，说明运算部100的详细结构。
[0062] 如图1所示，运算部100具有：摄像距离估计部110,其估计与显现于图像中的被 摄体之间的摄像距离；检查区域设定部120,其在上述图像内设定检查区域，使得表示显现 于该检查区域内的被摄体的摄像距离的分布广度的指标位于规定的范围内；以及异常结构 识别部130,其使用按照检查区域确定的、能够识别显现于检查区域内的被摄体的细微结 构的异常的纹理（texture)特征量，识别显现于检查区域内的被摄体的细微结构是否为异 堂 巾。
[0063] 这里，图像处理中的纹理（texture)指的是重复的亮度图案（参考：CG-ARTS协 会、《数字图像处理》、第192页（区域的纹理））。在本第1实施方式中，作为使纹理的特征 数值化的纹理特征量，使用特定的空间频率成分。
[0064] 在上述运算部100的结构之中，摄像距离估计部110具有低吸收波长选择部111， 该低吸收波长选择部111选择图像内的各像素的像素值（R成分、G成分、B成分的各值）中 的与活体内的吸收或散射的程度最低的波长成分即低吸收波长成分对应的R成分的值（以 下，称之为R成分值），摄像距离估计部110根据该R成分值，估计与显现于图像中的被摄体 之间的摄像距离。
[0065] 检查区域设定部120具有在图像内设定检查候选区域的候选区域设定部121、根 据显现于所设定的检查候选区域内的被摄体的摄像距离信息来确定检查区域的区域确定 部122。其中，区域确定部122具有计算与显现于检查候选区域内的被摄体之间的摄像距离 的分布范围的摄像距离范围计算部122a，并且将该分布范围在规定的阈值以下的检查候选 区域确定为检查区域。
[0066] 异常结构识别部130具有计算检查区域中的特定空间频率成分的特定频率成分 计算部131、根据该特定空间频率成分进行统计分类的统计分类部132。另外，后面叙述特 定空间频率成分。
[0067] 接着，说明图像处理装置1的动作。图2是表示图像处理装置1的动作的流程图。 另外，在本第1实施方式中，在管腔内图像的几乎整个区域显现有粘膜，以下说明对于粘膜 区域的处理。
[0068] 首先，在步骤SI 1中，运算部100读入记录于记录部50中的图像数据，从而取得处 理对象的管腔内图像。
[0069] 这里，图3A是表示通过内窥镜对管腔内进行摄像的情形的示意图。此外，图3B是 表示通过内窥镜拍摄的管腔内图像的示意图。内窥镜6通常将视野V朝向管腔7的长边方 向来进行摄像。因此，在显现作为被摄体的粘膜表面8的图像M中混合存在显现近景V 1的 图像区域Hl1与显现远景V2的图像区域m2。因此，由于摄像距离r的差异，会在图像区域Hl 1 与图像区域m2之间产生画质的差异。以下，作为一例，将图像M作为处理对象进行说明。
[0070] 在接下来的步骤S12中，摄像距离估计部110估计与显现于图像中的粘膜表面8 之间的摄像距离r。图4是详细表示摄像距离估计部110执行的处理的流程图。
[0071] 在步骤S121中，低吸收波长选择部111选择活体内的吸收或散射的程度最低的波 长成分即低吸收波长成分。其原因在于，为了抑制粘膜表面8附近的血管等对光的吸收或 散射的影响，获得最为良好地反映内窥镜6与粘膜表面8之间的摄像距离r的像素值。在 由R、G、B的各成分构成的图像中，R成分最为远离血液的吸收频带，而且为波长最长的成 分，因而不易受到活体内的吸收或散射的影响。因此，在本第1实施方式中选择R成分。
[0072] 在接下来的步骤S122中，摄像距离估计部110根据被选择为低吸收波长成分的R 成分值，使用下式（1)估计假定粘膜表面8为均等扩散面时的摄像距离r。
[0073]【数1】

【权利要求】
1. 一种图像处理装置，其特征在于，具有： 摄像距离估计部，其估计与显现于图像中的被摄体之间的摄像距离； 检查区域设定部，其在所述图像内设定检查区域，使得表示显现于该检查区域内的被 摄体的摄像距离的分布广度的指标位于规定的范围内；以及 异常结构识别部，其使用纹理特征量来识别显现于所述检查区域内的被摄体的细微结 构是否为异常，所述纹理特征量是按照所述检查区域确定的，能够识别显现于所述检查区 域内的被摄体的细微结构的异常。
2. 根据权利要求1所述的图像处理装置，其特征在于， 所述检查区域设定部具有： 候选区域设定部，其在所述图像内设定检查候选区域；以及 区域确定部，其根据显现于所述检查候选区域内的被摄体的摄像距离信息来确定检查 区域。
3. 根据权利要求2所述的图像处理装置，其特征在于， 所述候选区域设定部具有代表摄像距离取得部，该代表摄像距离取得部取得与显现于 欲设定所述检查候选区域的位置上的被摄体之间的代表性摄像距离，所述候选区域设定部 设定与所述代表性摄像距离对应的尺寸的所述检查候选区域。
4. 根据权利要求2所述的图像处理装置，其特征在于， 所述候选区域设定部具有代表摄像距离梯度计算部，该代表摄像距离梯度计算部计算 显现于欲设定所述检查候选区域的位置上的被摄体的代表性摄像距离梯度，所述候选区域 设定部设定与所述代表性摄像距离梯度对应的尺寸的检查候选区域。
5. 根据权利要求2所述的图像处理装置，其特征在于， 所述区域确定部具有摄像距离范围计算部，该摄像距离范围计算部计算与显现于所述 检查候选区域内的被摄体之间的摄像距离的分布范围，所述区域确定部将所述分布范围在 规定的阈值以下的检查候选区域确定为所述检查区域。
6. 根据权利要求2所述的图像处理装置，其特征在于， 所述区域确定部具有摄像距离方差计算部，该摄像距离方差计算部计算与显现于所述 检查候选区域内的被摄体之间的摄像距离的方差，所述区域确定部将所述方差在规定的阈 值以下的检查候选区域确定为所述检查区域。
7. 根据权利要求1所述的图像处理装置，其特征在于， 所述检查区域设定部具有： 层级分类部，其将所述摄像距离的值分类为1个或多个层级；以及 区域分割部，其按照被分类为同一层级的摄像距离的被摄体所显现的每个区域，将所 述图像分割为1个或多个区域， 将通过所述区域分割部得到的1个或多个区域分别设定为单个的检查区域。
8. 根据权利要求7所述的图像处理装置，其特征在于， 所述检查区域设定部还具有局部区域设定部，该局部区域设定部在被分类为所述同一 层级的摄像距离的被摄体所显现的区域内设定局部区域，所述检查区域设定部将该局部区 域设定为所述检查区域。
9. 根据权利要求8所述的图像处理装置，其特征在于， 所述局部区域设定部具有距离转换图像计算部，该距离转换图像计算部计算距离转换 图像，该距离转换图像是将与被分类为所述同一层级的摄像距离的被摄体所显现的区域的 边界之间的距离转换为像素值而得到的图像，所述局部区域设定部根据所述距离转换图像 设定所述局部区域。
10. 根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有重复控制部，其进行对未设定所述检查区域的区域重复执行 所述检查区域设定部的处理的控制。
11. 根据权利要求10所述的图像处理装置，其特征在于， 所述重复控制部按照所述处理的重复，变更所述检查区域设定部执行的处理的内容。
12. 根据权利要求1所述的图像处理装置，其特征在于， 所述异常结构识别部具有： 特定频率成分计算部，其计算能够识别显现于所述检查区域内的被摄体的细微结构的 异常的特定空间频率成分，作为所述纹理特征量；以及 统计分类部，其根据所述特定空间频率成分进行统计分类。
13. 根据权利要求12所述的图像处理装置，其特征在于， 所述异常结构识别部还具有特定波长成分选择部，该特定波长成分选择部选择按照活 体内的吸收或散射的程度而确定的特定波长成分， 所述特定频率成分计算部对所述特定波长成分计算所述特定空间频率成分。
14. 根据权利要求12所述的图像处理装置，其特征在于， 所述异常结构识别部还具有特定波长间比率计算部，该特定波长间比率计算部计算活 体内的吸收或散射的程度不同的特定波长成分间的比率， 所述特定频率成分计算部对所述特定波长成分间的比率计算所述特定空间频率成分。
15. 根据权利要求12所述的图像处理装置，其特征在于， 所述异常结构识别部还具有代表摄像距离取得部，该代表摄像距离取得部取得与显现 于所述检查区域内的被摄体之间的代表性摄像距离， 所述特定频率成分计算部按照所述代表性摄像距离来确定所述特定空间频率成分的 频率，计算所述特定空间频率成分。
16. 根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有使所述检查区域内的图像变形的检查区域变形部。
17. 根据权利要求16所述的图像处理装置，其特征在于， 所述检查区域变形部具有： 代表摄像距离取得部，其取得与显现于所述检查区域内的被摄体之间的代表性摄像距 离；以及 尺寸归一化部，其按照所述代表性摄像距离使所述检查区域的尺寸归一化， 所述异常结构识别部使用能够识别显现于所述检查区域内的被摄体的细微结构的异 常的纹理特征量，识别显现于所述检查区域内的被摄体的细微结构是否为异常，所述纹理 特征量是按照具有被所述尺寸归一化部归一化后的尺寸的所述检查区域而确定的。
18. 根据权利要求16所述的图像处理装置，其特征在于， 所述检查区域变形部具有： 三维坐标估计部，其根据摄像距离和图像内的对应的像素的坐标，对显现于所述检查 区域内的被摄体上的至少3处基准点估计三维坐标；以及 图像转换部，其对所述检查区域实施图像转换，以使其成为从规定的距离正对地拍摄 由所述至少3处基准点确定的平面上的所述检查区域而得到的图像。
19. 根据权利要求1所述的图像处理装置，其特征在于， 所述图像由多个波长成分构成， 所述摄像距离估计部具有低吸收波长选择部，该低吸收波长选择部选择所述多个波长 成分中的在活体内的吸收或散射的程度最低的波长成分即低吸收波长成分，所述摄像距离 估计部根据所述低吸收波长成分，估计与显现于所述图像中的被摄体之间的摄像距离。
20. 根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有将在所述图像内包含的非检查对象区域排除的非检查对象 区域排除部。
21. 根据权利要求20所述的图像处理装置，其特征在于， 所述非检查对象区域为所述图像内的暗部区域、亮部区域或残渣或泡所显现的区域中 的任意一种。
22. -种图像处理方法，其特征在于，具有： 摄像距离估计步骤，估计与显现于图像中的被摄体之间的摄像距离； 检查区域设定步骤，在所述图像内设定检查区域，使得表示显现于该检查区域内的被 摄体的摄像距离的分布广度的指标位于规定的范围内；以及 异常结构识别步骤，使用纹理特征量来识别显现于所述检查区域内的被摄体的细微结 构是否为异常，所述纹理特征量是按照所述检查区域确定的，能够识别显现于所述检查区 域内的被摄体的细微结构的异常。
23. -种图像处理程序，其特征在于，使计算机执行如下步骤： 摄像距离估计步骤，估计与显现于图像中的被摄体之间的摄像距离； 检查区域设定步骤，在所述图像内设定检查区域，使得表示显现于该检查区域内的被 摄体的摄像距离的分布广度的指标位于规定的范围内；以及 异常结构识别步骤，使用纹理特征量来识别显现于所述检查区域内的被摄体的细微结 构是否为异常，所述纹理特征量是按照所述检查区域确定的，能够识别显现于所述检查区 域内的被摄体的细微结构的异常。
【文档编号】A61B1/04GK104363815SQ201380030577
【公开日】2015年2月18日 申请日期:2013年5月23日 优先权日:2012年6月12日
【发明者】神田大和, 北村诚, 河野隆志, 弘田昌士, 上山都士也 申请人:奥林巴斯株式会社