图像处理装置、图像处理方法和图像处理程序的制作方法

图像处理装置、图像处理方法和图像处理程序的制作方法
【专利摘要】本发明提供图像处理装置、图像处理方法和图像处理程序，能够在管腔内图像中区分异常部和血管，适当地检测异常部。图像处理装置(1)具有：异常候选区域检测部(110)，其从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测部(120)，其从管腔内图像中检测管状区域；连结性判定部(130)，其判定异常候选区域与管状区域是否在与管状区域类似的颜色的区域连结起来；以及异常判定部(140)，其根据连结性判定部(130)的判定结果，判定异常候选区域是否为异常部。
【专利说明】图像处理装置、图像处理方法和图像处理程序
【技术领域】
[0001]本发明涉及从对被检体的体内摄像得到的图像中检测异常部的图像处理装置、图像处理方法和图像处理程序。
【背景技术】
[0002]以往，作为被导入患者等被检体内并以非侵入的方式对活体内进行观察的医用观察装置，内窥镜得以广泛普及。近年来，开发出了如下的吞咽式内窥镜(胶囊内窥镜)，其在胶囊型的壳体内部收容摄像装置和通信装置等，将通过摄像装置进行摄像取得的图像数据无线发送到体外。
[0003]然而，在对通过这些医用观察装置对活体的管腔内摄像得到的图像(管腔内图像)进行观察和诊断时，需要较多的经验。因此，希望具备辅助医师的诊断的医疗诊断支援功能。
[0004]作为实现这种功能的图像识别技术之一，提出了通过从图像中自动检测异常部，从而重点提示应该诊断的图像的技术。例如，在专利文献I公开了如下方法，从断层像内的肺野区域提取出异常阴影的候选和血管阴影，将异常阴影的候选与血管阴影重叠的部分从该异常阴影的候选中删除，从而适当地检测异常部。 [0005]现有技术文献 [0006]专利文献
[0007]专利文献1:日本特开2002-291733号公报
【发明内容】

[0008]发明要解决的问题
[0009]然而，在管腔内图像中，在异常部的候选区域中血管密集的情况下，候选区域周边的外形有时不为管状。这种情况下，在专利文献I公开的方法中，血管未被检测为血管，结果可能导致无法适当地检测异常部。
[0010]本发明就是鉴于上述情况而完成的，其目的在于提供图像处理装置、图像处理方法和图像处理程序，能够在管腔内图像中区分异常部和血管，并适当地检测异常部。
[0011]用于解决问题的手段
[0012]为了解决上述课题并达成目的，本发明的图像处理装置的特征在于，其具有:异常候选区域检测单元，其从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测单元，其从所述管腔内图像中检测管状区域；连结性判定单元，其判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定单元，其根据所述连结性判定单元的判定结果，判定所述异常候选区域是否为所述异常部。
[0013]本发明的图像处理方法的特征在于，其具有:异常候选区域检测步骤，从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测步骤，从所述管腔内图像中检测管状区域；连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。
[0014]本发明的图像处理程序的特征在于，其使计算机执行如下步骤:异常候选区域检测步骤，从对被检体的管腔内摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测步骤，从所述管腔内图像中检测管状区域；连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。
[0015]发明的效果
[0016]根据本发明，对于从管腔内图像中检测到的异常候选区域，判定该异常候选区域是否通过与管状区域类似的颜色的区域被连结，根据该判定结果，判定该异常候选区域是否为异常部，因此能够区分异常部与血管，适当地检测异常部。
【专利附图】

【附图说明】
[0017]图1是表示本发明第I实施方式的图像处理装置的结构的框图。
[0018]图2是表示图1所示的图像处理装置的动作的流程图。
[0019]图3是表示作为 图1所示的图像处理装置的处理对象的图像的一例的示意图。
[0020]图4是表示图1所示的管状区域检测部的详细动作的流程图。
[0021]图5是表示图1所示的连续性判别部的动作的流程图。
[0022]图6A是用于说明图1所示的连续性判别部执行的处理的图。
[0023]图6B是用于说明图1所示的连续性判别部执行的处理的图。
[0024]图6C是用于说明图1所示的连续性判别部执行的处理的图。
[0025]图7是表示图1所示的连结性判定部的动作的流程图。
[0026]图8A是用于说明图1所示的连结性判定部执行的处理的图。
[0027]图SB是用于说明图1所示的连结性判定部执行的处理的图。
[0028]图SC是用于说明图1所示的连结性判定部执行的处理的图。
[0029]图9是表示第I实施方式的变形例的连结性判定部的结构的框图。
[0030]图10是表示图9所示的连结性判定部的动作的流程图。
[0031]图11是用于说明图9所示的连结性判定部执行的处理的示意图。
[0032]图12是表示第2实施方式的图像处理装置的结构的框图。
[0033]图13是表示图12所示的连结性判定部的动作的流程图。
【具体实施方式】
[0034]以下，参照【专利附图】

【附图说明】本发明的实施方式的图像处理装置、图像处理方法和图像处理程序。另外，本发明不限于这些实施方式。此外，在各附图的记载中，对相同部分赋予同样的符号进行表示。
[0035]在以下的实施方式中，作为一例，说明以下图像处理:从通过胶囊内窥镜等医用观察装置对被检体的管腔内摄像而取得的管腔内图像(以下简称为图像)中区分异常部与血管区域，检测异常部。另外，在以下的实施方式中，作为图像处理的对象的管腔内图像是在各像素位置中具备对于R(红)、G (绿)、B (蓝)的各颜色成分(波长成分)的像素级(Pixellevel)(像素值)的彩色图像。
[0036](第I实施方式)
[0037]图1是表示本发明第I实施方式的图像处理装置的结构的框图。图1所示的图像处理装置I具有控制图像处理装置I的整体动作的控制部10、取得与通过胶囊内窥镜等医用观察装置摄像得到的图像对应的图像数据的图像取得部20、受理从外部输入的输入信号的输入部30、进行各种显示的显示部40、储存由图像取得部20取得的图像数据和各种程序的记录部50、对图像数据执行规定的图像处理的运算部100。
[0038]控制部10是通过CPU等硬件实现的，通过读入在记录部50中存储的各种程序，按照从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行向构成图像处理装置I的各部的指 示和数据的转送等，总括地控制图像处理装置I整体的动作。
[0039]根据包含医用观察装置的系统的方式适当构成图像取得部20。例如，在医用观察装置为胶囊内窥镜，并且使用移动式记录介质用于与医用观察装置之间的图像数据的交换的情况下，图像取得部20由以拆装自由的方式安装该记录媒体并读出所保存的管腔内图像的图像数据的读出装置构成。此外，在设置了预先保存由医用观察装置摄像得到的管腔内图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信并取得管腔内图像的图像数据。或者，还可以由从内窥镜等医用观察装置经由缆线输入图像信号的接口装置等构成图像取得部20。
[0040]输入部30例如由键盘和鼠标、触摸面板、各种开关等输入设备实现，将所受理的输入信号输出到控制部10。
[0041]显示部40由IXD或EL显示器等显示装置实现，在控制部10的控制之下，显示包含管腔内图像的各种画面。
[0042]记录部50由能够更新记录的闪存等ROM或RAM等各种IC存储器、内置或通过数据通信端子连接的硬盘或者CD-ROM等信息记录装置及其读取装置等实现。记录部50除了记录由图像取得部20取得的管腔内图像的图像数据之外，还记录用于使图像处理装置I进行工作并使图像处理装置I执行各种功能的程序、在该程序的执行中使用的数据等。具体而言，记录部50记录用于使该图像处理装置I执行从管腔内图像中检测异常部的图像处理的图像处理程序51。
[0043]运算部100通过CPU等硬件实现，通过读入图像处理程序51对与管腔内图像对应的图像数据实施图像处理，进行用于从管腔内图像中检测异常部的各种运算处理。
[0044]接着，说明运算部100的详细结构。
[0045]如图1所示，运算部100具有从图像中检测作为异常部的候选的异常候选区域的异常候选区域检测部110、从图像中检测管状区域的管状区域检测部120、判定异常候选区域与管状区域是否通过与管状区域类似的颜色的区域连结起来的连结性判定部130、根据该连结性判定部130的判定结果，判定从图像中检测出的异常候选区域是否为异常部的异常判定部140。这里，在本申请中，与管状区域类似的颜色的区域是具有管状区域的颜色特征量附近的颜色特征量的区域，更具体是指，规定的波长成分(例如，R成分)、规定的波长成分的变化量(边缘强度)、规定的颜色特征量(例如G/R值)或规定的颜色特征量的变化量(微分值)这样的值处于从管状区域的对应的值起的规定的范围内的区域。
[0046]其中，管状区域检测部120具有:管状候选区域检测部121，其根据图像内的各像素的颜色特征量来检测管状区域的候选即管状候选区域；外形判别部122，其根据管状候选区域的外形，判别该管状候选区域是否为管状区域；连续性判别部123，其根据管状候选区域的周围区域的像素值的连续性，判别该管状候选区域是否为管状区域。更具体地讲，外形判别部122具有用于计算管状候选区域的面积的面积计算部122a、用于计算管状候选区域的周长的周长计算部122b。此外，连续性判别部123包括:垂直方向计算部123a，其计算图像的面内的相对于管状候选区域的长度方向的垂直方向；近似函数计算部123b，其计算在该垂直方向上对管状候选区域的两侧的像素值变化分别进行近似的近似函数；差分计算部123c，其计算垂直方向上的同一坐标的近似函数的值的差分。
[0047]连结性判定部130具有:计算异常候 选区域与管状区域之间的区域的特征量(以下称之为区域间特征量)的区域间特征量计算部131、根据区域间特征量来判别异常候选区域与管状区域之间的连结性的区域间特征量判别部132。更具体而言，区域间特征量计算部131包含:用于计算在异常候选区域与管状区域之间进行插值的插值线的插值线计算部131a、用于计算插值线上的特征量的线上特征量计算部131b。其中，线上特征量计算部131b包含最大边缘强度计算部131b-l、最大颜色边缘强度计算部131b-2、平均颜色特征量计算部131b-3。最大边缘强度计算部131b-l计算插值线上的边缘强度、即在插值线上相邻的像素间或规定间隔的像素间的像素值变化(微分值)的最大值。最大颜色边缘强度计算部131b-2计算插值线上的颜色边缘强度、即在插值线上相邻的像素间或规定间隔的像素间的颜色特征量的变化(微分值)的最大值。平均颜色特征量计算部131b-3计算插值线上的颜色特征量的平均值。
[0048]接着，说明图像处理装置I的动作。图2是表示图像处理装置I的动作的流程图。此外，图3是表示作为图像处理装置I的处理对象的图像的一例的示意图。如图3所示，在图像Ml中可观察到粘膜Mem、状态与周围的粘膜不同的区域Al、呈管状细长延伸的区域BI ~B4。
[0049]首先，在步骤SlO中，图像取得部20取得被检体的管腔内图像并将其储存于记录部50。运算部100从记录部50中依次读入作为处理对象的图像(例如，图像Ml)。
[0050]在步骤Sll中，异常候选区域检测部110从图像中检测异常候选区域。作为异常候选区域的检测方法，可使用已知的各种方法。例如，将图像内的各像素的像素值映射到基于各像素的颜色信息的特征空间中，在特征空间内进行聚类(Clustering)后，根据各集群(Cluster)的位置和平均值(即重心坐标)等信息确定正常粘膜集群和异常部集群，从而能够检测异常部的候选区域(例如参照日本特开2005-192880号公报)。
[0051]在接下来的步骤S12中，管状区域检测部120从图像中检测血管候选区域之后，根据血管候选区域的形状和血管候选区域周围的像素值变化的连续性，判别该血管候选区域是否为血管区域，从而检测血管区域。作为血管候选区域的检测方法，可使用已知的各种方法。在本第I实施方式中，通过以下说明的方法检测血管候选区域。图4是表示步骤S12中管状区域检测部120的详细动作的流程图。
[0052]首先，在步骤S120中，管状候选区域检测部121从图像中检测血管候选区域。具体而言，执行使用血管模型的模板的模板匹配，提取基于匹配结果的结构成分(例如参照日本特开2004-181096号公报)。
[0053]在接下来的步骤S121中，管状候选区域检测部121对检测到的血管候选区域进行标记(Labeling)处理。然后，对各血管候选区域进行判别该血管候选区域是否为血管区域的循环B的处理。
[0054]即，在步骤S122中，外形判别部122使面积计算部122a计算血管候选区域的面积A，并且使周长计算部122b计算血管候选区域的周长L。然后，在步骤S123中，外形判别部122计算面积A与周长L的比率L/A，判别该比率L/A是否在规定的阈值以上。
[0055]另外，步骤S123中的处理相当于判别血管候选区域的外形是否为管状的处理，是用于去除发红等并非管状的区域而执行的。因此，只要是能够判别外形是否为管状的方法即可，也可以使用除此之外的方法。例如，也可以是，将用下式(I)和(2)计算出的值L1、L2(L1 > L2)的比率L1/L2与规定的阈值比较，从而判别该血管候选区域的外形是否为管状。
[0056]L1XL2 = A...(I)
[0057]2(L1+L2) = L...(2)
[0058]在步骤S123中判定的结果为判定为比率L/A小于阈值的情况下(步骤S123:否)，外形判别部122判别为该血管候选区域并非血管区域(步骤S124)。
[0059]另一方面，在判定为比率L/A为阈值以上的情况下(步骤S123:是)，连续性判别部123进而计算表示该血管候选区域的周围的像素值的连续性的值(步骤S125)。更具体地讲，计算表示隔着血管候选区域的两侧的粘膜区域的像素值是否连续变化的值。图5是表示步骤S125中连续性判别部123的详细动作的流程图。此外，图6A~图6C是用于说明连续性判别部123执行的处理的图。其中，图6A对应于图3所示的图像Ml的一部分。
[0060]在步骤s01中，垂直方向计算部123a计算在图像的面内与血管候选区域的长度方向垂直的方向。这里，例如可以在血管候选区域上的各像素中计算海赛(Hessian)矩阵的第2固有矢量的方向，作为垂直方向。海赛矩阵是使用位置坐标U、y)处的像素的像素值I并根据下式(3)而提供的矩阵。
[0061][式I]
[0062]
【权利要求】
1.一种图像处理装置，其特征在于，该图像处理装置具有: 异常候选区域检测单元，其从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域； 管状区域检测单元， 其从所述管腔内图像中检测管状区域； 连结性判定单元，其判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及 异常判定单元，其根据所述连结性判定单元的判定结果，判定所述异常候选区域是否为所述异常部。
2.根据权利要求1所述的图像处理装置，其特征在于，所述连结性判定单元具有: 区域间特征量计算单元，其计算所述异常候选区域与所述管状区域之间的区域的特征量即区域间特征量；以及 区域间特征量判别单元，其根据所述区域间特征量判别所述异常候选区域与所述管状区域之间的连结性。
3.根据权利要求2所述的图像处理装置，其特征在于，所述区域间特征量计算单元包含: 插值线计算单元，其计算在所述异常候选区域与所述管状区域之间进行插值的插值线；以及 线上特征量计算单元，其计算所述插值线上的特征量。
4.根据权利要求3所述的图像处理装置，其特征在于， 所述线上特征量计算单元包含最大边缘强度计算单元，该最大边缘强度计算单元计算所述插值线上的像素值变化的最大值。
5.根据权利要求3所述的图像处理装置，其特征在于， 所述线上特征量计算单元包含最大颜色边缘强度计算单元，该最大颜色边缘强度计算单元计算所述插值线上的颜色特征量的变化的最大值。
6.根据权利要求3所述的图像处理装置，其特征在于， 所述线上特征量计算单元包含平均颜色特征量计算单元，该平均颜色特征量计算单元计算所述插值线上的颜色特征量的平均值。
7.根据权利要求1所述的图像处理装置，其特征在于，所述连结性判定单元具有: 类似颜色区域检测单元，其从所述管腔内图像中检测与所述管状区域类似的颜色的区域即类似颜色区域；以及 重复判定单元，其判定所述异常候选区域和所述管状区域的像素位置是否与所述类似颜色区域存在重复。
8.根据权利要求7所述的图像处理装置，其特征在于，所述类似颜色区域检测单元包含: 平均颜色特征量计算单元，其计算所述管状区域的颜色特征量的平均值； 阈值设定单元，其根据所述颜色特征量的平均值设定阈值；以及 阈值处理单元，其根据所述阈值对所述管腔内图像进行阈值处理。
9.根据权利要求2所述的图像处理装置，其特征在于， 所述连结性判定单元还具有存在方向判定单元，该存在方向判定单元判定所述异常候选区域是否存在于所述管状区域的延长方向上。
10.根据权利要求9所述的图像处理装置，其特征在于，所述存在方向判定单元包含: 近似函数计算单元，其计算对所述管状区域的形状进行近似的位置坐标的函数； 附近区域检测单元，其在所述管腔内图像中检测与所述函数相距规定的距离的范围内的附近区域；以及 附近区域内存在判定单元，其判定在所述附近区域内是否存在异常候选区域。
11.根据权利要求1所述的图像处理装置，其特征在于，所述管状区域检测单元具有: 管状候选区域检测单元，其根据所述管腔内图像的颜色特征量检测所述管状区域的候选即管状候选区域；以及 连续性判别单元，其根据所述管状候选区域的周围区域的像素值的连续性，判别所述管状候选区域是否为所述管状区域。
12.根据权利要求11所述的图像处理装置，其特征在于， 所述连续性判别单元具有: 垂直方向计算单元，其计算所述图像的面内的与所述管状候选区域的长度方向垂直的垂直方向； 近似函数计算单元，其计算分别对所述垂直方向上的所述管状候选区域的两侧的像素值变化进行近似的近似函数；以及 差分计算单元，其计算所述垂直方向上的同一坐标处的所述近似函数的值的差分， 根据所述差分对所述管状候选区域进行判别。
13.根据权利要求1所述的图像处理装置，其特征在于，所述管状区域检测单元具有: 管状候选区域检测单元，其根据所述管腔内图像的颜色特征量检测所述管状区域的候选即管状候选区域；以及 外形判别单元，其根据所述管状候选区域的外形判别所述管状候选区域是否为所述管状区域。
14.根据权利要求13所述的图像处理装置，其特征在于，所述外形判别单元包含: 面积计算单元，其计算所述管状候选区域的面积；以及 周长计算单元，其计算所述管状候选区域的周长， 根据所述面积和所述周长对所述管状区域进行判别。
15.一种图像处理方法，其特征在于，该图像处理方法包含: 异常候选区域检测步骤，从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域； 管状区域检测步骤，从所述管腔内图像中检测管状区域； 连结性判定步骤，判定所述异常候选区域与所述管状区域是否通过与所述管状区域类似的颜色的区域连结起来；以及 异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。
16.一种图像处理程序，其特征在于，该图像处理程序使计算机执行如下步骤: 异常候选区域检测步骤，从对被检体的管腔内进行摄像得到的管腔内图像中检测作为异常部的候选的区域即异常候选区域；管状区域检测步骤，从所述管腔内图像中检测管状区域； 连结性判定步骤，判定所述异常候选区域与所述管状区域是否在与所述管状区域类似的颜色的区域连结起来；以及 异常判定步骤，根据所述连结性判定步骤的判定结果，判定所述异常候选区域是否为所述异常部。
【文档编号】A61B1/00GK103945755SQ201280057135
【公开日】2014年7月23日 申请日期:2012年11月21日 优先权日:2011年11月25日
【发明者】弘田昌士, 神田大和, 北村诚, 河野隆志 申请人:奥林巴斯株式会社