专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及从对象图像检测轮廓边缘的图像处理装置和图像处理方法。
背景技术：
通常，图像内的边缘检测是通过检测梯度变化最大的位置(梯度陡峭、该梯度强度的值与周围相比较大的位置)来进行的，基本上，是通过根据图像的亮度值的梯度来计算梯度强度，对该梯度强度进行阈值处理(thresholding)来进行检测。在使用这样的边缘检测方法来从图像中检测轮廓边缘时，存在这样的情况由于边缘检测算法的精度、噪声、 图像的不鲜明(模糊)等要因、或者主观的轮廓部等而使轮廓边缘发生中断。作为用于连接这样的中断而离散的轮廓边缘的方法，以往使用动态轮廓法和边缘跟踪法等。然而，在使用以往的动态轮廓法的方法中，存在不能适当区别应连接的边缘与噪声边缘的问题。另一方面，边缘跟踪法是根据边缘的延伸方法或微分的正交方向等信息来跟踪边缘的方法，由于依赖于局部信息，因而存在跟踪不了不耐噪声的应连接的边缘的情况。作为用于解决这样的现有问题的技术，例如在日本特开2009-15735号公报中示出了一种适当地判别边缘的切断位置的对应关系来连接边缘的方法。在该日本特开 2009-15735号公报的技术中，首先，将计测区域分割成多个分割小区域，对各小区域赋予编号。接着，对各边缘赋予单独的边缘标签。接着，从各小区域内包含的边缘的分布中提取存在中断的边缘的小区域。接着，在提取出的小区域中，根据附近的边缘标签估计出应连接的边缘。然后，使用贝济埃(Bezier)曲线等将估计为应连接的边缘之间平滑连接。在上述的日本特开2009-15735号公报中，在应连接的边缘的估计中使用边缘间的距离、各边缘的方向、边缘与其连接部分的平滑度等。因此，在应连接的边缘间有距离的情况下，或在应连接的边缘的方向发生偏差的情况下，以及在应连接的边缘与其连接部分不平滑的情况下，存在误选择应连接的边缘的可能性。
发明内容
本发明就是鉴于上述情况而完成的，本发明的目的是提供一种可适当连接中断的轮廓边缘的图像处理装置和图像处理方法。本发明的一个方面涉及的图像处理装置具有轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测部，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成部，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值部，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。
并且，本发明的另一方面涉及的图像处理方法包括轮廓候选边缘检测步骤，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测步骤，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成步骤，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地， 根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值步骤，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。将以下的本发明的详细说明与附图对照起来阅读，能够进一步加深对于上述内容和本发明的其他目的、特征、优点以及技术和产业上的意义的理解。
图1是说明实施方式1的图像处理装置的功能结构例的框图。图2是说明实施方式1的轮廓候选边缘检测部的结构例的框图。图3是说明实施方式1的插值线生成部的结构例的框图。图4是示出实施方式1的图像处理装置进行的处理过程的流程图。图5是示出实施方式1中的轮廓候选边缘检测处理的详细处理过程的流程图。图6是说明轮廓边缘的检测原理的图。图7是示出实施方式1中的插值线生成处理的详细处理过程的流程图。图8是示出关注像素和关注像素的8个附近像素的图。图9是说明初始插值线生成原理的图。图10是说明初始插值线生成原理的另一图。图11是说明初始插值线生成原理的又一图。图12是示出实施方式1中的初始插值线生成处理的详细处理过程的流程图。图13是说明初始插值线决定处理的图。图14是示出实施方式1中的插值线最优化处理的详细处理过程的流程图。图15是说明初始插值线最优化处理的图。图16是说明实施方式1的变形例1中的轮廓候选边缘检测部的结构例的框图。图17是示出变形例1中的轮廓候选边缘检测处理的详细处理过程的流程图。图18是说明分支边缘去除处理的图。图19是说明变形例2中的插值线生成部的结构例的框图。图20是说明实施方式2的图像处理装置的功能结构例的框图。图21是说明实施方式2的轮廓边缘插值部的结构例的框图。图22是示出实施方式2的图像处理装置进行的处理过程的整体流程图。图23是示出实施方式2中的轮廓边缘插值处理的详细处理过程的流程图。图M是示出应用了本发明的计算机系统的结构的系统结构图。图25是示出构成图M的计算机系统的主体部的结构的框图。
具体实施例方式以下，参照
本发明的优选实施方式。另外，本发明不受该实施方式限定。 并且，在各附图的记载中，对相同部分标注相同符号来表示。本实施方式的图像处理装置是例如以内窥镜或胶囊内窥镜等医用观察装置拍摄被检者体内的消化道等管腔内部而得到的图像(管腔内部图像)作为对象图像进行处理的装置，具体地说，是用于进行从管腔内部图像检测粘膜结构等的轮廓边缘、并连接中断的轮廓边缘的处理的装置。这里，本实施方式的图像处理装置所处理的管腔内部图像例如是每个像素都具备针对R(红)、G(绿)、B(蓝)的各波长成分的像素值的彩色图像。该管腔内部图像主要拍摄了粘膜结构等活体组织的表面结构。以下，以从管腔内部图像检测粘膜结构等的轮廓边缘并连接中断的轮廓边缘的情况为例进行说明。另外，对象图像不限定于在本实施方式中例示的管腔内部图像，可广泛应用于从对象图像检测轮廓边缘并连接中断的轮廓边缘的情况。实施方式1首先，说明实施方式1的图像处理装置。图1是说明实施方式1的图像处理装置 1的功能结构例的框图。并且，图2是说明实施方式1的轮廓候选边缘检测部16的结构例的框图，图3是说明实施方式1的插值线生成部18的结构例的框图。另外，在图1 图3 中，用实线示出将图像处理装置1的各部分之间连接来传送图像信号等数据信号的数据信号线，用虚线示出传送控制信号的控制信号线。如图1所示，实施方式1的图像处理装置1具有外部接口(I/F)部11，操作部12， 显示部13，记录部14，运算部15，以及控制图像处理装置1整体的动作的控制部20。外部I/F部11用于取得由内窥镜或胶囊内窥镜等医用观察装置所拍摄的管腔内部图像的图像数据，通过该外部I/F部11所取得的图像数据被记录在记录部14内，通过运算部15进行处理，之后根据需要适当显示在显示部13上。例如在将可移动型记录介质用于与医用观察装置之间的图像数据交接的情况下，外部I/F部11由读取装置构成，该读取装置可自由拆装地安装该记录介质，并读取所保存的管腔内部图像的图像数据。并且，当采用在合适的场所设置预先保存了由医用观察装置拍摄的管腔内部图像的图像数据的服务器并从该服务器取得图像数据的结构的情况下，外部I/F部11由用于与服务器连接的通信装置等构成。而且，通过该外部I/F部11与服务器进行数据通信，取得管腔内部图像的图像数据。并且，当采用经由电缆从医用观察装置取得图像数据的结构的情况下，外部I/F部 11由输入图像数据的接口装置等构成。操作部12例如由键盘、鼠标、触摸面板、各种开关等实现，向控制部20输出操作信号。显示部13由IXD或EL显示器等显示装置实现，在控制部20的控制下，显示包含由胶囊内窥镜等医用观察装置拍摄的图像的显示画面在内的各种画面。记录部14由能够更新记录的闪速存储器等称为ROM或RAM的各种IC存储器、内置或通过数字通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等实现，记录有用于使图像处理装置1进行动作实现该图像处理装置1具备的各种功能的程序、和在该程序的执行中使用的数据等。例如，在记录部14内记录有由外部I/F部11取得的管腔内部图像的图像数据。并且，在记录部14内还记录有用于实现实施方式1的处理并从管腔内部图像检测粘膜结构等的轮廓边缘、连接中断的轮廓边缘的图像处理程序141。
运算部15由CPU等硬件实现，进行用于处理管腔内部图像并检测粘膜结构等的轮廓边缘、连接中断的轮廓边缘的各种运算处理。该运算部15具有轮廓候选边缘检测部16， 轮廓边缘检测部17，以及插值线生成部18。这里，轮廓候选边缘检测部16、轮廓边缘检测部 17以及插值线生成部18按该顺序连接。并且，经由外部I/F部11取得且被记录在记录部 14内的管腔内部图像的图像信号被输入到轮廓候选边缘检测部16。而且，从插值线生成部 18输出由运算部15的各部对管腔内部图像进行处理所获得的插值轮廓边缘的信息(插值轮廓边缘图像)，该信息例如被记录在记录部14内。轮廓候选边缘检测部16从成为处理对象的管腔内部图像检测轮廓候选边缘。如图2所示，该轮廓候选边缘检测部16具有线边缘提取部161和轮廓候选边缘选择部162。线边缘提取部161根据管腔内部图像的各像素的梯度强度提取线边缘。这里，线边缘是指宽度为1像素的边缘。轮廓候选边缘选择部162选择由线边缘上的像素中的、管腔内部图像中的平坦区域(梯度变化小且平坦的区域)外的像素构成的线边缘部分作为轮廓候选边缘。按以上构成的轮廓候选边缘检测部16将轮廓候选边缘输出到轮廓边缘检测部17。轮廓边缘检测部17对从轮廓候选边缘检测部16输入的轮廓候选边缘上的各像素的梯度强度进行阈值处理，检测轮廓边缘。该轮廓边缘检测部17将检测出的轮廓边缘与轮廓候选边缘一起输出到插值线生成部18。插值线生成部18生成对轮廓边缘的中断进行插值的插值线。在实施方式1中，生成对轮廓边缘的端点之间进行连接的插值线。如图3所示，该插值线生成部18具有端点检测部181，端点对选择部182，初始插值线生成部183，以及插值线最优化部186。端点检测部181检测从轮廓边缘检测部17输入的轮廓边缘的端点。端点对选择部182选择由端点检测部181检测出的端点中的2个作为端点对。在实施方式1中，针对轮廓边缘的每个端点，选择作为连接对象的至少一个其他轮廓边缘的端点，作为端点对。初始插值线生成部183生成对由端点对选择部182所选择的端点对之间进行连接的插值线的初始路径(以下适当称为“初始插值线”)。该初始插值线生成部183具有近似曲面生成部184和初始插值线决定部185。近似曲面生成部184根据管腔内部图像的各像素的像素值，生成对该像素值的变化进行了近似的近似曲面。初始插值线决定部185根据由近似曲面生成部184所生成的近似曲面决定初始插值线。插值线最优化部186将插值线的初始路径(初始插值线)最优化为使由插值线上的像素的梯度强度(像素值梯度)所决定的成本值(以下称为“梯度成本”)最小的路径。 例如，插值线最优化部186应用公知的动态轮廓法(蛇形法)来最优化初始插值线，获得插值线。该插值线最优化部186具有控制点设定部187和插值线更新部188。控制点设定部 187在初始插值线上设定控制点。插值线更新部188针对控制点设定部187所设定的每个控制点计算梯度成本，使各控制点移动来更新插值线的初始路径，以使该梯度成本变小。按以上构成的插值线生成部18利用所生成的插值线、和通过该插值线连接的轮廓边缘形成插值轮廓边缘，将以各像素的像素值作为表示是否是插值轮廓边缘上的像素的标志信息的插值轮廓边缘图像输出到例如记录部14进行保存。控制部20由CPU等硬件实现。该控制部20根据经由外部I/F部11取得的图像数据和从操作部12输入的操作信号、记录在记录部14内的程序和数据等，对构成图像处理装置1的各部分进行指示和数据的传送等，统一控制图像处理装置1整体的动作。图4是示出实施方式1的图像处理装置1进行的处理过程的整体流程图。另外， 这里说明的处理是通过由图像处理装置1的各部分按照记录在记录部14内的图像处理程序141进行动作来实现的。如图4所示，首先，控制部20执行图像取得处理，取得处理对象的管腔内部图像 (步骤al)。通过这里的处理，经由外部I/F部11取得管腔内部图像的图像数据，将其记录在记录部14内。在这样取得图像数据之后，该管腔内部图像的图像数据处于可由运算部15 读入的状态。以下，以管腔内部图像的左上部为基准，设横向的像素坐标为X，设纵向的像素坐标为1。接着，在运算部15中，轮廓候选边缘检测部16执行轮廓候选边缘检测处理(步骤 a3)。在该轮廓候选边缘检测处理中，计算各像素的梯度强度。然后，根据计算出的各像素的梯度强度，检测在梯度方向相同的区域即梯度范围内梯度变化最大的位置(脊)，获得轮廓候选边缘。图5是示出实施方式1中的轮廓候选边缘检测处理的详细处理过程的流程图。如图5所示，在轮廓候选边缘检测处理中，首先，轮廓候选边缘检测部16的线边缘提取部161执行噪声去除处理，从管腔内部图像中去除噪声(步骤bl)。该噪声去除处理例如可通过对在图4的步骤al所取得的管腔内部图像的图像数据进行保存了边缘的平滑化处理来实现。这里，例如使用对于尖峰噪声强的中值(Median)滤波器进行平滑化处理。这是因为，在管腔内部图像中，作为与尖峰噪声相当的噪声区域，可能会包含产生基于照明光的正面反射的区域(正面反射区域)。作为滤波器尺寸，例如采用11X11的规格。在管腔内部图像中，除了粘膜结构的轮廓边缘之外，还包括例如粘膜表面的柔毛(绒毛)等导致的凹凸和因为基于照明光的正面反射区域等而产生的边缘(噪声边缘)。根据步骤bl的噪声去除处理，可抑制上述的噪声边缘，可减少轮廓边缘的误检测。另外，不限于中值滤波器，例如还可以进行例如使用k最邻近平均化滤波器或双向(Bilateral)滤波器等其他边缘保存型滤波器的平滑化处理。接着，线边缘提取部161执行结构信息取得处理，根据在步骤bl的噪声除去处理后的管腔内部图像的图像数据，取得粘膜结构表面的形状变化信息(结构信息)(步骤b3)。 作为管腔内部图像所拍摄的血管和出血部位等结构成分的血红蛋白具备吸收较多的短波长频带光的特性。通过该血红蛋白在短波长频带的吸光特性，波长成分大多由短波长频带构成的G(绿)成分和B(蓝)成分由于血红蛋白的吸光而使得亮度值降低。因此，在管腔内部图像中可能包含血管和出血部位等作为噪声边缘。另一方面，波长成分大多由长波长频带构成的R(红)成分的吸光较少，大部分光被反射，因而适合于用作反映了粘膜结构的信息。因此，在实施方式1中，为了在后续处理中高精度地检测出粘膜结构的轮廓边缘，取得R(红)的波长成分(R成分)的图像(R成分图像将各像素的像素值作为R(红)成分的值的图像)作为粘膜结构表面的形状变化信息。根据步骤b3的结构信息取得处理，可减少将粘膜表面的颜色变化所产生的噪声边缘误检测为轮廓边缘的情况。接着，线边缘提取部161执行线边缘提取处理(步骤b5)。作为处理过程，首先， 对在步骤b3所取得的R成分图像I (X，y)进行使用了 1阶微分滤波器的微分滤波处理，计算各像素的梯度强度g(x，y)。这里，例如使用索贝尔(sobel)滤波器，取得梯度强度图像 (以各像素的像素值作为梯度强度的值的图像)、横向成分梯度强度图像(以各像素的像素值作为梯度强度的横向成分的值的图像)、纵向成分梯度强度图像(以各像素的像素值作为梯度强度的纵向成分的值的图像)。具体来说，首先，使用例如3X3的横向(χ方向)的索贝尔滤波器和3X3的纵向 (y方向)的索贝尔滤波器，进行使用3X3的附近区域的滤波。然后，取得使用了横向索贝尔滤波器的微分滤波处理的输出sobelX(x，y)作为各像素的梯度强度的横向成分。另一方面，取得使用了纵向索贝尔滤波器的微分滤波处理的输出sobelYU，y)作为各像素的梯度强度的纵向成分。之后，将这些梯度强度的横向成分和纵向成分进行合成，取得各像素的梯度强度g(x，y)。另外，不限于索贝尔滤波器，还可以使用其他微分滤波器进行微分滤波处理。然后，使用针对各像素应用了横向索贝尔滤波器的微分滤波处理的输出 sobelX(x, y)和针对各像素应用了纵向索贝尔滤波器的微分滤波处理的输出SobelY(X， y)，根据下式(1)以梯度变化最大的方向θ (χ, y)作为梯度方向，分别对各像素进行计算。 以下，将梯度变化最大的方向称为“梯度变化方向”。
(sobelY(x,y))θ(χ,γ) = arctan；
、sobelX(x,y)J⑴之后，根据各像素的梯度变化方向θ (x，y)，从梯度变化方向相同的区域即梯度范围中检测梯度强度g(x，y)的凸位置。该凸位置的检测是通过判定在梯度变化方向上连接的梯度变化方向θ (χ, y)相同的像素中、梯度强度g(x，y)的值最大的像素来进行的。据此，可提取线边缘(宽度是1像素的边缘)。接着，轮廓候选边缘选择部162执行轮廓候选边缘选择处理(步骤b7)。作为处理过程，首先，提取管腔内部图像中的平坦区域。具体地说，根据各像素的梯度强度g(x，y) 提取梯度变化小的区域，作为平坦区域。作为平坦区域的梯度强度g(x，y)的值的范围可以预先设定。然后，选择由线边缘上的像素中的、平坦区域以外的像素构成的线边缘部分作为轮廓候选边缘。之后，根据下式O)、(3)，获得将轮廓候选边缘上的像素的像素值G (X，y)设为该梯度强度g(x，y)、将除此之外的像素的像素值G(x，y)设为“O”的轮廓候选边缘梯度强度图像。在轮廓候选边缘上的像素的情况下，G (X，y) = g(x,y) ... (2)在除此之外的情况下，G (X，y) = O…(3)并且，根据下式0)、(5)，获得以各像素的像素值作为表示是否是轮廓候选边缘上的像素的标志信息的轮廓候选边缘图像，具体地说，将轮廓候选边缘上的像素的像素值 H(x,y)设为“1”、将除此之外的像素的像素值H(x，y)设为“O”的轮廓候选边缘图像。在轮廓候选边缘上的像素的情况下，H(x, y) = 1 . . . (4)在除此之外的情况下，H(x,y) = 0…(5)在按以上执行了轮廓候选边缘选择处理的情况下，回到图4的步骤a3，之后转移到步骤a5。然后，在步骤a5中，轮廓边缘检测部17执行轮廓边缘检测处理。在该轮廓边缘检测处理中，从在步骤a3检测出的轮廓候选边缘上的像素中去除梯度强度g(x，y)的值小的像素，使成为轮廓边缘的像素范围缩小。例如，轮廓边缘检测部17进行滞后(hysteresis)阈值处理O阶阈值处理)，检测轮廓边缘。图6(a)是示出在图4的步骤a3检测出的轮廓候选边缘的一例的示意图，示出3个轮廓候选边缘EL1、EL21、EL22。并且，图6 (b)和图6(c)以横轴作为图6(a)中的轮廓候选边缘ELl上的坐标(x，y)，以纵轴作为相应的各像素的梯度强度g(x，y)的值，示出图6(a) 中的轮廓候选边缘ELl上的梯度强度g(x，y)的变化曲线。轮廓边缘检测部17首先通过使用图6(b)中所示的第1阈值对轮廓候选边缘ELl上的梯度强度g(x，y)进行阈值处理，将梯度强度g(x，y)在阈值以上的范围，具体地说，图6(a)所示的轮廓候选边缘ELl上的像素 P13 像素P14的范围作为轮廓边缘。接着，轮廓边缘检测部17使用值比图6(c)中所示的第1阈值小的第2阈值对轮廓候选边缘ELl上的梯度强度g(x，y)进行阈值处理，进一步检测梯度强度g(x，y)在第2阈值以上的像素中的、与在使用了第1阈值的阈值处理中检测出的范围的端点即像素P13、P14连续而未中断的轮廓候选边缘ELl上的像素，具体地说，即像素Pll 像素P13和像素P14 像素P15的范围作为轮廓边缘，最终将轮廓候选边缘ELl 上的像素P13 像素P15的范围作为轮廓边缘。对于像素P15 像素Pll的范围，不检测为轮廓边缘。另外，对于轮廓候选边缘EL21、EL22，也同样地检测轮廓边缘。之后，根据下式(6)、(7)，获得以各像素的像素值作为表示是否是轮廓边缘上的像素的标志信息的轮廓边缘图像，具体地说，将轮廓边缘上的像素的像素值C (x，y)设为“1”、 将除此之外的像素的像素值C(x，y)设为“0”的轮廓边缘图像。在轮廓边缘上的像素的情况下，C(x,y) = 1 ... (6)在除此之外的情况下，C(x,y) = 0…(7)另外，作为具体实现以上说明的线边缘提取处理(图5的步骤b5)和轮廓边缘检测处理(图4的步骤始)的算法，可使用公知的坎尼边缘检测算法(Canny edge detector/ 参考CG-ARTS協会、〒λ ”夕义画像処理、209Ρ-輪郭線検出)。接着，插值线生成部18执行插值线生成处理(步骤a7)。图7是示出实施方式1 中的插值线生成处理的详细处理过程的流程图。如图7所示，在插值线生成处理中，首先， 插值线生成部18的端点检测部181执行端点检测处理，检测轮廓边缘的端点(步骤cl)。这里，依次关注轮廓边缘上的像素，判别周围(例如8个附近像素)的轮廓边缘上的像素的存在图形，从而检测轮廓边缘的端点。图8是示出关注的轮廓边缘上的像素(关注像素)P3和该关注像素P3的8附近像素的图。在端点检测处理中，为了识别关注像素P3 的8附近像素，如图8中的8附近像素的各网格所示，将各自的坐标从左上起绕右设定为a、 b、c、d、e、f、g、h。然后，在该8附近像素a h中的任一个是轮廓边缘上的像素的情况下 (条件1)，将关注像素P3判定为端点。例如，在8附近像素a h中的仅8附近像素a是轮廓边缘上的像素的情况下，将关注像素P3判定为端点。关于8附近像素b h也是一样。而且，在附近像素a h中的相邻的2个像素是轮廓边缘上的像素的情况下(条件2)，将关注像素P3判定为端点。例如，在8附近像素a h中的相邻的8附近像素a、b 这两个是轮廓边缘上的像素的情况下，将关注像素P3判定为端点。对于8附近像素[b，c]、 [c，d]、[d，e]、[e, f]、[f，g]、[g，h]、[h，a]的相邻的2个像素的各组合，也是一样。在实际处理中，端点检测部181根据轮廓边缘图像，按照下式⑶、(9)，判定C(x， y) = 1的像素的8附近像素是否满足条件1或条件2，从而检测轮廓边缘的端点。对于C(x，y) = 1的像素，
在满足条件1或条件2的情况下，C (X，y) = 2... (8)在不满足条件1或条件2的情况下，C(x, y) = 1 ... (9)其中，条件1 C (a) +C (b) +C (c) +C (d) +C (e) +C (f) +C (g) +C (h) = 1条件2 C (a) +C (b) +C (c) +C (d) +C (e) +C (f) +C (g) +C (h) = 2且C (a) C (b) +C (b) C (c) +C (c) C (d) +C (d) C (e) +C (e) C (f) +C (f) C (g) +C (g) C (h) +C (h) C(a) = 1在上述式(8)、(9)中，将图8所示的8附近像素a h的像素值C(x，y)的合计是“1”作为条件1，根据该条件1，判定8附近像素a h中的任一个是轮廓边缘位置的情况。并且，将8附近像素a h的像素值C (x，y)的合计是“2”、且相邻的2个像素的像素值 C (x, y)相乘的值的合计是“1”作为条件2，根据该条件2，判定8附近像素中的相邻2个像素是轮廓边缘位置的情况。端点检测部181依照式(8)，针对轮廓边缘位置即C(x，y) = 1 的像素中的满足条件1或条件2的端点的像素设定为C(x，y) = 2。并且，端点检测部181 依照式(9)，针对C(x，y) = 1的像素中的既不满足条件1也不满足条件2的像素仍设定为 C (x, y) =1。另外，这里，依照式(8)、式(9)检测轮廓边缘的端点，然而检测方法不限定于此。 例如，可以通过使用端点形状(例如参照图8所说明的关注像素P3及其8附近像素a h 中的轮廓边缘上的像素的存在图形)的滤波器的匹配等来检测端点，只要能检测轮廓边缘的端点，可以适当采用别的方法。在按以上检测出轮廓边缘的端点之后，接着，如图7所示，端点对选择部182执行端点对选择处理(步骤c3)。在该端点对选择处理中，针对轮廓边缘的端点(C(x，y) = 2； 以下适当称为“连接源端点”)，从其他轮廓边缘的端点(C(x，y) =2)中选择至少一个作为连接对象的(作为画插值线的对方的)端点，将连接源端点、与如上所述针对该连接源端点选择作为连接对象的其他轮廓边缘的端点(以下适当称为“连接目的地端点”)的组合作为端点对。另外，如后所述，在针对这里所选择的端点对所生成的插值线上的每个控制点的梯度成本之和大于阈值的情况下，在步骤c9中判定为不结束处理，返回到步骤c3。在该情况下，针对该轮廓边缘的端点(连接源端点)，将连接目的地端点变更为别的轮廓边缘的端点，再次选择端点对。例如，在着眼于从图6(a)所示的轮廓候选边缘ELl检测出的轮廓边缘的一个端点即像素P15的情况下，从轮廓候选边缘EL21检测出的轮廓边缘的端点P21或从轮廓候选边缘EL22检测出的轮廓边缘的端点P22等被选择为连接目的地端点。在实际处理中，例如，将连接目的地端点与连接源端点之间的距离以及连接源端点的梯度变化方向等用作参数，根据该参数的值，在每次进行步骤c3的处理时依次从连接源端点以外的轮廓边缘的端点中选择1个作为连接目的地端点。例如，在将连接目的地端点与连接源端点之间的距离用作参数的情况下，在连接源端点的全部方位中，对于连接目的地端点与连接源端点之间的距离在预定距离内的轮廓边缘的端点(C(x，y) =2)，从最近的端点起依次选择其中的端点作为连接目的地端点。并且，在将连接源端点与连接目的地端点之间的距离以及连接源端点的梯度变化方向这两者用作参数的情况下，从轮廓边缘的端点(C(x，y) =2)中、在以垂直于连接源端点的梯度变化方向的方向为中心的放射状的范围内，从其梯度变化方向朝向与连接源端点的梯度变化方向垂直的方向或者与该垂直方向接近的方向、且与连接源端点的距离近的端点起依次选择连接目的地端点。另外，也可以仅将连接源端点的梯度变化方向用作参数，选择连接目的地端点。接着，初始插值线生成部183依次以在步骤c3所选择的端点对作为关注对象来执行初始插值线生成处理，针对全部端点对生成连接其连接源端点和连接目的地端点的初始插值线(步骤c5)。图9 图11是着眼于关注对象的端点对来说明初始插值线的生成原理的图。这里，图9是示出对管腔内部图像的各像素的像素值变化进行了近似的近似曲面C4的图，将关注对象的端点对即轮廓边缘EL41的连接源端点P41和轮廓边缘EL42的连接目的地端点 P42图示在近似曲面C4上的对应位置(ζ位置)。并且，图10是从ζ轴方向侧示出图9所示的近似曲面C4的平面图，图11是从y轴方向侧示出图9所示的近似曲面C4的侧面图。如图9 图11的各图所示，在初始插值线生成处理中，首先，根据管腔内部图像的各像素的像素值，生成对该像素值的变化进行了近似的近似曲面C4。然后，求出包含关注对象的端点对即连接源端点P41和连接目的地端点P42的平面P4 (关于该平面P4的详情，参照图13进行后述)与近似曲面C4的交线，生成以交线上的连接源端点P41和连接目的地端点P42作为两端的在图9和图10中由单点划线所示的线段作为初始插值线L4。图12是示出实施方式1中的初始插值线生成处理的详细处理过程的流程图。如图 12所示，在初始插值线生成处理中，首先，初始插值线生成部183的近似曲面生成部184执行近似曲面生成处理，根据管腔内部图像的像素值生成对该像素值的变化进行了近似的近似曲面(步骤dl)。这里，例如通过对管腔内部图像进行低通滤波处理，生成近似曲面。具体地说，例如进行离散余弦变换(DCT)，仅使用低维度的基底来构成近似曲面。基底的数量使用当所生成的近似曲面与管腔内部图像的亮度值之差在预定阈值以下时的基底的数量。 另外，近似曲面的生成方法不限定于此。除此之外，例如还可以进行基于最小平方法的函数近似来生成近似曲面。这里，基于最小平方法的函数近似是计算表示数据分布(管腔内部图像的各像素的像素值分布)的似然多项式的系数的公知方法。接着，初始插值线决定部185执行初始插值线决定处理，决定连接作为关注对象的端点对的连接源端点和连接目的地端点的插值线的初始路径(初始插值线)(步骤d3)。 图13是说明初始插值线决定处理的图，将关注对象的端点对的连接源端点P51和连接目的地端点P52图示于在图12的步骤dl所生成的近似曲面上的对应位置(ζ位置)。另外，在图13中，省略了近似曲面的图示。在初始插值线决定处理中，首先，作为包含作为关注对象的端点对的连接源端点P51和连接目的地端点P52的平面，决定包含直线L52的平面P5，该直线L52是与通过连接源端点P51和连接目的地端点P52的直线(详细地说，通过与连接源端点P51和连接目的地端点P52的坐标(X，y)对应的近似曲面上的位置(ζ位置)的直线)L51正交、且与管腔内部图像的坐标平面即xy平面平行的直线。然后，求出所决定的平面P5与在图12的步骤dl所生成的近似曲面的交线，生成以该交线上的连接源端点P51和连接目的地端点P52作为两端的在图13中由单点划线所示的线段作为初始插值线L5。更详细地说，将由该单点划线所示的初始插值线L5上的各像素的坐标(x，y)作为初始插值线上的像素。另外，这里，生成对管腔内部图像的各像素的像素值的变化进行了近似的近似曲面来生成初始插值线，然而初始插值线的生成方法不限定于此。例如，也可以将连接端点对之间(其连接源端点和连接目的地端点之间)的直线作为初始插值线。并且，还可以使用贝济埃(Bezier)曲线等近似曲线连接端点对之间，将该近似曲线用作初始插值线。在按以上针对关注对象的端点对生成了初始插值线之后，回到图7的步骤c5，之后转移到步骤c7。然后，在步骤c7中，插值线最优化部186依次以在步骤c3所选择的端点对作为关注对象执行插值线最优化处理，对连接全部端点对的初始插值线进行最优化。如上所述，在实施方式1中，使用动态轮廓法(蛇形法)，将初始插值线最优化为梯度成本最小的路径。 图14是示出实施方式1中的插值线最优化处理的详细处理过程的流程图。并且，图15是说明初始插值线最优化处理的图，示出关注对象的端点对即轮廓边缘EL61的连接源端点P61 和轮廓边缘EL62的连接目的地端点P62、以及连接它们的初始插值线E6。如图14所示，在插值线最优化处理中，首先，插值线最优化部186的控制点设定部 187执行控制点设定处理，在连接关注对象的端点对的初始插值线上例如以一定间隔设定多个控制点(步骤el)。例如，在图15的例子中，在初始插值线E6上以等间隔设定4个控制点Pc。接下来，插值线更新部188执行插值线更新处理(步骤e3)。例如，插值线更新部 188使用在步骤el所设定的各控制点的位置处的梯度强度的值来针对每个控制点计算梯度成本，使各控制点移动来更新初始插值线，以使计算出的梯度成本之和变小。例如，如在图15中的控制点Pc-I的周围由箭头所示那样，通过使各控制点Pc朝其周围8个方向中的任一方向移动，来更新初始插值线E6。另外，在这样更新初始插值线E6时，其两端不移动， 而固定在连接源端点P61和连接目的地端点P62的位置。对梯度成本的计算进行说明，首先，求出各控制点Pc的位置处的轮廓边缘的方向。轮廓边缘的方向是这样获得的根据在其控制点Pc的位置周围(例如8个附近像素) 的轮廓边缘的信息，使用正切(tan θ )计算以水平方向为0°的角度(以-90° < θ <90° 表记)。例如，将图8所示的关注像素Ρ3设定为控制点Pc的位置。这里，假定根据轮廓边缘的信息，8附近像素a h中的8个附近像素h、d这2个是轮廓边缘上的像素。在该情况下，关注像素P3即控制点Pc的轮廓边缘的方向(θ (Ρ3))根据下式(10)得到为θ (P3) =0°。x(h)和x(d)是8附近像素h、d各自的χ坐标，y(h)和y(d)是8附近像素h、d各自的y坐标。
^abs(x(h)-x(d))J(10) 同样，根据轮廓边缘的信息，在8附近像素g、d这2个是轮廓边缘上的像素的情况下，关注像素P3即控制点Pc的轮廓边缘的方向(θ (Ρ3))根据下式(11)得到为θ (P3)= 135°。x(g)和x(d)是8附近像素g、d各自的χ坐标，y(g)和y(d)是8附近像素g、d各自的y坐标。
权利要求
1.一种图像处理装置，该图像处理装置具有轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测部，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成部，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值部，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。
2.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘是宽度为1像素的线边缘。
3.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘检测部具有分支边缘去除部，在所述边缘进行分支并且从该边缘的分支点到所述边缘的端点的长度小于预定长度的情况下，所述分支边缘去除部从所述边缘中去除小于该预定长度的从所述分支点到所述边缘的端点的边缘部分。
4.根据权利要求1所述的图像处理装置，其中，所述轮廓候选边缘检测部具有轮廓候选边缘选择部，该轮廓候选边缘选择部选择所述对象图像中的梯度变化小的平坦区域外的边缘部分作为所述轮廓候选边缘。
5.根据权利要求1所述的图像处理装置，其中，所述插值线生成部具有端点检测部，其检测所述轮廓边缘的端点；端点对选择部，其将所述轮廓边缘的端点中的一个作为所述连接源，针对作为该连接源的所述轮廓边缘的端点，选择多个作为所述连接目的地的所述其他的所述轮廓边缘的端点来作为所述多组端点对；初始插值线生成部，其生成连接所述多组端点对之间的插值线的初始路径；以及插值线最优化部，其将所述插值线的初始路径最优化为由所述插值线上的像素的像素值梯度所决定的成本值最小的路径。
6.根据权利要求5所述的图像处理装置，其中，所述端点对选择部根据距作为所述连接源的所述轮廓边缘的端点的距离和/或作为所述连接源的所述轮廓边缘的端点的梯度方向，选择作为所述连接目的地的所述其他的所述轮廓边缘的端点。
7.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部具有近似曲面生成部，其生成对所述对象图像的各像素的像素值变化进行了近似的近似曲面；以及初始插值线决定部，其决定包含如下直线的平面该直线与通过所述近似曲面上的与所述端点对的坐标对应的位置的直线正交、且与所述对象图像的坐标平面平行，将以该平面与所述近似曲面的交线上的所述端点对作为两端的线段作为所述插值线的初始路径。
8.根据权利要求7所述的图像处理装置，其中，所述近似曲面生成部通过对所述对象图像的各像素的像素值变化进行函数近似来生成所述近似曲面。
9.根据权利要求7所述的图像处理装置，其中，所述近似曲面生成部对所述对象图像进行低通滤波处理来生成所述近似曲面。
10.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部将连接所述端点对之间的直线作为所述插值线的初始路径。
11.根据权利要求5所述的图像处理装置，其中，所述初始插值线生成部将连接所述端点对之间的近似曲线作为所述插值线的初始路径。
12.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部具有控制点设定部，其在所述插值线的初始路径上以预定间隔设定控制点；以及插值线更新部，其使所述控制点移动来更新所述插值线的初始路径，使得所述控制点的所述成本值变小。
13.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部根据所述插值线上的像素处的所述轮廓边缘的方向和所述插值线上的像素处梯度的变化最大的方向计算所述成本值。
14.根据权利要求5所述的图像处理装置，其中，所述插值线最优化部具有路径搜索部，该路径搜索部使用路径搜索算法搜索所述成本值最小的路径。
15.根据权利要求1所述的图像处理装置，其中，所述轮廓边缘插值部具有梯度成本取得部，其在所述多个插值线上分别设定多个参照点，取得该设定的各参照点的所述成本值；插值线选择部，其针对所述多个插值线的各方比较所述各参照点的所述成本值，从该多个插值线中选择所述成本值在预定阈值以下且最小的插值线；以及插值轮廓边缘形成部，其使用所述插值线选择部所选择的插值线、以及以该插值线所连接的所述端点对的所述连接源作为端点的所述轮廓边缘和以所述端点对的所述连接目的地作为端点的所述其他的所述轮廓边缘形成插值轮廓边缘。
16.根据权利要求15所述的图像处理装置，其中，所述梯度成本取得部在所述多个插值线上分别设定相同数量的所述参照点。
17.一种图像处理方法，该图像处理方法包括轮廓候选边缘检测步骤，其根据对象图像的各像素的梯度强度来检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测步骤，其对所述轮廓候选边缘的梯度强度进行阈值处理，来检测轮廓边缘；插值线生成步骤，其将所述轮廓边缘的端点作为连接源，将其他的所述轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的所述轮廓边缘的端点相同、且作为连接目的地的所述其他的所述轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值步骤，其根据所述多个插值线上的像素的像素值梯度，从所述多个插值线中选择任一个插值线，使用选择的所述插值线对选择的该插值线所要连接的所述端点对之间的轮廓边缘进行插值。
全文摘要
本发明的图像处理装置具有轮廓候选边缘检测部，其根据对象图像的各像素的梯度强度检测边缘，将该边缘作为轮廓候选边缘；轮廓边缘检测部，其对轮廓候选边缘的梯度强度进行阈值处理，检测轮廓边缘；插值线生成部，其将轮廓边缘的端点作为连接源，将其他的轮廓边缘的端点作为连接目的地，根据各端点对之间的像素值梯度生成多个插值线，该多个插值线对作为连接源的轮廓边缘的端点相同、且作为连接目的地的其他的轮廓边缘的端点不同的多组端点对之间进行连接；以及轮廓边缘插值部，其根据多个插值线上的像素的像素值梯度从多个插值线中选择任一个插值线，使用选择的插值线对选择的该插值线所要连接的端点对之间的轮廓边缘进行插值。
文档编号G06T5/00GK102446349SQ20111027971
公开日2012年5月9日 申请日期2011年9月20日 优先权日2010年9月29日
发明者北村诚, 弘田昌士, 松田岳博, 河野隆志, 神田大和 申请人:奥林巴斯株式会社