基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
【技术领域】
[0001] 本发明涉及一种基于多特征融合的无线胶囊内窥镜冗余图像筛除方法，属于医学 图像处理技术领域。
【背景技术】
[0002] 无线胶囊内窥镜（Wireless Capsule Endoscopy，WCE)是由无线传输模块与微型 摄像机构成，用以无创检查人体肠胃器官的胶囊状医疗仪器。在胃肠道疾病检测过程中， WCE依靠胃肠道蠕动对人体消化道内壁进行拍摄，并通过胶囊中的无线发射装置将图片传 输至患者随身携带的无线接收器中，最终由医生从无线接收器中下载图片进行浏览诊断。 由于胶囊内部的微型摄像机是以每秒2- 3帧的拍摄速度得到480X480像素的彩色图片， 而无线胶囊内窥镜的工作时间可维持6-8小时，故单次检查将会产生3万一8万张 WCE图 片，从而使医生诊断所需时间过长，可能造成医生眼睛疲劳而产生漏诊率高、工作强度大等 问题。
[0003] 经临床应用表明，WCE图像集中存在大量连续的图像具有较高的相似性。其主要 原因是：WCE在消化道内拍摄过程中，在某些时刻其前进的速度比较缓慢，从而造成邻近图 像之间无较大差异，产生了相似度高的冗余图片。
[0004] 因此，采用先进的信息处理技术实现WCE图像集进行冗余帧筛除具有实际应用 价值。文献（Q. Zhao, M.Q.H.Meng, and B.P. Li, "WCE video clips segmentation based on abnormality, 〃in Robotics and Biomimetics(R0BI0), 2010IEEE International Conference on, pp. 442-447,2010.)融合了基于WCE图像多特征融合以及非参数检测 算法进行关键帧提取的方法，实验结果表明该方法能够有效地检测出具有突变特征的 WCE图像作为关键帧图像进行提取；文献（Y. Chen, Υ· H. Lan, and Η· Z. Ren, "Trimming the Wireless Capsule Endoscopic Video by Removing Redundant Frames,"in Wireless Communications,Networking and Mobile Computing (WiCOM)，20128th International Conference on, pp. 1-4, 2012.)在研究 WCE 冗余帧消除方面米用了高 斯-拉盖尔变换（Gauss Laguerre Transform，GLT)筛除具有气泡特征的无信息价值 WCE图片，同时采用了 Canny算子提取图像纹理的边缘特征，并通过对比相邻图像的边 缘特征与设定的固定阈值，来决策二者是否为相似图像，该算法能够较好地筛除部分气 泡图片与相似性图片，其平均压缩率大约为70%。文献（￥^1111，0.1.1^，2.乂.1^11， &11(1 S.D. Liu, ^Unsupervised redundant image deletion for wireless capsule endoscopy examination, "Application Research of Computers, vol. 29, pp. 2393-6,2400,2012.) 通过对WCE图像的HSV色彩空间进行量化降维提取颜色特征，然后计算相邻图像的归一 化互信息量与归一化互相关系数表示相邻图像的相似性，最后根据由用户决定的筛除比 例进行迭代筛除冗余帧，实验结果表明在按照70%的筛除比例情况下，可以得到100%的 病灶图片保留率和较低的图像误删率。文献（J.S.Huo，Y.X. Zou，and L.Li，〃An advanced WCE video summary using relation matrix rank, 〃in Biomedical and Health Informatics(BHI), 2012IEEE-EMBS International Conference on, pp. 675-678, 2012.) 一方面在HSV颜色空间提取WCE图像的颜色特征，另一方面通过水平和垂直Sobel算子提 取WCE图像纹理特征，并将二者结合基于relation matrix rank进行关键帧提取，该文通 过实验表明在此方法的基础上将阈值设定为5能够保证有较好的筛除质量，并对10组1000 张 WCE图像片进行冗余图像筛除，其平均压缩率为84. 65%，平均保真度为95%。
[0005] 但是，上述方法存在着一些未考虑到的问题：
[0006] 1) WCE图像之间具有时间相关性，若两张 WCE图像的拍摄时间间隔较长，则其二者 的时间相关性较弱，即使它们在颜色特征与纹理特征具有相似性，但实际反映的是人体消 化道两个不同位置的信息，应被判断为两张非相似的WCE图像；
[0007] 2)对于某些连续的WCE图像存在渐变性的特点，相邻WCE图像之间进行比较为相 似图片，但是将第一张 WCE图片与最后一张 WCE图片比较，明显发现有不同之处，故直接以 其中的第一张 WCE图片或者最后一张 WCE图片作为关键帧提取的方法将会导致丢失部分 重要信息；
[0008] 3)冗余帧筛除方法的鲁棒性，由于不同的WCE图像集具有不同的动态信息变化， 若采用固定阈值的方法判断两张 WCE图像之间的相似性，将会导致方法缺乏自适应性，使 得筛除效果的鲁棒性较差。
【发明内容】
[0009] 针对上述【背景技术】中所提到的目前有关WCE冗余帧筛除方法的不足之处，本发明 提出了一种基于多特征融合的无线胶囊内窥镜冗余图像筛除方法，从而降低医生的工作 量，提高工作效率。该方法包括如下步骤：
[0010] a)采用批处理的方式对无线胶囊内窥镜（Wireless Capsule Endoscopy, WCE)病 例图像集进行处理，每批处理500张 WCE图像；
[0011] b)同时采用HSV颜色特征直方图与灰度共生矩阵（Gray level co-occurrence matrix，GLCM)分别对每一张 WCE图像提取其颜色特征向量与纹理特征向量；
[0012] c)对由b)步骤提取出每张 WCE图像的颜色特征向量与纹理特征向量，通过计算相 邻WCE图像的颜色特征归一化互信息量和纹理特征均方误差分别作为颜色特征相似性测 度与纹理特征相似性测度；
[0013] d)考虑到不同批次的WCE图像集具有不同的动态信息变化，为了方法的鲁棒性， 提出了基于W参数的均值法设定自适应相似性判断阈值；
[0014] e)经上述步骤，通过比较相邻图像的相似性测度与相似性判断阈值，可将具有一 定时间相关性与颜色-纹理特征相似性的WCE图像划分到同一个子图像片段中；
[0015] f)考虑到某些子图像片段中的WCE图像具有渐变性的特点，可对各子图像片段采 用自适应K均值聚类算法进行关键帧提取，从而将其余WCE图像作为冗余帧进行筛除。
[0016] 本发明的有益效果在于：本发明所述的方法不仅具有较好的鲁棒性，而且能够有 效地筛除WCE图像集中的冗余图像。经实验测试表明，对该方法的筛除效果进行评测的三 个指标一Recall、Precision和Compression均可达到80%左右，意味着利用该方法的冗余 帧筛除的结果不仅与人工筛除的结果具有一定的一致性，而且可以将医生分析浏览WCE图 片的时间由6- 8小时压缩至1 一 1. 5小时，从而提高了医生的工作效率。
【附图说明】
[0017] 图1.相邻WCE图像颜色特征相似性测度（左）和纹理特征相似性测度（右）
[0018] 图2.具有渐变特征的连续WCE图像帧
[0019] 图3.在不同W值情况下算法性能评价
[0020] 图4.设定W = 3时，以Reacll和Precision指标评价算法性能
[0021] 图5设定W = 3时，以Compression指标评价算法性能
【具体实施方式】
[0022] 下面结合附图和【具体实施方式】对本发明作进一步详细描述。
[0023] 1.颜色特征向量的提取
[0024] 考虑到HSV颜色空间模型更符合人对色彩信息的视觉判断，本发明所述方法将对 每一张 WCE图像提取HSV颜色特征直方图来描述WCE图像颜色特征。HSV颜色特征直方图 描述的是不同颜色在整幅图像所占的比例，而没有反应各颜色的空间位置关系，所以对于 具有旋转特征的两张 WCE图像，可以较准确地判断该两张 WCE图像为相似图像。
[0025] 首先需要将480X480大小的WCE图像由RGB空间转换到HSV空间，于是可以得 到：
[0026]
.(1)
[0027] 由于人眼对颜色的分辨具有一定的局限性，并且为了减少计算的复杂性，本文所 述方法对h，s和v进行了量化，其量化的方法如下： 、
(3)
[0030] 其中（X，y)为像素的索引。为了得到WCE图像的颜色特征直方图，需要将H，S和 V融合为一个矩阵L:
[0031] L = QsXQvXH+QvXS+V ⑷其中Q s= 4, Q v= 4分别表示S和V的量化 级数，则ε[?),255μ因此每张 WCE图像的颜色特征向量的计算如下：
[0032]
(5)其中 4(帥=0，1，…:…，255)表示在矩阵L中像素值为i的概率。
[0033] 2.纹理特征向量的提取
[0034] 灰度共生矩阵（Gray level co-occurrence matrix，GLCM)是一种成熟有效地提 取图像纹理特征的方法。对于每张 WCE图像，本文所述方法需要首先将其从RGB空间转换 为灰度空间，并进行16级均匀量化；然后根据灰度共生矩阵的计算方法，分别计算4个方向 ( θ=〇°，45°，90°，135° )上的灰度共生矩阵，公式如下：
[0035]
C6)
[0036] 其中i和j表示灰度级数；d表示两个像素之间的距离，设为1 ; Θ表示两个像素 之间的方向。
[0037] 对于每个方向的灰度共生矩阵，提取出4个纹理特征值：
[0042] 其中L为灰度级数16。于是每张 WCE图像的纹理特征向量可表示如下：
[0043]