一种胶囊内窥镜图像识别方法与流程

本发明属于计算机应用技术领域，具体涉及一种胶囊内窥镜图像识别方法。

背景技术：

小肠不但是消化道最长的空腔脏器(3.35-7.85m)，也是最弯曲、活动度最大的脏器。目前除了部分区域可以用常规胃镜结肠镜检查外，其它部分是整个胃肠道检查中最难到达的部分，因此小肠疾病的诊断和治疗远落后于胃肠道其他部位。胶囊内窥镜的发明极大的改观了这种问题。胶囊内窥镜在消化道内运动，可以获取病患消化道内全小肠段的图像，突破了小肠检查的盲区，大大提高了消化道疾病诊断检出率，辅助医生做出更加科学和有效地诊断和进一步治疗。

但是胶囊内窥镜只能随肠道的蠕动而运动，而肠道蠕动一般较缓慢，导致胶囊内窥镜检查提取了几万张的消化道图像，其中实际的病变图像一般不到其总数的1％。而且绝大多数的图像都是正常的消化道图像，但是医生仍需要花费很长时间进行浏览，从中挑出出血和病变的图像，同时还需要两个医生进行重复阅片，这是一项极其费时费力的工作。此外由于医生同时要对多个图像进行观察，加上观察时间短，很容易导致漏诊甚至是错诊从而影响到对病人的治疗。

技术实现要素：

本发明要解决的技术问题是：提供一种胶囊内窥镜图像识别方法，所述方法基于颜色特征和纹理特征，通过分类器进行机器学习的方式来进行图像识别和分类，准确度高，分类明确，可以判断复杂图像，能够有效的识别出出血和病变的照片，减少医务人员的工作量，缩短医务人员的观察时间，为医务人员做出科学的医学诊断参考，避免因照片多、阅片时间短导致漏诊甚至错诊现象的发生，进而影响到对病人的治疗。

本发明解决技术问题的技术方案如下：

本发明是一种胶囊内窥镜图像识别方法，包括以下步骤：

a.图像获取：获取胶囊内窥镜拍摄的图像；

b.图像预处理：对获取到的图像进行预处理并挑选出有效的照片，同时删除无效的照片；

c.图像颜色特征提取：在hsv颜色空间下的采用颜色矩方法提取图像的颜色特征；

d.图像纹理特征提取：在hsv颜色空间下提取图像的纹理特征；

e.图像特征融合：将步骤c提取的颜色特征和步骤d提取的纹理特征进行融合并获得新特征；

f.图像分类处理：采用融合后的新特征对分类器进行分类训练，然后利用该分类器对预处理过的照片进行分类并识别出出血照片和病变的照片。

进一步地，所述步骤b中图像预处理包括图像增强和图像场景分类。

进一步地，所述步骤c中图像颜色特征提取采用图像在hsv颜色空间下的三阶颜色距作为颜色特征。

进一步地，所述步骤d中图像纹理特征提取是在hsv颜色空间下采用contourlet变换提取图像的纹理特征。

进一步地，所述步骤f中对预处理图像进行分类是指将图像分为无效图像、正常图像、出血图像和病变图像。

进一步地，所述步骤f中采用融合后的新特征对分类器进行分类训练，该分类器采用支持向量机算法思想，其具体步骤如下：

1)将内窥镜图像提前进行人工分类，然后存入不同的文件夹中；

2)读取内窥镜图像中规定的mask图像；

3)读取各文件夹里的已分类的内窥镜图像，利用上一步骤中的mask图像对各类别图像进行遮挡并提取所有图像的特征，同时按照类别进行分类；

4)将所有原图像进行乱序处理，用一半图像特征来对分类器进行机器学习，即将该用于训练的图像特征输入分类器进行机器学习；另一半图像特征来验证分类器的效果和性能，即将该待分类的图像特征输入训练好的分类器进行分类并得到结果；

5)将分类结果与人工分类的结果进行对比，达到要求后即完成分类器的分类训练。

进一步地，所述步骤1)中将内窥镜图像提前进行人工分类，是指将图像分为无效图像、正常图像、出血图像和病变图像。

本发明的有益效果是：本发明采用hsv色彩空间颜色特征和纹理特征提取方法对胶囊内窥镜图像进行分析，并利用颜色特征和纹理特征融合后的新特征对基于支持向量机算法的分类器进行机器学习以实现该分类器对内窥镜图像的识别和分类，避免人工分类识别费时费力的问题，帮助医生快速做出科学的医学诊断；本发明采用对hsv色彩空间下颜色特征和纹理特征两种特征对图像进行识别和分类可以避免单一特征识别出现的准确度不高、分类不明确、无法判断复杂图像等问题。

附图说明

图1是本发明中所述胶囊内窥镜图像识别方法流程图；

图2是本发明中所述分类器训练流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明一种胶囊内窥镜图像识别方法，包括以下步骤：

a.图像获取：获取胶囊内窥镜拍摄的图像；首先获取患者消化道的内窥镜图像，通过无线胶囊内窥镜对患者的消化道进行拍照，然后将拍到的照片传输出后台进行处理；

b.图像预处理：对获取到的图像进行预处理并挑选出有效的照片，同时删除无效的照片；本实施例图像预处理包括图像增强和场景分类，胶囊内窥镜采集的彩色图像在获取过程中必然会产生降质和退化，所以需要对其进行增强处理，使其更适合医生观察和诊断，同时对图像进行场景分类处理，通过定位幽门和回盲瓣的位置来帮助筛选出图像中属于小肠的场景图像；

c.图像颜色特征提取：在hsv颜色空间下的采用颜色矩方法提取图像的颜色特征；hsv颜色空间有三个通道分量，分别为通道h(色调)、通道s(饱和度)和通道v(亮度)；在hsv颜色空间下，观察通道分量的特征图我们可以看出，h分量颜色矩的前3阶的特征值出现小幅度的波动，但是在第3阶以后，颜色矩的特征值与其阶数成正相关；此外通过特征图还可以看出，s分量和v分量颜色矩的前3阶特征值变化较大，而在4～9阶由于规律性的存在，s分量和v分量的差异度不大；综合考虑到三个通道分量的变化因素，本实施例最后选择提取三阶颜色距的特征值作为颜色特征的特征向量。

d.图像纹理特征提取：在hsv颜色空间下提取图像的纹理特征；正常图像和异常图像的纹理特征存在着部分差异，所以可以通过纹理特征提取步骤得到两者的纹理特征；contourlet变换能在任意尺度上实现任意方向的分解，擅长描述图像中的轮廓和方向性纹理信息；本实施例采用contourlet变换提取纹理特征将内窥镜图像转换到hsv颜色空间下，同时为了更加详细地描述内窥镜图像不同方向上的纹理信息，并考虑到特征向量的维数过大会降低分类效果，该步骤分别对每个颜色通道进行8个方向的子带分解，总共24个子带；最后对这所有的子带分别求3阶矩，将得到的新特征向量(72维)作为图像的纹理特征向量；

e.图像特征融合：将步骤c提取的颜色特征和步骤d提取的纹理特征进行融合并获得新特征；将颜色矩与contourlet变换进行融合，是一种颜色特征与纹理特征相结合的方法；本实施例在hsv颜色空间下对每个颜色通道进行contourlet变换，然后对变换后的图像分别提取三阶颜色矩，最后获得具有颜色特征和纹理特征的新特征向量，将该特征向量作为分类器进行机器学习和分类的依据。

f.图像分类处理：采用融合后的新特征对基于支持向量机算法思想的分类器进行分类训练，然后利用该分类器对预处理过的照片进行分类并识别出出血照片和病变的照片。该分类器经过分类训练后，即可对经预处理过的内窥镜获取的图像进行识别和分类，速度快，效率高。

本实施例中，所述步骤f中对预处理图像进行分类是指将图像分为无效图像、正常图像、出血图像和病变图像。

本实施例中所述步骤f中采用融合后的新特征对对基于支持向量机算法思想的分类器进行分类训练，即采用线性分类方法，如图2所示，其具体步骤如下：

1)将内窥镜图像提前进行人工分类，然后存入不同的文件夹中；这里的对内窥镜图像的人工分类是将图像分为无效图像、正常图像、出血图像和病变图像；

2)读取内窥镜图像中规定的mask图像；

3)读取各文件夹里的已分类的内窥镜图像，利用上一步骤中的mask图像对各类别图像进行遮挡并提取所有图像的特征，同时按照类别进行分类；

4)将所有原图像进行乱序处理，用一半图像特征来对分类器进行机器学习，即将该用于训练的图像特征输入分类器进行机器学习；另一半图像特征来验证分类器的效果和性能，即将该待分类的图像特征输入训练好的分类器进行分类并得到结果；

5)将分类结果与人工分类的结果进行对比，达到要求后即完成分类器的分类训练。

本实施例中，所述步骤2)中的mask(掩膜)是一种用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，是一种常用的一种图像处理方法；通过读取该规定的mask图像，可以减少提取图像特征时的复杂度和工作量，当该mask图像对需要处理的图像进行遮挡后，我们就可以提取到有效的图像特征，排除无效特征的干扰；所述步骤3)是通过步骤2)中的规定mask图像对文件夹中的图像进行遮挡并提取所有内窥镜图像的有效的图像特征，并作为后续步骤中分类器的机器学习及分类的依据。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。