一种胶囊内镜视频摘要生成方法
【技术领域】
[0001 ]本发明属于计算机人工智能和视频处理领域，具体来说，设及一种胶囊内镜视频 摘要生成方法。
【背景技术】
[0002] 消化道疾病，如肿瘤、溃瘍和出血等极大地威胁着人体的健康。传统的消化道检查 方式对人体有着不同程度的损伤，且无法对小肠部位进行检查。胶囊内镜，是一种新型的消 化道疾病检测技术。患者吞服胶囊，胶囊利用胃肠蠕动提供的动力向前运动，并对人体消化 道进行连续拍摄，拍摄的视频由阅片医生进行检查与诊断。检测过程无痛苦，且能对整个消 化道进行诊断。
[0003] 胶囊内镜扩展了消化道检查的视野，克服了传统消化道疾病检查的缺陷，成为消 化道疾病尤其是小肠疾病诊断的首选方法。但是，由于胶囊内镜在整个检测过程中会产生 约55000张胶囊内镜图像，医生一般需要2小时才能完成一个完整病例的诊断。数量庞大的 视频数据限制了无线胶囊内镜的广泛应用，因此寻找一种快速筛选机制，使得医生在不必 浏览全部视频的前提下，自动提取携带医生感兴趣信息的视频图像供医生进一步诊断，对 于减轻医生诊断负担，提高医生的诊断效率十分重要。
[0004] 视频摘要就是一种精炼视频的有效方法。视频摘要是对视频的结构和内容进行分 析，从原始视频中提取出有意义的内容，并将其W设定的方式重新组合，形成简洁、能充分 表现视频语义内容的概要，同时可也作为原始视频文件的索引，W供用户快速寻找每个事 件的具体信息。因此，本发明提出一种基于感兴趣区域帖检测的胶囊内镜视频摘要生成方 法，利用该方法对无线胶囊内镜视频进行处理，快速筛选出视频中可能含有医生感兴趣信 息的图像。
【发明内容】
[0005] 本发明针对胶囊内镜视频，提出一种基于感兴趣区域的帖检测视频摘要方法。
[0006] 首先，对胶囊内镜视频图像进行预处理，去除黑色边界影响，如图2所示;然后，提 取预处理后的胶囊内镜图像的感兴趣区域;最后，提取图像感兴趣区域的颜色特征和纹理 特征，并特征融合，利用融合特征欧氏距离进行帖间差测量，选取关键帖，得到胶囊内镜视 频摘要。具体操作流程如下：
[0007] 1.图像预处理
[000引利用胶囊内镜采集到的图像都有一个黑色边界区域，该区域不包含对研究有价值 的信息。因此，为了排除运个区域对后续步骤的干扰，对胶囊内镜图像进行去除黑色边界的 预处理操作。
[0009] 2.预处理后感兴趣区域提取
[0010] 对于胶囊内镜视频图像来说，医生只对图像中的部分区域感兴趣，运部分感兴趣 区域代表了医生的审阅意图，而多数剩余的不感兴趣区域则与医生的审阅意图无关。显著 区域是图像中最能引起人们兴趣、最能表现图像内容的区域。基于此，本发明w人的注意力 机制为基础，提取胶囊内镜图像预处理后的感兴趣区域。
[0011] 感兴趣区域提取即图像显著图提取，分为四个主要步骤:首先，利用输入图像构造 高斯金字塔;然后，提取高斯金字塔各层特征;其次，利用提取的各层图像特征生成特征图； 最后进行特征图融合，得到图像显著图。具体步骤如下：
[0012] (1)构造高斯金字塔
[0013] 先将输入图像表示成9层的高斯金字塔，分别为第0层到第9层。其中，第0层是输入 图像，第巧化层分别由5巧的高斯滤波器对输入图像进行滤波和采样形成，大小分别为输入 图像的l/^2到l/256。
[0014] (2)提取图像金字塔各层特征
[0015] 针对胶囊内镜图像特点，本发明提取了图像高斯金字塔各层的亮度信息、颜色信 息、方向信息与纹理信息。
[0016] 亮度信息是重要的视觉显著特性之一，亮度值较大区域通常更能吸引人的注意。 因此，本发明提取胶囊内镜图像的亮度信息用于显著图的生成，具体提取公式如下所示：
[0017] I(x,y)=0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y) (1)
[0018] 其中，I(x，y)表示点（x，y)处亮度信息。R(x，y)、G(x，y)、B(x，y)分别表示点（x，y) 处R、G、B^颜色通道值。
[0019] 颜色信息是医生判读胶囊内镜图像重要的参考信息之一，为了让胶囊内镜图像更 加符合医生的视觉感知特性，本发明先将胶囊内镜图像由RGB颜色空间转化到Lab颜色空 间，然后进行颜色特征的提取。具体提取公式如下：
[0020]
[0021] 式中，fc(x，y)表示点(x，y)处的颜色特征，AC(x，y)表示点(x，y)处的红绿值大小， ACave表示图像的平均红绿值，BC(X，y)表示点（X，y)处的黄蓝值大小，BCave表示图像的平均 黄蓝值。注意，运里AC(x，y)和BC(x，y)分别指的是原先的红绿值和黄蓝值都加上128,防止 其均值ACave和BCave为0。Z1和Z2为常数，均为0.5。
[0022] 上述提取的亮度信息和颜色信息是全局特征，无法反映胶囊内镜图像的局部信 息，因此，本发明还提取能够反映图像局部特征的方向信息和纹理信息。
[0023] 方向信息能有效地表达图像某些像素在一定方向上存在的内在排序关系，进而产 生了视觉上的方向感。Gabor滤波是一种基于多分辨率和多通道的分析方法，故采用Gabor 变换来提取图像的方向特征，具体公式如下：
[0024]
[00巧]其中，Kernel表示Gabor变换核函数，（x，y)表示图像像素点二维坐标，β决定了 Gabor核函数的空间扩展是均衡的，取房= ν?τΓ .，w=l，0=n3T/k(n = O，l,...，k-l)，k决定了 Gabor滤波器方向的个数，本发明提取图像4个方向的特征，故取k = 4。通过该核函数提取图 像4个方向特征0(0)。
[00%]纹理信息与方向信息一样反映了图像的局部特征。本发明提取LBP纹理特征表述 胶囊内镜图像的纹理信息。假设像素 q(灰度值为Dq)拥有P个邻域像素(灰度值为Dn，l<n< P)。首先将图像分为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像 素定义为邻域像素;然后计算候选像素与其各邻域像素灰度值的差值dnq。并根据如下公式 计算该候选像素的局部二元模式特征值：
[0029] (3)特征图生成
[0030] 为了模拟感受野的中屯、-外周括抗的结构，对各种特征分别在特征金字塔的不同 尺度间作差。感受野中屯、对应于尺度C的特征图像素点（(：￡{2,3,4})，感受野周边区域对应 于尺度S的特征图像素点（s = c+S，Se {3,4})。而不同尺度特征图的分辨率不同，需要通过 插值使两幅图像大小相同后，再对两幅图像进行点对点作差。运个过程用Θ表示。得到的中 屯、(尺度C)和外周(尺度S)的特征对比表示中屯、和外周的局部方向特征的对比。具体过程可 表述如下：
[0031] I(c，s)= |l(c)0I(s) I (5)
[0032] fc(c,s) = |fc(c)0fc(s) (6)
[0033] 〇(c，s，目）=|0(c，目）0〇(s，目）I (7)
[0034] L(c, s) = I L(c) Θ L(s) I (8)
[0035] 其中，式(5)是亮度特征图，表示亮度的对比。式(6)是颜色特征图，表示视皮层中 颜色的双括抗反应。式(7)是方向特征图，由同一个方向Θ的特征在不同尺度作差得到，表示 中屯、和外周局部方向特征的对比。式(8)是纹理特征图。
[0036] (4)显著图生成
[0037] 为了将上面生成的不同尺度和不同特征的特征图进行融合，首先将每幅特征图中 的每个像素点的显著值归一化到一个区间[0，M]，运样是为了消除由于不同特征的显著值 分布区间不同而产生的影响；其次，寻找特征图中的全局最大值M，计算所有其他局部最大 值的平均值品；最后，对特征图中的每个位置乘W (M -品)^。运样就将每幅特征图中潜在的