一种基于CSAI-GridRCNN的甲状腺超声图像感兴趣区域定位方法与流程

本发明涉及一种感兴趣区域定位方法，属于机器视觉与医学图像处理交叉领域，尤其涉及一种基于跨尺度注意力交互grid rcnn(cross-scale attention interactionimproved grid region-based convolutional neural network，csai-grid rcnn)的甲状腺超声图像感兴趣区域定位方法。

背景技术：

1、二维超声是甲状腺疾病临床诊断的主要检查手段，甲状腺超声图像感兴趣区域定位是诊断甲状腺疾病的重要步骤。建立并训练高质量的甲状腺感兴趣区域定位模型，能够提取更丰富、有效的甲状腺及其周围组织特征，提高甲状腺疾病诊断的准确性。

2、在临床诊断中医生通常依据病理知识手工定位甲状腺超声图像感兴趣区域，增加了医生的工作负担，并且感兴趣区域的准确定位依赖于医生主观认知和临床经验。超声图像中甲状腺区域与周边组织特征差异较小且边界模糊致使手工定位感兴趣区域较困难。深度卷积神经网络因具有良好的特征提取和表达能力被应用于医学图像目标分类和检测任务，其中的grid rcnn(grid region-based convolutional neural network)算法具有目标检测准确性高，扩展性好等优点，广泛应用于感兴趣区域的定位。然而，grid rcnn特征提取部分使用传统的残差神经网络(residual neural network，resnet)和特征金字塔(feature pyramid network，fpn)，未能充分捕捉到真实甲状腺和其他周围组织表征的丰富语义信息。同时，在进行特征融合前对特征图通道进行压缩，丢失了重要的通道信息，影响了感兴趣区域定位的准确性。

3、因此，本发明充分考虑了grid rcnn特征提取过程中跨尺度特征交互不充分和通道压缩带来的数据丢失问题，对grid rcnn网络特征融合路径进行改进，引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互，构建了基于csai-grid rcnn的甲状腺超声图像感兴趣区域定位模型，提高了定位准确性。

技术实现思路

1、本发明以提高模型感兴趣区域定位准确性为目的；首先采用数据增强方法对训练样本进行预处理并构建训练数据集，结合knn matting算法对数据进行脱敏处理，去除冗余信息提高后续定位准确性；然后在grid rcnn模型的特征提取网络引入三重自注意力模块并从空间、通道层面进行跨尺度的注意力交互，计算相同层级特征的自注意力得分，跨尺度交互通道注意力和空间注意力，通过收集分布的多级全局上下文通道信息来提取判别特征，在传统金字塔特征逐层相加前使用内容感知采样和通道重新加权来融合相邻级别的特征；最后构建损失函数，训练深度卷积网络模型直至损失函数收敛，进而利用所训练的定位模型定位甲状腺超声图像的感兴趣区域。基于csai-grid rcnn的甲状腺超声图像感兴趣区域定位流程如图1所示。

2、本发明采用的技术方案为一种基于csai-grid rcnn的甲状腺感兴趣区域定位方法，该方法具体包括以下步骤：

3、步骤一：通过knn matting算法对患者信息进行脱敏处理，构建甲状腺灰阶图像数据集，按设定批次加载通过色彩空间变换数据增强后的训练数据集，设置深度学习框架中的在线数据增强参数实现训练数据流进行二次数据增强；

4、步骤二：构建基于跨尺度注意力交互特征融合的特征网络，连接至resnet101骨干网络，利用基于跨尺度注意力交互特征融合网络提取甲状腺超声图像特征；

5、步骤三：构建基于csai-grid rcnn的甲状腺超声图像感兴趣区域定位模型，初始化grid rcnn检测器，利用对位置信息更加敏感的全卷积网络来实现目标定位框的精确修正，借助卷积层生成的热图来确定初始的网格点，并通过网格点确定锚框边界位置；

6、步骤四：根据步骤一得到的训练数据集，训练步骤三构建的区域建议网络，得到建议区域，将输入图像划分网格，生成锚框，通过卷积操作对选框回归进行预测，得到分类概率及边界框，根据预测值与真实值间误差构建损失函数，训练步骤三中定位模型至损失函数收敛；

7、步骤五：输入测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络，采用非极大值抑制对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标，得到定位结果。

8、具体而言，步骤一包括如下步骤：

9、采用knn matting算法对甲状腺超声图像进行预处理，裁剪边框去除患者隐私数据同时减少输入网络的冗余信息进而提高定位准确性；利用非局部原理，对像素i与其相近特征像素进行加权求和，权重由核函数k(i,j)得到，则像素i对应代表前景色所占比重的因子α的期望值e(αi)可表示为

10、

11、

12、

13、其中，h1、h2为超声图像前景背景调节参数；是中心加权高斯函数加权后的范数；x(i)及x(j)表示由像素i、j及周边信息计算获取的特征向量；di,j表示i与j像素之间的欧式距离。

14、结合手工标注求解共轭梯度矩阵分割得到前景区域，根据灰阶超声图像数据对象特点采用随机伽玛校正、高斯平滑和直方图均衡化三种颜色空间变换方法进行离线数据增强。设原图有o＝p(x,y)，x及y为像素位置坐标索引，进行色彩空间变换增强后的图像为o′，伽玛校正对像素亮度及对比度进行非线性变换

15、o′＝oγ   (4)

16、上式代表伽玛编码值为γ的伽玛校正，调整图像灰度值的分布。对于高斯平滑

17、o′(x,y,σ)＝g(x,y,σ)*o(x,y)   (5)

18、

19、其中，σ为该点运算对应的高斯核函数的标准差；*为卷积运算。

20、采用限制对比度的自适应直方图均衡(contrast limited adaptive histogramequalization，clahe)，通过限制直方图的增益来避免过度增强图像的噪声

21、

22、

23、其中，为像素分块及重分配后得到的数据，利用函数r(o)对每组分块进行像素重分配，对超出直方图增益限制的部分进行裁剪，并将裁剪后像素重新组合；q(·)为原图直方图的概率密度的累积分布函数。

24、步骤二包括如下步骤：

25、利用三重注意力模块(triplet attention module，tam)对骨干网络输出的n个层级特征图[f0,f1,…,fn]作为输入，对于第i层特征fi对应张量x∈c×h×w，x1及x2分别为x沿h轴及w轴逆时针旋转90°所得张量。而后通过整合最大池化与平均池化的z-pool池化层压缩得到及对x进行通道池化获得x3，对于tam有

26、

27、其中，output为tam模块的运算结果；δ表示sigmoid激活函数；φ1、φ2、φ3分别表示三条支路中卷积核尺寸为7*7的二维卷积运算；avg表示三条支路输出的均值。

28、在所构建的csai中，同尺度注意力机制交互可以表示为

29、

30、其中，ci为tam模块第i层的输出特征；fi表示第i层特征；fi1和fi2分别表示该层特征沿h和w轴逆时针旋转所得特征；和分别为三条分支当中计算得到的注意力权重。tam模块计算流程如图2所示。

31、对于跨尺度通道注意力交互模块的构建，获取各个尺度特征所包含的不同的语义信息来优化各层级的特征，该模块可表示为

32、cn′+1＝deconv(cn+1)   (11)

33、

34、其中，gap表示全局池化；deconv、conv分别为反卷积和卷积运算；δ为获取通道权值的sigmoid函数。

35、高层级特征与下层特征ci∈(c,h,w)进行交互时采用3*3的反卷积获得相同的尺寸及通道数，而后通过全集池化及卷积计算获取通道维度的注意力权重，与下层特征相乘后与自身进行逐元素间融合，得到ci及ci+1跨尺度通道注意力交互输出pni。

36、针对固定层级特征完成与其余尺度特征的交互后得到[pi0,pi1,…,pin]，采取拼接计算对上述结果进行加权拼接

37、pic＝conv(ψ(pi1,pi2,…,pin))   (13)

38、其中，pic是加权后的中间特征；ψ表示拼接运算，串接1*1卷积进行降维调整至原始通道数。跨尺度通道注意力交互原理图如图3所示。

39、跨尺度空间注意力交互模块部分以特征金字塔网络为基础，在上采样部分引入carafe结合空间注意力，对具有相同通道数相邻层级中间特征逐次进行空间层面的注意力加权计算，将通过最大池化下采样的pi与上层特征pi+1拼接并进行通道压缩得到p(i,i+1)，通道数为cm。根据合并特征内容生成重组内核，归一化后得到尺寸为的上采样核wl′，与p(i,i+1)重新组合运算

40、wl′＝ψ(p(i,i+1),kencoder)   (14)

41、

42、其中，kencoder表示生成上采用核的卷积核尺寸；ψ及φ分别为核预测模块和上下文重组模块。

43、完成上采样后计算空间注意力权重，通过点乘形式分配给上采样输出和原始下层特征pi，以元素相加方式合并，借助超参数α、β调节融合过程

44、

45、其中，ms代表空间注意力权重；为张量间点乘运算；oi为csai特征网络第i层级的输出。跨尺度空间注意力交互原理图如图4所示。

46、步骤三包括如下步骤：

47、网格预测支路采用全卷积网络，选用3×3个网格点排列在预选框中，利用8个3*3的膨胀卷积扩大感受野后，采用2个2*2的反卷积层获得9个尺度为wo×ho的热图，在每组热图上利用sigmoid函数进行计算得到引导网格点进行修正的概率图。将概率图坐标为(hx,hy)的像素点映射至原始特征图中的(ix,iy)

48、

49、其中，(px,py)是输入特征中预选框左上角坐标索引；(wp,hp)为预选框的宽高；(wo,ho)为输出概率图的宽高；根据原始特征图网格点坐标确定边界框b＝(xl,yu,xr,yb)，xl,yu,xr,yb表示坐标框边缘信息；gj为第j对应坐标(xj,yj)的网格点。

50、对于尺寸为n×n的特征图，计算得到b与网格点的集合

51、

52、其中，ei为包含第i条边缘网格点gj索引位置的集合；pj为在热图中计算得到的预测概率值；fi为第i个网格点对应的特征图，与修正该特征网格点位置提供信息的特征fj进行融合。融合方式可表示为

53、

54、其中，fi′为融合后的特征图；θ表示映射函数，由3个堆叠的5*5卷积层组成；si表示由第i个网格点临近点构成的集合。

55、gridrcnn检测头选框修正流程如图5所示。基于上述的gridrcnn检测头结合步骤二csai特征提取网络构建甲状腺感兴趣区域定位网络。

56、步骤四包括如下步骤：

57、训练步骤三所构建的基于csai-grid rcnn的甲状腺感兴趣区域定位模型，其对预测对象位置进行学习。对于区域建议网络，采用smooth l1 loss作为损失函数引导建议框的修正

58、

59、其中，x为建议框与目标框的数值差。采用交叉熵损失作为gridrcnn检测头中选框微调的损失函数，训练深度卷积神经网络直至损失函数收敛，如图6所示。获得基于csai-gridrcnn的甲状腺感兴趣区域定位模型。

60、步骤五包括如下步骤：

61、输入临床真实采集的甲状腺灰阶超声图像作为测试样本，加载训练完成的甲状腺超声图像感兴趣区域定位网络。设定不同iou阈值iouthreshold，选取0.5及0.75，采用非极大值抑制方法对概率最大的预测目标进行选择，最终获取甲状腺感兴趣区域的位置坐标作为结果输出。

62、本发明的优点：充分考虑了特征融合过程信息交互受限及通道压缩导致的信息丢失，改进了gridrcnn网络中采用的卷积层特征交互方式，解耦空间及通道注意力，引导网络关注重要区域，强化特征传播；引入空间金字塔池化模块汇聚多尺度局部区域特征，实现对各层特征信息的有效融合，丰富了各层特征的语义和像素级信息；构建了基于csai-gridrcnn的甲状腺超声图像感兴趣区域定位模型，提高了感兴趣区域定位的准确性。