一种基于离线强化学习的乳腺肿瘤图像分割方法

本发明涉及人工智能领域和数字图像处理方法，特别是涉及一种基于离线强化学习的乳腺肿瘤图像分割方法。

背景技术：

1、乳腺癌是女性中最为常见的恶性肿瘤，在世界范围内，其致死率位居女性恶性肿瘤死亡之首。当前，及早诊断与及时治疗是应对乳腺癌最为有效措施。磁共振成像(mri)已被证明是一种有效的乳腺癌筛查方式。特别是对于乳房软组织，它是非侵入性的，提供了扫描身体部位的多视角可视化。最重要的是，它产生了比乳房x光检查和超声检查更高质量的图像。

2、目前，针对三维图像的分割方法主要是将一层或多层ct图像作为输入，通过一个复杂的卷积神经网络，输出对肿瘤区域的预测，以实现分割。通过学习预测的错误，来提高分割的准确率。尽管取得了一定的成果，但是神经网络是独立地对这些二维图像进行分割，忽略了这些二维图像之间的内在联系，从而导致分割精度不够。除此之外，近年来深度强化学习算法也逐渐被运用于图像分割领域，然而强化学习算法需要与环境进行上百万次的交互和试错，耗时较多，成本也较高。

3、综上所述，本发明提出一种基于离线强化学习的乳腺肿瘤图像分割方法，该方法有效融合了离线强化学习算法和交叉注意力模块，该方法使得分割特征在切分后的二维图像之间进行信息的交互，这样就会提高分割的精度，同时算法在训练过程中不要求与环境实时交互，利用离线强化学习算法，能够以很低的成本训练出泛化性好，鲁棒性强的图像分割策略。该方法改善了传统医学图像分割方法的不足，具有较好的创新性与推广性，具有较高的应用价值。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于离线强化学习的乳腺肿瘤图像分割方法，用以解决现有技术中图像分割网络训练成本较高，图像分割精度较低的问题。

2、本发明实施例提供了一种基于离线强化学习的乳腺肿瘤图像分割方法，所述方法包括以下步骤：

3、s1、收集乳腺癌患者乳腺3d-mri图像，对其进行预处理，勾画mri图像乳腺肿瘤分割的标签，构建乳腺肿瘤分割训练集；

4、s2、构建粗分割乳腺3d-mri图像的粗分割模型，将3d-mri图像切片成若干个二维图像，将切片后的二维图像输入至预训练的u-net网络进行分割，获取乳腺感兴趣区域，并随机选取两个分割后的二维图像作为参考层；

5、s3、将训练集的数据和标签切分为二维图像，并将该切分后的二维图像作为分割层；

6、s4、训练并测试离线强化学习网络，利用离线强化学习网络选取合适的乳腺肿瘤参考层；

7、s5、构建带有交叉注意力特征融合模块的细分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息交互；

8、进一步地，s2所述的对3d-mri图像切片成若干个二维图像，是根据肿瘤标签把原图中含有肿瘤信息的切面输出为二维图像，并将得到的二维图像进行预处理，将数据归一化为0到1的数值范围内；具体是，计算乳腺图像数据集的标准差以及其均值，按照如下公式进行处理，

9、i*＝(i-mean)/std

10、该公式为对比度归一化公式，其中i代表乳腺肿瘤图像的对比度，mean代表乳腺图像的均值，std代表乳腺图像的标准差，i*代表归一化之后的图像对比度。

11、进一步地，s2中所述的u-net分割模型采用dice函数和二进制交叉熵损失混合函数，通过不断减少loss来优化网络模型，loss定义为：

12、

13、其中g表示数据的真实标签值，p表示模型的预测值，np和j表示p中的像素数。

14、进一步地，s4中所述的训练离线强化学习，包括如下步骤：

15、s41、从乳腺肿瘤数据集中采样一批样本对：每个样本对包含当前参考层和当前分割层，下一时刻参考层和奖励；

16、s42、使用对比学习训练特征网络：对当前的参考层和分割层进行两次随机裁剪，得到两个新的数据，分别输入特征网络和目标特征网络，使用adam优化器根据对比损失函数优化特征网络，其中τ为温度参数，sq和sp分别表示查询样本和正样本，和分别表示第k个查询样本和第k个正样本，n为样本数量，fw表示特征网络，表示目标特征网络；

17、s43、估计状态-动作价值函数；使用adam优化器根据q网络目标函数训练q网络，q网络的目标函数为：

18、

19、其中，s是观测，a是动作，s'是下一步观测，r是奖励，d为数据集，qθ为q网络，qθ为目标q网络α为权重，γ为折扣率，x～p表示随机变量x服从分布p,ex～p表示随机变量x的期望，πφ表示策略网络；

20、目标函数包括两部分，后一项是使用时序差分方法来估计状态-动作价值函数，为了解决q网络对价值函数估计过高的问题，在目标函数中加入了前一项，这样q网络的估计是价值函数的下界，使得对状态-动作价值函数估计比较保守；

21、s44、策略提升；使用adam优化器根据策略网络目标函数训练策略网络；

22、s45、使用移动平均法分别更新目标特征网络和目标q网络；

23、s46、重复s31至s35，直到算法收敛或达到给定训练次数；

24、s47、输出特征网络和策略网络作为选取参考层的选取策略。

25、进一步地，s5中所述的分割层和参考层的信息交互，具体如下，

26、每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，该融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作，进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为最终分割结果。

27、进一步地，所述离线强化学习网络训练之后，固定离线强化学习网络的参数，利用离线强化学习网络筛选参考层并将参考层与分割层输入到带有交叉注意力特征融合模块的细分割模型，完成细分割模型的训练。

28、进一步地，所述的两个参考层分别记为和将分割层记为xk'＝c，xk'切分后第k'层的二维图像，对于参考层和分割层xk'＝c的交互过程以及参考层和分割层xk'＝c的交互过程一致；对于参考层和分割层xk'＝c而言，交叉注意力特征融合模块的实现如下：

29、将参考层和分割层xk'＝c经过下采样和多次卷积操作后分别得到高维度特征fk＝a和fk'＝c，fk＝a和fk'＝c作为交叉注意力特征融合模块的输入；

30、交叉注意力特征融合模块首先利用两个线性映射函数g(x)和f(x)，将输入特征由三维转化为一维，并将一维特征进行维度变换，使相关特征的维度保持一致，通过g(x)对特征fk＝a和fk'＝c进行映射操作，使得特征的维度统一：

31、fk＝a'＝g(fk＝a)

32、fk'＝c'＝f(xk'＝c)

33、将xk＝a'与fk'＝c'并行，再使用一个卷积核w1进行映射操作，对二者进行第一次融合，融合后的特征作为参考特征：

34、fk＝a||k'＝c＝w1cat(fk＝a'||fk'＝c')

35、cat(x)为沿通道方向的拼接操作；

36、利用fk＝a||k'＝c和fk'＝c'进行点积操作，生成交叉注意力机制的信息相关矩阵a：

37、q＝wq(fk＝a||k'＝c),k＝wk(fk'＝c'),v＝wv(fk'＝c')

38、a＝sig(qkt/d)

39、其中，wq,wk,wv是三个卷积用于给各个特征自适应的权重,sig(x)为sigmoid函数，d为特征fk'＝c'的通道数量；

40、信息相关矩阵a与特征维度统一后的分割层特征v进行点积操作，完成第二次融合，并用残差操作将fk'＝c的信息融合到原始分割层特征v'：

41、v'＝av+f'(fk'＝c)

42、其中，f'(x)为线性映射函数。

43、综上所述，本发明的有益效果如下：

44、本发明实施例提供的一种基于离线强化学习的乳腺肿瘤图像分割方法，该方法有效融合了离线强化学习学习和交叉注意力的思想，参考层和交叉注意力的引入可以增强二维网络对分割目标的识别和定位，同时避免三维网络引入过多的冗余信息，造成分割困难。另外离线强化学习方法解决了q网络对价值函数估计过高的问题，提高了策略的稳定性和可靠性，同时使得训练过程不需要与现实环境实时交互，避免了较大的试错代价，降低了训练成本。该方法具有较好的创新性与推广性，既适用于细胞核分割，也适用于组织分割，具有较高的应用价值。