基于双流交叉注意力网络的病理图像层级表征方法

本发明属于病理图像处理，更为具体地讲，涉及一种基于双流交叉注意力网络的病理图像层级表征方法。

背景技术：

1、基于病理图像的表征学习一直以来都是十分具有挑战性的问题，它旨在研究如何从特殊染色(如苏木精—伊红染色)的病理图像(whole-slide image,简称wsi)中提取有效的全局图像表征用于下游预测任务。不同于普通的图像，最大放大倍率下的病理图像一般是千兆像素的，它能够提供丰富的病理视觉信息，如组织表型和组织微环境，甚至是个体细胞。这些多层级的信息可为病理医生评估疾病提供重要依据，但同时也给病理图像的全局表征学习带来了极大挑战。一方面，经典的计算机视觉模型仅能处理普通规格的图像，无法直接用于千兆像素的病理图像。另一方面，由于病理图像的分辨率极高但信息密度低，所以基于病理图像的表征学习模型需要能够从超高分辨率图像中高效地自动提取具有区分性的视觉特征。

2、为了解决上述问题，基于病理图像的表征学习方法常常包含三个必要步骤：病理图像的分块(patch)划分、分块特征提取、基于分块的多示例学习。其中，基于分块的多示例学习旨在从每张病理图像的分块包中学习一种全局的包级别(或整张图像级别)表征。早期的技术几乎都仅使用单分辨率的病理图像，它们通常首先学习特定结构的分块依赖来得到新的分块级别特征，然后通过聚合这些特征得到最终的包级别表征。例如，li等人首次采用图描述分块结构，然后借助图神经网络学习分块所在的图节点表示，最后使用节点池化操作得到病理图像的全局表征。后来，更多的分块结构，如聚类和序列，都被尝试用于病理图像全局表征学习。这类技术均在病理图像常见的下游任务中(如癌症亚型分类、癌症预后风险预测)取得了不错的效果。

3、近年来，学者们逐渐开始将注意力从单尺度图像转移到多尺度的视觉对象，例如病理图像的图像金字塔结构，旨在充分利用病理图像中固有的层级化语义信息，如细胞、组织微环境、组织表型，以更好地表征病理图像。例如，li等人和hou等人分别采用序列和异质图描述分块结构，探究使用两种分辨率的图像学习一种层级的病理图像全局表征。图1是基于序列和异质图的病理图像层级表征方法示意图。如图1所示，在该方法中，将两种分辨率的图像分别基于序列和异质图的方式提取特征，再融合得到病理图像的全局表征。尽管这些方法取得了比单分辨率图像更好的效果，但这类基于病理图像金字塔的方案仍然存在两个主要问题。其一，在特征融合过程中，不同尺度特征之间固有的语义差距没有被恰当地处理，而是仅限于简单的多尺度向量拼接，或者不同尺度特征之间直接的消息传递。其二，大量的高分辨率分块显式地参与了整个分块向量学习的过程，带来了高额的计算成本。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于双流交叉注意力网络的病理图像层级表征方法，将不同尺度的特征学习过程解耦，采用两条支路单独进行两种分辨率的图像分块的特征学习，再将两条支路的特征进行合并以得到多尺度的病理图像层级表征，从而提高病理图像层级特征的有效性、区分性。

2、为了实现上述发明目的，本发明基于双流交叉注意力网络的病理图像层级表征方法包括以下步骤：

3、s1：收集若干病理图像及对应的标签，根据实际需要确定病理图像的图像金字塔中两个分辨率kl、kh，其中高分辨率kh相对于低分辨率kl的图像边长放大倍数为λ，从所收集病理图像的图像金字塔中获取这两个分辨率的图像并进行非重叠的分块划分，保证低分辨率图像的分块与λ×λ个高分辨的分块以一对一的形式区域对齐；将每幅病理图像的低分辨率图像分块和高分辨率图像分块作为输入，其对应的标签作为输出，构成一个训练样本，从而得到训练样本集；

4、s2：构建双流交叉注意力网络，包括特征提取模块、卷积层、低分辨率流编码器、特征重构模块、方形池化模块、高分辨流编码器、特征拼接模块、全局注意力池化模块和特征投影模块，其中：

5、特征提取模块用于对病理图像的低分辨率图像分块和高分辨率图像分块分别提取特征，记所得到的低分辨率特征为高分辨率特征为其中m表示低分辨率图像划分得到的分块数量，d表示每个分块提取得到的特征向量维度，将低分辨率特征xl发送至卷积层和方形池化模块，将高分辨率特征xh发送至特征重构模块；

6、卷积层用于对低分辨率特征xl进行卷积，得到特征并发送至低分辨率流编码器，其中de表示卷积操作得到的低分辨率分块的特征向量维度；

7、低分辨率流编码器用于对特征el进行编码，得到特征并发送至特征拼接模块；

8、特征重构模块用于对高分辨率特征xh进行重构，得到高分辨率特征并发送至方形池化模块；

9、方形池化模块用于对高分辨率特征oh进行方形池化，得到池化后的高分辨率特征并发送至高分辨率流编码器；方形池化操作的具体方法如下：

10、eh＝f(oh；ql)

11、其中，表示投影后的低分辨率特征，采用如下公式得到：

12、ql＝xlwl

13、表示待训练的投影矩阵；

14、f表示交叉注意力池化函数，表达式如下：

15、

16、其中，eh(i)、ol(i)分别表示特征eh、特征ql中第i行特征向量，i＝1,2,…,m，表示高分辨率特征oh中与低分辨率特征ol(i)存在分块区域对齐的λ×λ个特征向量构成的子特征矩阵，wq、wk、wv分别表示待训练的在query，key，value的投影矩阵；

17、高分辨率流编码器用于对特征eh进行编码，得到特征并发送至特征拼接模块；

18、特征拼接模块用于对特征vl和特征vh进行拼接，得到拼接特征并发送给全局注意力池化模块；

19、全局注意力池化模块用于对拼接特征s进行全局注意力池化，得到特征并发送至特征投影模块；

20、特征投影模块用于对特征h进行投影映射，得到病理图像的层级特征其中d表示预设的层级特征维度；

21、s3：根据实际需要确定一个预测模型，然后将双流交叉注意力网络和预测模型组成病理图像预测网络，将步骤s1中每幅病理图像的低分辨率图像分块和高分辨率图像分块作为输入，其对应的标签作为期望输出，对病理图像预测网络进行训练，从训练好的病理图像预测网络中提取出训练好的双流交叉注意力网络；

22、s4：对于待进行层级表征的病理图像，从其图像金字塔中提取出低分辨率kl和高分辨率kh的图像，然后按照步骤s1中的方法对两个分辨率的图像进行非重叠的分块划分，将得到的低分辨率图像分块和高分辨率图像分块输入至步骤s3训练好的双流交叉注意力网络中，得到病理图像的层级特征。

23、本发明基于双流交叉注意力网络的病理图像层级表征方法，构建双流交叉注意力网络，在该网络中将低分辨率图像分块和高分辨率图像分块采用两条支路单独进行特征学习，在高分辨率图像分块的特征学习中采用低分辨率图像分块特征基于交叉注意力机制进行方形池化指导，再将两条支路学习到的特征进行合并，得到多尺度的病理图像层级表示；将双流交叉注意力网络和预测模型构建病理图像预测网络，采用训练样本进行训练，从训练好的病理图像预测网络中提取出训练好的双流交叉注意力网络；对于待进行层级表征的病理图像，将其低分辨率图像分块和高分辨率图像分块输入训练好的双流交叉注意力网络，得到病理图像的层级特征。

24、本发明将不同尺度的特征学习过程解耦，采用两条支路单独进行两种分辨率的图像分块的特征学习，再将两条支路的特征进行合并以得到多尺度的病理图像层级表征，从而提高病理图像层级特征的有效性、区分性。实现验证，本发明在下游的预后任务上具有很好的表现。