一种基于全切片病理图像的癌症患者预后特征提取系统及方法

本发明涉及计算机视觉的，具体而言，涉及一种基于全切片病理图像的癌症患者预后特征提取系统及方法。

背景技术：

1、近年来，人工智能快速发展，在众多领域展现了出色的能力。针对全切片图像(whole slide image,wsi)的处理，全切片图像是通过数字扫描仪扫描组织样本病理切片，并将其转换为高分辨率的数字图像，需要将其切割成大小适合深度学习网络训练和推理的图像块。当前，深度学习算法在病理中仍存在以下问题：第一，由于全切片病理图片尺寸过大，只能将其切割成大小适合深度学习网络训练的图像块，导致深度学习算法只能学习到图像块中的局部特征，而忽略了全局特征，缺少上下文感知能力。第二，在大尺寸病理图像中，如何筛选与预后相关的图像块，并提取与预后相关的特征也存在一定困难。

技术实现思路

1、本发明的目的在于：提供一种高效、准确的基于全切片病理图像的肝细胞癌患者预后特征提取系统及方法。

2、本发明的技术方案是：提供了一种基于全切片病理图像的癌症患者预后特征提取系统，该系统包括：病理图像数据库、图像处理模块和神经网络模块；

3、病理图像数据库中包含患者切除的肝组织全切片病理图像，图像处理模块从病理图像数据库中读取患者切除的肝组织全切片病理图像，并过滤背景，提取前景图；

4、图像处理模块对前景图进行切块处理，将前景图切割为等大小且不重叠的图像块，并记录图像块在全景图中相对位置；

5、神经网络模块包括resnest网络和预后特征提取网络，resnest网络选取多张全切片病理图像的所有图像块制作组织分类数据集作为训练集，对自身进行训练；

6、resnest网络再选取组织分类数据集中的一部分作为测试集，对患者的病理切片的图像块进行分类，resnest网络同时也计算了每个图像块对肿瘤的置信度，resnest网络筛选出均值置信度最高的前50个图像块输入预后特征提取网络，预后特征提取网络输出判断结果。

7、上述任一项技术方案中，进一步地，图像处理模块使用openslide库读取患者切除的肝组织全切片病理图像，提取前景图的步骤包括：

8、将患者切除的肝组织全切片病理图像按一定倍率压缩，得到全景图，将彩色的全景图转为灰度图，使用otsu法分离灰度图的空白背景与前景，将空白背景去除，得到前景图。

9、上述任一项技术方案中，进一步地，resnest网络包括：输入层、卷积层、全连接层和输出层；其中卷积层为相同且并列的4组卷积层，输入层的输出结果输入到并列的4组卷积层中，4组卷积层的输出均连接至全连接层，全连接层的输出连接至输出层；

10、resnest网络的输入层包括卷积核、bn层和激活函数relu；每组卷积层均包括4×4的卷积核阵列和注意力机制模块；输出层包括卷积核、bn层、通道注意力模块cbam和激活函数relu。

11、上述任一项技术方案中，进一步地，预后特征提取网络在resnest网络训练完成后构建，预后特征提取网络首先采用3个卷积核层数分别为7、5、3，通道数分别为256、128、64的卷积层提取浅层特征；

12、预后特征提取网络的3个的填充量均为1，填充量表示在输入图像周围添加额外像素的大小；卷积层为7层的卷积核滑动步幅为2，卷积层为5层和3层的卷积核滑动步幅均为1。

13、上述任一项技术方案中，进一步地，预后特征提取网络的第三个卷积核的输出连接bn+relu+maxpool层，bn+relu+maxpool层的输出接入并复用resnest网络中的4组卷积层。

14、上述任一项技术方案中，进一步地，接入预后特征提取网络的resnest网络中的4组卷积层取消并列结构，改为串联结构，下一组的输入连接上一组的输出。

15、上述任一项技术方案中，进一步地，预后特征提取网络复用的第4组卷积层的输出连接至平均池化层，平均池化层连接至全连接层，再依次经过bn、relu和linear后输出判断结果。

16、还提供了一种应用于上述任一项技术方案中所述的基于全切片病理图像的癌症患者预后特征提取系统的预后特征提取方法，该方法包括：

17、s1、读取患者切除的肝组织全切片病理图像；

18、s2、将步骤s1获取的全切片病理图像按一定倍率压缩后得到全景图，将全景图转换为灰度图，过滤掉灰度图的空白背景，获取前景图；

19、s3、将前景图进行切块处理，切割成不重叠的大小为256×256的图像块，并记录图像块在全景图中相对位置；

20、s4、选取多张全切片病理图像的所有图像块制作组织分类数据集，选取组织分类数据集中的一部分作为训练集输入resnest网络，对resnest网络进行训练；

21、s5、选取组织分类数据集中的一部分作为测试集输入resnest网络，对患者的病理切片的图像块进行分类，resnest网络同时也计算了每个图像块对肿瘤的置信度，筛选出均值置信度最高的前50个图像块；

22、s6、将步骤s5筛选出的50个图像块输入至预后特征提取网络，预后特征提取网络输出判断结果。

23、上述任一项技术方案中，进一步地，resnest网络的训练骤包括：

24、将组织分类数据集按照训练集：验证集：测试集为6：2：2的比例分割，将训练集输入resnest网络对其进行训练，训练结束后将验证集输入resnest网络验证分类结果，准确率低于预设值时，再次输入训练集对resnest网络进行训练，直至验证集得到的准确率大于预设值。

25、上述任一项技术方案中，进一步地，步骤s5中筛选均值置信度最高的前50个图像块的方法包括：

26、以5×5为单位选择相邻的25个图像块作为一个窗口，遍历图像中所有可能形成的窗口，对于每个窗口，计算本窗口内的25个图像块对肿瘤置信度的均值并将其作为本窗口的置信度；根据窗口的置信度将所有可能形成的窗口由高至低排序，按排序顺序遍历，剔除与更高置信度窗口发生重叠的窗口，选取剩余的前50个窗口，将每个选出的包含25个图像块的窗口拼接合并为一个图像，得到50个图像，并将所有图像的尺寸压缩至256×256。

27、本发明的有益效果是：

28、本发明中的技术方案通过在预后特征提取网络中添加3层不同卷积核的卷积层，并在后续接入串行连接的resnest网络卷积层模块，降低模型大小，加快了推理速度；

29、通过使用5x5图像块窗口内置信度均值过滤对全切片病理图片分类结果进行处理，结合周边组织类别特征，过滤孤立肿瘤特征块，有效筛选肿瘤组织；

30、通过添加通道注意力机制与空间注意力机制，提取预后相关特征，有效提高模型提取特征能力。

技术特征：

1.一种基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述系统包括：病理图像数据库、图像处理模块和神经网络模块；

2.如权利要求1所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述图像处理模块使用openslide库读取患者切除的肝组织全切片病理图像，所述提取前景图的步骤包括：

3.如权利要求1所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述resnest网络包括：输入层、卷积层、全连接层和输出层；其中卷积层为相同且并列的4组卷积层，输入层的输出结果输入到并列的4组卷积层中，4组卷积层的输出均连接至全连接层，全连接层的输出连接至输出层；

4.如权利要求3所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述预后特征提取网络在所述resnest网络训练完成后构建，所述预后特征提取网络首先采用3个卷积核层数分别为7、5、3，输出通道数分别为256、128、64的卷积层提取浅层特征；

5.如权利要求4所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述预后特征提取网络的第三个卷积核的输出连接bn+relu+maxpool层，bn+relu+maxpool层的输出接入并复用所述resnest网络中的4组卷积层。

6.如权利要求5所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，接入所述预后特征提取网络的所述resnest网络中的4组卷积层取消并列结构，改为串联结构，下一组的输入连接上一组的输出。

7.如权利要求6所述的基于全切片病理图像的癌症患者预后特征提取系统，其特征在于，所述预后特征提取网络复用的第4组卷积层的输出连接至平均池化层，平均池化层连接至全连接层，再依次经过bn、relu和linear后输出判断结果。

8.一种应用于所述权利要求1至7所述基于全切片病理图像的癌症患者预后特征提取系统的预后特征提取方法，其特征在于，所述方法包括：

9.如权利要求8所述的基于全切片病理图像的癌症患者预后特征提取方法，其特征在于，所述resnest网络的训练骤包括：

10.如权利要求8所述的基于全切片病理图像的癌症患者预后特征提取方法，其特征在于，所述步骤s5中筛选均值置信度最高的前50个图像块的方法包括：

技术总结
本发明公开了一种基于全切片病理图像的癌症患者预后特征提取系统及方法，涉及计算机视觉领域，系统包括：病理图像数据库、图像处理模块和神经网络模块；病理图像数据库中包含患者切除的肝组织全切片病理图像，图像处理模块从病理图像数据库中读取图像并过滤背景提取前景图，将前景图切割为等大小且不重叠的图像块，并记录图像块在全景图中相对位置；神经网络模块包括ResNeSt网络和预后特征提取网络，ResNeSt网络对患者的病理切片的图像块进行分类，同时也计算每个图像块对肿瘤的置信度，ResNeSt网络筛选出均值置信度最高的前50个图像块输入预后特征提取网络，预后特征提取网络输出判断结果。

技术研发人员：揭晨露,仲伟峰
受保护的技术使用者：哈尔滨理工大学
技术研发日：
技术公布日：2024/3/31