一种肝细胞癌病理图像分割系统

1.本发明属于医学图像处理领域，具体涉及一种肝细胞癌病理图像分割系统。


背景技术：

2.肝细胞癌是全球因癌症引发死亡的主要原因之一。肝细胞癌病理诊断对患者的治疗及预后提供重要参考价值，早发现、早诊断才能为肝细胞癌患者提供更好的预后。病理科医生通常使用苏木精-伊红染色的肝细胞癌组织病理切片在显微镜下获取细胞级的信息用于病理诊断和科学研究中。数字病理图像是利用可视化技术对染色组织切片进行数字化得到的高清图像，数字化后的病理切片使肝细胞癌组织更易存储和分析。
3.通常，肝细胞癌病理切片分析要求专业的病理科医生在显微镜等辅助仪器下用肉眼全方位观察组织切片，并结合自身的临床实践经验，对病理切片进行诊断分析。然而，由于病理科医生紧缺及工作量繁杂的原因，造成病理科医生疲劳阅片的现象不胜枚举。此外，病理诊断通常带有病理科医生很强的个人主观性，病理科医生的专业知识储备以及临床经验将直接影响病理诊断的结果，导致病理诊断存在误诊的风险。因此，病理科医生往往会进行重复的工作以避免误诊与漏诊的可能，这也造成了病理科医生消耗了大量的精力却工作效率低的问题。将深度学习图像处理算法应用到肝细胞癌病理辅助诊断中，并通过优化部署至合适的硬件平台以便提供病理图像自动分割任务的支持，这样不仅可以减轻病理科医生的工作量，缓解医疗资源不足的问题，而且可以降低病理诊断的误诊率，给出具有参考意义的病理诊断结果，在临床与科研中均具有十分重要的意义。
4.申请号为cn202110731127.0的中国专利申请公开了一种基于人工智能对早期肝细胞癌术后复发预后的分析方法及系统，可以通过完整的数字化苏木精-伊红染色(he)染色组织病理切片来预测早期肝细胞癌术后复发风险及预后，具体步骤为：获取待分析标本的全视野数字切片(wsi)图像；对所述wsi图像进行提取前景感兴趣区域(roi)；通过深度学习识别数字化病理图像不同区域。直接根据he染色切片对早期肝细胞癌术后复发风险及预后进行有效分析，在识别出多种不同细胞区域的同时，其准确度也较高，对于患者复发具有极大的指导意义。但是，一方面，该预测系统主要是用于预测早期肝细胞癌术后复发风险及预后，虽然能够通过其深度学习分类模型对wsi图像中的肿瘤组织、正常肝组织、纤维化区域、汇管区、淋巴区域和坏死区域六大类组织细胞区域进行识别，但无法精确分割整个肿瘤(wholetumor,wt)和存活肿瘤(viabletumor,vt)，无法针对性治疗存活肿瘤区域。另一方面，该预测系统不具备可视化交互界面及功能，操作不够直观和方便。


技术实现要素：

5.本发明的一个目的在于提供一种肝细胞癌病理图像分割系统，本发明的另一个目的在于提供一种肝细胞癌病理图像分割可视化交互系统。
6.本发明提供了一种肝细胞癌病理图像分割系统，所述系统包括以下模块：
7.(一)数据预处理模块：对肝细胞癌病理图像进行预处理；
8.(二)分割模型训练模块：以unet网络结构为基础，融合残差模块和注意力机制模块，构建得到resatt-unet网络模型；利用训练集预处理后的肝细胞癌病理图像训练resatt-unet网络模型，得到分割模型；
9.(三)病理图像分割模块：利用分割模型分割测试集预处理后的肝细胞癌病理图像，输出分割结果。
10.进一步地，数据预处理模块中，预处理方式包括组织区域提取、切分图像块、数据扩增和颜色标准化。
11.进一步地，组织区域提取能够通过提前对肝细胞癌病理图像的空白背景区域进行识别区分，将肝细胞癌病理图像中的组织区域单独提取出来；
12.切分图像块能够将肝细胞癌病理图像的组织区域切分为256
×
256像素大小的图像块；
13.数据扩增的方式为数据翻转和旋转；
14.颜色标准化采用的算法为基于稀疏非负矩阵分解的染色分离颜色归一化算法。
15.进一步地，分割模型训练模块中，残差模块引入的位置是unet网络结构的卷积层中，注意力机制模块引入的位置是unet网络结构的跳跃连接部分。
16.进一步地，训练resatt-unet网络模型时，参数设置如下：采用adam优化器，学习率为1e-4，批量大小为32，共迭代100epochs。
17.本发明还提供了一种肝细胞癌病理图像分割可视化交互系统，它包括上述的肝细胞癌病理图像分割系统和嵌入式部署部分。
18.进一步地，所述嵌入式部署部分包括nvidia jetson tx2嵌入式设备及其外围硬件。
19.进一步地，所述外围硬件包括复位电路、供电模块、电子目镜模组、存储器及输入输出交互设备。
20.进一步地，所述肝细胞癌病理图像分割系统是通过tensorrt推理加速引擎部署至nvidia jetson tx2嵌入式设备的。
21.本发明还提供了上述肝细胞癌病理图像分割系统、上述肝细胞癌病理图像分割可视化交互系统在制备用于分割肝细胞癌病理图像的医疗设备中的用途。
22.存活肿瘤(viabletumor,vt)仅指恶性肿瘤当中肿瘤细胞依然有活性，可以出现外周的浸润，远处的转移等情况的区域。整个肿瘤(wholetumor,wt)指所有肿瘤区域，包括存活肿瘤部分和先前经过肝癌介入治疗(tace)等治疗的区域。
23.实验结果表明，本发明肝细胞癌病理图像分割系统能够明显提高肝细胞癌病理图像分割的精度，能够同时精确分割整个肿瘤(wholetumor,wt)和存活肿瘤(viabletumor,vt)两类肿瘤组织，不仅在肝细胞癌病理辅助诊断中具有广阔的应用前景，还有助于在临床应用中针对性治疗存活肿瘤区域。
24.在肝细胞癌病理图像分割系统的基础上，本发明进一步通过tensorrt推理加速引擎将肝细胞癌病理图像分割系统优化部署至nvidia jetson tx2嵌入式设备，并设计实现了肝细胞癌病理图像分割可视化交互界面及其功能，临床应用前景广阔。
25.显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
26.以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
27.图1为实施例1肝细胞癌病理图像分割系统的数据预处理流程示意图。
28.图2为实施例1中resatt-unet网络模型的示意图。
29.图3为网络loss收敛曲线图。
30.图4为实施例1肝细胞癌病理图像分割结果示例。(a)原始图像；(b)wt金标准图像；(c)wt分割结果图像；(d)vt金标准图像；(e)vt分割结果图像。
31.图5为实施例2细胞癌病理图像分割可视化交互系统的结构设计示意图。
32.图6为实施例2嵌入式端病理图像分割可视化应用系统的模块示意图。
33.图7为实施例2肝细胞癌病理图像分割可视化交互系统的工作流程图。
34.图8为实施例2肝细胞癌病理图像分割可视化交互系统的应用程序主界面。
35.图9为实施例2的肝细胞癌病理图像分割可视化交互系统的运行示例。(a)应用运行；(b)病理图像分割结果。
36.图10为实施例2细胞癌病理图像分割可视化交互系统的整体设计方案示意图。
具体实施方式
37.本发明所用原料与设备均为已知产品，通过购买市售产品所得。
38.以下实施例采用的肝细胞癌病理图像来源于paip2019肝细胞癌病理图像数据集和四川大学华西医院病理图像数据库，肝细胞癌病理图像均使用h&e染色，并已做匿名化。其中paip2019肝细胞癌病理图像数据集是由首尔国立大学医院自2000年至2018年期间采集得到的肝细胞癌病理档案构建的。病人均是第一次接受肝切除手术的肝癌患者。
39.实施例1、构建肝细胞癌病理图像分割系统
40.步骤1：数据预处理
41.对肝细胞癌病理图像进行预处理使其属性统一，减少无关因素对分割算法的影响，加快模型训练的收敛速度，从而提高分割模型的性能。肝细胞癌病理图像的预处理模块依次分为组织区域提取模块、切分图像块模块、数据扩增模块与颜色标准化模块(如图1所示)。
42.组织区域提取模块通过提前对病理图像的空白背景区域进行识别区分，将病理图像中的组织区域单独提取出来，使得训练网络的数据只包含组织样本。
43.如果直接将整幅病理图像作为训练数据，将对计算机内存等性能存在很大挑战，需要将整幅病理图像进行切分图像块操作，切分为小尺寸的图像块再进行后续操作。切分图像块模块先将肝细胞癌病理图像重新缩放到适当的放大倍率，再使用无重叠的滑动窗口方案将病理图像的组织区域切分为256
×
256像素大小的图像块。
44.为了充分利用已切分的病理图像块，将其在数据扩增模块进行有效的数据扩增处理，为保证病理图像数据的真实性，仅对数据进行翻转和旋转操作，以使网络模型对几何扰动保持不变。
45.为了解决病理切片染色制备时颜色存在差异的问题，在颜色标准化模块通过颜色标准化处理方法减少由于颜色差异给模型算法带来的影响，本发明颜色标准化模块采用基于稀疏非负矩阵分解的染色分离颜色归一化算法，其原理是基于稀疏非负矩阵分解正则化的方法对原图像和目标图像进行精确的颜色分离，达到匹配目标图像颜色的效果。
46.步骤2：分割模型训练
47.以unet网络结构为基础，融合残差模块和注意力机制模块，构建得到本发明的resatt-unet网络模型(如图2所示)。构建方法具体如下：
48.在unet网络的卷积层中引入残差模块，改善梯度消失的问题，将前层特征充分表达到下一层特征，有效提取更深层次的图像语义信息。在此基础上，将注意力机制模块引入unet网络的跳跃连接部分，充分过滤网络低层与高层连接处理时的噪声信息，增强有用的低级特征，抑制病理图像中的无关区域，提升尺度较小的肿瘤组织分割效果，从而提高肝细胞癌病理图像分割模型的预测精度与灵敏度。
49.在上述resatt-unet网络模型基础上进行分割模型训练。训练优化方法采用adam优化器，学习率设置为1e-4，批量大小设置为32，共迭代100epochs，每经过1epoch自动保存训练模型及其相关参数。模型训练在损失数值逐渐收敛且趋于平稳时达到停止条件。如图3所示为网络loss收敛曲线图。
50.步骤3：肝细胞癌病理图像分割
51.分割模型训练好后，使用滑动窗口推断法将模型应用于待预测的肝细胞癌病理图像，以获得最终的分割结果。
52.以下为实施例1肝细胞癌病理图像分割效果的验证。
53.随机选择肝细胞癌病理图像的分割数据，并对病理图像分割结果进行可视化验证。图4为肝细胞癌病理图像分割结果示例。通过观察病理图像分割结果发现resatt-unet网络模型对整个肿瘤(wholetumor,wt)和存活肿瘤(viabletumor,vt)两类肿瘤组织均表现出优异的分割精度，分割模型可将这两类肿瘤组织准确地分辨出来。
54.为了更好评估引入残差模块和注意力机制模块对unet基础网络模型分割性能产生的影响，进行了模块间的消融实验。使用dice系数作为分割模型的分割精度的评价指标，dice系数的取值范围为0-1,其值越接近1说明分割的精度越好。
55.不同模块间的实验指标对比如表1所示，序号自上至下依次为：未引入其他模块的unet基础网络、引入残差模块的unet网络、引入注意力机制的unet网络、同时引入残差模块与注意力机制模块的resatt-unet网络。
56.表1.网络模型模块间的消融实验
57.序号resblockattentionblockwt dicevt dice1
‑‑
0.81760.78032√-0.82610.78853-√0.82480.79624√√0.83620.8049
58.可以看出，与unet基础网络模型相比，当基础网络仅引入残差模块时，肝细胞癌病理图像两类肿瘤标签(wt，vt)的平均dice系数值有所提升，分别为0.8261，0.7885；当仅引入注意力机制模块时，肝细胞癌病理图像两类肿瘤标签(wt，vt)的平均dice系数值有所提
升，分别为0.8248，0.7962；当将残差模块与注意力机制模块同时融合到unet基础网络中时，肝细胞癌病理图像两类肿瘤标签(wt，vt)分割效果最佳，wt dice与vt dice的平均值分别为0.8362，0.8049，相较unet基础网络dice评价指标值分别提升了2.27％，3.15％。
59.上述结果表明，本发明肝细胞癌病理图像分割系统能够明显提高肝细胞癌病理图像分割的精度，能够同时精确分割整个肿瘤(wholetumor,wt)和存活肿瘤(viabletumor,vt)两类肿瘤组织。
60.实施例2、构建肝细胞癌病理图像分割可视化交互系统
61.本实施例的肝细胞癌病理图像分割可视化交互系统自下至上依次是硬件层、系统层、数据层、算法层以及应用层(如图5所示)。
62.1.硬件层：基于nvidia jetson tx2嵌入式设备，其外围硬件包括电子目镜模组、存储器及输入输出交互设备，以建立基本运行条件。
63.2.系统层：系统层用于分配和协调软硬件资源，nvidia提供了适配jetson tx2的jetpack系统环境，其中包含linux操作系统与计算机视觉处理库等。通过系统api接口函数即可调用基本的gpu相关函数以及图像处理算法，提高了方案的移植性和扩展性。
64.3.数据层：包含处理病理图像所产生的数据、待调用的缓存数据以及应用层传递的用户指令数据。数据层为算法层提供有效的数据支持，并接收或发送来自应用层的相关数据。
65.4.算法层：算法层为实施例1的肝细胞癌病理图像分割系统。当算法层被应用层调用后，会将分割系统处理完成后的病理图像分割结果返回至应用层。
66.5.应用层：应用层使用qt应用开发软件设计实现了可视化应用程序。应用程序与用户交互最为紧密，其联立了整个系统的数据输入、数据处理、数据查看及保存等功能，是交互界面功能的直接实现。用户将指令传输到应用程序中，应用程序执行相应的功能并把肝细胞癌病理图像分割结果展示给用户。
67.实施例2嵌入式端病理图像分割可视化应用系统的模块示意图如图6所示。该应用包含五大功能模块，分别是病理图像读取输入模块、基础选项模块、病理图像初步处理模块、病理图像分割选项模块以及病理图像分割展示模块，旨在通过jetson tx2设备实现对病理图像的图像分割处理。应用程序采用了模块化设计，有效提高了应用的可维护性及易用性。
68.实施例2肝细胞癌病理图像分割可视化交互系统的应用主界面如图8所示。病理图像读取输入模块是可视化应用程序数据来源的入口，负责病理图像数据的输入，供后续功能模块处理；基础选项模块提供了基本的辅助操作选项，如撤销和重置功能；病理图像初步处理模块对输入的病理图像进行初步处理，排除一些干扰因素，确保能在最后得到较好的分割效果；病理图像分割选项模块使用经tensorrt优化加速的模型对图像进行分割，并可以把模型分割的结果图像进行保存；病理图像分割展示模块是对处理结果的直观展示。
69.为了使jetson tx2设备上部署的肝细胞癌病理图像分割模型获得较好的推理效果，采用了tensorrt推理加速引擎对模型进行了优化部署。在jetson tx2设备打开肝细胞癌病理图像分割应用，载入存在肿瘤组织的病理图像与肝细胞癌病理图像分割模型，对病理图像进行分割处理，待处理完成后相应展示出分割结果，图9为实施例2的肝细胞癌病理图像分割可视化交互系统的运行示例。
70.本发明实施例2的细胞癌病理图像分割可视化交互系统中，通过tensorrt推理加速引擎将实施例1的肝细胞癌病理图像分割系统优化部署至nvidia jetson tx2嵌入式设备，并设计实现了肝细胞癌病理图像分割可视化交互界面及其功能(如图10所示)。
71.综上，本发明提供了一种肝细胞癌病理图像分割系统。本发明肝细胞癌病理图像分割系统能够明显提高肝细胞癌病理图像分割的精度，能够同时精确分割整个肿瘤和存活肿瘤两类肿瘤组织，不仅在肝细胞癌病理辅助诊断中具有广阔的应用前景，还有助于在临床应用中针对性治疗存活肿瘤区域。在肝细胞癌病理图像分割系统的基础上，本发明进一步通过tensorrt推理加速引擎将肝细胞癌病理图像分割系统优化部署至nvidia jetson tx2嵌入式设备，设计实现了肝细胞癌病理图像分割可视化交互界面及其功能，临床应用前景广阔。