一种甲状腺被膜侵犯智能辅助判读方法

本发明涉及一种甲状腺被膜侵犯智能辅助判读方法。

背景技术：

1、甲状腺癌是一种较为常见的恶性肿瘤，通常发生在人体颈部的甲状腺中。其全球范围内的发病率呈现增长趋势，尤其在女性和年轻群体中的患病率更高。据统计，全球每年确诊甲状腺癌约有300,000例。甲状腺癌可分为四种类型，包括乳头状癌、滤泡状癌、未分化癌和髓样癌，其中乳头状癌是最常见的类型。目前，甲状腺癌的诊断主要依赖于影像学检查和细胞学检查，包括超声、ct、mri等影像学检查，以及细针穿刺活检和甲状腺切片检查。

2、甲状腺癌的被膜侵犯是其恶性程度的重要指标之一，对患者的治疗和预后具有重要的临床意义。目前，对于甲状腺癌被膜侵犯的研究主要集中在医学影像分析和机器学习技术方面。在医学影像分析方面，常用的方法包括ct、mri、超声等成像技术，通过对图像特征的提取和分析来判断甲状腺癌的被膜侵犯情况。在机器学习技术方面，随着深度学习技术的发展，基于神经网络的方法在甲状腺癌被膜侵犯分割领域也得到了广泛应用。

3、在机器学习的应用过程中，精确的生物医学图像分割是优秀的计算机辅助诊断（cad）系统的先决条件。一系列的研究表明，卷积神经网络（cnns）在分割任务方面取得了令人印象深刻的进展。然而，基于cnn的算法由于接受域有限，过于关注局部区域特征，而不是全局背景。虽然transform架构可以通过自注意机制来编码全局依赖信息，但这种机制通常会忽略每个分割块中的局部像素级结构信息。因此，如何有效地将cnn架构与transformer架构集成，还需要一个更好的解决方案。因此，本发明提出了采用一种提供高效的局部-全局融合与transform和cnn并行网络的生物医学图像分割方法来进行甲状腺被膜侵犯智能辅助判读。

技术实现思路

1、本发明的目的在于克服现有需要专业人员用肉眼去寻找甲状腺超声图片中结节位置并判断是否发生被膜侵犯，耗时耗力的问题，因此提供一种甲状腺被膜侵犯智能辅助判读方法，该方法主要采用本研究自行提出的一种提供高效的局部-全局融合与transformer和cnn并行网络的生物医学图像分割方法。本研究提出的模型使用方便，输入一张甲状腺超声图片，即可输出一张有着疑似甲状腺结节的定位和分割图片，自动化的得到甲状腺结节初步判读结果，能够大大的减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断甲状腺结节患者的预后及治疗手段的改善提到积极的作用，具有非常重要的意义和广阔的前景。

2、为实现上述目的，本发明的技术方案是：一种甲状腺被膜侵犯智能辅助判读方法，将划分好的训练集分别输入transformer编码器和efficietnet编码器中，得到的部分中间特征和最终编码特征分别通过cse模块进行特征融合，且最终编码特征通过cse模块进行特征融合的输出导入一个残差结构中进行上下文语义特征提取，各级特征以残差形式输入解码器中，得到最终解码输出；同时，上下文语义提取后可通过一个全局平均池化和一个全连接层得到一个初步判别结果。

3、在本发明一实施例中，所述transformer编码器为基于swin transformer的编码器，其采用多个swin transformer的编码器。

4、在本发明一实施例中，所述efficietnet编码器为基于efficientne-b7的编码器。

5、在本发明一实施例中，所述cse模块用于实现特征融合，其具体实现如下：

6、首先，对transformer编码器和efficietnet编码器两个编码分支中提取出来的特征进行平均池化处理，并通过多层感知机处理后进行通道拼接；接着，将拼接后的特征矩阵与transformer编码器的编码输出做点乘处理得到浅层融合特征；对efficietnet编码器提取出的特征进行最大池化和平均池化处理后进行卷积和sigmoid平滑处理后得到的特征和浅层融合特征进行通道拼接得到深层融合特征；最后，对深层融合特征进行残差处理得到最终交互特征。

7、在本发明一实施例中，所述上下文语义提取通过上下文语义特征提取模块实现，该模块由多个含有不同数量空洞卷积块的分支组成，其中，每个分支中的多个空洞卷积块具有不同的膨胀率，使得该模块能够提取不同层次的上下文语义信息。

8、相较于现有技术，本发明具有以下有益效果：本发明一种甲状腺被膜侵犯智能辅助判读方法。该方法结合了甲状腺区域分割的算法，采用全局-局部信息交互的设计思路，旨在有效辅助医生对超声片进行诊断以及对预后计划和分析。该方法已经在相关数据集上进行了测试，证明了其在现有的甲状腺结节被膜侵犯的分割效果中具有极其强大的效果。由于分割的高准确率能够为医生进行病情诊断和干预治疗提供有效的指导，因此本发明具有重要的实际应用价值。此外，本发明提出的对有效信息多种合理利用的思路为后续研究奠定了理论基础。

9、用途：

10、被膜侵犯的判读对于甲状腺病症的判断至关重要。为了能够减轻医生在甲状腺结节被膜侵犯的判读过程中所花费的大量精力和时间，本发明提出了一种基于多种信息交互的甲状腺被膜侵犯智能辅助判读方法。该方法通过对甲状腺区域分割的算法和全局-局部信息交互的设计思路相结合，有效地辅助医生对超声片的诊断以及对预后的计划和分析。实验结果表明，该方法在现有的甲状腺结节被膜侵犯的分割效果中具有极其强大的效果。其高准确率的分割结果能够为医生进行病情诊断和干预治疗提供有效的指导，特别是对于医生资源匮乏的地方医院，该方法可以加速医生判读速度，快速找到被膜侵犯区域，大大缩短医生在甲状腺超声图像上判断是否发生被膜侵犯的时间和精力。同时，本发明对有效信息进行多种合理利用的思路也为后续相关医学工作奠定了理论基础。此外，该方法在甲状腺癌的诊断、对靶向药物治疗反应的预后以及对超声科和肿瘤科医生的培训等领域具有广泛的应用价值。

技术特征：

1.一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，将划分好的训练集分别输入transformer编码器和efficietnet编码器中，得到的部分中间特征和最终编码特征分别通过cse模块进行特征融合，且最终编码特征通过cse模块进行特征融合的输出导入一个残差结构中进行上下文语义特征提取，各级特征以残差形式输入解码器中，得到最终解码输出；同时，上下文语义提取后可通过一个全局平均池化和一个全连接层得到一个初步判别结果。

2.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述transformer编码器为基于swin transformer的编码器，其采用多个swin transformer的编码器。

3.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述efficietnet编码器为基于efficientne-b7的编码器。

4.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述cse模块用于实现特征融合，其具体实现如下：

5.根据权利要求1所述的一种甲状腺被膜侵犯智能辅助判读方法，其特征在于，所述上下文语义提取通过上下文语义特征提取模块实现，该模块由多个含有不同数量空洞卷积块的分支组成，其中，每个分支中的多个空洞卷积块具有不同的膨胀率，使得该模块能够提取不同层次的上下文语义信息。

技术总结
本发明涉及一种甲状腺被膜侵犯智能辅助判读方法。该方法主要采用本研究自行提出的一种提供高效的局部‑全局融合与Transformer和CNN并行网络的生物医学图像分割方法。本研究提出的模型使用方便，输入一张甲状腺超声图片，即可输出一张有着疑似甲状腺结节的定位和分割图片，自动化的得到甲状腺结节初步判读结果，能够大大的减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断甲状腺结节患者的预后及治疗手段的改善提到积极的作用，具有非常重要的意义和广阔的前景。

技术研发人员：童同,陈浩,周小根,聂星晴,薛恩生,陈舜
受保护的技术使用者：福州大学
技术研发日：
技术公布日：2024/1/15