基于自注意力机制融合的脑CT图像处理方法及相关设备与流程

本发明涉及图像处理，尤其涉及一种基于自注意力机制融合的脑ct图像处理方法、系统、终端及计算机可读存储介质。

背景技术：

1、脑出血(ich)是由脑实质血管破裂，导致脑组织出血引起的。在脑出血的诊断中，重要的指标包括出血、格拉斯哥昏迷评分(glasgow comascale，gcs)、有无脑室出血等；ct因其图像重建技术和可读性而被广泛应用于脑出血的领域，但传统的方法是通过ct来确定患者的gcs评分；然而，ct的解释需要合格的临床医生，故很容易受到临床医生的经验和主观判断的影响。虽然人工智能(artificial intelligence，ai)的使用可以帮助克服一些缺陷，但ai在脑出血领域的应用主要集中在出血的识别和体积测量，无法精准的对脑ct图像进行分析。

2、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于自注意力机制融合的脑ct图像处理方法及相关设备，旨在解决现有技术中对脑ct图像无法进行精准分析的问题。

2、为实现上述目的，本发明提供一种基于自注意力机制融合的脑ct图像处理方法，所述基于自注意力机制融合的脑ct图像处理方法包括如下步骤：

3、构建处理模型，其中，所述处理模型包括特征提取模块、特征融合模块和分类头，并获取用户的脑ct图像和格拉斯哥昏迷评分数据；

4、将所述脑ct图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；

5、基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到ct切片特征和领域知识相关特征；

6、基于所述特征融合模块对所述ct切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果。

7、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述将所述脑ct图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图，具体包括：

8、将所述脑ct图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；

9、对所述脑ct图像进行表格提取得到dicom格式的数据表，并对所述数据表进行读取，得到原始图像数据，其中，所述原始图像数据包括所述数据表的像素序列；

10、基于所述原始图像数据得到所述脑ct图像的目标窗位和目标窗宽，基于所述目标窗位和所述目标窗宽得到脑组织区域的灰度图；

11、对所述灰度图进行阈值分割和形态学操作，得到去噪灰度图。

12、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到ct切片特征和领域知识相关特征，具体包括：

13、获取所述特征提取模块的backbone部分，根据所述backbone部分对所述去噪灰度图进行特征提取，得到ct切片特征，并接入多层感知器；

14、基于所述多层感知器将所述格拉斯哥昏迷评分数据发送到所述特征提取模块，并基于所述特征提取模块对所述格拉斯哥昏迷评分数据进行全连接方式计算，得到领域知识相关特征。

15、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述基于所述特征融合模块对所述ct切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果，具体包括：

16、将所述ct切片特征和所述领域知识相关特征输入至所述特征融合模块，所述特征融合模块根据第一公式将所述ct切片特征和所述领域知识相关特征进行连接，得到混合特征向量；

17、根据第二公式计算所述ct切片特征和所述领域知识相关特征之间的潜在信息，并根据所述潜在信息对所述混合特征向量进行融合得到融合特征；

18、将所述融合特征输入至所述分类头，所述分类头根据交叉熵函数对所述融合特征进行计算得到结果损失，并基于所述结果损失得到目标结果。

19、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述第一公式为：

20、fglobal＝concat(conv(xi)，wgi+b)；

21、其中，fglobal为由脑ct图像和格拉斯哥昏迷评分数据连接的特征，concat为组合函数，w为线性层的权重，b为线性层的偏差，i为数据集个体的索引，xi为第i个体的ct切片，gi为第i个体的gcs评分，conv(xi)为对xi进行卷积运算。

22、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述第二公式为：

23、fmix＝concat(head1，...，headj)wo；

24、其中，fmix为混合特征，concat为组合函数，headj为第j个注意力头，wo为输出权重矩阵，j为不同注意力头的索引；

25、其中，qj、和vj均为fglobal中的权重矩阵与不同注意力头相乘得到的结果，dk为向量键的维数。

26、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述多层感知器包含第一隐藏层、第二隐藏层和第三隐藏层，其中，所述第一隐藏层、所述第二隐藏层和所述第三隐藏层分别有32、128和256个神经元。

27、可选地，所述的基于自注意力机制融合的脑ct图像处理方法，其中，所述的基于自注意力机制融合的脑ct图像处理系统包括：

28、模型构建模块，用于构建处理模型，其中，所述处理模型包括特征提取模块、特征融合模块和分类头；

29、数据获取模块，用于获取用户的脑ct图像和格拉斯哥昏迷评分数据；

30、数据处理模块，用于将所述脑ct图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；

31、特征提取模块，用于分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到ct切片特征和领域知识相关特征；

32、特征融合模块，用于对所述ct切片特征和所述领域知识相关特征进行特征融合得到融合特征；

33、分类头，用于基于所述分类头对所述融合特征进行推理计算，得到目标结果。

34、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上所述的基于自注意力机制融合的脑ct图像处理方法的步骤。

35、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于自注意力机制融合的脑ct图像处理程序，所述基于自注意力机制融合的脑ct图像处理程序被处理器执行时实现如上所述的基于自注意力机制融合的脑ct图像处理方法的步骤。

36、本发明中，构建处理模型，其中，所述处理模型包括特征提取模块、特征融合模块和分类头，并获取用户的脑ct图像和格拉斯哥昏迷评分数据；将所述脑ct图像进行格式转换得到数据序列，对所述数据序列进行处理得到脑组织区域的灰度图，并对所述灰度图进行去噪处理得到去噪灰度图；基于所述特征提取模块分别对所述去噪灰度图和所述格拉斯哥昏迷评分数据进行特征提取，分别得到ct切片特征和领域知识相关特征；基于所述特征融合模块对所述ct切片特征和所述领域知识相关特征进行特征融合得到融合特征，并基于所述分类头对所述融合特征进行推理计算，得到目标结果。本发明通过集成脑ct图像和gcs评分的多模态数据作为领域知识，对脑ct图像完成精准分析。