基于眼动仪的腹部多器官CT图像分割方法

本发明属于医学图像处理，涉及腹部ct图像的多器官分割技术，尤其涉及一种基于眼动仪的腹部多器官ct图像分割方法。

背景技术：

1、腹部多器官的自动分割具有极其重要的临床意义，在器官量化、手术规划、疾病诊断等方面有着重要的临床应用。由于腹部脏器分布密集，各脏器之间联系紧密，这些多个器官之间表现出不同的特征。例如，即使在同一个人的不同时间，胃的形状也会有很大的变化，这使得精确的像素分割非常具有挑战性。对腹部多个器官的可读结果进行准确和自动的分割，可以为手术导航、视觉增强、放射治疗和生物标志物测量系统提供准确的现实依据。然而，腹部器官的密集和复杂结构需要高度专业的医疗专业知识来手动标注器官，这在时间和精力方面造成了巨大的成本，从而导致基于深度神经网络的腹部多器官分割网络训练困难。

2、除了像素级注释数据集，深度神经网络还可以从其他类型的监督中受益。例如，边界级注释可以提供更详细的边界信息。可以使用弱监督学习技术，例如使用像素级标签和未标记数据进行训练。视觉感知监督也可以利用视觉感知理论训练深度网络，提高其对图像特征的敏感性。此外，预训练的模型可以用于迁移学习，这允许模型从以前的任务中学习特征并提高其性能。总之，深度神经网络可以从各种类型的监督中受益，这可以提高它们在各种视觉任务中的表现。这些研究表明，结合更细粒度的附加监督可以提高深度神经网络的准确性，并改善网络模型的可解释性。开发一种有效的监督模式似乎是唯一的选择，也是当今迫切需要的。

3、然而，收集额外注释的实际过程仍然具有挑战性，因为它可能需要临床医生反复提供具体和细化的注释来微调网络模型。有必要尽量减少注释过程对临床工作的影响。在医学图像分析的背景下，据观察，放射科医生在阅读医学图像时倾向于将注意力集中在特定的感兴趣区域或病变上。在临床实践中，经验丰富的放射科医生在读取腹部图像时，通常可以快速定位特定的器官。在这个过程中，医生的眼动信息可以在一定程度上反映器官的位置信息。与人工标注相比，该信息成本低、速度快，可作为有效的监督信息，辅助各个器官的定位和分割。文献研究表明，放射科医生的眼动数据可以应用在疾病诊断上。例如，文献“follow my eye: using gaze to supervisecomputer-aided diagnosis”.2022,41:1688.（“跟随我的眼睛:使用凝视来监督计算机辅助诊断”，2022年41卷1688页）使用眼动追踪技术辅助诊断膝骨关节炎，文献“gaze-assistedautomatic captioning of fetalultrasound videos usingthree-way multi-modal deep neural networks. 2022,82:102630.（凝视辅助的胎儿超声视频自动字幕使用三路径多模态深度神经网络，2022年82卷102630页）使用眼动仪在超声扫描时为超声医师提供视觉指导。可见，利用眼动注意信息在自动化辅助诊断中具有很大的价值和潜力。

4、然而，目前的存在的分割网络仍然是单一的输入，并没有考虑采用多路径输入将眼动注意信息作为辅助分割信息，这限制了将眼动注意信息在临床上的进一步应用。

技术实现思路

1、发明目的：本发明的目的旨在提供一种基于眼动仪的腹部多器官ct图像分割方法，

2、通过充分协同地利用放射科医生对腹部图像的认知信息，网络模型被迫专注于分割任务所需的相关对象或特征。这种信息采集方法方便，能使各器官的定位更加准确。使用集成人类认知信息的双路径编码器，原始图像和眼动注视位置矩阵分别作为两条路径上的输入，在瓶颈层使用交叉注意力transformer模块，用于在网络语义感知和人类语义感知中传递信息，解码过程中使用多特征跳跃连接，该方法有效地结合了下采样过程中的空间信息，补充了解码过程中的内部细节。并且，使用小波变换算法提取眼动注视热力图中的细节系数与近似系数，使其获得更加符合真实器官的纹理细节，有效提升分割结果。

3、为实现上述目的，本发明提供一种基于眼动仪的腹部多器官ct图像分割方法，包括如下步骤：

4、s1：使用眼动仪收集放射科医生在阅读ct图像时的眼动注视位置信息；

5、s2：将步骤s1中收集到的原始眼动注视信息数据通过高斯滤波过滤噪声，对过滤后的数据归一化操作并保存为眼动位置矩阵，并对眼动位置矩阵进行灰度值转换并伪色彩映射为注视热力图保存；

6、s3：根据步骤s2中的注视热力图，使用小波变换算法提取近似系数和细节系数；

7、s4：将步骤s2中得到的眼动位置矩阵输入眼动信息编码器，得到高维眼动位置特征，并保留下采样过程中的特征；

8、s5：将步骤s3中提取到的注视热力图细节系数与原始ct图像共同输入图像编码器，得到图像高维特征，使用细节系数补充各个方向上的边缘特征，并保留下采样过程中的特征；

9、s6：将步骤s4，s5中得到的高维特征输入嵌入了交叉注意力感知模块的瓶颈层，实现网络感知与人类感知信息交互，最终融合得到信息更加丰富的特征；

10、s7：将步骤s4，s5中得到的下采样特征引入上采样过程中，使用多特征跳跃连接融合特征信息，为图像分割提供多尺度多层次的信息；

11、s8：将步骤s6中得到的融合后的特征和步骤s3中得到的近似系数输入解码器，通过上采样操作并融合步骤s7中的多特征跳跃连接特征，最终输出精准的器官分割结果；

12、s9：加权损失函数计算损失，使用优化器对网络模型进行优化。

13、进一步地，所述步骤s2中的收集到的原始眼动注视信息保存为眼动位置矩阵和注视热力图过程中包含构建位置矩阵，位置点赋值，滤除噪声，映射热力图操作，根据原始图像大小，构建出相同大小的全0位置矩阵，收集到的眼动注视信息为放射科医生眼动所注视屏幕的像素点坐标，根据坐标将对应位置矩阵上的值赋1，使用高斯滤波器滤除多余噪声，并进行归一化操作，将归一化后的位置矩阵转化为灰度图像，对灰度图像进行伪色彩映射得到注视热力图，将位置矩阵输入眼动信息编码器提供人类感知的器官信息，辅助网络定位腹部器官。

14、进一步地，所述步骤s2中，原始眼动注视信息被收集并保存为眼动位置矩阵和注视热力图，该过程包括以下步骤：构建位置矩阵、位置点赋值、噪声滤除和热力图映射。

15、根据放射科医生记录的眼动注视屏幕像素点坐标，创建一个与原始图像大小相匹配的全零位置矩阵。将眼动注视点的坐标映射到位置矩阵上，将对应位置的值设为1，以反映眼动注视的位置，保存得到眼动位置矩阵。为了减少噪声的影响，使用高斯滤波器对位置矩阵进行平滑处理。对滤波后的位置矩阵进行归一化操作，以确保数值范围在0到1之间。通过将归一化后的位置矩阵转换为灰度图像，并进行伪色彩映射，生成注视热力图。眼动注视点的热度分布情况可以直观地展示出来。

16、进一步地，所述步骤s3中的注视热力图先通过低通和高通滤波器进行处理，再将滤波后的图像分别再次通过低通和高通滤波器，得到近似图像、纵向边缘特征、横向边缘特征和对角特征，细节系数包含纵向边缘特征、横向边缘特征、对角特征，将它们按通道拼接起来得到细节系数，而近似系数则是指近似图像特征。提取到的细节系数和原始图像将一起作为输入，输入到图像编码器中，以提供关于器官位置信息的编码表示。在解码过程中，近似系数起使最终生成的分割结果具有良好的可视化效果。

17、进一步地，所述步骤s4中的眼动信息编码器包含一个浅层特征提取块以及三个下采样模块，浅层特征提取块使用卷积核大小为，步距为2的卷积层提取注视热力图的浅层特征信息，三个下采样模块分别包含两个卷积核大小，步距为1的卷积层，激活函数为relu的激活层以及归一化函数为批量归一化的归一化层，眼动位置矩阵输入编码器后首先使用大卷积核的浅层特征提取块提取形状信息，对提取到的浅层特征信息进行最大池化操作，保留下采样得到的特征，然后，特征通过下采样块，经过小卷积核的卷积操作提取特征局部信息，增大感受野，并保留下采样过程中的特征，重复上述操作三次，第三个下采样块的输出眼动信息高维特征作为输入进瓶颈层以在高维特征空间与原始图像信息特征进行信息交互使得眼动信息特征与原始图像特征高效融合。

18、进一步地，所述步骤s5中的图像编码器包含两个输入注视热力图细节系数与原始ct图像、一个浅层特征提取块以及三个下采样模块，与眼动信息编码器结构相似，但每个模块的具体细节不同，图像编码器浅层特征提取块使用卷积核大小为，步距为2的卷积层提取图像的浅层特征信息，三个下采样模块分别包含不同数量的残差连接块，每个残差连接块包含两个卷积核大小，步距为1的卷积层，一个卷积核大小，步距为1的卷积层，每个残差连接块中的激活函数为relu的激活层以及归一化函数为组归一化的归一化层，其中卷积操作采用stdconv，使用浅层特征提取块提取原始ct图形中的形状信息，经过最大池化层，图像特征形状大小变为原来1/2，保留得到的特征，输入第一个下采样模块前，融合通过最大池化层的图像特征和注视热力图细节系数，使用残差连接降低模型复杂度，对融合后的特征进行下采样操作，保留每次下采样过程中的特征，最后，第三个下采样块的输出图像信息高维特征作为输入进瓶颈层以在高维特征空间与人类感知特征眼动信息做信息通讯使得眼动信息特征与原始图像特征高效融合。

19、进一步地，步骤s6中的交叉注意力感知模块包含六个交叉注意力transformer块和一个特征融合层，每个交叉注意力transformer块用于人类感知与网络感知间建立通讯，图像信息高维特征和眼动信息高维特征共同作为输入交叉注意力transformer块，经过embedding层对特征信息位置编码并做交叉注意力操作，对图像和眼动信息的两个编码路径的输出的特征之间的双向关系进行建模，特征经过embedding层后被映射得到、、矩阵，作为输入信息，具有引导作用，作为内容信息，，通过计算能够得到两个矩阵的匹配程度，作为信息本身，表达了输入特征的信息，两个特征之间交换和融合和，表达式为：

20、

21、其中，，,和，，分别表示两个特征信息映射得到的，,矩阵，为的维度数，b为一个可学习的位置编码，图像特征的,被用于眼动信息编码路径，同样眼动信息特征的,被用于图像编码路径，用于两条路径上的注意力交互，实现感知通讯，使用多头注意力机制捕获特征内各种范围的依赖关系，注意力操作后使用mlp层对特征做全局感知，六个交叉注意力transformer块充分交互两条路径的特征信息，最后通过的卷积层操作实现两个特征的融合作为输出特征，经过交叉注意力信息交互过的两个特征能互相补充特征信息，最终做融合输出确保在解码过程中具有更丰富的语义特征。

22、进一步地，所述步骤s7中的多特征跳跃连接包含第一卷积层、第二卷积层、第三卷积层、特征融合层以及残差连接，每个卷积层采用卷积核大小为，激活函数使用relu，归一化层使用批量归一化层，与卷积层结构相同，特征融合层采用卷积核大小为，激活函数使用relu,归一化层使用批量归一化，两个编码器下采样过程中的特征图作为输入，第一卷积层用于将图像下采样特征和眼动信息下采样特征分别初步融合，融合特征分别经过第二层卷积层提取局部特征，特征融合层将第二卷积层输出的两个特征融合，使用的卷积层对拼接后的特征图调整通道数，在图像下采样特征在最终融合特征间使用残差连接，提高了信息流通，通过多特征跳跃连接补充了图像在下采样过程中的细节损失，使得分割结果在细节纹理上更加平滑。

23、进一步地，所述步骤s8中的融合多特征跳跃连接和注视热力图近似系数的解码器，解码器包含四个上采样模块，一个分割头模块，和近似系数融合模块，通过四个上采样模块将特征图恢复到原始图像大小，每个上采样模块包含两个卷积层和一次双线性插值，上一层融合得到的复合特征首先经过一次双线性插值，调整特征图大小，经过卷积操作融合多特征跳跃连接的输出特征与解码器输出特征并调整通道，重复上述操作三次，在最后的上采样前融合注视热力图近似系数，近似系数融合块包含两个卷积层和一个残差连接，用于将注视热力图的近似系数与最后一层上采样特征融合补充空间形状信息，将融合后的特征做最后上采样操作得到与原图尺寸相同的特征图输出，并将该特征图输入分割头进行调整通道，每个通道代表一个器官的分割结果，解码器通过重复的上采样操作并融合跳跃多特征跳跃连接和注视热力图近似系数，多特征跳跃连接近似系数在解码过程中提供器官的位置信息与图像细节信息，使得生成结果更符合真实器官分布，生成良好的可视化结果。

24、进一步地，步骤s9中的损失函数为交叉熵损失函数和dice损失函数的加权，网络分割结果与真实标签之间的交叉熵损失和dice损失加权结果表达式为：

25、，

26、其中，表示网络预测出的分割结果，表示图像的真实标签，表示各器官的预测分割结果，表示图像各器官的真实标签，为加权系数，表示两个loss值所占比例，大小分别为0.5，0.5。

27、有益效果：本发明与现有技术相比，具备如下优点：

28、1、本发明充分利用低成本注释眼动注视信息和腹部多器官分割任务之间的相关性，提出了一种基于眼动仪的腹部多器官ct图像分割方法；

29、2、本发明使用小波变换算法中提取注视热力图中的细节系数和近似系数边缘特征，基于此本发明提出分别将细节系数和近似系数融合进模型的编码器和解码器中，使模型更注重还原高频细节；

30、3、本发明使用交叉注意力transformer模块对图像特征和眼动信息特征之间的双向关系进行建模，实现网络感知与人类感知的交互通讯，融合多特征，更有效地获取全局特征，从而提升模型性能；

31、4、本发明使用多特征跳跃连接，相比于传统的单一特征跳跃连接，该设计可以更全面地弥补特征在上采样过程中的图像中的内部细节，从而获得高质量的可视化分割结果。