基于分层时空Transformer心脏影像分割方法

本发明涉及图像处理，尤其涉及一种基于分层时空transformer心脏影像分割方法。

背景技术：

1、在心脏疾病判断中，心脏图像的自动分割是一项核心技术，但是心脏作为一个周期性运动的器官，在不同时间相位有着形态和运动的变化，给心脏的精确分割带来挑战，单时相图像分割方法难以捕捉心脏时空动态变化的内在规律。

2、传统的心脏图像分割方法主要基于阈值分割、区域生长、边缘检测等技术。这些方法通常需要手动设置参数，对噪声和干扰敏感，且难以捕捉心脏的时空动态变化。此外，由于心脏是一个周期性运动的器官，不同时间相位有着形态和运动的变化，单时相图像分割方法难以捕捉心脏时空动态变化的内在规律。

3、近年来，深度学习在图像分割领域取得长足进展。卷积神经网络可自动学习图像的特征表示。然而，标准卷积操作对时间维度上的长期依赖建模能力有限。而心脏时空动态的精细建模，对分割质量至关重要。

技术实现思路

1、本发明提供一种基于分层时空transformer心脏影像分割方法，用以解决现有技术中针对心脏影像进行分割中存在的缺陷。

2、第一方面，本发明提供一种基于分层时空transformer心脏影像分割方法，包括：

3、获取心脏原始影像数据，提取所述心脏原始影像数据中的图像和视频帧序列；

4、基于swin transformer将图像分割成多个不重叠图像补丁，采用线性嵌入层将所述多个不重叠图像补丁进行嵌入，得到查询特征；

5、基于video swin transformer将视频帧序列分割成多个不重叠视频补丁，采用线性嵌入层将所述多个不重叠视频补丁进行嵌入，得到记忆特征；

6、利用记忆读取模块计算所述查询特征和所述记忆特征的相似度和注意力机制，获得时空特征；

7、通过解码模块的上采样和跳跃连接对所述时空特征进行解码，得到心脏影像分割结果。

8、根据本发明提供的一种基于分层时空transformer心脏影像分割方法，基于swintransformer将图像分割成多个不重叠图像补丁，采用线性嵌入层将所述多个不重叠图像补丁进行嵌入，得到查询特征，包括：

9、采用swin transformer将大小为h×w×3的当前帧分割为大小为px×py×3的不重叠补丁，h和w分别表示当前帧的高和宽，px和py分别表示不重叠补丁的长和宽；

10、利用所述线性嵌入层，获得每个不重叠补丁的c维图像嵌入，由所述c维图像嵌入得到所述查询特征；

11、其中，所述swin transformer包括四个具有补丁合成块的swin transformer模块，所述swin transformer模块用于生成多尺度特征，采用顺序多头自注意力单元，仅在每个窗口内计算自注意力。

12、根据本发明提供的一种基于分层时空transformer心脏影像分割方法，基于videoswin transformer将视频帧序列分割成多个不重叠视频补丁，采用线性嵌入层将所述多个不重叠视频补丁进行嵌入，得到记忆特征，包括：

13、采用video swin transformer将大小为t×h×w×4的视频帧序列的过去t帧和对应对象掩膜划分为大小为pt×px×py×4的不重叠补丁，t、h和w分别表示视频帧序列的时间步长、高和宽，pt、px和py分别表示不重叠补丁的时间步长、长和宽；

14、利用所述线性嵌入层，获得每个不重叠补丁的c维视频帧嵌入，由所述c维视频帧嵌入得到所述记忆特征；

15、其中，所述video swin transformer包括四个具有补丁合成块的video swintransformer模块，所述video swin transformer模块用于生成多尺度特征，采用顺序多头自注意力单元，仅在每个3d窗口内计算自注意力。

16、根据本发明提供的一种基于分层时空transformer心脏影像分割方法，利用记忆读取模块计算所述查询特征和所述记忆特征的相似度和注意力机制，获得时空特征，包括：

17、确定和分别表示在查询编码器和记忆编码器的第i阶段后获得的图像特征和视频特征，其中的特征维度包括hi＝h×(1/2)i+1，wi＝w×(1/2)i+1，ci＝c×(1/2)i+1，将ti固定为t，以维持时间分辨率；

18、确定所述查询特征的关键点和值映射分别为和所述记忆特征的关键点和值映射分别为和

19、分别对所述查询特征的关键点和值，以及所述记忆特征的关键点和值在最后一阶段之间进行密集匹配，得到：

20、

21、w4(q,p)＝softmaxp(s4(q,p))

22、其中p＝(pt，px，py)和q＝(qx，qy)分别表示记忆特征和查询特征中的栅格单元位置，表示每个空间-时间位置的相似性值，在记忆和查询中的位置p和q之间执行点积，t表示转置运算符，softmaxp沿记忆轴执行softmax操作；

23、将与w4相乘，然后与串联，得到：

24、

25、其中[，]表示沿特征维级联，表示第四阶段记忆读取操作的输出；

26、采用top-k索引读取所述查询特征的关键点和值，以及所述记忆特征的关键点和值，得到所述时空特征。

27、根据本发明提供的一种基于分层时空transformer心脏影像分割方法，采用top-k索引读取所述查询特征的关键点和值，以及所述记忆特征的关键点和值，得到所述时空特征，包括：

28、获取亲和度图si(i＝1，2，3)：

29、

30、其中，表示查询像素q在s4中找到的映射到第i阶段的top-k索引集，和分别包含中的4k个位置，中的16k个位置和中的64k个位置；

31、针对来自记忆的选定位置执行稀疏匹配，得到：

32、

33、其中，通过从为每个查询像素采样44-ik个样本构建，通过对si应用softmax操作获得，记忆读取的输出传递给解码器以提取掩模预测，即时空特征。

34、根据本发明提供的一种基于分层时空transformer心脏影像分割方法，通过解码模块的上采样和跳跃连接对所述时空特征进行解码，得到心脏影像分割结果，包括：

35、确定采用优化模块作为所述解码模块的构建块，由每个阶段的优化模块通过所述跳跃连接获取对应尺度的top-k记忆读取输出，其中所述优化模块生成大小为的对象掩膜；

36、采用时序金字塔结构表示对象长时序动态，其中时序金字塔结构的底层包括少量远期帧，中层包括大量近期帧，顶层包括当前帧；

37、结合所述优化模块和所述时序金字塔结构对所述时空特征进行解码，输出所述心脏影像分割结果。

38、第二方面，本发明还提供一种基于分层时空transformer心脏影像分割系统，包括：

39、获取模块，用于获取心脏原始影像数据，提取所述心脏原始影像数据中的图像和视频帧序列；

40、图像特征提取模块，用于基于swin transformer将图像分割成多个不重叠图像补丁，采用线性嵌入层将所述多个不重叠图像补丁进行嵌入，得到查询特征；

41、视频特征提取模块，用于基于video swin transformer将视频帧序列分割成多个不重叠视频补丁，采用线性嵌入层将所述多个不重叠视频补丁进行嵌入，得到记忆特征；

42、记忆读取模块，用于利用记忆读取模块计算所述查询特征和所述记忆特征的相似度和注意力机制，获得时空特征；

43、解码模块，用于通过解码模块的上采样和跳跃连接对所述时空特征进行解码，得到心脏影像分割结果。

44、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于分层时空transformer心脏影像分割方法。

45、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于分层时空transformer心脏影像分割方法。

46、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于分层时空transformer心脏影像分割方法。

47、本发明提供的基于分层时空transformer心脏影像分割方法，通过丰富、完整的时空信息表示，有助于强化网络对复杂视频目标的建模能力，实现更精细和鲁棒的视频目标分割。