一种用于低频SKA宽带效应与合成波束效应消除的深度学习方法

本发明涉及射电天文图像处理，具体而言，涉及一种用于低频ska宽带效应与合成波束效应消除的深度学习方法。

背景技术：

1、在射电天文学中，平方公里阵列(ska)凭借其超高的灵敏度、分辨率以及超快的测量速度，可以极大地帮助人类探索和认识宇宙。然而，利用ska在低频段进行宽带观测成像时，通常会引发宽带效应与合成波束效应，导致成像后的天体结构图像失真和模糊。

2、宽带效应主要发生在对真实天空亮度进行宽带成像时；有限的带宽会导致可视度函数数据在径向方向上产生拖尾现象，且径向拖尾的程度与带宽大小成正相关。合成波束效应的本质是傅里叶平面内的不完全采样造成望远镜的点扩展函数具有不同程度的旁瓣，从而导致重建天空亮度时出现图像模糊。宽带效应与合成波束效应的耦合作用对观测后的天空亮度造成了更加严重的破坏，其破坏程度受观测频率、观测时长、带宽、视场等多种因素影响。

3、运用传统方法对低频ska宽带效应与合成波束效应进行联合消除，需要分阶段进行。首先应用mfs方法对宽带效应进行消除，然后应用clean算法对合成波束效应进行消除。针对不同效应的消除需要手动设计模型，需要不停地调试参数，才能完成效应的消除。这样的效应消除方式不仅效率低，而且不能彻底消除宽带效应与合成波束效应，不能对图像中的天空亮度进行准确恢复和重建。

技术实现思路

1、为解决上述现有技术中存在的传统方法对低频ska宽带效应与合成波束效应进行联合消除的效率低，以及不能彻底消除宽带效应与合成波束效应的技术问题，本发明提供了一种用于低频ska宽带效应与合成波束效应消除的深度学习方法。

2、为实现上述技术方案，本发明提供了一种用于低频ska宽带效应与合成波束效应消除的深度学习方法，包括步骤：

3、s1：建立频域自注意力求解器fsas、特征提取残差模块ferm以及频域门控前向网络fgfn；所述特征提取残差模块ferm由一个卷积层与四个残差块组成；

4、s2：基于步骤s1建立的fsas、ferm以及fgfn建立ifs-transformer网络模型；

5、s3，应用两个ferm模块获得脏图像i∈rh×w×c的低级特征f0∈rh×w×c；

6、s4，将所述低级特征f0输入fgfn模块，经过两次下采样操作完成编码部分；

7、s5，将编码部分所得特征经过3个fsas及两次上采样，实现特征学习及解码操作；

8、s6，经过两个ferm解码模块处理后，得到最终恢复图像。

9、进一步地，在步骤s1中，所述频域自注意力求解器fsas通过以下公式建立：

10、通过对特征fq，fk和fv提取图像块和得到查询q、键k和值v：

11、

12、缩放的点积注意力可以通过下式得到：

13、

14、其中，qkt的每个元素通过内积获得：

15、(qkt)ij＝<qi,kj>

16、通过1×1卷积和3×3卷积分别得到特征fq，fk和fv，然后对fq和fk进行快速傅里叶变换，并通过下式估计fq和fk在频域中的相关性：

17、

18、通过层范数对a进行归一化以估计聚合特征：

19、

20、最后，通过下式得到fsas的输出特征：

21、iatt＝i+conv1×1(vatt)。进一步地，在步骤s1中，所述门控前向网络fgfn通过以下公式建立：

22、给定输入张量fgfn可以通过以下公式表示：

23、

24、

25、进一步地，在步骤s3中，对于解码器部分，运用三层fgfn模块进行处理，每一层都嵌入了基于频域的自注意力求解器fsas，并经过两次上采样将输出还原为与所述低级特征f0相同的通道数。

26、进一步地，在步骤s4中，分别在两个ferm及其解码模块间添加残差连接，对细化后的特征进行卷积，生成残差图像ires∈rh×w×c，与脏图像相加，得到恢复图像：

27、本发明的有益效果为：

28、本发明提出了基于深度学习的低频ska宽带效应与合成波束效应的消除方法，采用图像到图像这种端到端的方式，通过大规模的模型训练，模型可以充分学习天体结构干净图像和包含宽带效应与合成波束效应脏图像的对应特征关系，从而更高效更彻底地对耦合效应进行消除。

29、本发明提出了一种基于频域自注意力机制的改进型transformer模型，并将其成功应用到低频ska宽带效应与合成波束效应的消除中，为射电天文图像的恢复和重建提供了新的视角和有效解决方案；在改进型transformer模型中，本发明使用特征提取残差模块(ferm)，将射电天文图像的特征进行有效提取，确保空间信息不会丢失；最后，本发明设计了新的基于频域的门控前馈网络(fgfn)，在保留有用的高频和低频信息的同时，控制具有互补特性的信息进行前向传递；

30、本发明基于深度学习的效应消除方法可以更有效地对宽带效应与合成波束效应进行联合消除，且更大程度恢复和重建原始天空亮度；耗时短，通过对模型进行大规模训练，让模型充分学习到相应特征，可以大大减少效应消除的时间；操作简单，传统效应消除方法需要手动设计模型，且极其依赖调参，而本专利方法采用深度学习技术可以大大简化效应消除的手动操作过程。

技术特征：

1.一种用于低频ska宽带效应与合成波束效应消除的深度学习方法，其特征在于，包括步骤：

2.根据权利要求1所述的用于低频ska宽带效应与合成波束效应消除的深度学习方法，其特征在于，在步骤s1中，所述频域自注意力求解器fsas通过以下公式建立：

3.根据权利要求1所述的用于低频ska宽带效应与合成波束效应消除的深度学习方法，其特征在于，在步骤s1中，所述门控前向网络fgfn通过以下公式建立：

4.根据权利要求1所述的用于低频ska宽带效应与合成波束效应消除的深度学习方法，其特征在于，在步骤s3中，对于解码器部分，运用三层fgfn模块进行处理，每一层都嵌入了基于频域的自注意力求解器fsas，并经过两次上采样将输出还原为与所述低级特征f0相同的通道数。

5.根据权利要求1所述的用于低频ska宽带效应与合成波束效应消除的深度学习方法，其特征在于，在步骤s4中，分别在两个ferm及其解码模块间添加残差连接，对细化后的特征进行卷积，生成残差图像ires∈rh×w×c，与脏图像相加，得到恢复图像：

技术总结
本发明公开了一种用于低频SKA宽带效应与合成波束效应消除的深度学习方法，属于射电天文图像处理领域，包括步骤：S1，建立FSAS、FERM以及FGFN；S2，基于S1建立的FSAS、FERM以及FGFN建立IFS‑Transformer网络模型；S3，应用两个FERM模块获得脏图像I∈R<supgt;H×W×C</supgt;的低级特征F<subgt;0</subgt;∈R<supgt;H×W×C</supgt;；S4，将F0输入FGFN模块，经过两次下采样操作完成编码部分；S5，将编码部分所得特征经过3个FSAS及两次上采样，实现特征学习及解码操作；S6，经过两个FERM处理后，得到最终恢复图像。本发明基于深度学习的效应消除方法可以更有效地对宽带效应与合成波束效应进行联合消除，且更大程度恢复和重建原始天空亮度，可以大大减少效应消除的时间；本专利方法采用深度学习技术可以大大简化效应消除的手动操作过程。

技术研发人员：张利,杨代虎,卢梅,徐振刚
受保护的技术使用者：贵州大学
技术研发日：
技术公布日：2025/1/13