基于TransUnet的太阳暗条图像检测方法

本发明属于图像检测领域，特别涉及基于transunet的太阳暗条图像检测方法。

背景技术：

1、太阳暗条，也称为太阳黑子，是太阳表面活动的一种重要表现形式，对地球的天气、气候以及无线电通信等都有重要影响。因此，对太阳暗条的准确检测和预测具有重要的科学和实际意义。然而，由于太阳暗条的形状、大小和亮度等特征具有很大的变化性，因此，对太阳暗条的检测和识别是一项具有挑战性的任务。

2、在现有的技术中，常用的太阳暗条检测方法主要包括基于阈值的方法、基于模板的方法、基于特征的方法以及基于机器学习的方法等。然而，这些方法都存在一些问题和局限性。

3、首先，基于阈值的方法是一种简单的检测方法，通过设置一个合适的阈值，将图像中的像素分为暗条像素和非暗条像素。然而，由于太阳暗条的亮度和背景的亮度差异可能会随着时间和空间的变化而变化，因此，选择一个合适的阈值是一项具有挑战性的任务。此外，这种方法对噪声和干扰的抗性较差，容易产生误检和漏检。

4、基于模板的方法是通过设计一个与暗条特征相似的模板，然后将模板与图像进行匹配，以检测暗条。然而，由于太阳暗条的形状和大小具有很大的变化性，因此，设计一个能够适应所有暗条特征的模板是非常困难的。此外，这种方法的计算复杂度较高，对于大规模的图像数据，可能需要较长的计算时间。

5、基于特征的方法是通过提取图像中的一些特征，如边缘、纹理、形状等，然后通过分类器进行分类，以检测暗条。然而，由于太阳暗条的特征具有很大的变化性，因此，选择和提取有效的特征是一项具有挑战性的任务。此外，这种方法需要大量的标注数据，对于没有标注的新数据，可能无法进行有效的检测。

6、基于机器学习的方法是通过训练一个机器学习模型，如支持向量机、神经网络等，然后通过模型进行预测，以检测暗条。然而，这种方法需要大量的标注数据进行训练，对于没有标注的新数据，可能无法进行有效的检测。此外，这种方法的训练过程可能需要较长的时间，对于实时的检测任务，可能无法满足需求。

7、如何设计一种能够适应太阳暗条特征变化性、对噪声和干扰具有较强抗性、计算复杂度较低、不需要大量标注数据、能够实时进行检测的太阳暗条检测方法，是当前太阳暗条检测技术发展的重要方向。基于transunet的太阳暗条图像检测方法，可能是解决这些问题的一个有效途径。

技术实现思路

1、本发明提出基于transunet的太阳暗条图像检测方法，解决了太阳暗条图像检测中的多尺度特征提取、全局特征整合、细节信息恢复、形状适应性以及全局与局部信息融合等技术问题，提高了暗条检测的准确性和效率。

2、本发明的技术方案是这样实现的：基于transunet的太阳暗条图像检测方法，所述方法包括如下步骤：

3、通过transunet网络进行太阳暗条检测，通过transunet网络中的残差下采样模块、跳跃连接上采样模块和残差跳跃连接路径对采集的太阳暗条图像进行检测；

4、其中残差下采样模块使用多尺度的卷积核进行处理，获得不同尺度的暗条特征，通过使用不同的卷积核大小，利用不同感受野对暗条区域进行特征提取，随后通过1x1卷积调整输出深度，将不同卷积核提取的特征进行特征拼接，特征拼接后使用1x1卷积使暗条特征在不同尺度上进行融合，并将提取到的特征进行图像序列化和位置信息嵌入后，加入transformer模块进行处理，提取暗条的全局特征；

5、随后跳跃连接上采样模块通过2x上采样和图像拼接实现图像尺寸的恢复和细节信息的融合，通过可变形大核注意力机制在扩大对暗条特征感受野的同时，利用可变形卷积以适应暗条的不同形状，再通过3×3卷积进行通道调整和特征学习；

6、通过残差跳跃连接路径进行全局信息和细节信息的拼接，通过1×1卷积与3×3卷积与残差下采样模块进行对比，从不同尺度同步网络处理跳跃连接信息，同时使网络学习不同语义信息的融合方式，并将融合后的数据进行输出。

7、目前，太阳暗条是在日冕中由低温高密度的等离子体组成，在日面中心呈现丝状结构。暗条的尺度、活动状态各不相同，大量的观测结果表明暗条有着各种各样的外观和尺寸。暗条爆发是极为壮观的太阳活动，完全爆发的暗条会导致其支撑磁场体系全部爆发并将其包含的等离子体抛向宇宙空间。暗条爆发与太阳耀斑、日冕物质抛射、磁风暴等有密切的关系，强烈的暗条爆发活动发射的等离子体在几天后抵达地球，影响地球磁层，严重时导致通信设备受损，造成通信中断、航空运输导航失效等灾难。因此，对太阳暗条进行准确检测有重要意义。

8、现有技术主要对太阳hα全日面图像进行检测，技术方法主要分为三类：基于传统数字图像处理的方法、基于机器学习的方法和基于深度学习的方法。但前两类方法需要手工调整参数，且检测结果较差。第三类方法检测结果有提升，但对于细小暗条检测效果差，存在大量错检漏检问题。

9、本技术文件通过使用改进后的transunet网络进行太阳暗条检测，改进的地方有残差下采样模块(mresblock)、跳跃连接上采样模块(dlka-decoder block)和残差跳跃连接路径(res path)。

10、残差下采样模块(mresblock)使用多尺度的卷积核进行处理，用以获得不同尺度的暗条特征。使用3x3卷积、3x3池化与5x5卷积不同卷积核进行卷积。它使用不同的卷积核大小，通过不同感受野对暗条区域进行特征提取，旨在减少背景的干扰、扩大感受野以及获取多尺度暗条信息。这有助于网络更好地理解太阳暗条特征的全局结构和模式；1x1卷积可以调整输出深度，这有助于降低网络的参数数量，提高计算效率；特征拼接后使用1x1卷积可以使暗条特征在不同尺度上进行融合；添加残差模块可以解决深层网络训练中的梯度消失和梯度爆炸问题，克服数据样本较少带来的训练过拟合的问题。根据网络深度的不同，分别使用了(3,4,9)层mresblock。

11、将提取到的特征进行图像序列化和位置信息嵌入后，加入transformer模块进行处理，提取暗条的全局特征。

12、通过改进的融合了可变形大核注意力机制的跳跃连接上采样模块(dlka-decoderblock)进行图像上采样。通过2x上采样和图像拼接实现图像尺寸的恢复和细节信息的融合，可变形大核注意力机制(dlka)在扩大对暗条特征感受野的同时，利用可变形卷积以适应暗条的不同形状，再通过3×3卷积进行通道调整和特征学习。

13、作为一优选的实施方式，所述残差下采样模块中的多尺度的卷积核处理包括使用3x3卷积、3x3池化与5x5卷积不同卷积核进行卷积，通过多尺度卷积减少背景的干扰、扩大感受野以及获取多尺度暗条信息。

14、作为一优选的实施方式，所述残差下采样模块中在特征拼接后使用1x1卷积使暗条特征在不同尺度上进行融合后，根据网络深度的不同，分别使用了(3,4,9)层mresblock。

15、作为一优选的实施方式，所述transunet网络通过使用公开的太阳暗条数据集进行训练，并形成训练集，采用的训练集至少包括115组太阳全日面hα图像和人工标注图像。

16、作为一优选的实施方式，通过数据增强对训练集中的数据进行处理，经数据增强后生成至少14720个训练样本后进行训练，使用至少38组太阳暗条图像进行测试。

17、采用了上述技术方案后，本发明的有益效果是：提高检测精度：多尺度特征提取和可变形大核注意力机制使得模型能够更好地适应暗条的不同形状和尺寸，从而提高暗条检测的准确性。增强模型鲁棒性：通过整合不同层级的特征和学习全局特征信息，增强了模型对于图像噪声和变化的鲁棒性。优化细节信息保留：跳跃连接上采样模块和残差跳跃连接路径的运用，有助于在放大图像时保留更多的细节信息。提升处理速度：融合了卷积神经网络的局部特征提取能力和transformer的全局特征提取能力，使得模型可以更快地处理图像，提升了检测速度。减少标注需求：transunet结构能够利用自注意力机制自动寻找重要特征，减少了对大量标注数据的依赖，节省了人力资源。该方法通过创新的网络结构设计，不仅提高了检测的准确性和效率，还改善了模型的鲁棒性和速度，具有良好的应用前景。