光刻靶标图像去模糊的方法及装置、去模糊模型和光刻机与流程

本发明涉及图像处理，尤其是涉及一种光刻靶标图像去模糊的方法、去模糊模型、光刻靶标图像去模糊的装置和光刻机。

背景技术：

1、相关技术中，图像去模糊是图像恢复领域的一个重要分支，其目的是将模糊图像恢复至清晰图像。图像模糊可以分为运动模糊和失焦模糊两大类。其中，运动模糊是由于相机抖动、物体移动等原因引起的，而失焦模糊是由于相机对焦错误或场景深度变化等原因导致的。这些模糊会导致图像质量下降，影响成像效果。在高精度要求的直写光刻靶标领域，模糊图像会严重影响光刻机的整体性能，特别是在靶标对准曝光过程中，失焦模糊会导致抓靶不准确甚至失败。

2、目前，图像去模糊的方法主要包括维纳滤波和正则化滤波等传统方法。然而，这些方法在应用过程中存在一些限制，具体来说，这些方法对噪声敏感，当图像中存在较多的噪声时，去模糊效果可能会受到严重影响，甚至可能导致图像质量进一步下降。并且，这些方法在处理复杂模糊情况时效果不佳，特别是对于非均匀模糊或运动模糊等复杂模糊类型，难以得到满意的去模糊效果。此外，这些方法需要较长的计算时间，对于大规模图像或实时处理应用来说，可能无法满足实际需求。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种光刻靶标图像去模糊的方法，该方法能够有效地将模糊图像恢复至清晰图像，保留了图像的更多细节和纹理，提高了图像去模糊的质量和效率，并且，还具有较强的通用性和适用性，可以适应不同复杂的模糊类型和应用场景。

2、本发明第二个目的在于提出一种去模糊模型。

3、本发明第三个目的在于提出一种光刻靶标图像去模糊的装置。

4、本发明第四个目的在于提出一种光刻机。

5、为了达到上述目的，本发明第一方面实施例的光刻靶标图像去模糊的方法，包括：获取光刻靶标原始图像；通过去模糊模型对所述光刻靶标原始图像进行去模糊处理，所述去模糊模型以所述光刻靶标原始图像作为输入，所述去模糊模型是基于unet形式的网络架构，所述去模糊模型包括多个串联连接的编码器、多个串联连接的解码器和多个特征融合模块，末个编码器的输出端与首个解码器的输入端连接，每个所述特征融合模块均以所有所述编码器输出的特征图作为输入，每个所述特征融合模块的输出端跳跃连接至对应解码器的输出端，所述对应解码器不包括末个解码器；获得多个所述解码器中末个解码器输出的图像，以作为光刻靶标目标图像。

6、根据本发明实施例的光刻靶标图像去模糊方法，基于unet形式的网络架构，通过采用多个串联连接的编码器和解码器，可以在多尺度上捕捉图像特征，其中，编码器逐层提取图像特征，解码器逐步恢复图像分辨率，通过采用多个特征融合模块，将各编码器输出的特征图充分融合，并通过跳跃连接直接输入到对应的解码器，使每个解码器得到不同尺度的特征信息，不同尺度特征的信息在同一个unet中流动，增强了图像的细节恢复效果，提高了网络的去模糊性能，因此，本发明利用深度学习方法，通过在大量模糊与清晰图像的数据对上进行训练，学习和掌握了模糊图像到清晰图像之间的映射关系，能够有效地将模糊图像恢复至清晰图像，保留更多的图像细节和纹理，提高去模糊质量，并且，基于深度学习的去模糊模型在推理阶段计算效率高，适用于大规模图像处理和实时应用场景，满足实际需求，此外，由于unet架构和深度学习方法的泛化能力，该方法还具有较强的通用性和适用性，可以适应不同复杂的模糊类型和应用场景。

7、在一些实施例中，所述方法还包括：获得第一拼接特征图，所述第一拼接特征图是由所述特征融合模块输出的融合特征图与所述对应解码器输出图像的上采样图像进行拼接而成的，其中，所述融合特征图与所述对应解码器输出图像的上采样图像的尺寸相同；所述第一拼接特征图通过第一卷积运算之后输入至与所述对应解码器相邻的下一个所述解码器。

8、在一些实施例中，所述方法还包括：基于所述光刻靶标原始图像获得多个不同分辨率的输入图像；多个所述输入图像分别通过浅层特征提取模块提取浅层特征以获得多个浅层特征图像；获得多个第二拼接特征图，每个所述第二拼接特征图是由所述浅层特征图像与对应编码器输出图像的下采样图像进行拼接获得的，所述对应编码器不包括末个编码器；其中，所述光刻靶标原始图像作为首个编码器的输入，每个所述第二拼接特征图作为所述对应编码器相邻的下一个编码器的输入。

9、在一些实施例中，所述光刻靶标原始图像输入至首个编码器；通过所述首个编码器对所述光刻靶标原始图像进行第二卷积运算，并且所述第二卷积运算的结果通过所述首个编码器的sunet模块进行处理以输出。

10、在一些实施例中，对于多个所述编码器中的每个非首个编码器，通过所述非首个编码器对输入的对应的所述第二拼接特征图进行第三卷积运算，并且所述第三卷积运算的结果通过所述非首个编码器的resblock模块进行处理以输出。

11、在一些实施例中，获得多个所述解码器中末个解码器输出的图像，以作为光刻靶标目标图像，包括：获得所述末个解码器的输入特征图，所述末个解码器的输入特征图为对应的所述第一拼接特征图通过第一卷积运算之后的结果；通过所述末个解码器的sunet模块对所述对应的所述第一拼接特征图通过第一卷积运算之后的结果进行处理；所述末个解码器的sunet模块的输出特征图进行第四卷积运算之后与所述光刻靶标原始图像进行特征元素相加，以获得所述光刻靶标目标图像。

12、在一些实施例中，所述首个编码器的sunet模块和所述末个解码器均包括串联连接的(n+1)个mres模块和一个mmres模块，n≥1；多个所述解码器中的非末个解码器均包括resblock模块；所述非首个编码器的resblock模块和所述非末个解码器的resblock模块均包括串联连接的n个mres模块和一个mmres模块；其中，每个所述mres模块对所述mres模块的输入特征图依次进行第一次卷积运算、mcsf模块处理和第二次卷积运算，所述mres模块的输入特征图进行所述第二次卷积运算的运算结果与所述mres模块的输入特征图进行特征元素相加并输出；其中，每个所述mmres模块对所述mmres模块的输入特征图依次进行第一次卷积运算、mdsf模块处理、mcsf模块处理和第二次卷积运算，所述mmres模块的输入特征图进行所述第二次卷积运算的运算结果与所述mmres模块的输入特征图进行特征元素相加并输出。

13、在一些实施例中，每个所述mdsf模块通过解耦器获得所述mdsf模块的输入特征图的高频特征图和低频特征图，其中，所述解耦器对所述mdsf模块的输入特征图分别通过fca模块和split模块进行处理以获得所述高频特征图和所述低频特征图；每个所述mdsf模块通过调节器调节所述高频特征图和所述低频特征图以突出所述低频特征图和所述高频特征图中信息最大的分量，并将调节后的高频特征图和低频特征图进行融合并输出。

14、在一些实施例中，所述mdsf模块的输入特征图分别作为所述fca模块和所述split模块的输入；通过所述fca模块获得所述mdsf模块的输入特征图的多个频率分量，多个频率分量中预设数量的频率分量最低的频率组合为第一低频分量，多种频率分量中除了所述低频分量之外的频率组合为第一高频分量；通过所述split模块将所述mdsf模块的输入特征图按照通道维度分为与所述多种频率分量数量相同的多个分裂特征图；每个所述第一低频分量与多个所述分裂特征图中对应通道的所述分裂特征图进行乘法运算以获得第一低频子图，以及，每个所述第一低频分量进行倒置处理之后与对应通道的所述分裂特征图进行乘法运算以获得第一高频子图；所述第一高频分量与多个所述分裂特征图中对应通道的所述分裂特征图进行乘法运算以获得第二高频子图，以及，所述第一高频分量进行倒置处理之后与对应通道的所述分裂特征图进行乘法运算以获得第二低频子图；所有的所述第一低频子图和所述第二低频子图进行拼接以获得所述低频特征图，以及，所有的所述第一高频子图和所述第二高频子图进行拼接以获得所述高频特征图。

15、在一些实施例中，每个所述mcsf模块包括全局分支和基于窗口的局部分支；所述mcsf模块的输入特征图按照通道维度划分为两半，一半通道的所述mcsf模块的输入特征图通过全局分支进行处理，另一半通道的所述mcsf模块的输入特征图以所述局部分支进行处理，所述全局分支的输出和所述局部分支的输出进行拼接以获得所述mcsf模块的输出；其中，所述全局分支作用于所述mcsf模块的输入特征图的全局，通过gap模块分别获得第二低频分量和第二高频分量，通过自主学习的第一低频参数权重对所述第二低频分量进行调整，通过自主学习的第一高频参数权重对所述第二高频分量进行调整，调整之后的所述第二低频分量和调整之后的第二高频分量进行相加以获得全局分支的输出；其中，所述局部分支将所述mcsf模块的输入特征图划分为多个特征图块，并将多个所述特征图块按照通道方向拼接，按照所述通道方向，通过所述gap模块获得每个所述特征图块的第三低频分量和第三高频分量，通过自主学习的第二低频参数权重对所述第三低频分量进行调整，通过自主学习的第二高频参数权重对所述第三高频分量进行调整，调整之后的所述第三低频分量和调整之后的所述第三高频分量进行相加，将处理后的多个所述特征图块拼接为与所述mcsf模块的输入特征图尺寸相同的特征图以获得所述局部分支的输出。

16、为了达到上述目的，本发明第二方面实施例的去模糊模型，所述去模糊模型是基于unet形式的网络架构，所述去模糊模型包括：多个串联连接的编码器；多个串联连接的解码器，首个解码器的输入端与末个编码器的输出端连接；多个特征融合模块，每个所述特征融合模块均以所有所述编码器输出的特征图作为输入，每个所述特征融合模块的输出端跳跃连接至对应解码器的输出端，所述对应解码器不包括末个解码器。

17、根据本发明实施例的去模糊模型，基于unet形式的网络架构，通过采用多个串联连接的编码器、多个串联连接的解码器和多个特征融合模块，其中，编码器逐层提取图像特征，解码器逐步恢复图像分辨率，特征融合模块将各编码器输出的特征图充分融合，并通过跳跃连接直接输入到对应的解码器，使每个解码器得到不同尺度的特征信息，不同尺度特征的信息在同一个unet中流动，增强了图像的细节恢复效果，提高了网络的去模糊性能，因此，去模糊模型以光刻靶标原始图像作为输入，基于深度学习方法，通过在大量模糊与清晰图像的数据对上进行训练，学习和掌握了模糊图像到清晰图像之间的映射关系，能够有效地将模糊图像恢复至清晰图像，保留更多的图像细节和纹理，提高去模糊质量，并且，基于深度学习的去模糊模型在推理阶段计算效率高，适用于大规模图像处理和实时应用场景，满足实际需求，此外，由于unet架构和深度学习方法的泛化能力，本发明的去模糊模型还具有较强的通用性和适用性，可以适应不同复杂的模糊类型和应用场景。

18、在一些实施例中，所述去模糊模型还包括：第一卷积模块，所述第一卷积模块的输入端与对应解码器的输出端、对应的特征融合模块的输出端连接，所述第一卷积模块的输出端与所述对应解码器相邻的下一个所述解码器的输入端连接，所述特征融合模块输出的融合特征图与所述对应解码器输出图像的上采样图像进行拼接后输入至所述第一卷积模块。

19、在一些实施例中，所述去模型模型还包括：多个浅层特征模块，每个所述浅层特征模块用于对对应的输入图像进行浅层特征提取以获得浅层特征图像，其中，基于光刻靶标原始图像获得多个不同分辨率的输入图像，每个所述浅层特征模块的输出端与对应编码器的输出端连接，所述对应编码器不包括末个编码器。

20、在一些实施例中，多个所述编码器中的首个编码器包括第二卷积模块和sunet模块，所述第二卷积模块的输入为光刻靶标原始图像，所述第二卷积模块的输出端与所述sunet模块的输入端连接；多个所述解码器中的末个解码器包括sunet模块；所述首个编码器的sunet模块和所述末个解码器的sunet模块均包括串联连接的(n+1)个mres模块和一个mmres模块，n≥1；多个所述编码器中的非首个编码器包括resblock模块，多个所述解码器中的非末个解码器均包括resblock模块；所述非首个编码器的resblock模块和所述非末个解码器的resblock模块均包括串联连接的n个mres模块和一个mmres模块；其中，每个所述mres模块对所述mres模块的输入特征图依次进行第一次卷积运算、mcsf模块处理和第二次卷积运算，所述mres模块的输入特征图进行所述第二次卷积运算的运算结果与所述mres模块的输入特征图进行特征元素相加并输出；其中，每个所述mmres模块对所述mmres模块的输入特征图依次进行第一次卷积运算、mdsf模块处理、mcsf模块处理和第二次卷积运算，所述mmres模块的输入特征图进行所述第二次卷积运算的运算结果与所述mmres模块的输入特征图进行特征元素相加并输出。

21、在一些实施例中，所述mdsf模块包括：解耦器，用于获得所述mdsf模块的输入特征图的高频特征图和低频特征图；调节器，用于调节所述高频特征图和所述低频特征图以突出所述低频特征图和所述高频特征图中信息最大的分量，并将调节后的高频特征图和低频特征图进行融合并输出。

22、在一些实施例中，所述解耦器包括：fca模块，所述fca模块获得所述mdsf模块的输入特征图的多个频率分量，多个频率分量中预设数量的频率分量最低的频率组合为第一低频分量，多种频率分量中除了所述低频分量之外的频率组合为第一高频分量；split模块，所述split模块将所述mdsf模块的输入特征图按照通道维度分为与所述多种频率分量数量相同的多个分裂特征图；子图获得模块，用于将每个所述第一低频分量与多个所述分裂特征图中对应通道的所述分裂特征图进行乘法运算以获得第一低频子图，以及，将每个所述第一低频分量进行倒置处理之后与对应通道的所述分裂特征图进行乘法运算以获得第一高频子图，将所述第一高频分量与多个所述分裂特征图中对应通道的所述分裂特征图进行乘法运算以获得第二高频子图，以及，将所述第一高频分量进行倒置处理之后与对应通道的所述分裂特征图进行乘法运算以获得第二低频子图；拼接模块，用于将所有的所述第一低频子图和所述第二低频子图进行拼接以获得所述低频特征图，以及，将所有的所述第一高频子图和所述第二高频子图进行拼接以获得所述高频特征图。

23、为了达到上述目的，本发明第三方面实施例的光刻靶标图像去模糊的装置，包括：处理器；与所述处理器通信连接的存储器；其中，所述存储器中存储有可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上面实施例所述的光刻靶标图像去模糊的方法。

24、根据本发明实施例的光刻靶标图像去模糊的装置，通过采用上面实施例所述的光刻靶标图像去模糊的方法，能够有效地将模糊图像恢复至清晰图像，保留了图像的更多细节和纹理，提高了图像去模糊的质量和效率，并且，还具有较强的通用性和适用性，可以适应不同复杂的模糊类型和应用场景。

25、为了达到上述目的，本发明第四方面实施例的光刻机，包括上面实施例所述的光刻靶标图像去模糊的装置。

26、根据本发明实施例的光刻机，通过采用上面实施例所述的光刻靶标图像去模糊的装置，能够有效修复因模糊引起的图像退化，提高图像恢复的质量，进而提高了光刻过程中靶标对准的精度，减少了对准误差，从而提高了光刻机的整体性能。

27、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。