一种基于FPGA的透射电镜图像实时处理方法和系统

本发明涉及透射电镜图像处理，特别是涉及一种基于fpga的透射电镜图像实时处理方法和系统。

背景技术：

1、先进电子材料是集成电路的基础材料，而电子材料的显微缺陷会影响集成电路的性能。为了高效定位与可视化识别缺陷，以高空间和时间分辨率实时对材料进行表征和分析成为集成电路行业的发展趋势。

2、透射电子显微镜因其高分辨率而应用于晶体分析，原位透射电镜的空间解析度可达硅晶格的边长为有足够的分辨率识别集成电路材料硅晶格中的缺陷，原始tem视频流的分辨率可达4k*4k@10-100hz，在压缩传感重构算法下可达上千帧。

3、原位tem高速摄像机产生的高帧速率视频流已经大大超出了使用传统手工方法识别的能力范围，这对数据处理提出了更高层次的要求。为了应对这个严峻的挑战，国内外研究人员开展了使用机器学习进行低延迟tem分析的研究。利用深度神经网络对图像处理的难点是处理的数据量较大，计算量大，处理过程非常耗时。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于fpga的透射电镜图像实时处理方法和系统，可以高效可靠地完成实时电镜图像分析。

2、本发明解决其技术问题所采用的技术方案是：提供一种基于fpga的透射电镜图像实时处理方法，包括以下步骤：

3、获取tem视频；

4、将所述tem视频输入至植入在fpga中的量化模型文件中，确定所述tem视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；

5、其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到。

6、所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到，具体为：

7、收集包含各种缺陷类型的透射电镜图像；

8、采用标注工具对透射电镜图像中的缺陷的位置和面积进行标注，并使用k-means聚类分析法确定透射电镜图像中的缺陷类型；

9、将标注好缺陷类型、位置以及面积的透射电镜图像分为训练集、验证集和测试集；

10、采用训练集和验证集对神经网络模型进行训练，采用测试集对训练后神经网络模型进行测试；

11、训练至符合要求后，得到透射电镜图像识别模型。

12、所述训练集中每种缺陷类型的透射电镜图像占比相同。

13、所述采用训练集和验证集对神经网络模型进行训练时，当所述神经网络模型预测出的缺陷部位和没有缺陷部位的面积与实际缺陷部位和没有缺陷部位的面积之比大于或等于阈值，则表示所述神经网络模型预测正确。

14、所述量化模型文件由透射电镜图像识别模型转换得到，具体为：

15、采用vitis ai开发工具将所述透射电镜图像识别模型转换为量化模型文件。

16、所述采用vitis ai开发工具将所述透射电镜图像识别模型转换为量化模型文件时，将dpu指纹信息和所述透射电镜图像识别模型一起作为量化输入文件进行量化。

17、所述神经网络模型为u-net模型。

18、所述获取tem视频具体为：读取预存的tem视频或读取实时采集的tem视频。

19、本发明解决其技术问题所采用的技术方案是：提供一种基于fpga的透射电镜图像实时处理系统，包括：

20、获取模块，用于获取tem视频；

21、处理模块，用于将所述tem视频输入至植入在fpga中的量化模型文件中，确定所述tem视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；

22、其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到。

23、有益效果

24、由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明可以高效可靠地完成实时电镜图像分析，相比现有的技术，突破了传统深度学习方法实时性弱的缺点，通过使用vitis ai开发工具方法，将深度学习模型转化为fpga可执行的量化模型文件，节省了大量时间与人力，降低了使用fpga实现深度学习算法的时间和周期。同时，本方法还对量化模型进行优化，使其在推理准确度和推理速度之间实现很好的平衡。

技术特征：

1.一种基于fpga的透射电镜图像实时处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到，具体为：

3.根据权利要求2所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述训练集中每种缺陷类型的透射电镜图像占比相同。

4.根据权利要求1所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述采用训练集和验证集对神经网络模型进行训练时，当所述神经网络模型预测出的缺陷部位和没有缺陷部位的面积与实际缺陷部位和没有缺陷部位的面积之比大于或等于阈值，则表示所述神经网络模型预测正确。

5.根据权利要求1所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述量化模型文件由透射电镜图像识别模型转换得到，具体为：

6.根据权利要求5所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述采用vitis ai开发工具将所述透射电镜图像识别模型转换为量化模型文件时，将dpu指纹信息和所述透射电镜图像识别模型一起作为量化输入文件进行量化。

7.根据权利要求1所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述神经网络模型为u-net模型。

8.根据权利要求1所述的基于fpga的透射电镜图像实时处理方法，其特征在于，所述获取tem视频具体为：读取预存的tem视频或读取实时采集的tem视频。

9.一种基于fpga的透射电镜图像实时处理系统，其特征在于，包括：

技术总结
本发明涉及一种基于FPGA的透射电镜图像实时处理方法和系统，其中，方法包括：获取TEM视频；将所述TEM视频输入至植入在FPGA中的量化模型文件中，确定所述TEM视频的透射电镜图像帧中是否存在缺陷，并在存在缺陷时标记缺陷位置和面积；其中，所述量化模型文件由透射电镜图像识别模型转换得到，所述透射电镜图像识别模型采用标注的透射电镜图像对神经网络模型进行训练得到。本发明可以高效可靠地完成实时电镜图像分析。

技术研发人员：黄于搏,李泽昊,郑馨悦,叶长青,吕良剑,王超伦,吴幸
受保护的技术使用者：华东师范大学
技术研发日：
技术公布日：2024/1/15