基于目标检测和语义分割的流体包裹体分析方法及系统

本发明涉及图像自动化识别以及油气勘探领域，更具体地说，涉及一种基于目标检测和语义分割的流体包裹体分析方法及系统。

背景技术：

1、流体包裹体是地质学和矿物学领域中的关键微观结构，它们记录了地球演化的过程和地质事件的痕迹。这些微小的封闭体中包含着有关地球内部的信息，如温度、压力、成分和地质历史，因此流体包裹体参数分析跨越多种学科，对于地球科学、资源勘探、环境保护、实验地质学等各个方面都具有巨大的科学价值。在传统的流体包裹体分析中，需要进行人工观察和测量，这不仅费时费力，还容易受到主观因素和人为误差的影响。此外，流体包裹体的数量通常很大，因此需要大量的劳动力和时间来完成分析。

2、计算机视觉技术的出现为流体包裹体分析提供了革命性的解决方案。通过利用深度学习和图像处理算法，可以实现对流体包裹体的自动化检测、定位和分析。具体而言，计算机视觉技术可以识别每个流体包裹体的位置、类别和形状，并测量单双相流体包裹体的长宽比以及双相流体包裹体的气液比，这些是了解地质历史和矿物成因的关键参数。采用计算机视觉技术的好处不仅在于提高了对流体包裹体参数的分析速度和准确性，还能降低分析成本，消除人为因素的干扰。此外，这种方法还可以处理大规模的数据集，为大规模地质样本的高效分析提供了可能性。因此，计算机视觉技术为地质学和矿物学领域的研究带来了新的机会和前景，有望推动科学研究取得更大的进展。

3、现有的流体包裹体分析方法主要存在以下问题：手动分析方法耗时且主观性较强，不适用于大规模应用；传统的计算机视觉技术处理流体包裹体这种密集且小的目标精度不够高；现有深度学习方法虽然取得了一定进展，但仍面临鲁棒性不足的问题，难以准确识别并分析。

4、中国专利申请，公开号cn 116229458 a，记载了一种基于yolov5的包裹体的检测方法，针对流体包裹体的特点改进yolov5模型，使其适用于流体包裹体的检测。该方法的技术核心包括：收集并制作流体包裹体数据集；模型增加ca注意力机制；在yolov5模型的颈部网络neck部分的panet用bifpn替换；模型增加了小目标检测层；训练出较好的权重用于检测。该发明可对显微镜下的包裹体薄片进行实时智能的分析，判断是否是流体包裹体，可实现快速有效识别流体包裹体。但是，该方法面临鲁棒性不足的问题，难以准确识别并分析。特别是针对包含多个流体包裹体的显微图像目标检测任务，使用的yolov5目标检测网络精度不高且推理速度较慢，此外，这种方法目前仅用于识别流体包裹体的位置和数量，并未深入聚焦于流体包裹体的类别，也没有对单双相流体包裹体的长宽比以及双相流体包裹体的气液比进行详细分析。针对双相流体包裹体的气液比参数分析，目前仅局限于使用photoshop进行分析，需要人工操作且无法快速自主地计算双相流体包裹体的气液比。

技术实现思路

1、1.要解决的技术问题

2、现有技术中，在应用深度学习方法分析流体包裹体时，存在不能深入分析流体包裹体的类别、单双相流体包裹体的长宽比和双相流体包裹体的气液比等参数的问题。本发明提供了一种基于目标检测和语义分割的流体包裹体分析方法及系统，该方法通过对流体包裹体显微图像进行识别，结合了光学字符识别（optical character recognition，ocr）、图像处理、目标检测和语义分割等多种技术，能够以高精确度和强鲁棒性迅速获取流体包裹体的数量、类别、单双相流体包裹体的长宽比以及双相流体包裹体的气液比等参数信息。

3、2.技术方案

4、本发明的目的通过以下技术方案实现。

5、本发明一个方面提供了一种基于目标检测和语义分割的流体包裹体分析方法，包括如下步骤：

6、s1：采集包含流体包裹体的显微图像作为待检图像；

7、s2：识别待检图像中的标度尺信息，得到图片像素与实际物理尺寸的映射关系；识别待检图像中的标度尺信息的方法为光学字符识别和图像处理技术相结合的方法；

8、s3：对待检图像进行标注，得到目标检测框位置和类别信息标签；类别信息为单相流体包裹体信息和双相流体包裹体信息；

9、s4：将待检图像、待检图像中的目标检测框位置和类别信息标签输入至改进的yolox-m目标检测网络中，识别出待检图像中流体包裹体数量、位置和类别信息；

10、改进的yolox-m目标检测网络，该网络由输入端、主干网络（backbone）、颈部网络（neck）和输出端四个关键部分组成；其中，yolox-m的backbone组件，由多个卷积层、csp层、批量标准化层、激活函数层等构成，在最后三个csp层到颈部网络neck的连接之间，引入了三个结构相同的cbam（convolutional block attention module）注意力机制模块分别处理上述三层网络的输出；

11、构建综合损失函数siou（scylla- intersection over union）为损失函数，所述综合损失函数siou包括iou（intersection over union）损失、角度损失、距离损失和形状损失。

12、构建的综合损失函数用于训练改进的yolox-m目标检测网络，通过引导网络学习，显著提高了网络的训练效果；所构建的综合损失函数，综合损失siou的计算方法如下：

13、

14、（1）iou用于计算预测框和真实框之间的损失，具体公式如下：

15、

16、 b代表锚框， s代表面积；上标 gt代表真实框，上标 pr代表预测框；

17、表示预测框和真实框相交部分的面积，表示预测框和真实框相并部分的面积；

18、（2）用于计算预测框和真实框之间的距离损失，具体公式如下：

19、

20、其中，、和的计算公式为：

21、

22、

23、

24、 w和 h分别代表宽度和高度,下标 r代表矩形；分别表示真实框和预测框最小外接矩形的宽和高； x和 y分别表示横坐标和纵坐标，下标 c代表锚框的中心点；分别表示真实框的中心点的横坐标和纵坐标，分别表示预测框的中心点的横坐标和纵坐标；

25、式中，用于计算预测框和真实框之间的角度损失，具体公式如下：

26、

27、 σ表示预测框中心点与真实框中心点的距离， dh表示预测框中心点与真实框中心点的高度差，下标 h代表高度；

28、

29、

30、 x和 y分别表示横坐标和纵坐标，分别表示真实框的中心点的横坐标和纵坐标，分别表示预测框的中心点的横坐标和纵坐标；

31、（3）用于计算预测框和真实框之间的形状损失，具体公式如下：

32、

33、其中，控制对形状损失的关注程度，其取值范围为[2, 6]，和的计算公式为：

34、

35、

36、分别表示真实框的宽和高 ，分别表示预测框的宽和高。

37、s5：根据s4步骤中目标检测得到的流体包裹体位置信息对待检图像进行裁剪，得到只包含单个流体包裹体的显微图像；对只包含单个流体包裹体的显微图像进行像素级标注，得到对应的语义分割标签；

38、s6：将只包含单个流体包裹体显微图像和其对应的语义分割标签输入到改进的unet2+的语义分割网络中，获取到网络预测的分割图像；

39、进一步地，针对单个流体包裹体显微图像的形状特点，步骤s6中所述改进的unet2+的语义分割网络的改进包括：采用resnet34作为主要网络骨干的编码器，避免梯度消失和爆炸，方便流体包裹体的特征信息能够传入到更深层的网络结构中；使用scse模块注意力机制对解码器的输入进行处理，使网络在训练过程中能够自动关注通道和空间特征。scse（concurrent spatial and channel squeeze&excitation）模块包括通道注意力（spatialsqueeze and channel excitation block，cse）模块和空间注意力（channel squeeze andspatial excitation block，sse）模块。

40、s7：使用图像处理技术对步骤s6获取到的分割图像进行处理，基于步骤s3中获取的图片像素与实际物理尺寸的映射关系，估算出单双相流体包裹体的长宽比信息和双相流体包裹体的气液比信息。

41、基于上述算法可开发流体包裹体参数分析软件，软件集成ocr、图像处理、目标检测和语义分割等算法，用户可以通过提交包含流体包裹体的显微图像（包含标度尺信息），来获取流体包裹体的参数分析结果。

42、本发明的另一个方面还提供一种基于目标检测和语义分割的流体包裹体分析系统，应用本发明第一方面提供的一种基于目标检测和语义分割的流体包裹体分析方法。

43、3.有益效果

44、相比于现有技术，本发明的优点在于：

45、本发明提供的基于目标检测和语义分割的流体包裹体分析方法，能够在保持高精度的同时，克服了传统手动识别方法的劳动强度大、主观性高、效率低等问题。该方法不仅能够准确识别流体包裹体的数量、位置信息、类别，估算单双相流体包裹体的长宽比和双相流体包裹体的气液比，还具备较强的抗干扰能力，适用于各种复杂流体包裹体的显微图像识别任务。

46、针对流体包裹体显微图像中数量密集且目标小的特点，将cbam注意力机制引入到主干网络cspdarknet网络架构的最后三个 csp层到颈部网络的连接之间，以保留更详细的信息并改进特征表示，使网络更加注重融合输入特征的通道信息和空间信息。

47、siou损失函数包括iou损失、角度损失、距离损失和形状损失，并赋予不同的权重，解决原本只使用iou损失训练网络易出现的梯度消失问题，使模型在训练过程中同时考虑空间定位、角度预测和纵横比精度这三种不同的维度信息，加快收敛速度。