基于多模态融合成像的麦粒微观结构变化观测方法及设备

本发明涉及麦粒微观结构变化观测，具体涉及一种基于多模态融合成像的麦粒微观结构变化观测方法及设备。

背景技术：

1、通常大麦收获后的储藏在食用前是必不可少的。大麦的储存寿命会受到生物因素(昆虫和真菌)和非生物因素(温度、湿度和水分)的双重影响而达到1％到50％不等的损失。种子的内在结构和特性可能有助于其在不利条件下抵御腐败的防御机制。目前采用x射线成像技术对种子内在结构进行研究。然而采用x射线的传统成像方式受成像分辨率和非相关源的影响，导致成像效果不加。考虑到种子内部对热感应程度不一样，可以采用红外成像，但单通道成像使得画面丢失了部分细节。

技术实现思路

1、本发明提出的一种基于多模态融合成像的麦粒微观结构变化观测方法及设备，涉及大麦存储期间大麦籽粒微观结构、营养和生化变化观测的相关问题，可至少解决背景技术中的技术问题之一。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种基于多模态融合成像的麦粒微观结构变化观测方法，包括以下步骤：

4、s1、将麦粒的x射线和红外两种模态数据输入到融合骨干网络，并生成融合特征图；

5、s2、对麦粒融合特征图的前景目标和背景细节建立对比优化学习模型；

6、s3、构建自适应权重损失约束函数对s2中对比优化学习模型进行优化，实现麦粒多模态图像增强表示。

7、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

8、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

9、由上述技术方案可知，本发明的基于多模态融合成像的麦粒微观结构变化观测方法及设备，通过图像融合的方式实现两个模态信息的互补，并以多级特征集成耦合对比学习的方法减少融合所带来的冗余信息，以增强成像效果。本发明可以实现互补两模态各自的特性信息，增强两模态之间共性信息，从而实现对大麦微观结构的细节成像，以便实现对大麦储存受其结构的影响的研究。

10、具体的说，本发明克服现有方法的不足，充分利用x射线的高穿透性，能够对较厚或密度较高的麦粒目标成像，且采用红外辐射对麦粒热源的感知，能够根据目标热源分布情况实现细节成像。利用两种模态的成像与融合，能够实现对麦粒的成像增强表示效果，从而实现对麦粒微观结构有效观测。

技术特征：

1.一种基于多模态融合成像的麦粒微观结构变化观测方法，其特征在于，包括以下步骤，

2.根据权利要求1所述的基于多模态融合成像的麦粒微观结构变化观测方法，其特征在于，步骤s1具体包括，

3.根据权利要求2所述的基于多模态融合成像的麦粒微观结构变化观测方法，其特征在于，步骤s2具体步骤如下：

4.根据权利要求3所述的基于多模态融合成像的麦粒微观结构变化观测方法，其特征在于，步骤s3具体包括，

5.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。

技术总结
本发明的一种基于多模态融合成像的麦粒微观结构变化观测方法及设备，包括以下步骤，S1、将麦粒的X射线和红外两种模态数据输入到融合骨干网络，并生成融合特征图；S2、对麦粒成像的前景目标和背景细节建立对比优化学习模型；S3、构建自适应权重损失约束函数实现麦粒多模态图像增强表示。本发明利用了多模态融合成像的方法互补了单一模态成像的缺陷，如成像质量不高，成像通道单一等。同时采用多级特征集成耦合对比学习的方法减少融合所带来的冗余信息，以实现麦粒多模态图像增强表示。

技术研发人员：刘静,李娜,刘陆伟,李昌群,唐珊,李珺茹,邓成,赵云波,许镇义
受保护的技术使用者：安徽粮食工程职业学院
技术研发日：
技术公布日：2024/12/19