基于深度学习多源光谱融合鸡肉品质检测方法及分拣设备

本公开涉及鸡肉检测，具体地，涉及一种基于深度学习多源光谱融合鸡肉品质检测方法及分拣设备。

背景技术：

1、鸡肉因其丰富的蛋白质含量和较好的口感被称为最受欢迎的肉类之一。然而，由于鸡肉中的水分含量较高，因此容易出现变质的问题。

2、相关技术中，通常基于物理和化学的方法来检测鸡肉中的挥发性盐基氮含量和菌落总数，进而根据挥发性盐基氮含量和菌落总数来判断鸡肉的新鲜程度或鸡肉是否变质。上述检测方法不仅需要高度的专业知识，还会破坏样品的完整性，因此不利于对大规模的鸡肉样品进行检测。

技术实现思路

1、本公开的目的是提供一种基于深度学习多源光谱融合鸡肉品质检测方法及分拣设备，以解决上述技术问题。

2、为了实现上述目的，本公开第一方面提供一种基于深度学习多源光谱融合鸡肉品质检测方法，所述方法包括：

3、获取待检测鸡肉的近红外高光谱图像和可见光-近红外高光谱图像；

4、将所述近红外高光谱图像和所述可见光-近红外高光谱图像输入鸡肉品质检测模型中，得到所述待检测鸡肉的挥发性盐基氮含量和菌落总数；

5、根据所述挥发性盐基氮含量和所述菌落总数确定所述待检测鸡肉的品质；

6、其中，所述鸡肉品质检测模型用于通过如下操作得到所述挥发性盐基氮含量和所述菌落总数：

7、提取并融合所述近红外高光谱图像和所述可见光-近红外高光谱图像的特征，得到菌落融合特征图，根据所述菌落融合特征图，得到所述待检测鸡肉的菌落总数；

8、提取并融合所述近红外高光谱图像和所述可见光-近红外高光谱图像的特征，得到挥发性盐基氮融合特征图，根据所述挥发性盐基氮融合特征图，得到所述待检测鸡肉的挥发性盐基氮含量。

9、可选地，所述提取并融合所述近红外高光谱图像和所述可见光-近红外高光谱图像的特征，得到菌落融合特征图，包括：

10、对所述近红外高光谱图像进行至少一次特征提取和至少一次维度变换，得到第一近红外高光谱特征图，并对所述第一近红外高光谱特征图进行特征校正，得到第一近红外高光谱通道注意力特征图，以及对所述第一近红外高光谱通道注意力特征图进行特征提取，得到第二近红外高光谱通道注意力特征图；

11、对所述可见光-近红外高光谱图像进行至少一次特征提取和至少一次维度变换，得到第一可见光-近红外高光谱特征图，并对所述第一可见光-近红外高光谱特征图进行特征校正，得到第一可见光-近红外高光谱通道注意力特征图，以及对所述第一可见光-近红外高光谱通道注意力特征图进行特征提取，得到第二可见光-近红外高光谱通道注意力特征图；

12、对所述第二近红外高光谱通道注意力特征图和所述第二可见光-近红外高光谱通道注意力特征图进行融合，得到所述菌落融合特征图。

13、可选地，所述对所述第一近红外高光谱特征图进行特征校正，得到第一近红外高光谱通道注意力特征图，包括：

14、对所述第一近红外高光谱特征图进行变形，得到第二近红外高光谱特征图，以及对所述第一近红外高光谱特征图进行注意力权重提取，得到通道注意力权重矩阵；

15、计算所述第二近红外高光谱特征图、所述通道注意力权重矩阵与第一预设通道系数的乘积，并将所述乘积与所述第一近红外高光谱特征图相加，得到所述第一近红外高光谱通道注意力特征图。

16、可选地，所述对所述近红外高光谱图像进行至少一次特征提取和至少一次维度变换，得到第一近红外高光谱特征图，包括：

17、对所述近红外高光谱图像进行至少一次特征提取，得到第一特征图；

18、对所述第一特征图依次进行维度变换、特征提取以及维度变换，得到所述第一近红外高光谱特征图；

19、其中，所述对所述近红外高光谱图像进行至少一次特征提取，得到第一特征图，包括：

20、对所述近红外高光谱图像依次进行至少4次特征提取，得到第一卷积特征图，对所述第一卷积特征图并行进行四次特征提取，得到第二卷积特征图、第三卷积特征图、第四卷积特征图以及第五卷积特征图；

21、对所述第三卷积特征图、所述第四卷积特征图以及所述第五卷积特征图进行特征提取，得到第六卷积特征图、第七卷积特征图以及第八卷积特征图；

22、对所述第二卷积特征图、所述第六卷积特征图、所述第七卷积特征图以及所述第八卷积特征图进行图像拼接，得到所述第一特征图。

23、可选地，所述对所述第二近红外高光谱通道注意力特征图和所述第二可见光-近红外高光谱通道注意力特征图进行融合，得到所述菌落融合特征图，包括：

24、对所述第二近红外高光谱通道注意力特征图进行特征提取，得到第三近红外高光谱通道注意力特征图，以及对所述第二可见光-近红外高光谱通道注意力特征图进行特征提取，得到第三可见光-近红外高光谱通道注意力特征图；

25、计算所述第三近红外高光谱通道注意力特征图和所述第三可见光-近红外高光谱通道注意力特征图的乘积，得到第一菌落融合特征图，并对所述第一菌落融合特征图进行特征提取和特征校正，得到第二菌落融合特征图；

26、对所述第二菌落融合特征图依次进行特征提取和变形处理，得到第三菌落融合特征图，对所述第二菌落融合特征图进行注意力权重提取，得到空间注意力权重矩阵，以及计算所述第三菌落融合特征图、所述空间注意力权重矩阵与预设空间系数的乘积，并将所述乘积与所述第二菌落融合特征图相加，得到所述菌落融合特征图。

27、可选地，所述根据所述菌落融合特征图，得到所述待检测鸡肉的菌落总数，包括：

28、对所述菌落融合特征图进行特征提取和至少一次下采样，得到所述菌落融合特征图的抽象特征；

29、对所述抽象特征进行特征整合，得到所述待检测鸡肉的菌落总数。

30、可选地，所述鸡肉品质检测模型包括菌落总数检测子模型和挥发性盐基氮含量检测子模型，所述鸡肉品质检测模型用于通过如下操作得到所述挥发性盐基氮含量和所述菌落总数：

31、通过所述菌落总数检测子模型提取并融合所述近红外高光谱图像和所述可见光-近红外高光谱图像的特征，得到菌落融合特征图，以及根据所述菌落融合特征图，得到所述待检测鸡肉的菌落总数；

32、通过所述挥发性盐基氮含量检测子模型提取并融合所述近红外高光谱图像和所述可见光-近红外高光谱图像的特征，得到挥发性盐基氮融合特征图，以及根据所述挥发性盐基氮融合特征图，得到所述待检测鸡肉的挥发性盐基氮含量。

33、可选地，所述菌落总数检测子模型的训练过程包括：

34、获取标注有第一标签的多组第一样本图片，每组第一样本图片包括待检测鸡肉的近红外高光谱图像和可见光-近红外高光谱图像，所述第一标签用于指示根据对应的所述第一样本图片生成的菌落总数标准值；

35、将所述第一样本图片输入所述菌落总数检测子模型，得到所述第一样本图片对应的菌落总数预测值，并根据所述菌落总数预测值和所述第一标签指示的所述菌落总数标准值，确定第一损失函数值；

36、根据所述第一损失函数值更新所述菌落总数检测子模型的参数。

37、可选地，所述挥发性盐基氮含量检测子模型的训练过程包括：

38、获取标注有第二标签的多组第二样本图片，每组第二样本图片包括待检测鸡肉的近红外高光谱图像和可见光-近红外高光谱图像，所述第二标签用于指示根据对应的所述第二样本图片生成的挥发性盐基氮含量标准值；

39、将所述第二样本图片输入所述挥发性盐基氮含量检测子模型，得到所述第二样本图片对应的挥发性盐基氮含量预测值，并根据所述挥发性盐基氮含量预测值和所述第二标签指示的所述挥发性盐基氮含量标准值，确定第二损失函数值；

40、根据所述第二损失函数值更新所述挥发性盐基氮含量检测子模型的参数。

41、本公开第二方面提供一种鸡肉分拣设备，所述设备包括：

42、运输装置，用于运输待分拣鸡肉；

43、分拣装置，用于将所述待分拣鸡肉进行分拣；

44、控制装置，用于执行如第一方面中任一项所述的方法，得到所述待分拣鸡肉的品质，并根据所述待分拣鸡肉的品质，控制所述分拣装置将传输至所述运输装置指定区域的所述待分拣鸡肉分拣至不同区域。

45、通过上述技术方案，将待检测鸡肉的近红外高光谱图像和可见光-近红外高光谱图像输入鸡肉品质检测模型，能够得到待检测鸡肉中的挥发性盐基氮含量和菌落总数，进而根据待检测鸡肉中的挥发性盐基氮含量和菌落总数确定鸡肉的品质。由此可知，基于本公开提供的方法进行鸡肉品质检测时，不仅不会破坏待检测鸡肉的完整性，而且检测过程简单，直接将待检测鸡肉的近红外高光谱图像和可见光-近红外高光谱图像输入鸡肉品质检测模型即可，有效的提高了鸡肉品质的检测效率，同时该检测过程不需要人为干预，可以运用于全自动化无人的实际检测，有利于大规模的鸡肉样品进行检测。

46、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。