一种基于3D-SwinT-CNN的红茶发酵程度判别方法

本发明属于食品工程，尤其涉及一种基于3d-swint-cnn的红茶发酵程度判别方法。

背景技术：

1、红茶传统加工工艺包括萎凋、揉捻、发酵、干燥四道工序。发酵是红茶特色风味形成的关键工序，发酵程度的好坏将直接决定成品红茶的品质，在该工序下，红茶主要通过以多酚类化合物为主体的酶促氧化作用来实现其特色风味。在合适的发酵温湿度环境下，茶叶内含物质发生一系列剧烈氧化聚合和缩合等复杂化学反应，形成茶黄素、茶红素和茶褐素等物质。此外，红茶表面颜色会经历如下变化：嫩绿色-青色-黄色-红色-铜红色-红褐色，红茶的气味也由青草味逐渐转变成芳香味，从而最终形成独特的色、香、味和品质。因此，红茶发酵程度的精确判别至关重要。

2、目前在现场红茶加工生产中，红茶发酵状态检测及评判，主要依靠制茶专家对红茶现场的观察及其个人经验。该方法具有不确定性，易受人为主观因素影响，致使发酵偏轻或过度，直接影响红茶品质稳定性及风味一致性。高光谱成像（hyperspectral imaging,hsi）技术具有快速、无损等优点，近年来在红茶发酵程度判别任务中有着广泛的研究。现有文献提取平均光谱数据与图像特征信息，结合机器学习算法开展红茶发酵程度判别研究，但是这种方法数据预处理过程复杂，且光谱和图像特征的提取依赖于专家经验。相比于传统机器学习，深度学习模型在端到端的高光谱图像分类和回归分析中取得了较好的性能；其中，卷积神经网络（convolutional neural network, cnn）是主流算法之一，拥有强大的特征学习能力。三维cnn（3d-cnn）已应用于高光谱图像分析，能够直接从原始高光谱图像中提取空间和光谱的局部信号变化，端到端地提取局部光谱-空间联合特征，并基于提取到的特征进行分类。但3d-cnn专注于局部信息，无法捕捉到全局特征信息，并且难以捕获序列属性，特别是中长期光谱依赖性。相比之下，transformer模型则通过注意力机制捕捉长距离光谱-空间特征，以实现全局信息模型的构建。然而原始的transformer模型对图像所有像素点使用全局注意力机制，计算图像中某一个像素对所有元素的相互关系，计算复杂度高，且随着图像尺寸的增加而增加。为了降低模型计算复杂度，有学者提出移动窗口（swin）transformer模型，通过引入移位窗口机制显著降低自注意力机制计算的复杂度，但当前该方法尚未扩展至高光谱图像三维数据块的分析建模中，更没有在红茶发酵程度判别中的研究。

3、综上所述，现有技术存在的问题是：

4、（1）当前制茶专家评审红茶发酵程度存在不确定性，易受人为主观因素影响等问题，致使发酵偏轻或过度，直接影响红茶品质稳定性及风味一致性。

5、（2）基于一维平均光谱数据与图像特征信息，结合传统机器学习算法开展红茶发酵程度判别研究，但是这种方法数据预处理过程复杂，且光谱和图像特征的提取依赖于专家经验。

6、（3）传统3d-cnn能够端到端提取局部光谱-空间特征，但无法关注全局特征。而transformer模型计算量大，不适用于高光谱图像高维数据块的分析。

7、因此，在红茶发酵程度判别这一任务中，亟需探究一种新算法，以充分挖掘三维高光谱图像的空间-光谱特征，并降低模型复杂度和计算量，端到端处理红茶高光谱图像，实现红茶发酵程度的快速判别。

技术实现思路

1、本发明目的在于提供一种基于3d-swint-cnn的红茶发酵程度判别方法，以解决上述的技术问题。

2、为解决上述技术问题，本发明提供一种基于3d-swint-cnn的红茶发酵程度判别方法。将swin transformer模型改进为可以提取三维图像特征的3d swin transformer，并结合3d-cnn构建改进的3d-swint-cnn，其可以充分挖掘hsi三维空间-光谱特征，实现红茶发酵程度有效判别，具体包括以下步骤：

3、一种基于3d-swint-cnn的红茶发酵程度判别方法，包括以下步骤：

4、s1：发酵红茶高光谱图像采集及预处理：搭建高光谱成像系统，设置光谱波段范围以及空间分辨率，采集不同发酵程度的红茶发酵叶高光谱图像，并对原始高光谱图像进行校正，进行图像预处理；

5、s2：设计3d swin transformer模块：将swin transformer模型中的移动窗口自注意力机制扩展到三维高光谱图像处理中，以捕获三维高光谱图像关键的空间-光谱联合特征及全局特征；

6、s3：设计3d-swint-cnn模型：包括3个模块，其中一个是s2所述的3d swintransformer模块，其余两个模块分别为3d多尺度光谱-空间联合特征提取模块和分类器模块；

7、s4：算法模型性能对比：进行数据集划分，构建s3所述的3d-swint-cnn模型，并与基准3d- cnn进行对比，同时对3d-swint-cnn进行消融实验，验证所提的3d-swint-cnn结合hsi在红茶发酵程度判别中的有效性。

8、进一步的，s1中所述高光谱成像系统为可见-近红外高光谱成像系统，包括光谱相机、镜头、光源和图像采集平台；

9、所述光谱波段范围是470-900nm，共140个波段；

10、所述空间分辨率是根据叶片样本尺寸进行调整。

11、进一步的，s1中采集不同发酵程度的红茶发酵叶高光谱图像具体操作是把发酵时间延长，使红茶样本覆盖过度发酵阶段；在多个小时内设定多个时间点，每个时间点采集一批发酵样本；揉捻结束时刻定义为发酵0时刻，在发酵过程中按照多个时间点采集红茶样品的高光谱图像；将多个不同发酵时序下的样本，按照发酵程度划分为四类：发酵初始、发酵不足、发酵适度和发酵过度；

12、进一步的，s1中所述原始高光谱图像校正为黑白校正，用以减小光照度和相机暗电流对不同样品图谱获取的影响，具体计算公式如下式（1）：

13、

14、其中 r 0和 r分别为校正前和校正后的高光谱图像， w和 d分别为白板参照图像和暗电流参照图像；

15、进一步的，s1中图像预处理包括背景去除及图像分割，方式为：采用叶片和背景光谱反射率差异最大的近红外波段作为背景去除的阈值波段；随后进行图像分割，之后截取出仅包含红茶发酵叶片的图像；分割后的三维高光谱图像用于建立三维红茶发酵程度判别模型。

16、进一步的，s2中所述将swin transformer模型中的移动窗口自注意力机制扩展到三维高光谱图像处理中，是指swin transformer将移动的窗口扩展到一个3d结构，以捕获hsi的长距离空间-光谱特征，形成3d swin transformer 模块；所述3d swin transformer模块执行如下步骤：hsi的输入尺寸为1×140×64×64；首先，3d patch partition将输入的hsi拆分为大小为35×16×16的64个patch；其次，linear embedding将每个patch投射到64×8960的维度，并标记每个patch的位置信息；最后，这些patch被送入3d swintransformer，生成大小为16×35×32×32的特征图；所述3d swin transformer模块的组成部分包括多层感知器mlp、层规范化ln、残差连接、基于3d窗口的多头自注意力机制3d w-msa以及基于3d移位窗口的多头自注意力机制3d sw-msa；3d swin transformer的计算过程用如下公式表示：

17、

18、

19、

20、

21、其中和分别表示块 l的3d w-msa模块和3d sw-msa模块的输出特征；和表示块 l的模块的输出特征；

22、多头自注意力机制msa可捕捉hsi之间的复杂关系，msa是多个单一自注意力模块的拼接；对于单一自注意力，使用可学习的权重矩阵 ，和将patch线性映射到查询 q、密钥 k和数值 v矩阵，如公式（6）所示；对于msa，每个注意头的结果被连接在一起以获得多头注意力的最终表示，由公式（7）表示；其中 h是头的数量， w是参数矩阵；

23、

24、

25、其中， sa为单一自注意力， q、 k、 v分别为查询、密钥、数值矩阵， d是查询 q/密钥 k的维度。

26、进一步的，s2中所述3d swin transformer 模型将光谱域融入w-msa，从而形成3d w-msa，它考虑了窗口划分和移动，建立了3d移动窗口机制，所述3d移动窗口机制如下：首先，整个3d数据被划分为较小的窗口；这些窗口通常是立方体形状，包含原始3d数据的一小部分，在窗口内进行自注意力机制计算；后一层的窗口在高度、宽度和光谱维度上移动半个窗口大小的距离。

27、进一步的，s3中所述的 3d多尺度光谱-空间联合特征提取模块在3d-cnn中引入扩张卷积，将标准卷积与扩张卷积的结果进行拼接，不同感受野的卷积核从特征图中提取不同尺度的光谱-空间特征，不同卷积产生的输出特征图，经过批量归一化后，沿着通道维度进行拼接。

28、进一步的，s3中所述的分类器模块，是指3d-swint-cnn模型分类器由三个串联卷积层后拼接一个全连接层组成，每个卷积层后跟随一个批量归一化层，卷积层中所有卷积核大小设置为3×3×3，填充设置为1×1×1；输入的特征经过分类器后判别出不同发酵程度，最终实现红茶高光谱图像的分类。

29、进一步的，s4中所述算法模型性能对比包括：进行数据集划分，构建s3所述的3d-swint-cnn模型，并与基准3d- cnn进行对比，同时对3d-swint-cnn进行消融实验，验证所提的3d-swint-cnn结合hsi在红茶发酵程度判别中的有效性。

30、本发明的一种基于3d-swint-cnn的红茶发酵程度判别方法具有以下优点：

31、（1）本发明针对人工评审红茶发酵程度存在主观性强、无法量化等问题，提出了一种用hsi来判别红茶发酵程度的方法，使用改进的3d-swint-cnn捕获三维高光谱图像关键的空间-光谱联合特征及全局特征，实现红茶发酵程度判别；

32、（2）本发明提出的3d-swint-cnn算法，相比传统的深度学习算法提取三维特征计算量小、模型性能好、效果显著，实现端到端处理红茶高光谱图像，有助于红茶发酵过程的数字化和智能化，提高红茶加工品质。