智慧医疗场景下时间相关特征挖掘的中草药识别方法

1.本发明属于人工智能目标识别技术领域，具体涉及一种智慧医疗场景下时间相关特征挖掘的中草药识别方法。


背景技术：

2.中医是一套完整的、融入大量的临床经验医学理论体系,已被世界卫生组织列入最具影响力的医学纲要。中草药在中医学领域有着重要的价值，不仅在治疗疾病方面有卓越的表现，而且在中医理论体系的指导下还可以调理身体，但由于中草药种类繁多，缺乏经验人员难以准确识别中药材以及药材质量参差不齐等问题。随着人工智能不断发展，早已在图识别领域崭露头角，也促进中医学图像处理技术正在、图像描述定量化、图像三维化、可视化及网络化等方向发展。
3.现有的中草药识别往往是进行人工分析和研究，需要研究者具有相当丰富的中医药知识储备和经验，传统方法耗时耗力、识别效率低下、识别率难以保证。为了提升中草药识别科学化、现代化和智能化水平，亟需新的手段对传统中草药进行改进升级。此外，也有一些专家学者通过传统机器视觉技术对中草药图像进行特征提取，从而对中草药进行识别，但这种手段的效果也难以满足实际需要，大多局限于实验室层次的研究，模型的泛化能力较差，鲁棒性较差。深度学习是人工智能的重要进展之一，颠覆了传统算法的设计思路，能够自动从数据中学习特征，避免了传统算法中人工设计特征、提取特征的复杂性和局限性，在没有人为干预的情况下，具有极大的特征学习潜力，有望进一步改善和解决目前中草药识别方法中存在的一系列问题。


技术实现要素：

4.解决的技术问题：本发明针对智慧医疗的中药房场景下，待识别中草药目标种类繁多，很多药材形状、颜色极为相似的问题，以及中药材掺假、掺杂、以假乱真、以次充好等现象，以至于缺乏经验人员难以准确识别中药材以及药材质量参差不齐等技术问题，提出了一种智慧医疗场景下时间相关特征挖掘的中草药识别方法，通过在中草药数据集上进行训练提取泛化的不同种类的中草药所具有的特征表示，提高对同一种类的相似中草药的识别准确度和判断中草药质量参差的准确度。
5.技术方案：
6.一种智慧医疗场景下时间相关特征挖掘的中草药识别方法，所述中草药识别方法包括以下步骤：
7.s1，采集中草药图片，在中草药图片上标注图片类别标签和生长周期标签，生成中草药图像样本，构建中草药图像样本数据集；利用retinex图像增强算法对获取的图像数据集进行预处理，将各个样本图像按照预设比例分为用于训练中草药识别模型的训练集、以及用于测试中草药识别模型的测试集；
8.s2，构建m层的金字塔网络模型，采用金字塔网络模型对导入的中草药图片进行处
理，以输出具有空间敏感度的高分辨率特征图，减少空间流和语义流上特征图进行特征融合时出现空间信息定位偏差；该金字塔网络模型由两条路径构成：自底向上的空间流路径和自顶向下的语义流路径；中草药图片经空间流路径处理得到相应的特征图，得到的特征图导入语义流路径，通过像素混洗和特征感知重组，生成目标特征区域块；
9.s3，构建激活区域生成网络，激活区域生成网络包括竞争性通道注意力模块、空间注意力模块和特征处理结构块；竞争性通道注意力模块用于使语义流和空间流进行自适应竞争，得到空间流与语义流的通道依赖关系的激活权重矩阵；空间注意力模块用于获取不同层级之间局部特征和全局特征之间的激活权重矩阵，并融合竞争性通道注意力模块中学习的通道依赖关系激活权重矩阵，得到激活区域生成网络输出的激活特征图；特征处理结构块包括自注意力模块和特征分解模块；自注意力模块用于捕捉时间序列上下文信息，获取序列中特征的关联度；特征分解模块用于获取中草药时间序列特征中的时间不变特征；
10.s4，构建特征映射结构块，针对当前生长周期的中草药特征与其余生长周期的中草药特征建立映射关系；
11.s5，构建中草药识别网络模型，利用训练集对中草药识别网络模型进行训练，得到训练好的中草药识别网络模型；将测试集输入训练好的中草药识别网络模型中，得到中草药识别结果。
12.进一步地，步骤s1中，根据下述公式，利用retinex图像增强算法对获取的图像数据集进行预处理：
[0013][0014][0015]
式中，r(x,y)表示输出图像；r(x,y)表示反射图像；s(x,y)表示输入图像，l(x,y)表示亮度图像；f(x,y)表示高斯中心环绕函数；λ为归一化系数；q为高斯环绕尺度；x表示图像像素点横坐标；y表示图像像素点纵坐标。
[0016]
进一步地，步骤s2中，采用上采样模块对导入的中草药图片进行处理，以输出具有空间敏感度的高分辨率特征图的过程包括以下步骤：
[0017]
s21，设置m层金字塔网络模型，金字塔网络模型由两条路径构成：自底向上的空间流路径和自顶向下的语义流路径；自底向上的空间流路径上，第i层的特征通过上采样模块输出特征图i∈{1,2,3,
…
,m-1}，其中，hi、wi、cb分别表示第i层特征图的高、宽、通道数；自底向上的空间流路径中，第i层金字塔的最后一个卷积层输出的特征为
[0018]
s22，将自底向上的空间流路径中的第m层金字塔的最后一个卷积层输出的特征dm通过通道调整后作为自顶向下的语义流路径的顶层特征取特征图上任意像素位置形成以z为中心且大小尺寸为k
up
×kup
预定义特征区域块通过尺寸大小为1
×
1的卷积核对进行通道调整，公式如下：
[0019]
[0020]
式中，代表经过1
×
1的卷积核进行通道调整后的特征；
[0021]
s23，通过像素混洗算子将的通道维度在空间维度展开，获取特征图的任意像素位置的区域上采样核，公式如下：
[0022][0023]
式中，表示坐标的输出特征像素；α表示升标因子，αk
up
表示区域卷积块大小；
[0024]
s24，通过对特征图上每个通道的所有像素位置进行像素混洗操作，得到预测上采样核取特征图上任意像素位置对应于预测上采样核fm上的特征像素块通过通道重组操作将特征像素块fz的通道维度转换为空间维度，生成区域上采样核，公式如下：
[0025]f′z＝reshape(fz)
[0026]
式中，reshape(
·
)代表通道重组操作；fz′
代表尺寸大小为αk
up
×
αk
up
的区域上采样核；
[0027]
s25，将预定义特征区域块与区域上采样核fz′
通过特征感知重组模块生成目标特征区域块，公式如下：
[0028][0029]
式中，u
′
m-1
代表输入特征图上的任意像素位置在输出特征图上的目标特征区域块上的映射像素位置z
′
＝(i
′
,j
′
)，αk
up
表示区域上采样核尺寸。
[0030]
进一步地，步骤s3中，采用竞争性通道注意力模块使语义流和空间流进行自适应竞争，得到空间流与语义流的通道依赖关系的激活权重矩阵的过程包括以下步骤：
[0031]
a31，将自底向上的空间流路径中第i层金字塔的最后一个卷积层输出的特征di通过1
×
1的卷积操作实现横向连接后输出为公式如下：
[0032][0033]
式中，代表经过1
×
1的卷积核进行通道调整后的特征；i代表第i层；
·
代表卷积操作；
[0034]
a32，令金字塔网络的第i层特征融合模块的输入为a32，令金字塔网络的第i层特征融合模块的输入为对来自空间流和语义流的输入进行全局平均池化处理，以将每组特征图的每个通道的二维特征(h
×
w)进行挤压，得到平均特征，公式如下：
[0035][0036][0037]
式中，代表空间流上输入的特征中第c个通道的描述符；代表语义流上输入的特征中第k个通道的描述符；f
sq
(
·
)代表的是全局平均池化操作；与分别代表空间流流与语义流上输入第i层特征中第k个通道的特征，代表特征图上的像素点；
[0038]
a33，将与进行通道维度连接后作为联合激励输入，使语义流和空间流进行自适应竞争，得到空间流与语义流的通道依赖关系的激活权重矩阵，公式如下：
[0039][0040]
式中，f
ex
(
·
)为激励操作，代表两层全连接层的前向传播；w
ex
为两层全连接层的权重矩阵，为两层全连接层的权重矩阵，
[0041]
进一步地，步骤s3中，采用空间注意力模块获取不同层级之间局部特征和全局特征之间的激活权重矩阵，并融合竞争性通道注意力模块中学习的通道依赖关系激活权重矩阵，得到激活区域生成网络输出的激活特征图的过程包括以下步骤：
[0042]
b31，金字塔网络的第i层的特征融合模块的输入li、ui分别经过跨通道的全局平均池化处理操作，获得位置(x,y)的空间描述符，公式如下：
[0043][0044][0045]
式中，g
sq
(
·
)表示跨通道的全局平均池化处理操作；[li]
x,y
、[ui]
x,y
分别表示第i层两条流中自底向上的空间流路径和自顶向下的语义流路径的输入的特征中所有通道的位置为(x,y)；
[0046][0047]
将与进行通道维度的连接，获得第i层融合特征的空间关系信息，公式如下：
[0048][0049]
式中，是调配空间流与语义流之间空间信息关系的权重矩阵；g
ex
(
·
)代表两层卷积层的前向传播操作；wv为两层卷积层的权重矩阵；v
i1
、v
i2
为自底向上路径
和自顶向下路径的空间信息关系权重矩阵；
[0050]
b32，将调配空间流与语义流之间通道信息关系的权重矩阵pi与空间流与语义流之间空间信息关系的权重矩阵vi进行相乘，公式如下：
[0051][0052][0053]
式中，代表逐元素乘法；代表激活区域生成网络的激活值；
[0054]
b33，通过激活区域生成网络的激活值得到激活区域生成网络输出的激活特征图，公式如下：
[0055][0056]
式中，代表激活区域生成网络输出特征图；代表逐元素乘法。
[0057]
进一步地，步骤s3中，采用自注意力模块捕捉时间序列上下文信息，获取序列中特征的关联度的过程包括以下步骤：
[0058]
c31，将自底向上的空间流路径中第i层金字塔的最后一个卷积层输出的特征堆叠成时间特征序列设置三个关键学习参数公式如下：
[0059][0060][0061][0062]
式中，表示时间序列xi中第p个周期的特征学习参数；表示权重学习矩阵；
[0063]
c32，将特征学习参数分别堆叠成三个参数序列，分别表示为c32，将特征学习参数分别堆叠成三个参数序列，分别表示为
[0064]
获得特征序列xi中所表示任意生长周期特征的三个关键学习参数序列，通过参数矩阵获得每个head的权重参数，公式如下：
[0065][0066]
式中，σ(
·
)表是softmax函数；表示参数矩阵；dq表示的维度，dk表示的维度，dv表示的维度，且dk＝dv＝dq/h，h表示head的个数；
[0067]
c33，通过可学习参数矩阵w融合每个head输出参数矩阵，公式如下：
[0068][0069]
式中，表示中草药图像特征权重序列；
[0070]
进一步地，步骤s3中，采用特征分解模块获取中草药时间序列特征中的时间不变
特征的过程包括以下步骤：
[0071]
d31，将中草药时间特征序列xi通过自注意力函数f输出中草药时间特征权重序列将中草药时间特征权重序列建模为时间不变特征分量、时变特征分量与平局特征的线性组合，其中表示时不变的特征，表示时变的特征，表示中草药特征的平均值；通过由两层全连接层组成的轻量级网络获取中草药序列中时不变特征分量与时变特征分量，通过期望最大算法估计轻量级网络的参数公式如下：
[0072][0073]
式中，θ(i)表示给定轻量级网络参数；θ表示估计轻量级网络参数；p(
·
)表示后验分布；v表示中草药训练样本的特征；表示第i种中草药的第j个生长周期的特征；x
ia,l
与x
ib,j
分别表示相应的时不变因素和时变因素；
[0074]
d32，根据给定后验分布，通过迭代的方式执行最大化函数以更新轻量级网络参数θ，公式如下：
[0075][0076]
式中，θ表示轻量级网络参数；θ
(i+1)
表示更新的轻量级网络参数；
[0077]
d33，计算得到更新的轻量级网络参数θ
(i+1)
，公式如下：
[0078][0079][0080][0081][0082][0083][0084]
式中，μ1(
·
)表示p(x
ia,l
|θ(i),v)和p(x
ib,j
|θ(i),v)的一阶矩；μ2(
·
)表示p(x
ia,l
|θ(i),v)和p(x
ib,j
|θ(i),v)的二阶矩；
[0085]
d34，通过由两层全连接层组成的轻量级网络获得时不变特征分量和时变特征分量并将序列中草
药时不变特征序列与中草药时变特征序列进行线性正规映射：
[0086][0087][0088]
式中，表示可训练参数；
[0089]
d35，通过对时间不变特征序列与时变特征序列之间的相关性进行表示：
[0090][0091]
式中，μ
ia
、μ
ib
表示y
ia
与y
ib
的均值；表示y
ia
与y
ib
的方差；
[0092]
d36，通过去相关损失函数减少两个特征分量之间的相关性，降低时变特征分量对时间不变特征分量的影响：
[0093][0094]
式中，f表示自注意力函数；k表示与之间的相关性。
[0095]
进一步地，步骤s4中，构建特征映射结构块，针对当前生长周期的中草药特征与其余生长周期的中草药特征建立映射关系的过程包括以下步骤：
[0096]
s41，将中草药时间特征序列xi通过自注意力函数f输出中草药时间特征权重序列多类中草药时间特征权重序列集为j∈{1,2,3,
…
,m+,其中，第j类中草药时间特征序列将多类中草药时间特征权重序列集生成对应的特征映射区域，公式如下：
[0097][0098]
式中，表示在第p个生长周期的第j种中草药的特征所形成的特征映射区域；n
p,j
表示在第p个生长周期的第j种中草药的图片总数；表示在第p个生长周期的第j种中草药的特征；
[0099]
s42，定义为多类中草药时间特征权重序列集生成对应的特征映射区域；为中草药时间特征序列在特征映射区域的映射关系；将激活区域生成网络输出的激活特征图通过特征目标函数映射至特征映射区域，获得其特征表示，公式如下：
[0100]
[0101][0102][0103]
式中，e表示光滑算子；λ1、λ2代表权重因子；
[0104]
s43，计算得到中草药时间特征序列在任意生长周期与其余m-1种中草药的特征关系矩阵，并获得任意激活特征图的特征映射矩阵，公式如下：
[0105][0106][0107]
式中，表示中草药时间特征序列在任意生长周期与其余m-1种中草药的特征关系矩阵；表示将激活特征图映射至特征映射区域的特征映射矩阵。
[0108]
有益效果：
[0109]
1、与传统的中草药识别算法相比，所提出的智慧医疗场景下时间相关特征挖掘的中草药识别方法通过建立特征映射区域，将待识别中草药特征图通过特征映射建立与此中草药所处不同生长周期的同类中草药特征的映射，挖掘不同生长周期的同种中草药之间的时间映射关系，显著提高了对识别同一种类的相似中草药的准确度。
[0110]
2、与以往的上采样算法相比，改进的上采样算法通过对以任意像素位置为中心的预定义区域内重新组合特征，有效解决顶层空间信息粗糙的特征通过上采样导致空间敏感度不高，从而导致特征融合时出现空间信息定位偏差的问题。
[0111]
3、智慧医疗场景下时间相关特征挖掘的中草药识别方法从相同中草药的时间序列中提取时间不变特征，并通过特征融合结构块将时间不变特征、全局特征和局部特征进行特征融合，使融合后的特征能够有效表示同种中草药的特征信息，提高了判断中草药质量参差的准确度。
附图说明
[0112]
图1是本发明实施例的改进的上采样模块的结构示意图；
[0113]
图2是本发明实施例的激活区域生成网络结构图；
[0114]
图3是本发明实施例的特征处理结构块图；
[0115]
图4是本发明实施例的智慧医疗场景下时间相关特征挖掘的中草药识别方法流程图。
具体实施方式
[0116]
下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
[0117]
图4是本发明实施例的智慧医疗场景下时间相关特征挖掘的中草药识别方法流程图。参见图4，该中草药识别方法包括以下步骤：
[0118]
s1，采集中草药图片，在中草药图片上标注图片类别标签和生长周期标签，生成中草药图像样本，构建中草药图像样本数据集；利用retinex图像增强算法对获取的图像数据集进行预处理，将各个样本图像按照预设比例分为用于训练中草药识别模型的训练集、以及用于测试中草药识别模型的测试集。
[0119]
s2，构建m层的金字塔网络模型，采用金字塔网络模型对导入的中草药图片进行处理，以输出具有空间敏感度的高分辨率特征图，减少空间流和语义流上特征图进行特征融合时出现空间信息定位偏差；该金字塔网络模型由两条路径构成：自底向上的空间流路径和自顶向下的语义流路径；中草药图片经空间流路径处理得到相应的特征图，得到的特征图导入语义流路径，通过像素混洗和特征感知重组，生成目标特征区域块。
[0120]
s3，构建激活区域生成网络，激活区域生成网络包括竞争性通道注意力模块、空间注意力模块和特征处理结构块；竞争性通道注意力模块用于使语义流和空间流进行自适应竞争，得到空间流与语义流的通道依赖关系的激活权重矩阵；空间注意力模块用于获取不同层级之间局部特征和全局特征之间的激活权重矩阵，并融合竞争性通道注意力模块中学习的通道依赖关系激活权重矩阵，得到激活区域生成网络输出的激活特征图；特征处理结构块包括自注意力模块和特征分解模块；自注意力模块用于捕捉时间序列上下文信息，获取序列中特征的关联度；特征分解模块用于获取中草药时间序列特征中的时间不变特征。
[0121]
s4，构建特征映射结构块，针对当前生长周期的中草药特征与其余生长周期的中草药特征建立映射关系。
[0122]
s5，构建中草药识别网络模型，利用训练集对中草药识别网络模型进行训练，得到训练好的中草药识别网络模型；将测试集输入训练好的中草药识别网络模型中，得到中草药识别结果。
[0123]
具体包括以下步骤：
[0124]
步骤1：基于retinex的图像预处理：利用高斯环绕函数对预先获取的图片进行卷积，输出反射分量达到图像增强。
[0125]
在实际的中药房常见中，可能有由于中草药的重叠或者中草药表面的反射等，导致图像质量下降，使得图像的纹理特征会出现模糊，而且中草药识别需要丰富且清晰的特征。这些可能会在特征提取过程中提取到错误的信息。而通过图像增强技术可以降低受到不利因素影响的程度，且可以提取特定的信息，并抑制干扰信息，以此提升图像的质量。
[0126]
图像增强的分类有很多，主要以作用域来划分，可以分为频率域和空间域。频域增强是在傅里叶变换到频域后进行处理，再变换回空间域得到增强图像的方法，如常用的低通滤波和高通滤波。空间域则是以像素为单位直接对图像进行处理。
[0127]
本实施例具体利用retinex理论进行图像增强。retinex图像增强算法与一般的图像增强算法存在一定的差异性，其能够在颜色恒常、动态范围压缩以及边缘增强上实现均衡，具有明显的自适应特性，满足了多种类型图像的处理要求。
[0128]
单尺度retinex理论采用s(x,y)表示输入图像，可以将其分解为两幅不同的图像：反射图像r(x,y)和亮度图像l(x,y)。入射光照在观测对象上，通过观测对象表面对光线的反射，形成反射光进入人眼或采集设备，可以用公式表示为：
[0129][0130]
单尺度retinex算法的核心思想就是，去除环境光l(x,y)对整体图像的影响，尽量还原出包含重要信息的物体反射光分量r(x,y)，得到物体本身的面貌。然而我们得到的图像，只有结果图像s(x,y)，所以能否很好的估计出l(x,y)是retinex算法效果的重点。既然要分离出l(x,y)，为了计算的方便，最好的做法是把数学计算式变换到对数域，将乘积关系变为加减关系：
[0131]
log(s(x,y))＝log(r(x,y))+log(l(x,y))；
[0132]
为了表示的方便，令s(x,y)＝log(s(x,y))，r(x,y)＝log(r(x,y))，l(x,y)＝log(l(x,y))，则：
[0133][0134]
r(x,y)＝log s(x,y)-log[f(x,y)*s(x,y)]；
[0135]
在上述公式中，r(x,y)代表输出图像，f(x,y)代表高斯中心环绕函数，其形式如下所示：
[0136][0137]
其中,λ为归一化系数，q为高斯环绕尺度,x表示图像像素点横坐标，y表示图像像素点纵坐标。单尺度retinex算法中的卷积运算是对空间域中的估计照度分量的处理步骤，其物理意义为通过计算输入图像的像素点与周围区域加权平均来估计图像中的照度变化，最后通过对数域处理将其去除，得到增强后图像。
[0138]
步骤2：构建改进的上采样模块；输入特征图通过像素混洗和特征重组模块，获得高分辨率表征的输出特征图，弥补空间分辨率的缺失。
[0139]
由于低分辨率表征通过上采样得到的高分辨率表征，其本身虽然拥有很好的语义表达能力，上采样本身并不能完整地弥补空间分辨率的损失，并且传统的上采样方法仅仅通过像素点的空间位置获取上采样核，未充分利用特征图的语义信息。理想的上采样算子首先需要具有较大的感受野，从而更好地利用像素周围的信息；其次，上采样核和特征图的语义信息关联；最后，上采样算子具备轻量化的特性。
[0140]
参考图1，定义自底向上路径中第m层金字塔的最后一个卷积层输出的特征dm作为自顶向下路径的顶层特征取特征图上任意像素位置z＝(i,j)形成以z为中心且尺寸大小为k
up
×kup
预定义特征区域块上采样需要对上采样核进行预测，每个像素位置的特征区域块需要尺寸大小为k
up
×kup
的上采样核，则特征图需要尺寸大小为的上采样核，α为上采样倍数。通过1
×
1的卷积层对特征图进行通道调整：
[0141][0142]
通过对通道调整后的特征图上任意像素位置进行像素混洗操作，获得
的区域上采样核，公式如下：
[0143][0144]
特征图重复上述操作，通过对特征图上每个通道的所有像素位置进行像素混洗操作，可得预测上采样核取特征图上任意像素位置对应于预测上采样核fm上的特征像素块通过通道重组操作将特征像素块fz的通道维度转换为空间维度，从而生成区域上采样核，公式如下：
[0145]f′z＝reshape(fz)；
[0146]
将预定义特征区域块与区域上采样核f
′z通过特征感知重组模块生成目标特征区域块。公式如下：
[0147][0148]
通过对输入特征图上所有像素位置进行重复操作，可获得输出特征图um，尺寸大小为αhi×
αwi×
cb。
[0149]
步骤3：构建激活区域生成网络；所包含的竞争性通道注意力模块，让空间流和语义流进行自适应竞争，具有选择性强调有效特征并剔除冗余特征。所包含的空间注意力模块，动态权衡全局信息和局部信息。
[0150]
由于传统的特征金字塔的特征融合方式是在所有尺度上不加区别的处理空间流和语义流中的特征，融合特征时大量特征重复，造成特征融合的冗余且融合特征效率低下。因此，为了提升网络效率，基于特征金字塔加入竞争性通道注意力模块和空间注意力模块，以实现全局特征强化层面使网络主动学习激活特征图的权重。
[0151]
参考图2，全局特征定义为整张输入图像的特征图张量di，尺寸为(hi,wi,c)，特征图融合的条件是保证特征图大小、通道数一致以实现特征融合。通过1
×
1的卷积层用于改变di通道数，公式如下：
[0152][0153]
通过1
×
1的卷积层后通道数改变为cb，该卷积层的输出特征图li的大小是(hi,wi,cb)。金字塔网络为m层，将第m层的特征图dm通过1
×
1的卷积层输出特征图um，通过um的上采样生成自顶向下路径，其中自顶向下路径中第i层记为ui。
[0154]
自底向上路径中第i层的特征li与自顶向下路径中第i层的特征ui作为激活区域生成网络的输入，学习激活特征图的权重。
[0155]
通过通道注意力模块来构建新的神经网络训练该激活向量的具体如下：
[0156]
为了消除特征图在高hg和宽wg上的影响并得到平均特征，先采用一个全局池化操作f
sq
，
[0157]
公式如下：
[0158][0159]
[0160]
在该全局操作下，我们在li与ui的每个通道大小为hi×
wi的特征图与上进行全局平均池化操作将每张特征图的池化输出与进行连接构成1
×1×
cb的一维向量与则三维特征缩到一维向量上就消除了空间信息干扰。接下来将全局平均池化操作输出作为联合激励输入两层全连接神经网络，获得空间流与语义流的通道依赖关系的激活权重矩阵，公式如下：
[0161][0162]
其中w1和w2为两个全连接层的学习参数。第一个全连接层的激活函数relu和第二个全连接层的激活函数sigmoid，由此可以将激活向量pi中的值pi映射到(0,1)之间，然后将输入激活特征图和输出激活矩阵pi在通道层面加权完成重校准，公式如下：
[0163][0164]
最终竞争性通道注意力模块输出激活特征图其尺寸为hi×
wi×
cb。
[0165]
全局特征激活网络的另一个模块是空间通道注意力模块；空间注意力模块自适应地量化每个图像区域的重要性，使网络能够更关注于图像重要位置。具体训练过程如下：
[0166]
首先，使用跨通道全局池化操作g
sq
来消除各通道信息的影响，公式如下：
[0167][0168][0169]
获得空间流和语义流在位置(x,y)的空间描述符，考虑特征图上所有位置时，可得尺寸为(hi,wi,1)；将与进行通道维度的连接，用一个由两层卷积层组成的轻量级网络对与进行空间上的建模：
[0170][0171]vi
是两条信息流进行空间建模后所得激活权重矩阵，尺度为hi×
wi×
2。将调配空间流与语义流之间通道信息关系的权重矩阵pi与空间流与语义流之间空间信息关系的权重矩阵vi进行相乘，公式如下：
[0172][0173][0174]
最终获得激活区域生成网络的激活值
[0175]
将激活区域生成网络的激活值分别与空间流和语义流上的特征进行相乘操作，公式如下：
[0176][0177]
获得激活区域生成网络输出的激活特征图尺寸大小为hi×
wi×
cb。
[0178]
步骤4：构建特征处理结构块；所包含的自注意力模块用于捕捉目标序列中相关信息，获取目标序列中的激活权重；所包含的特征分解模块，用于获取中草药的时间不变特征。
[0179]
由于中草药植物生长的影响，同种中草药在不同生长阶段的形状和相关特征会改变，但是中草药在生长过程中，有部分特征是基本不随时间的改变而改变，称为时间不变特征，可以通过判断待识别的中草药特征中是否包含时间不变特征，从而判断中草药质量参差问题。因此，为了完成上述方法，加入自注意力模块和特征分解模块，以获得同种中草药的时间不变特征。
[0180]
参考图3，中草药时间序列图像输入主干网络alexnet获取中草药的时间特征序列基于中草药的时间特征序列，需要学习每张中草药图像之间的交互并捕捉序列的上下文信息。通过权重学习矩阵来获得三个关键学习参数来获得三个关键学习参数公式如下：
[0181][0182][0183][0184]
通过将特征学习参数分别堆叠成三个参数序列，分别表示为通过将特征学习参数分别堆叠成三个参数序列，分别表示为从而通过参数矩阵获得每个head的权重参数，公式如下：
[0185][0186]
通过可学习参数矩阵w融合每个head输出参数矩阵，公式如下：
[0187][0188]
中草药时间特征序列xi通过自注意力函数f输出中草药时间特征权重序列通过自注意力函数f输出中草药时间特征权重序列将中草药时间特征权重序列建模为时间不变特征分量、时变特征分量与平局特征的线性组合,即通过由两层全连接层组成的轻量级网络获取中草药序列中时不变特征分量与时变特征分量，且轻量级网络的参数可通过期望最大算法估计参数，公式如下：
[0189][0190]
根据给定后验分布，通过迭代的方式执行最大化函数以更新轻量级网络参数θ，公式如下：
[0191][0192]
式中，θ表示轻量级网络参数；θ
(i+1)
表示更新的轻量级网络参数。
[0193]
通过解决上述优化问题，可得更新的轻量级网络参数θ
(i+1)
，公式如下：
[0194][0195][0196][0197]
a＝∑
i,j
μ2(x
ia,l
,x
ia,l
)，b＝∑
i,j
μ2(x
ib,j
,x
ib,j
)；
[0198][0199]
e＝∑
i,j
μ2(x
ia,l
,x
ib,j
)，f＝∑
i,j
μ2(x
ib,j,
x
ia,l
)。
[0200]
通过由两层全连接层组成的轻量级网络可获得时不变特征分量和时变特征分量并将序列中草药时不变特征序列与中草药时变特征序列进行线性正规映射，具体如下：
[0201][0202][0203]
通过将将序列中草药时不变特征序列与中草药时变特征序列进行线性正规映射，从而对两者之间特征的相似性进行表示，公式如下：
[0204][0205]
通过去相关损失函数减少两个特征分量之间的相关性，降低时变特征分量对时间不变特征分量的影响，公式如下：
[0206][0207]
步骤5：构建特征映射结构块；通过建立特征映射区域，将当前生长周期的中草药特征与其余生长周期的同种中草药特征建立映射关系。
[0208]
由于中草药生长周期因素的影响，同种中草药不同周期的外形可能差异很大，导致类内变异超过类间变异。目前的中草药识别技术均是通过对同类中草药的单个生长阶段进行孤立的训练学习，并没有考虑同类中草药在不同生长阶段的相关性与联系性，造成对不同生长阶段的同种中草药的识别准确率低下。因此，为了解决上述问题，基于目前的中草药识别技术，构建特征映射结构块，以获得不同生长阶段的同种中草药之间的相关性和联系性。
[0209]
参考图4，多组中草药图片通过主干网络alexnet获取中草药的时间特征序列参考图4，多组中草药图片通过主干网络alexnet获取中草药的时间特征序列xi通过自注意力函数f输出中草药时间特征权重序列可知，多类中草药时间特征权重序列集为j∈{1,2,3,
…
,m},其中，第j类中草药时间特征序列,m},其中，第j类中草药时间特征序列将多类中草药时间特征权重序列集生成对应的特征映射区域。公式如下：
[0210][0211]
定义为多类中草药时间特征权重序列集生成对应的特征映射区域；为中草药时间特征序列在特征映射区域的映射关系。将激活区域生成网络输出的激活特征图通过特征目标函数映射至特征映射区域，获得其特征表示，公式如下：
[0212][0213][0214][0215]
通过求解上述目标函数，可得中草药时间特征序列在任意生长周期与其余m-1种中草药的特征关系矩阵，并获得任意激活特征图的特征映射矩阵，公式如下：
[0216][0217][0218]
式中，表示中草药时间特征序列在任意生长周期与其余m-1种中草药的特征关系矩阵；表示将激活特征图映射至特征映射区域的特征映射矩阵。