基于图卷积神经网络的中草药多标签识别模型

1.本发明涉及计算机视觉技术领域，更具体的说，是涉及一种基于图卷积神经网络的中草药多标签识别模型。


背景技术：

2.申请号为cn201910254774.x，发明名称为：一种基于注意力机制的金字塔网络的中草药识别方法。该发明是首先通过专门设计的图像采集装置对中草药图像进行收集，并构建相对应的数据库，并对训练集和测试集进行预处理；然后，根据图像特征构建基于通道注意力机制的特征融合结构，引入竞争注意力模块，并结合空间注意力对信息流进行调整，最后完成中草药的识别。
3.该专利虽然引入注意力机制使模型对于不同特征赋予不同的权重，但是模型仅仅适用于单个标签的预测，对于一张图片中含有多种中草药的情况并未考虑，适用范围比较受限；此外，该专利仅注重于视觉特征本身，却忽视了一些外在的条件，比如不同中草药之间的共现和互斥的关系。因此，模型的鲁棒性较差，中草药的图像将在很大程度上决定分类的效果。


技术实现要素：

4.为了克服现有技术中的不足，本发明提出了一种基于图卷积神经网络的中草药多标签识别模型。从对于含有多种中草药的图像进行预测，相比于单一预测一张图片中的单个中草药图片，此发明的适用范围更广泛，且利用了中草药之间的内在关联，不单纯的依靠视觉模型，使得模型具有较好的鲁棒性。本发明方法集特征提取、特征融合和分类为一体，是一种端到端的方法。基于图卷积神经网络的中草药多标签识别的构造可以直接在现有模型上做更改，代码实现简单，并且可以直接利用预训练好的模型参数，模型收敛速度快，大大减少模型的训练时间。
5.本发明的目的是通过以下技术方案实现的。
6.本发明基于图卷积神经网络的中草药多标签识别模型，整个模型包括图像特征提取器、节点特征提取器、特征融合器、分类器；具体工作过程如下：
7.步骤s101：数据集准备，构建中草药多标签数据集，每张图片包含已有中药药方中的所有中草药，按一定比例把中草药样本的数据集随机划分测试集和训练集；
8.步骤s102：采用卷积神经网络模型构造图像特征提取器，将训练集中的图片输入到图像特征提取器中，通过卷积层、池化层和非线性激活层获取图像特征矩阵；
9.步骤s103：采用图卷积神经网络模型构造节点特征提取器
10.对中草药样本数据中的标签进行处理，统计训练集中每种草药之间的数量以及与其他草药共现的次数，统计训练集标签邻接矩阵；根据中草药的名称从word2vec模型提取中草药词向量；以词向量作为图卷积神经网络模型的节点特征，邻接矩阵作为图卷神经网络模型边的权重；
11.步骤s104：图像特征和节点特征经特征融合器进行特征融合得到特征融合矩阵，特征融合矩阵输入到分类器中得到中草药图像对应的伪标签，经过反向传播过程不断更新整个模型参数，对整个模型进行训练，在满足预设停止条件时保存整个模型，测试集图像输入到整个模型中得到最终的多标签分类结果。
12.所述图像特征提取器用于提取每张多标签中草药图片的图像特征；所述节点特征提取器用于提取每种中草药的词向量以及中草药之间的关联矩阵分别作为图卷积的节点特征和邻接矩阵，图卷积神经网络模型根据节点特征和邻接矩阵更新节点特征；所述特征融合器用于将图像特征矩阵和节点特征矩阵进行后端特征的点乘得到特征融合矩阵；所述分类器用于将特征融合矩阵输入到激活函数中进行判定，当预测的结果大于所设定的阈值时，则判定为1，否则判定为0，最终输出预测结果。
13.步骤s101中所述多标签数据集采取人工采集和网络搜集的形式；根据收集到的中草药标签数据统计标签之间关联，构造标签邻接矩阵。
14.采取人工采集中药图片时，对一个药方中包含的多种中草药进行不同形态的摆放，对于每一组药材根据药材的分布情况拍摄多组照片；网络搜集中药图片时，随机收集含有多种中草药的图片；在构建数据集时采用随机划分的方式，使难易程度不同的图像随机划分为训练集和测试集。
15.所述图像特征提取器采用卷积神经网络模型，包括卷积层、池化层、非线性激活层；所述节点特征提取器采用图卷积神经网络模型，包括卷积层、池化层、非线性激活层；所述分类器包括全连接层、非线性激活层、dropout层。
16.步骤s104中所述特征融合采用点乘融合或者叉乘融合，分为前端融合、中期融合、后端融合。
17.与现有技术相比，本发明的技术方案所带来的有益效果是：
18.(1)本发明从中草药多标签图像中提取特征，相比于单标签的中草药而言难度虽然增大但是可以利用标签之间的关联特性，使模型更具鲁棒性，分类结果更加准确。
19.(2)本发明中模型包括四个部分：图像特征提取器、节点特征提取器、特征融合器、分类器，使得本发明集特征提取、特征融合和分类为一体，是一种端到端的方法。
20.(3)本发明中模型的构造可以直接在现有模型上做更改，代码实现简单，并且可以直接利用预训练好的模型参数，模型收敛速度快，大大减少模型的训练时间。
21.(4)本发明利用深度学习的方法实现了自动化的中药识别，减轻人工识别的工作负担，解决非专业人士的识别困难。
22.本发明相比普通的多标签分类模型而言不仅仅考虑了图像本身的特征，还加入了中草药间的关联特征，使得模型并不仅仅依赖于图像特征，从而使模型更具鲁棒性，分类结果更加准确。该方法可以直接在现有模型上做更改，代码实现简单，并且可以直接利用预训练好的模型参数，模型收敛速度快，大大减少模型的训练时间。
附图说明
23.图1为本发明基于图卷积神经网络的中草药多标签识别模型的整体框架图。
24.图2为本发明基于图卷积神经网络的中草药多标签识别模型的流程图.
25.图3为本发明基于图卷积神经网络的中草药多标签识别模型的中草药不同离散程
度示意图。
26.图4为resnet18网络的整体框架图。
具体实施方式
27.下面结合附图对本发明作进一步的描述。
28.如图1所示，本发明基于图卷积神经网络的中草药多标签识别模型，主要包括图像特征提取器、节点特征提取器、特征融合器、分类器。其中，
29.(1)图像特征提取器：采用卷积神经网络模型，包括卷积层、池化层、非线性激活层，用于提取每张多标签中草药图片的图像特征。
30.(2)节点特征提取器：采用图卷积神经网络模型，包括卷积层、池化层、非线性激活层；用于提取每种中草药的词向量以及中草药之间的关联矩阵分别作为图卷积的节点特征和邻接矩阵，图卷积神经网络模型根据节点特征和邻接矩阵更新节点特征。
31.(3)特征融合器：由于图像特征通过卷积层、池化层、非线性激活层操作后会得到一个图像特征矩阵，图卷积神经网络通过图卷积操作会得到节点特征矩阵，将图像特征矩阵和节点特征矩阵进行后端特征的点乘得到特征融合矩阵。
32.(4)分类器：包括全连接层、非线性激活层、dropout层；将特征融合矩阵输入到激活函数中进行判定，当预测的结果大于所设定的阈值时，则判定为1，否则判定为0，最终输出预测结果。
33.如图2所示，本发明基于图卷积神经网络的中草药多标签识别模型的具体工作过程如下：
34.步骤s101：数据集准备，为了解决中药数据量少导致神经网络模型容易过拟合的问题，构建中草药多标签数据集，每张图片包含已有中药药方中的所有中草药，由于在数据收集时中草药之间的摆放形式存在差异，从而造成识别难度不统一，因此便按一定比例把中草药样本的数据集随机划分测试集和训练集；
35.其中，多标签数据集可采取人工采集或网络搜集的形式；根据收集到的中草药标签数据统计标签之间关联，构造标签邻接矩阵。采取人工采集中药图片时，对一个药方中包含的多种中草药进行不同形态的摆放，即草药之间的离散程度是不同的，对于每一组药材根据药材的分布情况拍摄多组照片，网络搜集中药图片时，随机收集含有多种中草药的图片；图片可分为容易识别和难以识别的状态，这样更符合现实生活的案例，因此在构建数据集时采用随机划分的方式，使难易程度不同的图片可以随机划分为训练集和测试集。
36.步骤s102：采用卷积神经网络模型构造图像特征提取器，将训练集中的图片输入到图像特征提取器中，提取每张多标签中草药图片的图像特征，通过卷积层、池化层和非线性激活层获取图像特征矩阵。
37.步骤s103：采用图卷积神经网络模型构造节点特征提取器
38.对中草药样本数据中的标签进行处理，统计训练集中每种草药之间的数量以及与其他草药共现的次数，统计训练集标签邻接矩阵；根据中草药的名称从word2vec模型提取中草药词向量；以词向量作为图卷积神经网络模型的节点特征，邻接矩阵作为图卷神经网络模型边的权重。基于原始的节点特征和邻接矩阵迭代更新图卷积神经网络中的参数，使得图卷积神经网络可以挖掘出更优的中草药节点特征，提高模型的预测准确率。
39.步骤s104：在提取完图像特征和节点特征后，将会得到两个不同维度的特征矩阵。为了将图像特征和节点特征进行融合，将这两个特征矩阵输入到特征融合器进行特征融合得到特征融合矩阵，特征融合矩阵输入到分类器中得到中草药图像对应的伪标签，经过反向传播过程不断更新整个模型参数，对整个模型进行训练，在满足预设停止条件时保存整个模型，测试集图像输入到整个模型中得到最终的多标签分类结果。其中，特征融合采用点乘融合或者叉乘融合，分为前端融合、中期融合、后端融合三种方法。
40.由此，本发明能够从多标签数据集中提取特征并于标签之间的关联特征进行融合，准确率高，鲁棒性好，识别速度快，从而解决非专业人士识别中药的需求，辅助专业人士进行自动化的中药识别。
41.实施例
42.图2示意性地显示了根据本发明的基于图卷积神经网络的中草药多标签识别模型的识别流程图，本实施例包括如下过程：
43.数据集准备，构建多标签数据集。在人工采集中草药图片时，对于每一个药方中所包含的中草药，用拍摄设备分别拍摄离散程度不同的中草药，如图3所示，拍摄由高清摄像机完成。这样样本数据的数量将会倍数增加，形成识别任务难易程度不同的数据集，然后随机划分为训练数据集和测试数据集，其中训练集为70％，测试集为30％。
44.构造基于图卷积神经网络的中草药多标签识别模型，模型包括四个部分：图像特征提取器、节点特征提取器、特征融合器、分类器。用卷积神经网络模型构造图像特征提取器，将训练集中的图片输入到图像特征提取器中，提取每张多标签中草药图片的图像特征，通过卷积层、池化层和非线性激活层获取图像特征矩阵。对中草药样本数据中的标签进行处理，统计训练集中每种草药之间的数量以及与其他草药共现的次数，统计训练集标签邻接矩阵；根据中草药的名称从word2vec模型提取中草药词向量；以词向量作为图卷积神经网络模型的节点特征，邻接矩阵作为图卷神经网络模型边的权重，完成节点特征提取器的构造。
45.在提取完图像特征和节点特征后，将会得到两个不同维度的特征矩阵。为了将图像特征和节点特征进行融合，将这两个特征矩阵输入到特征融合器进行特征融合得到特征融合矩阵，输入分类器中得到对应的伪标签，经过反向传播过程不断更新整个模型参数，对整个模型进行训练，在满足预设停止条件时保存整个模型。将测试集中的图片以相同的方式(训练集和测试集中的图片均以m张为一个batch，输入到模型中)输入到保存好的模型中，固定参数不变，得到最终的多标签分类结果，只统计预测结果和实际结果之间的差异，计算识别准确率。
46.该实施例的图像特征提取器、节点特征提取器和分类器可以直接在现有模型上做改动，实现起来简单便捷；也可以根据实际情况自己设计新的卷积神经网络，更加有针对性。当前，在深度学习领域已经积累了一定的研究，设计了许多神经网络模型，在各个领域都得到了很好的应用，其中最具代表性的就是曾在imagenet数据集上有卓越表现的卷积神经网络模型，如vgg11，alexnet，resnet等。并且已对所有用户开源使用，在深度学习流行的框架中使用起来非常简单。以使用resnet18为例，基于图卷积神经网络的中草药多标签识别模型的构造方式如下：
47.图像特征提取器由卷积层、非线性激活层和池化层组成，共18层(不包括池化层)，
如图4示意性地显示的resnet18网络的整体框架图，对步骤s101中的数据集划分batch后得到的m张图片，每一个张图片对应一个特征。对于图卷积网络则构建两层图卷积网络，每层图卷积包含卷积层、池化层、非线性激活层。
48.图4resnet18网络图所示，在残差网络中，不是让网络直接拟合原先的映射，而是拟合残差映射。假设原始的映射为h(x)，残差网络拟合的映射为：f(x)＝h(x)。其中，identity mapping为恒等映射。残差网络可以理解为在前向网络中增加了一些快捷连接。这些连接会跳过某些层，将原始数据直接传到之后的层。新增的快捷连接不会增加模型的参数和复杂度。整个模型还是可以使用端到端的方法来训练(比如sgd)，在实现上并不难。
49.非线性激活层采用的是relu激活函数。如果不添加激活函数，每一层的输出都是上层输入的线性函数。容易验证，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层的效果相当。因此引入非线性函数作为激活函数，这样深层神经网络就不再是输入的线性组合，而是在理论上可以逼近任意函数。相比较于sigmoid函数，relu函数f(x)在反向传播求误差梯度时计算量更小，并能在一定程度上缓解梯度消失的情况。其计算公式为：
50.f(x)＝max(0,x)
51.其中，x为图像特征。
52.节点特征矩阵的获取是根据图卷积神经网络的节点更新实现的，每一层的网络节点特征更新公式为：
53.h
l+1
＝f(h
l
,a)
54.其中，h
l
为上一层节点特征，a邻接矩阵特征，h
l+1
为更新的节点特征。通过已有的方法可以进一步化简为：
[0055][0056]
其中，w
l
是一个可学习的参数，则是a的标准化，g(
·
)则代表leakyrelu激活函数。当图像特征和节点特征均被提取后，采用点乘的方式把图像特征矩阵和节点特征融合在一起输入到分类器。
[0057]
分类器网络中包含全连接层、非线性激活层和dropout层。全连接层的作用是由一个特征空间线性变换到另一个特征空间。最后一层全连接层的神经元个数与中药的类别总数相同。例如共有k类中药，则最后一层的输出是一个k维的列向量，每一维的数值代表的是该样本属于这一类的概率或置信度。置信度大于0.5则被视为该图像中所包含的中草药。全连接层的计算公式为：
[0058]
y＝w
′
*x
[0059]
其中，w'是全连接层中可学习的参数。
[0060]
dropout层的作用是在每次训练时的前向传播过程中，以一定的概率随机选择某些神经元停止工作，这样可以使模型泛化性更强，不完全依赖于某些局部特征，在一定程度上可以防止模型过拟合
[0061]
尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。