基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法

1.本发明属于卷积神经网络领域，尤其是基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法。


背景技术：

2.作为第四次工业革命的核心驱动力，人工智能将像机械化，电气化和信息化一样，最终渗透各个行业，并改变人们的生活。最近十年，由于机器学习技术尤其是深度学习技术的兴起，人工智能技术再次出现了前所未有的爆发性增长。深度学习技术在各个领域全面开花，其中重点包括计算机视觉，模式识别，搜索技术，自然语言处理和语音信号处理等领域。尤其在计算机视觉领域，深度学习的卷积神经网络模型天然的强大数据表达能力，在当下数据驱动的大数据背景下已经成为主流的特征学习方法，该方法在计算机视觉的核心任务图像分类上已经取得了巨大的成功。
3.目前深度学习模型为了追求图像分类识别精度的提升，其改进的主流思路是通过不断加深模型的卷积层，提取更深层次的语义信息。然而模型加深的同时使得模型复杂度成几何倍数的增长，模型参数量巨大，导致优化困难、计算强度高、难以训练且难以移植到嵌入式设备等硬件计算资源有限的条件下。人工智能技术发展到落地应用阶段，需要将深度学习模型部署到嵌入式设备上，如何平衡深度学习模型的精度和效率成为了一个具有挑战性的难题。


技术实现要素：

4.本发明的目的在于克服上述现有技术的缺点，提供基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法。
5.为达到上述目的，本发明采用以下技术方案予以实现：
6.一种基于图像梯度的卷积方法，对图像进行基于图像梯度信息的方向卷积以提取图像特征。
7.进一步的，包括以下步骤：
8.步骤101、在采集的图像上建立平面直角坐标系，将采集的图像转化为灰度图像，通过sobel算子提取灰度图像横向及纵向梯度信息，计算梯度的幅值和方向分别得到原始梯度幅值图和原始梯度方向图；
9.步骤102、将所述原始梯度方向图做阈值化处理，得到图像每点的梯度方向阈值；
10.步骤103、随机初始化卷积核，再按照图像每点的梯度方向阈值对卷积核进行方向化；
11.步骤104、将方向化后的卷积核与原始图像进行卷积，通过边界填充操作保持卷积前后图像分辨率不变。
12.进一步的，步骤101中提取灰度图像梯度信息的具体操作为：
13.sobel算子包含两组3
×
3的矩阵，将sobel算子与灰度图像作平面卷积，分别得出横向及纵向的图像梯度；
14.以a代表原始图像，g
x
为经横向卷积后的梯度值图像，g
y
代表经纵向卷积后的梯度值图像，其公式如下：
[0015][0016][0017]
计算灰度图像的梯度幅值图g和梯度方向图θ：
[0018][0019]
进一步的，步骤102中将所述原始梯度方向图做阈值化处理的具体操作为：
[0020]
设a为原始图像，分辨率为w
×
h，θ为原始梯度方向图，c为阈值化后的梯度方向图，则：
[0021][0022]
进一步的，步骤103中按照图像每点的梯度方向阈值对卷积核进行方向化的具体操作为：
[0023]
以卷积核中心为原点，水平方向为x轴，垂直方向为y轴建立直角坐标系；
[0024]
若梯度方向阈值为0，则卷积核在水平方向有非零值，其余值为零；
[0025]
若梯度方向阈值为1，则卷积核为反对角阵；
[0026]
若梯度方向阈值为2，则卷积核为对角阵；
[0027]
若梯度方向阈值为3，则卷积核在垂直方向有非零值，其余值为零。
[0028]
一种基于方向卷积的卷积神经网络，由以下训练过程得到：
[0029]
步骤201、读入批量训练图像，批量训练数量为batch；所述训练图像为原图和原始梯度图；
[0030]
步骤202、采用普通卷积核提取原图特征，通过边界填充操作保持卷积前后图像分辨率不变，卷积后的特征图采用relu函数进行激活；
[0031]
所述普通卷积核大小为3
×
3，个数为m1，卷积时步长为1；
[0032]
采用方向化后的卷积核提取原始梯度图特征，通过边界填充操作保持卷积前后图像分辨率不变，卷积后的特征图采用relu函数进行激活；
[0033]
所述方向化后的卷积核大小为3
×
3，个数为m2，卷积时步长为1；
[0034]
所述方向化后的卷积核通过权利要求2的步骤1)
‑
步骤3)得到；
[0035]
步骤203、将经普通卷积后得到的m1个特征图与经方向卷积后得到的m2个特征图按通道进行拼接；
[0036]
步骤204、将拼接后的特征图进行卷积，采用普通卷积，通过边界填充操作保持卷积前后图像分辨率不变，卷积后的特征图采用relu函数进行激活；
[0037]
卷积核大小为3
×
3，卷积时步长为1，卷积核个数为n；
[0038]
步骤205、对卷积后的n个特征图进行全局平均池化操作，得到一个n维特征向量，使用softmax函数求所述n维特征向量对应的概率向量q；
[0039]
步骤206、将所述概率向量q与图像原始标注类别标签向量p计算交叉熵损失函数；
[0040]
其中，n为数据集图像分类所包含的类别数目；
[0041]
步骤207，采用反向传播算法，利用rmsprop优化算法更新神经网络参数；
[0042]
步骤208，重复步骤201
‑
步骤207最小化损失函数，直至神经网络收敛，得到训练好的神经网络。
[0043]
进一步的，步骤206)中交叉熵损失函数为：
[0044][0045]
本发明的基于方向卷积的卷积神经网络进行图像分类的方法：
[0046]
将图像输入训练好的神经网络中；
[0047]
神经网络输出n维特征向量，n维向量的最大值对应的类别序号即为网络分类器输出，神经网络分类结果即将所述类别序号对应的类别。
[0048]
与现有技术相比，本发明具有以下有益效果：
[0049]
本发明的图像梯度的卷积方法，引入图像梯度的方向信息，能有效提取图像的边缘细节特征，提取的特征具有稀疏性。
[0050]
本发明的基于方向卷积的神经网络，将显式先验知识
‑
图像梯度信息嵌入深度学习模型中，有效降低网络参数空间的规模，减少局部极值的问题。本发明通过在浅层网络的基础上加入先验知识提升精度，用极少参数的较浅模型达到能与深度模型相比拟的图像分类识别准确率。引入方向卷积的小型化卷积神经网络模型在mnist数据集上仅用0.062m的参数量就达到了与现有深度模型相比拟的分类精度，其参数量较经典卷积神经网络少了两个数量级。
附图说明
[0051]
图1为实施例的原始手写数字图像；
[0052]
图2为实施例的9个不同卷积核用方向卷积方法得到的特征图；
[0053]
图3为实施例的9个不同卷积核用普通卷积方法得到的特征图。
具体实施方式
[0054]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0055]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0056]
深度学习模型急需新的改进方法，研究能有效提取图像特征的新的卷积方式以及能落地应用于嵌入式设备的小型化卷积神经网络模型意义重大。
[0057]
下面结合附图对本发明做进一步详细描述：
[0058]
实施例1
[0059]
实施例1提供了一种基于图像梯度的卷积方法，采集任一图像，对图像进行方向卷积提取图像特征，包括以下步骤：
[0060]
以图像的左上角为原点，水平方向为x轴，垂直方向为y轴建立图像坐标系；
[0061]
步骤101，将原图像转化为灰度图像，通过sobel算子提取灰度图像梯度信息，梯度信息包括梯度值图像和角度值图像；
[0062]
sobel算子包含两组3
×
3的矩阵，分别为横向及纵向，将sobel算子与灰度图像作平面卷积，分别得出横向及纵向的图像梯度近似值；
[0063]
以a代表原始图像，g
x
及g
y
分别代表经横向及纵向的卷积后的梯度值图像，其公式如下：
[0064][0065][0066]
计算灰度图像的梯度幅值图g和梯度方向图θ：
[0067][0068]
步骤102，将得到的原始梯度方向图做阈值化处理，原始梯度方向图角度值取值范围为0到2π，x轴正向为0度逆时针旋转角度值增大
[0069]
设a为原始图像，分辨率为w
×
h，θ为原始梯度方向图，c为阈值化后的梯度方向图，则：
[0070][0071]
步骤103，随机初始化卷积核，按照图像每点的梯度方向对卷积核进行方向化，以卷积核中心为原点，水平方向为x轴，垂直方向为y轴建立坐标系；若梯度方向阈值为0则卷积核仅在水平方向有非零值，其余值为零；若梯度方向阈值为1则卷积核为反对角阵；若梯度方向阈值为2则卷积核为对角阵；若梯度方向阈值为3则卷积核仅在垂直方向有非零值，其余值为零；
[0072]
设d为卷积核(以3
×
3为例)，d(i,j)为图像a(i,j)像素点对应的方向化后的方向卷积核，则：
[0073][0074][0075]
步骤104，将方向化后的卷积核与图像进行卷积，卷积时步长为1，通过边界填充(padding)操作保持卷积前后图像分辨率不变；
[0076]
以e代表方向卷积后的图像，则：
[0077]
e＝d*a
[0078]
实施例2
[0079]
实施例2提供一种应用基于方向卷积的小型化卷积神经网络进行图像分类的方法，采用mnist手写体数字数据库。
[0080]
训练过程包括：
[0081]
步骤201，读入批量训练图像，批量训练数量为batch，
[0082]
基于步骤101要求所述得到梯度图和梯度方向图；
[0083]
步骤202，原图采用普通卷积提取特征，卷积核大小为3
×
3，卷积核个数为m1，卷积时步长为1，通过边界填充(padding)操作保持卷积前后图像分辨率不变，卷积后的特征图采用relu(rectified linear units)函数进行激活；
[0084]
步骤203，梯度图采用方向卷积提取特征，卷积核大小为3
×
3，卷积核个数为m2，卷积时步长为1，通过边界填充(padding)操作保持卷积前后图像分辨率不变，卷积后的特征图采用relu函数进行激活；
[0085]
步骤204，将原图通过普通卷积后得到的m1个特征图与梯度图通过方向卷积后得到的m2个特征图按通道进行拼接；
[0086]
步骤205，对拼接后的特征图进行卷积，采用普通卷积，卷积核大小为3
×
3，卷积时步长为1，通过边界填充(padding)操作保持卷积前后图像分辨率不变，卷积核个数为n，卷积后的特征图采用relu函数进行激活；
[0087]
步骤206，对卷积后的n个特征图进行全局平均池化(golbal average pooling)操作，得到一个n维特征向量，使用softmax函数求n维特征向量对应的概率，使得分类函数连续且可微分；
[0088]
步骤207，网络输出一个n维特征向量，其中n等于数据集图像分类所包含的类别数目。输出的向量q与图像类别标签向量p计算交叉熵损失，定义如下：
[0089][0090]
步骤208，采用反向传播算法，利用rmsprop(root mean square prop)优化算法更新网络参数；
[0091]
步骤209，网络卷积核参数初始化采用凯明初始化算法，重复步骤21到步骤28最小化损失函数，直至网络收敛，保存网络参数；
[0092]
本发明的神经网络推理过程包括：
[0093]
如网络训练过程所述，步骤变化如下：
[0094]
步骤206，去掉softmax函数，其它网络层和连接方式保持不变，加载训练过程保存的网络参数；
[0095]
步骤207，网络输出n维特征向量后，取n维向量的最大值对应的类别序号为网络分类器输出，网络推理结果即将输入图像分类为该序号对应类别。
[0096]
实施例
[0097]
采用方向卷积对图像进行卷积，浅层卷积网络提取特征进行分类，设置参数为：m1＝8,m2＝8,n＝10,lr＝0.002,batch＝128。其中，m1表示第一层原图卷积的普通卷积核个数，m2表示第一层梯度图卷积的方向卷积核个数，n表示第二层卷积核个数，lr表示学习率，batch表示批量训练数据量。
[0098]
使用方向卷积提取图1中的mnist手写数字图像的特征，卷积核大小取为3
×
3，卷积时步长为1，使用边界填充(padding)操作保持卷积前后图像分辨率不变，随机初始化9个卷积核卷积后得到的特征图如图2(a)
‑
图2(i)。作为对比，将方向卷积改为普通卷积，保持卷积时参数不变，得到的特征图如图3(a)
‑
图3(i)，对比图2和图3，可以看出，方向卷积能更有效的提取图像细节信息和边缘信息，且提取的特征具有稀疏性。
[0099]
基于方向卷积的小型化卷积神经网络
[0100]
采用基于方向卷积的小型化卷积神经网络对mnist数据库图像进行分类，参数设置：m1＝8,m2＝8,n＝10,lr＝0.002,batch＝128。
[0101]
实验结果如表1，作为对比，算法模型1为仅采用普通卷积的小型化卷积神经网络，算法模型2为加入方向卷积小型化卷积神经网络，算法模型3为采用普通卷积的经典卷积神经网络lenet。从实验结果可以看出：本发明提供的基于方向卷积的小型化卷积神经网络能够达到较高的准确率，且模型参数量极少。
[0102]
表1：mnist数据集分类结果(％)及模型参数量(m)
[0103][0104][0105]
本发明公开的方向卷积方法结合小型化浅层卷积网络模型被测试在mnist数据库，实验结果表明方向卷积方法能较好的提取图像边缘细节信息，并优于普通卷积方式；采用方向卷积的小型化浅层卷积神经网络模型能在参数量比与现有深度模型少两个数量级的条件下达到与其相比拟的分类精度。
[0106]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。