一种基于AI的双光谱目标自动识别方法与流程

本发明属于机器视觉领域，尤其涉及一种基于ai的双光谱目标自动识别方法。

背景技术：

目标识别是计算机视觉领域中一个新兴的应用方向，也是今年来的研究热点之一，发展迅速。早期的目标识别主要有：利用尺度不变特征变换(scale-invariantfeaturetransform，sift)进行物体检测，利用方向梯度直方图(histogramoforientedgradients，hog)进行行人检测等。上述方法都是将提取到的特征输入到分类器当中进行识别，本质上是由手工设计的特征工程，对于某一类特定的待识别的目标，人们往往不知道哪种特征对于识别任务的实现更有用，这要求人们具有待解决问题领域的专业知识，即使有了专业领域的知识作为支撑，有时候人工进行特征选择实验仍然是无法避免的。人工特征选择意味着识别任务的数据规模不能太大，而且模型都是针对某一项任务特殊设计的，如果要完成另一项任务，又要重新设计特征工程，导致模型泛化性能较差。这些都制约了目标识别技术的进一步发展。

近年来，深度学习成为了计算机视觉领域最热门的话题。二十世纪九十年代中期，统计学习和支持向量机的兴起让神经网络的理论解释性差、训练时间过长的缺点暴露，神经网络研究一度陷入低潮。不过，相比支持向量机(supportvectormachine，svm)，logistic回归等传统的机器学习算法，深度学习更擅长处理大规模的数据。随着大数据时代的到来，计算机的性能迅速提神，使得训练隐含层更多、更加复杂的网络结构成为可能。深度学习的迅速崛起，在语音识别、图像识别、自然语言处理等多个领域取得突破。深度学习在目标识别上成功的应用，改善了过去目标识别需要人工提取特征，费时费力的缺点，而且让模型具备大规模数据的能力，提高了模型的泛化性能。深度学习使目标识别的研究取得了重大的进展。

技术实现要素：

目标识别问题一直是图像处理领域中一个热门的方向，流程包括获取图像、预处理、特征提取和识别分类四个部分，其中特征提取是最为核心的一个部分。在传统的图像识别领域，基本上是人工提取特征，不仅费时而且费力，更无法保证特征的有效性，而利用深度学习进行特征提取则回避了这个问题。

本发明提供了一种基于ai的双光谱目标识别方法及系统，应用于可见光成像及红外成像中，对可见光和红外成像中的目标进行自动识别，该识别区别于传统的目标分类、检测和跟踪，不需要在根据不同场景和事物研究新的算法，而是计算机系统经过对现实世界事物的提取、认知、感知、学习和自我训练后，达到精确识别的能力。

为了解决上述技术问题，本发明采用以下技术方案。

本发明的目的在于提供一种基于深度学习的目标识别方法及系统，通过对目标数据库进行分类模型的训练，利用cnn进行图片特征提取时再额外提取一种维数较小的cnn特征并转换为二进制编码，编码对比减少候选目标图片数量，在缩小的图片范围内进行cnn特征进行检索，解决了现有的cnn特征需要获取较高的维数来进行检索，导致检索所需时间比较长问题，间接提高了识别速度，本发明能够基于可见光/红外成像的图像目标自动识别，包括如下步骤：

步骤1，构建目标数据库；深度学习网络训练出目标数据库图像分类模型；

步骤2，通过目标采集设备采集待识别的图像，所述待识别的图像包括：包含目标的图像和不包含目标的图像；

所述目标采集设备是指可见光相机、红外相机；

步骤3，对待识别的图像进行cnn特征提取，得到cnn特征向量；cnn特征提取能够自动提取特征。cnn算法自动提取特征点，使用了梯度向后传播算法：一开始随机初始化卷积核的参数，然后通过基于梯度向后传播算法的优化算法，自适应地调整卷积核的值，从而最小化模型预测值和真实值之间的误差。这样得到的卷积核参数不一定直观，但是能够有效地提取特征，使得模型预测值和真实值之间的误差最小。

神经元的输入与其前一层的局部感受器相连接，并提取该局部的特征。特征被提取后，该特征与其余特征之间的位置关系确定下来。cnn一般由卷积层、池化层、全连接层组成。每一层由多个二维平面组成，每一个平面由多个独立的神经元组成，通过多层卷积层、池化层，最终将结果经过全连接层输出。

步骤4，对目标数据库中图像和目标采集设备采集待识别的图像分别进行维度较小的局部cnn特征提取并转换成二进制编码；

所述采集的图像，首先指步骤1数据库中的图像，得到模板图像局部cnn特征向量。然后指步骤2中新采集的图像，通过对新采集的图像进行局部cnn特征提取。

维度较小：局部cnn特征提取需要根据具体的局部特征进行选择，不同的特征所需要的特征量不同。局部图像包括目标颜色、目标构成、目标各个角度不同的成像。由于本发明是基于ai的双光谱目标自动识别方法，所以不能通过目标的颜色来识别不同目标，而是使用轮廓来实现目标自动识别。本发明使用的维度是1*1的模板。由于模板过大，会导致计算量大，无法很好的满足实时性，且影响效果。

维度较小的cnn特征提取：维数较小的cnn特征通过在resnet(残差神经网络)后衔接一个卷积层，其卷积核大小为1*1，并有256个通道将特征压缩至256维，对每一维都采用二分法，即256维每一维范围为0到1，若维数大于0.5，则取1；若维数小于等于0.5，则取0。最终得到局部区域的256维特征向量的二进制值。

步骤5，利用二进制编码减少待识别的图像数量；

二进制编码有如下优点：技术实现简单，计算机是由逻辑电路组成，逻辑电路通常只有两个状态，开关的接通与断开，这两种状态正好可以用“1”和“0”表示。同时用二进制表示数据具有抗干扰能力强，可靠性高等优点。因为每位数据只有高低两个状态，当受到一定程度的干扰时，仍能可靠地分辨出它是高还是低。

求取目标数据库中图像的二进制值和目标采集设备采集待识别的图像的二进制值之间的汉明距离，如果汉明距离小于预先设定好的阈值51(80％以上特征点重复率)，则说明待识别目标图像可能与模板图像是一类。否则待识别的图像不是已知类别图像，如果汉明距离值大于51，就将待识别的图像删除，这样就有效的减少了待识别的图像的数量。

步骤6，对待识别的图像进行检索，得到包含目标的图像区域的cnn特征向量；

检索的目的：检索是通过提取图像底层特征，计算比较这些特征和搜索对象之间的距离，来度量两个图像的相似程度。

如何检索：本发明对cnn特征进行检索主要通过预训练的cnn模型和微调的cnn模型提取。预训练的cnn模型实现对特征向量的粗略提取。由于目标任务的图像集与预训练图像集无论是类别数量还是图像样式都存在很大的差别，在待识别目标图像集的检索任务中，直接用预训练的cnn模型提取图像的视觉特征往往难以到达最优性能。利用目标图像集的图像对预训练的cnn模型参数进行微调，可以得到很好的效果。

检索条件：待识别目标图像区域大于训练过程的子块区域图像。

步骤7，将步骤6检索的cnn特征向量通过线性组合生成新的数据，新的数据通过softmax函数计算每一个类别的概率；

步骤8，选取概率最大的值作为该目标的类别。

步骤1包括：从网站下载目标图像，图像包括目标不同角度、不同颜色及大小、目标各个角度不同的成像，下载的目标图像构成目标数据库。

步骤4包括：对目标数据库中图像和目标采集设备采集待识别的图像分别执行如下操作：针对不同目标区域，在一幅图像上选择适当的局部区域得到局部图像，局部图像包括目标颜色、目标构成、目标各个角度不同的成像，对局部图像进行cnn特征提取，其中，维数较小的cnn特征通过在resnet(残差神经网络)后衔接一个卷积层，其卷积核大小为1*1，并有256个通道将特征压缩至256维，对每一维都采用二分法，即256维每一维范围为0到1，若维数大于0.5，则取1；若维数小于等于0.5，则取0，最终得到局部区域的256维特征向量的二进制值，从而得到目标数据库中图像的二进制值和目标采集设备采集待识别的图像的二进制值。

步骤5包括：求取目标数据库中图像的二进制值和目标采集设备采集待识别的图像的二进制值之间的汉明距离，如果汉明距离小于预先设定好的阈值51，表示待识别的图像与目标数据库中图像是一类，保留所述待识别的图像，用于后期图像精确识别。

步骤6包括：检索步骤2待识别的图像中包含目标的图像区域，检索出的图像区域必须大于步骤1深度学习网络训练出的目标数据库图像分类模型中的区域，最终得到包含目标的图像区域的cnn特征向量。

步骤7包括：将预先设置好的256个常数组成一组，与步骤6得到的cnn特征向量相乘，并将这些项相加，得到新的数据。

步骤7中，所述softmax函数为：

其中，p(i)表示输入的特征为第i个特征的概率，表示输入的第i个特征的值，表示输入的第k个特征的值，k表示输入特征的维度。

本发明还提供了一种基于深度学习的目标识别系统。包括：成像系统、预处理系统、信息处理系统及显示系统：

成像系统：用于使物体成像并保存成图片或视频；

预处理系统：主要对图像进行预处理，如降噪、对比度及亮度增强。

信息处理系统：用于对输入的图像进行相应处理，并将处理后的图像经过数据库分类模型进行分类，输出分类结果。

显示系统：用于将分类结果呈现给用户。

有益效果：

(1)本发明所述基于ai的双光谱目标自动识别可以解决检索时间较长的问题。

(2)本发明可以分别对可见光图像进行目标识别，也可以对红外图像进行目标识别。

(3)本发明区别于传统的目标分类、检测和跟踪，不需要在根据不同场景和事物研究新的算法，而是计算机系统经过对现实世界事物的提取、认知、感知、学习和自我训练后，达到精确识别的能力。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明一种基于ai的双光谱目标自动识别方法步骤图

图2本发明一种基于ai的双光谱目标识别系统结构示意图。

图3是本发明的一种目标成像及识别系统结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明的一种基于ai的双光谱目标自动识别方法包括以下步骤：

1.目标数据库的构建，从相应网站下载10000待识别的目标图像，图像包括目标不同角度、不同颜色及大小、目标各个角度不同的成像；

2.深度学习网络训练出目标数据库图像分类模型；

3.目标采集设备采集待识别的包含/不包含1000目标的图像；

4.对待识别的图像进行cnn特征提取，其特征值为512维向量；

5.对采集的图像进行维度较小的局部cnn特征提取并转换成便于比对的二进制编码，该局部cnn特征向量为256维，按照预定的转换规则，得到1000幅采集图像的局部二进制编码；

6.提取局部图像的cnn特征与二进制编码，利用编码减少目标图片数量，求出待识别目标图像的二进制值与模板图像的二进制值之间的汉明距离，如果汉明距离小于预先设定好的阈值51(80％以上特征点重复率)，则说明该目标图像可能与模板图像是一类。否则该目标图像不是已知类别图像，将该目标图像删除。这样就有效的减少了该目标图像的数量。最终得到600幅识别图像。

7.在缩小的范围内对cnn特征进行检索。

8.对最终得到的600幅识别图像的特征向量通过线性组合生成新的数据，新的数据通过softmax函数计算每一个类别的概率。

softmax函数可表示为：

9.选取概率最大的值作为该目标的类别。

10.特征提取使用resnet网络结构，得到图片特征多维的特征向量。

11.cnn特征提取采用的局部图像包括目标颜色、目标构成、目标各个角度不同的成像，其中，维数较小的cnn特征通过在resnet后衔接一个卷积层，其卷积核大小为1*1，并有256个通道将特征被压缩至256维。对每一维都采用二分法，即256维每一维范围为0到1，若维数大于0.5，则取1；若维数小于等于0.5，则取0。

如图2和图3所示，本发明还提供了一种基于ai的目标识别系统，包括：成像系统、预处理系统、信息处理系统及显示系统：

成像系统：用于使物体成像并保存成图片或视频；

预处理系统：主要对图像进行预处理，如降噪、对比度及亮度增强。

信息处理系统：用于对输入的图像进行相应处理，并将处理后的图像经过数据库分类模型进行分类，输出分类结果。

(1)主要有cnn特征提取模块、局部特征提取模块、二进制转换模块、目标数据库、模型训练模块、比对及检索模块。

(2)cnn特征提取模块用于对需要检索的图像进行cnn特征提取；局部特征提取模块用于对需要检索的局部图像进行特征提取；二进制转换模块用于对维数较小的局部图像进行二进制转换；目标数据库用于为训练模型提供大量目标图片样本；模型训练模块用于通过深度神经网络训练出目标数据库图片分类模型；比对模块用于将维数较小的二进制编码与训练模型进行比对；检索模块用于将待识别特征图片从比对后的剩余的目标图片中检索。

显示系统：用于将分类结果呈现给用户。

本发明提供了一种基于ai的双光谱目标自动识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。