一种基于神经网络提取车辆特征值及属性的以图搜图方法与流程

本发明涉及一种以图搜图方法，特别是一种基于神经网络提取车辆特征值及属性的以图搜图方法，属于信息搜索领域。

背景技术：

以图搜图，是通过输入图片来检索相似图片的一种技术，为用户提供相关图形图像资料检索的功能。该技术涉及了数据库管理、计算机图形学、图像处理、模式识别、信息检索等诸多学科。其相关技术主要包括:特征值提取、特征值表示和相似度计算这三类关键技术。以图搜图技术在大数据图形图像检索、视频侦查、互联网购物搜索引擎等多种领域都有广泛应用。

海量车辆数据的以图搜图功能，目前主要的处理技术是通过传统的图像轮廓特征信息进行匹配分析，未考虑车辆特有的相关属性（包括车辆的车牌、颜色、车型、车标、挂饰、年检标志等相关信息）进行车辆的前期筛选，从而车辆的以图搜图正确率不是很高。

专利cn201711393923.8“一种多任务卡口车辆以图搜图的系统及方法”侧重基于改进的边缘盒检测技术以及级联损失函数的方式训练定位网络，分别定位和特征检测卡口车辆图像中的车辆，年检标和车灯三个部位，结合了全局和局部特征，其主要检测车辆、年标和车灯从而提高检查速度。

技术实现要素：

本发明所要解决的技术问题是提供一种基于神经网络提取车辆特征值及属性的以图搜图方法，提高车辆搜索的准确性。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于神经网络提取车辆特征值及属性的以图搜图方法，其特征在于包含以下步骤：

步骤一：获取实时卡口抓拍图像进行图像预处理操作；

步骤二：从预处理后的图像中对车辆进行定位分析；

步骤三：对定位后的车辆图像进行全局特征值计算和提取；

步骤四：对定位后的车辆图像进行属性值的计算和提取；

步骤五：对车辆各个属性值进行权重设置和特征值搜索阀值的设置，对车辆基础库进行筛减；

步骤六：通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置，进行车辆搜索；

步骤七：对搜索结果进行排序处理，获得搜索结果。

进一步地，所述步骤一具体为

1.1对图片进行降噪处理，尽可能的保持原始信息完整性的同时，又能够去除信号中无用的信息，使用的方法包括基于空间域的中值滤波和基于小波域的小波阈值去噪；

1.2对图片进行尺寸大小处理。

进一步地，所述步骤二具体为

2.1对图片中的车辆进行定位，识别车辆在图片中的像素点位置；

2.2规范定位到的车辆图像样本的尺寸；

2.3对定位到车辆像素点的待检测图片进行隔离。

进一步地，所述步骤三具体为

3.1使用sift算法，计算出车辆的特征值；

3.2使用cnn卷积神经网络算法，对计算出的车辆特征值进行维度降低

3.3提取cnn神经网络的最后一层特征向量，并将其转换成一维数组，把sift特征原有的128维特征值降低到一维数组中，便于表示、存储和计算。

进一步地，所述步骤四具体为

4.1通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车牌属性；

4.2通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车型属性；

4.3通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车身颜色属性；

4.4通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车标属性；

4.5通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车辆年检标志属性；

4.6通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车辆挂饰属性；

4.7对获取到的车辆属性进行结构化处理，便于对比计算和存储。

进一步地，所述步骤五具体为

5.1对车辆各个属性值设置权重，根据各个属性值在以图搜图算法中对搜索结果的贡献程度，设置不同的属性值；

5.2对特征值设置搜索阀值；

5.3利用上诉两个步骤对车辆基础库进行筛减，减少以图搜图目标库中待搜索图片数量。

进一步地，所述步骤六具体为

6.1通过对车辆全局特征值进行相似度计算，采用采用欧式距离、马氏距离等计算方法进行计算

6.2通过对车辆属性在以图搜图功能中权重的设置，进行车辆搜索

6.3结合上述两个步骤，在已经筛选过的车辆基础图库中队待检测图片进行以图搜图操作，获取搜索结果。

进一步地，所述步骤七具体为对步骤六中搜索结果进行排序处理，获得与待搜索车辆最为相似的前10张图片进行展示。

本发明与现有技术相比，具有以下优点和效果：

1、本发明通过对图片中车辆的精准定位，进行车辆相关属性的分析及提取（包括车辆的车牌、车辆颜色、车辆车型及车辆车标），并通过对车辆属性及特征的权重设置，来实现车辆匹配度的计算，从而可使客户在获取到一张车辆图片时，从图库中搜索出与其最为相似的其他车辆图片；

2、通过使用智能算法的分析，待搜索图片中车辆的属性及特征值的提取在200ms内完成；

3、车辆以图搜图功能在千万级基础库的前提下，搜索准确率达98%。

附图说明

图1是本发明的一种基于神经网络提取车辆特征值及属性的以图搜图方法的流程图。

具体实施方式

下面通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图1所示，本发明的一种基于神经网络提取车辆特征值及属性的以图搜图方法，包含以下步骤：

步骤一：获取实时卡口抓拍图像进行图像预处理操作；

1.1对图片进行降噪处理，尽可能的保持原始信息完整性的同时，又能够去除信号中无用的信息，使用的方法包括基于空间域的中值滤波和基于小波域的小波阈值去噪；

1.2对图片进行尺寸大小处理。

步骤二：从预处理后的图像中对车辆进行定位分析；

2.1对图片中的车辆进行定位，识别车辆在图片中的像素点位置；

2.2规范定位到的车辆图像样本的尺寸；

2.3对定位到车辆像素点的待检测图片进行隔离。

步骤三：对定位后的车辆图像进行全局特征值计算和提取；

3.1使用sift算法，计算出车辆的特征值；

3.2使用cnn卷积神经网络算法，对计算出的车辆特征值进行维度降低

3.3提取cnn神经网络的最后一层特征向量，并将其转换成一维数组，把sift特征原有的128维特征值降低到一维数组中，便于表示、存储和计算。

步骤四：对定位后的车辆图像进行属性值的计算和提取；

4.1通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车牌属性；

4.2通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车型属性；

4.3通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车身颜色属性；

4.4通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车标属性；

4.5通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车辆年检标志属性；

4.6通过深度学习神经网络、cnn卷积神经网络与svm结合的方法对定位到的车辆图像进行识别，获取车辆挂饰属性；

4.7对获取到的车辆属性进行结构化处理，便于对比计算和存储。

步骤五：对车辆各个属性值进行权重设置和特征值搜索阀值的设置，对车辆基础库进行筛减；

5.1对车辆各个属性值设置权重，根据各个属性值在以图搜图算法中对搜索结果的贡献程度，设置不同的属性值；

5.2对特征值设置搜索阀值；

5.3利用上诉两个步骤对车辆基础库进行筛减，减少以图搜图目标库中待搜索图片数量。

步骤六：通过对车辆全局特征以及车辆属性在以图搜图功能中权重的设置，进行车辆搜索；

6.1通过对车辆全局特征值进行相似度计算，采用采用欧式距离、马氏距离等计算方法进行计算

6.2通过对车辆属性在以图搜图功能中权重的设置，进行车辆搜索

6.3结合上述两个步骤，在已经筛选过的车辆基础图库中队待检测图片进行以图搜图操作，获取搜索结果。

步骤七：对搜索结果进行排序处理，获得搜索结果。对步骤六中搜索结果进行排序处理，获得与待搜索车辆最为相似的前10张图片进行展示。

本发明通过对图片中车辆的精准定位，进行车辆相关属性的分析及提取（包括车辆的车牌、车辆颜色、车辆车型及车辆车标），并通过对车辆属性及特征的权重设置，来实现车辆匹配度的计算，从而可使客户在获取到一张车辆图片时，从图库中搜索出与其最为相似的其他车辆图片；通过使用智能算法的分析，待搜索图片中车辆的属性及特征值的提取在200ms内完成；车辆以图搜图功能在千万级基础库的前提下，搜索准确率达98%。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。