基于多重视觉信息的车辆特征定位及匹配方法
【专利摘要】本发明提供一种基于多重视觉信息的车辆特征定位及匹配方法，包括以下部分：S01、根据车牌中字高比例建立测试车辆图像特征初步区域；S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位；S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终定位；S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车与测试车辆的特征相似度。本发明能够准确的进行车辆特征的定位及匹配，为公安部门通过信息化技术抓取嫌疑车辆提供技术支持。
【专利说明】基于多重视觉信息的车辆特征定位及匹配方法
【技术领域】
[0001] 本发明涉及图像识别【技术领域】，尤其是一种基于多重视觉信息的车辆特征定位及 匹配方法。
【背景技术】
[0002] 随着人工智能、自动控制和模式识别等领域的发展，公安交通部门的信息化电子 监测系统应运而生，并取得巨大发展。但目前嫌疑车辆的判别工作主要依靠人工排查，费时 费力且效果不佳。
[0003] 通过在嫌疑车主车图像中框定嫌疑车辆的某区域特征，通过图像分析技术在卡口 图像中不断定位及匹配该特征是进行自动嫌疑车辆判别的有效手段，但由于样本的单一性 和实际检测环境的多变性，传统的基于视觉分析的算法难以完成高精度判别。因此，本发明 提供一种基于多重视觉信息的特征定位及匹配方法，解决样本单一与环境多变的矛盾，提 高嫌疑车辆检测精度。
【发明内容】
[0004] 本发明的目的在于提供一种基于多重视觉信息的车辆特征定位及匹配方法，在嫌 疑车辆区域特征已知的条件下，通过获取交通卡口图像，利用多重图像分析技术，逐步细化 特征定位信息，建立局部特征匹配与全局特征匹配及融合机制，实时完成通过各交通卡口 的嫌疑车辆判别工作，为交通管理及刑侦系统提供技术支持。本发明采用的技术方案是：
[0005] -种基于多重视觉信息的车辆特征定位及匹配方法，包括以下部分：
[0006] S01、根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础 上，提取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车 牌字符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域；
[0007] S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特 征初步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域 的二次定位结果；
[0008] S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征 区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立 匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的 最终定位；
[0009] S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像 与测试车辆图像的特征相似度。
[0010] 本发明的优点在于，本发明提出的方法，对于捕获的交通卡口图像，可以快速定位 指定区域特征，并且能够准确的进行特征的匹配，大大提高了嫌疑车辆判别的准确度和快 速性。
【专利附图】
【附图说明】
[0011] 图1为本发明的主要流程图。
【具体实施方式】
[0012] 下面结合具体附图和实施例对本发明作进一步说明。
[0013] 如图1所示：
[0014] 本发明所提出的基于前脸特征的车型识别方法，包括以下部分：
[0015] S01、根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础 上，提取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车 牌字符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域；
[0016] 所述S01具体为：
[0017] (1)对主车车牌图像ΙΗ。采用自适应阈值进行二值化，获得主车车牌二值图像 BW^ ;
[0018] ⑵采用车牌定位方法从测试车辆图像中获取测试车牌图像。，对测试车牌图像 Jii。采用自适应阈值进行二值化，获得测试车牌二值图像，因为截取车牌区域的方法 不是本发明的重点，本发明介绍从略；
[0019] (3)提取主车车牌二值图像忍好怎1中每一列白色像素的个数，取出现次数最多的 个数作为主车车牌字符高度;
[0020] (4)提取测试车牌二值图像中每一列白色像素的个数，取出现次数最多的 个数作为测试车牌字符高度;
[0021] (5)计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例 ratio, =Η^/Η\!：;
[0022] (6)已知主车图像车牌区域左上角点坐标为（4，地），特征区域左 上角坐标为（X(l，^)，区域高度为tv长度为W(l，测试车辆图像车牌区域左上角 点坐标为C4,，34·)，则测试车辆图像特征初步区域（Xp Wp h)计算如下： χι = x)ic + ratio,； (.ν? - ) , yi = yjic + ratioh(y〇 - yt) , = ratioh ?Ψο，^ = ratioh *h〇, xp yu wp h分别为测试车辆图像特征初步区域左上角坐标、长度和高度；
[0023] (7)根据测试车辆图像特征初步区域坐标及尺寸，在测试车辆图像中进行截取，获 得测试车辆图像特征初步区域图像Λ;
[0024] S02、根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特 征初步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域 的二次定位结果；
[0025] 在本实施方式中，所述步骤S02具体为：
[0026] (1)针对测试车辆图像特征初步区域图像Λ，将其从RGB颜色空间转化到YCbCr颜 色空间，得到Y分量图像，Cb分量图像/产>和Cr分量图像 ；
[0027] (2)对Y分量图像·7Γ}进行阈值为0. 5的二值化处理，得到Y分量二值图像 BW{{Y) 1
[0028] (3)对Cb分量图像才&)中的元素进行从小到大的排序，取前（h'W/2个值的平 均值作为Cb分量图像的二值化阈值，并做二值化处理，得到Cb分量二值图像;
[0029] (4)对Cr分量图像中的元素进行从小到大的排序，取前（hiXW/2个值的平 均值作为Cr分量图像的二值化阈值，并做二值化处理，得到Cr分量二值图像;
[0030] (5)融合Y分量、Cb分量和Cr分量二值化图像，得到融合二值图像 BW = BWX(Y) Π (BW^ UBW^);
[0031] (6)对融合二值图像BW中的每一个斑点ki，若其面积和长宽比与主车图像区域相 似，则记录该斑点区域roi = [X y W H],其中（x，y)为该斑点左上角点的坐标，（W，H)为斑 点的长和高，并退出斑点循环。
[0032] (7)将roi作为测试车辆图像中特征区域的二次定位结果，获得测试车辆特征区 域图像J 2;
[0033] S03、根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征 区域与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立 匹配点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的 最终定位；
[0034] 在本实施方式中，所述步骤S03具体为：
[0035] (1)从主车特征区域图像I中提取局部特征点集合L:;
[0036] (2)从测试车辆特征区域图像J2中提取局部特征点集合b ;
[0037] (3)利用SIFT匹配法获取h和LT的初始匹配集合A = {(ai，a '山1 = 1，2,…，qA}，其中qA为初始匹配个数；
[0038] (4)建立匹配间的空间几何约束，消除初始匹配集合A中的错误匹配，得到h和b 的最终匹配B = {(byb'.)，j = 1，2，···，％}，其中qB为最终匹配个数；
[0039] (5)根据最终匹配获取测试车辆图像中特征的最终定位区域图像J3 ;
[0040] 其中所述S03的步骤（5)的具体实现步骤如下：
[0041] (a)计算pw = w'/w, ph = h'/h，其中h表示bp /?两点在y方向上的距离，w表示 心心,两点在X方向上的距离，h'表示V 两点在y方向上的距离，w'表示V 两点在X方向上的距离，其中办如)是主车特征区域图像I中的两点，(?Λ,)是与(A A,)相 对应的测试车辆特征区域图像J2中的两点；
[0042] (b)计算测试车辆图像中特征的最终定位区域（xt, yt, wt, ht)，其中 Xi =x'bl + pw(x〇-xbi),乃=A + pA(y。- 3? )，wt = pw · w。，ht = ph · h。；xt，yt，wt，ht 分别为 最终定位区域的左上角坐标、长度和商度；
[0043] (c)获得测试车辆图像中特征的最终定位区域图像J3。
[0044] S04、通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像 与测试车辆图像的特征相似度。
[0045] 在本实施方式中，所述步骤S04具体为：
[0046] (1)计算局部特征匹配度
【权利要求】
1. 一种基于多重视觉信息的车辆特征定位及匹配方法，其特征在于，包括以下部分： 501、 根据车牌中字高比例建立测试车辆图像特征初步区域：在车牌定位的基础上，提 取车牌中字符的高度，在已知主车图像特征区域的基础上，通过计算测试车辆图像车牌字 符高度与主车图像车牌字符高度的比例，获得测试车辆图像特征初步区域； 502、 根据颜色纹理信息建立测试车辆图像中特征的二次定位：在测试车辆图像特征初 步区域内进行区域图像的纹理分析，获取颜色纹理区域作为测试车辆图像中特征区域的二 次定位结果； 503、 根据局部特征匹配建立测试车辆图像中特征的最终定位：提取主车图像特征区域 与测试车辆图像中特征的二次定位区域中的局部特征算子，完成最近邻匹配，并建立匹配 点之间的空间几何限制，删除错误匹配，再根据匹配结果完成测试车辆图像中特征的最终 定位； 504、 通过融合局部特征相似性和全局有向梯度直方图特征相似性，获取主车图像与测 试车辆图像的特征相似度。
2. 如权利要求1所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于， 所述S01具体包括下述步骤： (1) 对主车车牌图像Iu。采用自适应阈值进行二值化，获得主车车牌二值图像; (2) 对测试车牌图像Ju。采用自适应阈值进行二值化，获得测试车牌二值图像; (3) 提取主车车牌二值图像5%[;)中每一列白色像素的个数，取出现次数最多的个数 作为主车车牌字符高度//以； (4) 提取测试车牌二值图像中每一列白色像素的个数，取出现次数最多的个数 作为测试车牌字符高度; (5) 计算测试车辆图像车牌字符高度与主车图像车牌字符高度的比例 ratio, = II)!：; (6) 已知主车图像车牌区域左上角点坐标为?,尨），特征区域左上角 坐标为（χ〇, y。)，区域高度为k长度为^，测试车辆图像车牌区域左上角点 坐标为，则测试车辆图像特征初步区域Up y:，Wp h)计算如下： Xi =x}ic + ratioi,(x〇 ^ yi = yjic +ratioh(y〇 - v&) ? = ratiOh^Wgjh! = ratioh*h〇, Xp yu Wp hi分别为测试车辆图像特征初步区域左上角坐标、长度和高度； (7) 根据测试车辆图像特征初步区域坐标及尺寸，在测试车辆图像中进行截取，获得测 试车辆图像特征初步区域图像Λ。
3. 如权利要求2所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于， 所述S02具体包括下述步骤： (1) 针对测试车辆图像特征初步区域图像Λ，将其从RGB颜色空间转化到YCbCr颜色 空间，得到Y分量图像，Cb分量图像片和Cr分量图像片"； (2) 对Y分量图像进行阈值为0. 5的二值化处理，得到Y分量二值图像BfF尸> ; (3) 对Cb分量图像刀?中的元素进行从小到大的排序，取前（hiXWi)/2个值的平均值 作为Cb分量图像的二值化阈值，并做二值化处理，得到Cb分量二值图像; (4) 对Cr分量图像J广1中的元素进行从小到大的排序，取前（hiXWi)/2个值的平均值 作为Cr分量图像的二值化阈值，并做二值化处理，得到Cr分量二值图像； (5) 融合Υ分量、Cb分量和Cr分量二值化图像，得到融合二值图像 β妒=门（忍灰/⑶ ; (6) 对融合二值图像BW中的每一个斑点ki，若其面积和长宽比与主车图像区域相似， 则记录该斑点区域roi = [X y W H],其中（x，y)为该斑点左上角点的坐标，（W，H)为斑点 的长和高，并退出斑点循环。 (7) 将roi作为测试车辆图像中特征区域的二次定位结果，获得测试车辆特征区域图 像J2。
4. 如权利要求3所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于， 所述S03具体包括下述步骤： (1) 从主车特征区域图像I中提取局部特征点集合L:; (2) 从测试车辆特征区域图像J2中提取局部特征点集合"； ⑶利用SIFT匹配法获取h和LT的初始匹配集合A = {(ai，a' J，i = 1，2,…，qA}， 其中qA为初始匹配个数； (4) 建立匹配间的空间几何约束，消除初始匹配集合A中的错误匹配，得到h和"的 最终匹配B = {(bj，b' p，j = 1，2,…，qB}，其中qB为最终匹配个数； (5) 根据最终匹配获取测试车辆图像中特征的最终定位区域图像J3。
5. 如权利要求4所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于， 所述S04具体包括下述步骤： ⑴计算局部特征匹配度&| -《），其中norm为取二范数操作符； qs /=ι (2) 计算主车特征区域图像I的有向梯度直方图特征氏和测试车辆特征区域图像叉的 有向梯度直方图特征Ητ; (3) 计算全局有向梯度直方图特征相似度Siv2 znorm^-Hj); (4) 利用加权融合获取主车图像与测试车辆图像的特征相似度Siv = 0· eXSiVi+0. 4XSiv2。
6. 如权利要求4所述的基于多重视觉信息的车辆特征定位及匹配方法，其特征在于： 所述S03的步骤（5)的具体实现步骤如下： (3)计算口￥ = '\￥'/\^11 = 11'/11，其中11表示131，_^两点在7方向上的距离，￥表示131，^^ 两点在X方向上的距离，h'表示b' ub、两点在y方向上的距离,w'表示b' ub、两点 在X方向上的距离，其中汍，&)是主车特征区域图像I中的两点，济,?)是与(Λ,心)相对 应的测试车辆特征区域图像J 2中的两点； (b)计算测试车辆图像中特征的最终定位区域（xt, yt, wt, ht)，其中 A = + 外，(為-為,），乃=+ 外(>，。-凡），wt = pw · w0, ht = ph · h0 ;xt，yt，wt，ht 分别为 最终定位区域的左上角坐标、长度和商度； (c)获得测试车辆图像中特征的最终定位区域图像J3。
【文档编号】G06K9/62GK104102909SQ201410354245
【公开日】2014年10月15日 申请日期:2014年7月23日 优先权日:2014年7月23日
【发明者】陈莹, 化春健, 梅俊琪 申请人:中科联合自动化科技无锡有限公司