一种结合骨架特征点和形状上下文的形状匹配方法及装置制造方法
【专利摘要】本发明公开一种结合骨架特征点和形状上下文的形状匹配方法及装置，其方法包括：对两幅图像中的每幅图像进行去除噪声处理，各得到滤波后的平滑图像；采用OTSU方法对平滑图像进行目标分割，获得二值目标图像；对二值目标图像进行骨架提取，获得骨架特征点，并根据骨架特征点获取所有的骨架端点；并对二值目标图像进行边缘检测，提取所有的边缘点；基于形状上下文描述子，根据骨架端点与边缘点建立直方图；根据相似性度量准则和直方图对两幅图像进行形状匹配。与基于形状上下文的形状匹配方法相比，本发明由于采用骨架特征点，在保持较高的匹配性能的基础上，其复杂度大大降低，为后续实现实时、鲁棒、准确的跟踪提供基础。
【专利说明】—种结合骨架特征点和形状上下文的形状匹配方法及装置
【技术领域】
[0001]本发明涉及一种形状匹配【技术领域】，特别涉及一种结合骨架特征点和形状上下文的形状匹配方法及装置，可以应用于用于图像处理、计算机视觉、形状匹配和检索、目标跟足示O
【背景技术】
[0002]形状对于人类感知是一个重要的视觉线索，为了从图像中抽取目标，形状模型展现了很大的潜力。目前，形状匹配方法主要分为两类:以形状上下文为代表的基于轮廓的形状匹配方法和以奇点图为代表的基于骨架的形状匹配方法。
[0003]其中，基于轮廓的形状匹配方法中形状上下文使用一组直方图来表示整个形状，每个轮廓上的采样点都用一个统计直方图来表示。它是一种信息丰富的描述方法，对局部噪声点不敏感，对小的非线性形变以及存在异常点的情况具有良好的鲁棒性。基于骨架的形状匹配方法中骨架是基于形状特征的物体对象的简化描述方式，把骨架应用于形状匹配和检索有独特的效果。如骨架结构与物体的形状表述一致性，骨架结构具有平移、旋转和尺度不变性；组合了物体目标的形状轮廓和区域信息，反映了目标重要的视觉认知特征。利用骨架表征物体目标的形状区域信息减少了冗余信息，简化了结构分析。此外，将图像提炼成反映其本质的简化表示，可以在保持重要拓扑和几何结构特征的情况下消除轮廓的失真影响。因此，骨架特征对关节和非刚性变形非常鲁棒，但是只包含粗略的结构信息；而轮廓特征含有丰富的信息并且很稳定，但是对变形敏感。基于上述描述，亟需提供一种将骨架特征点与轮廓点结合起来进行形状匹配的方案，以获得稳定准确的形状匹配。
【发明内容】
[0004]本发明技术解决问题:针对现有技术的不足，提供一种结合骨架特征点和形状上下文的形状匹配方法及装置，实现对平移、旋转、尺度和非刚性变形下准确的形状匹配。
[0005]为实现这样的目的，本发明的技术方案:一种结合骨架特征点和形状上下文的形状匹配方法，包含以下步骤:
[0006]对两幅图像中的每幅图像进行去除噪声处理，各得到滤波后的平滑图像；
[0007]采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；
[0008]对所述二值目标图像进行骨架提取，获得骨架特征点，并根据所述骨架特征点获取所有的骨架端点；并对所述二值目标图像进行边缘检测，提取所有的边缘点；
[0009]基于形状上下文描述子，根据所述骨架端点与所述边缘点建立直方图；
[0010]根据相似性度量准则和所述直方图对所述两幅图像进行形状匹配。
[0011]可选地，如上所述的方法中，对所述二值目标图像进行骨架提取，获得骨架特征点，具体包括如下步骤:
[0012]将所述二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为P1，其邻域的8个点顺时针绕中心点分别记为p2，p3，..., p9,其中所述P2在所述P1上方；
[0013]对所述边界点进行如下㈧和⑶两步操作:
[0014](A)标记同时满足下列条件的边界点:
[0015](al)2 δ N(P1) δ 6 ；
[0016](a2)S(p) = I ；
[0017](a3) ρ2^ P6 =0.,
[0018](a4) />4 V V /7g = 0 ;
[0019]其中N(P1) ^p1的非零邻点个数，S(P1)是以p2，p3，...，P9为序时这些点的值从01的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去；
[0020](B)标记同时满足下列条件的边界点:
[0021](bl) I δ N(P1) δ 6 ；
[0022](b2) S (P1) = I ；
[0023](b3) P2^ P4V ps = O',
[0024](b4) p2yp6yps = 0；
[0025]以上两步操作㈧和⑶构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。
[0026]可选地，如上所述的方法中，根据所述骨架特征点获取所有的骨架端点，具体包括:对每个所述骨架特征点进行八邻域判断，当八邻域中仅有一个所述骨架特征点时，将所述骨架特征点记录为所述骨架端点；对所有的所述骨架特征点进行八邻域判断，获取所有的所述骨架端点。
[0027]可选地，如上所述的方法中，基于形状上下文描述子，根据所述骨架端点与所述边缘点建立直方图，具体包括如下步骤:
[0028]基于形状上下文描述子，在每一幅图像中，对于每一个所述骨架端点，计算所述骨架端点和每一个所述边缘点的梯度角；
[0029]对于每一个所述骨架端点，计算所述骨架端点与每一个所述边缘点的相对矢量关系，并根据所述骨架端点和每一个所述边缘点的所述梯度角计算所述骨架端点与每一个所述边缘点的所述相对梯度角关系；
[0030]利用所述相对矢量关系以及所述相对梯度角关系在对数极坐标系中建立所述骨架端点对应的所述直方图。
[0031]可选地，如上所述的方法中，根据相似性度量准则和所述直方图描述子对所述两幅图像进行形状匹配，具体包括:
[0032]根据所述两幅图像中每一个所述骨架端点的所述直方图，利用所述相似性度量准则计算所述两幅图像中的两个所述骨架端点的相似性度量值；
[0033]对于所述两幅图像的其中一幅图像中的每一个所述骨架端点，获取另一幅图像中与当前的所述骨架端点的所述相似性度量值最大的所述骨架端点作为匹配点；
[0034]利用每一个所述骨架端点及对应的所述匹配点对所述两幅图像进行形状匹配。
[0035]可选地，如上所述的方法中，根据所述两幅图像中每一个所述骨架端点的所述直方图，利用所述相似性度量准则计算所述两幅图像中的两个所述骨架端点的相似性度量值，具体采用如下方式实现:
[0036]所述两幅图像中的两个所述骨架端点的相似性度量值计算如下:
【权利要求】
1.一种结合骨架特征点和形状上下文的形状匹配方法，其特征在于，包括如下步骤: 对两幅图像中的每幅图像进行去除噪声处理，各得到滤波后的平滑图像； 采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像； 对所述二值目标图像进行骨架提取，获得骨架特征点，并根据所述骨架特征点获取所有的骨架端点；并对所述二值目标图像进行边缘检测，提取所有的边缘点； 基于形状上下文描述子，根据所述骨架端点与所述边缘点建立直方图； 根据相似性度量准则和所述直方图对所述两幅图像进行形状匹配。
2.根据权利要求1所述的方法，其特征在于，对所述二值目标图像进行骨架提取，获得骨架特征点，具体包括如下步骤: 将所述二值目标图像中已知的目标点标记为I，背景点标记为O,定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为P1，其邻域的8个点顺时针绕中心点分别记为p2，p3，..., P9,其中所述P2在所述Pi上方； 对所述边界点进行如下(A)和(B)两步操作: (A)标记同时满足下列条件的边界点:
(al)2 δ N(P1) δ 6 ；
(a2)S(p!) = I ；
(a3) ρ2^ p4\f P6=Oi
(a4) ρ4^ ρ6^ P8=O-, 其中N(P1)是P1的非零邻点个数，S(P1)是以p2，p3，...，P9为序时这些点的值从01的个数；当对全部所述边界点检验完毕后，将所有标记了的点除去； (B)标记同时满足下列条件的边界点:
(bl)l SN(P1) δ 6 ；
(b2)S(p!) = I ；
(b3) p2 V p4 V 卢8 = 0.’
(b4) />2 V A V /J8 = 0 ; 以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。
3.根据权利要求1所述的方法，其特征在于，根据所述骨架特征点获取所有的骨架端点，具体包括:对每个所述骨架特征点进行八邻域判断，当八邻域中仅有一个所述骨架特征点时，将所述骨架特征点记录为所述骨架端点；对所有的所述骨架特征点进行八邻域判断，获取所有的所述骨架端点。
4.根据权利要求1所述的方法，其特征在于，基于形状上下文描述子，根据所述骨架端点与所述边缘点建立直方图，具体包括如下步骤: 基于形状上下文描述子，在每一幅图像中，对于每一个所述骨架端点，计算所述骨架端点和每一个所述边缘点的梯度角； 对于每一个所述骨架端点，计算所述骨架端点与每一个所述边缘点的相对矢量关系，并根据所述骨架端点和每一个所述边缘点的所述梯度角计算所述骨架端点与每一个所述边缘点的所述相对梯度角关系； 利用所述相对矢量关系以及所述相对梯度角关系在对数极坐标系中建立所述骨架端点对应的所述直方图。
5.根据权利要求1-4任一所述的方法，其特征在于，根据相似性度量准则和所述直方图描述子对所述两幅图像进行形状匹配，具体包括: 根据所述两幅图像中每一个所述骨架端点的所述直方图，利用所述相似性度量准则计算所述两幅图像中的两个所述骨架端点的相似性度量值； 对于所述两幅图像的其中一幅图像中的每一个所述骨架端点，获取另一幅图像中与当前的所述骨架端点的所述相似性度量值最大的所述骨架端点作为匹配点； 利用每一个所述骨架端点及对应的所述匹配点对所述两幅图像进行形状匹配。
6.根据权利要求5所述的方法，其特征在于，根据所述两幅图像中每一个所述骨架端点的所述直方图，利用所述相似性度量准则计算所述两幅图像中的两个所述骨架端点的相似性度量值，具体采用如下方式实现: 所述两幅图像中的两个所述骨架端点的相似性度量值计算如下:
其中Pi，Qj分别为所述两幅图像中第一幅图像中的第i个骨架端点和所述两幅图像中第二副图像中的第j个骨架端点，h (k)为所述第一幅图像上所述第i个骨架端点建立的直方图上第k个bin值，hj (k)为所述第二幅图像上所述第j个骨架端点建立的直方图上所述第k个bin值,K表示直方图的总bins数目；C(P^qj)表示Pi, q」两个所述骨架端点的相似性度量值。
7.一种结合骨架特征点和形状上下文的形状匹配装置，其特征在于，包括: 去噪处理模块，用于对两幅图像中的每幅图像进行去除噪声处理，各得到滤波后的平滑图像； 目标分割模块，用于采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像； 提取模块，用于对所述二值目标图像进行骨架提取，获得骨架特征点，并根据所述骨架特征点获取骨架端点；并对所述二值目标图像进行边缘检测，提取边缘点； 直方图建立模块，用于基于形状上下文描述子，根据所述骨架端点与所述边缘点建立直方图； 形状匹配模块，用于根据相似性度量准则和所述直方图对所述两幅图像进行形状匹配。
8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于将所述二值目标图像中已知的目标点标记为1，背景点标记为O,定义边界点是本身标记为I,而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为P1,其邻域的8个点顺时针绕中心点分别记为P2, P3,...，P9,其中所述P2在所述P1上方； 对所述边界点进行如下(A)和(B)两步操作: (A)标记同时满足下列条件的边界点:
(al)2 δ N(P1) δ 6 ；(a2)S(p!) = I ；
(a3) V /?4 V /J6 = O ;
(a4) V /^6 V /?8 = O ; 其中N(P1)是P1的非零邻点个数，S(P1)是以p2，p3，...，P9为序时这些点的值从Ol的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去； (B)标记同时满足下列条件的边界点:
(bl)l SN(P1) δ 6 ；
(b2)S(p!) = I ；
(b3) p2 V /?4 V /?8 = 0 ; (b4) V V = 0 ; 以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。
9.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于对每个所述骨架特征点进行八邻域判断，当八邻域中仅有一个所述骨架特征点时，将所述骨架特征点记录为所述骨架端点；对所 有的所述骨架特征点进行八邻域判断，获取所有的所述骨架端点。
10.根据权利要求7所述的装置，其特征在于，所述直方图建立模块，具体用于基于形状上下文描述子，在每一幅图像中，对于每一个所述骨架端点，计算所述骨架端点和每一个所述边缘点的梯度角；对于每一个所述骨架端点，计算所述骨架端点与每一个所述边缘点的相对矢量关系，并根据所述骨架端点和每一个所述边缘点的所述梯度角计算所述骨架端点与每一个所述边缘点的所述相对梯度角关系；利用所述相对矢量关系以及所述相对梯度角关系在对数极坐标系中建立所述骨架端点对应的所述直方图。
11.根据权利要求7-10任一所述的装置，其特征在于，所述形状匹配模块，具体用于根据所述两幅图像中每一个所述骨架端点的所述直方图，利用所述相似性度量准则计算所述两幅图像中的两个所述骨架端点的相似性度量值；对于所述两幅图像的其中一幅图像中的每一个所述骨架端点，获取另一幅图像中与当前的所述骨架端点的所述相似性度量值最大的所述骨架端点作为匹配点；利用每一个所述骨架端点及对应的所述匹配点对所述两幅图像进行形状匹配。
12.根据权利要求11所述的装置，其特征在于，所述形状匹配模块，具体用于采用如下方式计算所述两幅图像中的两个所述骨架端点的相似性度量值:
其中Pi，Qj分别为所述两幅图像中第一幅图像中的第i个骨架端点和所述两幅图像中第二副图像中的第j个骨架端点，h (k)为所述第一幅图像上所述第i个骨架端点建立的直方图上第k个bin值，hj (k)为所述第二幅图像上所述第j个骨架端点建立的直方图上所述第k个bin值,K表示直方图的总bins数目；C(P^qj)表示Pi, q」两个所述骨架端点的相似性度量值。
【文档编号】G06T7/00GK104077775SQ201410300669
【公开日】2014年10月1日 申请日期:2014年6月28日 优先权日:2014年6月28日
【发明者】胡锦龙, 彭先蓉, 魏宇星, 祁小平 申请人:中国科学院光电技术研究所