一种基于IA-FAIF的服装特征提取与匹配方法与流程

一种基于ia-faif的服装特征提取与匹配方法
技术领域
[0001]
本发明属于图像处理技术领域，具体涉及一种基于ia-faif的服装特征 提取与匹配方法。


背景技术：

[0002]
图像处理技术被广泛应用于纹样识别过程中，纹样识别的关键是寻找图 像中的有效特征，特征提取与匹配的准确率与快速性直接影响识别的效果。 近些年，国内外学者提出了诸多特征提取与匹配的方法，例如：2015年，丁 笑君等采用sift(scale invariant feature transformation)算法获取畲族服装 纹样关键点，得到不同类别服装的关键点设计区域与排列顺序(丁笑君，邹 楚杭，陈敬玉等。畲族服装特征提取及其分布，纺织学报。2015，36(7)： 110-115.)；2017年，曹霞等通过surf(speed up robust features)算法对 服饰花边纹理进行匹配(曹霞，李岳阳，罗海驰等。基于层次匹配下多种特 征融合的蕾丝花边检索方法，计算机工程与科学，2017，39(9):1691-1669.)； 2018年，路凯等将提取的sift关键点特征转换为视觉单词，实现不同类别 纤维的鉴别(lu k,zhong y,li d,et al.cashmere/wool identification basedon bag of words and spatial pyramid match[j].textile research journal. 2018,88(21):2435-2444.)；但是，sift算法和surf算法在复杂纹样的特征 提取与匹配过程中耗时较大。2019年，韩敏等采用akaze (accelerated-kaze)算法提取特征点，通过二进制描述子freak(fast retina keypoint)进行特征描述，实现了图像在光照、尺度及旋转变化下精确 匹配，并且特征描述过程的耗时较sift算法和surf算法有明显缩短(韩 敏，闫阔，秦国帅。基于改进kaze的无人航拍图像拼接算法，自动化学报. 2019，45(2)：305-314)。
[0003]
服装的元素形态多样并且伴随着大量的重复和叠加；加之拍摄角度和距 离不同，导致图像纹样存较大的视角差异。上述特征提取与匹配算法虽然对 尺度、旋转和光照变化有一定的鲁棒性，但是难以解决大视角变化下的复杂 纹样提取与匹配。针对这一问题，国内外学者们也进行了相关研究，典型成 果有：2015年，zhao等采用仿射不变多尺度自卷积变换提取仿射不变特征， 并利用主成分分析法对特征描述子进行降维(zhao y,li l,liu z g.a novelalgorithm using affine-invariant features for pose-variant face recognition[j]. computers&electrical engineering，2015，46(1):217-230.)。2020年，moyou 等将特征点投影到格拉斯曼流行中以实现特征点不同子空间划分，通过拉普 拉斯-贝尔特拉米算子计算特征点的仿射不变坐标，从而实现大视角变化下 的特征提取与匹配(moyou m,rangarajan a,corring j,peter a m.agrassmannian graph approach to affine invariant feature matching[j].ieeetransactions on image processing,2020,29(1):3374-3387.)。上述方法提取的 仿射不变特征对视角变化具有很好的鲁棒性，但算法复杂度较高、实时性较 差。因此，现有技术中，现有技术中存在，大视角变化下，复杂纹样的服装 特征提取与匹配准确性和快速性难以兼顾的问题。


技术实现要素：

[0004]
本发明的目的是提供一种基于ia-faif的服装特征提取与匹配方法，解 决了现有技术中，大视角变化下，复杂纹样的服装特征提取与匹配准确性和 快速性难以兼顾的问题。
[0005]
本发明所采用的技术方案是，
[0006]
一种基于ia-faif的服装特征提取与匹配方法，具体按照如下步骤进行；
[0007]
步骤1：输入图像后，通过仿射变换来模拟服装不同视角的图像，得到 对应于输入图像视角变化的模拟图像；
[0008]
步骤2：在模拟图像中进行akaze算法下的特征检测；
[0009]
步骤3：将freak算法进行：构建采样模式；确定特征点的主方向；构 建freak描述子；最后得到freak描述子；
[0010]
步骤4：将freak描述子进行特征描述，然后将描述后的描述子进行 匹配，实现服装的特征提取与匹配。
[0011]
本发明的特点还在于，
[0012]
步骤1中，将图像u中的某一特征点坐标记为(x,y)，视角变化后的坐标 记为(ax+by+e,cx+dy+f)，如下公式(1)：
[0013][0014]
其中，(x1,y1)为视角变换后的坐标，仿射变换矩阵a＝[a b；c d]为一个 正定矩阵，矩阵t＝[e；f]是平移矩阵。
[0015]
步骤2具体包括：
[0016]
步骤2.1：构建非线性尺度空间；
[0017]
步骤2.2：在构建的尺度空间中，进行特征点定位。
[0018]
步骤2.1中：构建非线性尺度空间具体包括：
[0019]
步骤2.1.1：对每一幅模拟后的图像重复降采样，生成若干组图像；
[0020]
步骤2.1.2：对每组图像根据不同的滤波参数生成若干层尺度图像，通过 算法求解得到非线性尺度空间的滤波图像；
[0021]
步骤2.1.3：非线性尺度空间的滤波图像构成金字塔状的非线性尺度空 间。
[0022]
步骤3中，构建采样模式具体为：以检测到的akaze特征点为中心建 立圆形网格采样模式。
[0023]
本发明的有益效果是，一种基于ia-faif的服装特征提取与匹配方法， 以近年来akaze算法和freak算法的特征提取研究结果为基础，结合仿 射不变特征的优势，提出了基于ia-faif的服装特征纹样提取与匹配方法。 利用大量服装复杂纹样的图像的实验结果表明，该方法能兼顾特征检测与匹 配环节的快速性、同时具有强抗视角变化能力，实现视角变化高达85度时 正确匹配率不低于90％,特征检测平均耗时为0.315ms，特征描述平均耗时为 0.207ms，特征匹配平均耗时为0.189ms。
附图说明
[0024]
图1是本发明一种基于ia-faif的服装特征提取与匹配方法中纹样提取 与匹配实
现过程框架的示意图；
[0025]
图2是本发明一种基于ia-faif的服装特征提取与匹配方法中仿射变换 分解几何含义的示意图；
[0026]
图3是本发明一种基于ia-faif的服装特征提取与匹配方法中freak 描述子采样模式的示意图；
[0027]
图4是本发明一种基于ia-faif的服装特征提取与匹配方法中对称分布 的采样点对的示意图；
[0028]
图5是本发明一种基于ia-faif的服装特征提取与匹配方法中纹样提取 与匹配结果的示意图。
具体实施方式
[0029]
下面结合附图和具体实施方式对本发明一种基于ia-faif的服装特征提 取与匹配方法进行详细说明。
[0030]
如图1所示，一种基于ia-faif的服装特征提取与匹配方法，具体按照 如下步骤进行；
[0031]
步骤1：输入图像后，通过仿射变换来模拟服装不同视角的图像，得到 对应于输入图像视角变化的模拟图像；
[0032]
步骤2：在模拟图像中进行akaze算法下的特征检测；
[0033]
步骤3：将freak算法进行：构建采样模式；确定特征点的主方向；构 建freak描述子；最后得到freak描述子；
[0034]
步骤4：将freak描述子进行特征描述，然后将描述后的描述子进行 匹配，实现服装的特征提取与匹配。
[0035]
下面通过具体的实施例对本发明一种基于ia-faif的服装特征提取与匹 配方法进行进一步详细说明。
[0036]
以清代龙袍纹样为例，在拍摄龙袍纹样图像时，不同的角度和距离会引 起图像的视角变化，这种视角变化可以通过仿射变换来进行模拟。将图像u中 的某一特征点坐标记为(x,y)，视角变化后的坐标记为(ax+by+e,cx+dy+f)， 如下公式(1)：
[0037][0038]
式中，(x1,y1)为视角变换后的坐标，仿射变换矩阵a＝[a b；c d]是一个 正定矩阵，矩阵t＝[e；f]是平移矩阵。矩阵t＝[e；f]是平移矩阵。图2为仿射 变换几何含义示意图，图中u表示被拍摄对象所在平面，黑色方块代表相机， θ为被拍摄对象平面的法线与相机光轴之间的夹角(即纬度角)，φ为被拍摄 对象平面与相机光轴映射平面之间的夹角(即经度角，φ∈[0,180
°
))，λ为相 机的变焦倍数，ψ为相机绕光轴旋转的角度。结合图2，可将仿射变换矩阵a 进一步分解为如下公式(2)：
[0039][0040]
式中，参数t为相机光轴相对于被拍摄对象平面的倾斜程度，且能描述 实际拍摄
位置。由图2可知，经度角φ和纬度角θ是模拟视角变化的两个关 键参数。在此，通过对参数t的采样得到对应的经度角φ和纬度角θ，具体策 略如下：
[0041]
2)纬度角θ和参数t满足θ＝arccos(1/t)，参数t的采样值为 t＝1,a,a2,...,a
n
(a＞1)，纬度角θ和参数t是一一对应关系。参数t的不同取值会 影响计算的复杂度和模拟的精度，通过大量实验测试，当时参数t的取 值比较合适。参数n表示视角变化的模拟次数，可根据实际需要来设置，该 值越大则模拟视角变化情况越丰富，得到的仿射变换就越多，当n＝0时表示 不进行视角变化的模拟。
[0042]
2)经度角φ通过一组采样数据0,b/t,...,kb/t(kb/t＜180
°
)获得，一个参数t对 应多个经度角φ。为了保证采样精度和复杂度之间的平衡，选取b＝72
°
。
[0043]
根据该策略可得到一系列的(φ,θ)，将该值代入仿射变换模型(2)中可 得到对应于输入图像的视角变化模拟图像。
[0044]
(2)akaze特征检测；
[0045]
在模拟后的图像中进行akaze算法下的特征检测，akaze算法采用 各向异性的非线性滤波来构造尺度空间，该算法顾及到图像局部纹理结构与 细节的清晰度，通过不同程度的平滑来保留更多的边缘和细节特征，提高特 征定位精度；利用加速显式扩散求解非线性扩散滤波解，进而提升计算速度， 提高算法的实时性。该算法的实现可划分为：1)构建非线性尺度空间；2) 特征点定位，具体描述如下：
[0046]
1)构建非线性尺度空间
[0047]
非线性滤波原理可通过如下非线性偏微分方程公式(3)来描述：
[0048][0049]
式中，l为图像亮度矩阵，为梯度算子，div为散度函数，(x,y)为图 像坐标，c(x,y,t)是扩散传导函数。当c(x,y,t)的值为1时，非线性尺度空间就 转换为线性尺度空间；当c(x,y,t)为梯度的函数时，表示各向异性扩散。传导 函数的表达式如下公式(4)：
[0050][0051]
式中，是原图像l经过高斯平滑滤波(滤波尺度参数为σ)后的梯 度图像。g可以根据不同的处理需求进行定义。假如把图像亮度在不同尺度 上的变化过程看作能量在不同时间上的扩散,那么滤波尺度参数σ就是流动 时间t。流动时间越长，能量消耗越多、剩余越少；类似的,滤波尺度参数σ 的值越大,图像的表示形式就越简单。基于这一原理，非线性尺度空间的构 建过程如下：
[0052]
①
对每一幅模拟后的图像重复降采样，生成o组图像；
[0053]
②
对每组图像根据不同的滤波参数生成s层尺度图像。假设o和s分别 由参数o和s标识，则o和s与滤波尺度参数的映射关系如下公式(5)：
[0054][0055]
式中，σ0为尺度初始值、m＝o
×
s为整个尺度空间的滤波图像数量。由 于非线性扩散滤波模型作用在时间序列上，因此需要将像素为单位的滤波尺 度参数σ
i
转换至时间为单位的尺度参数t
i
：
[0056][0057]
③
利用加速显式扩散算法求解式(3)，可得到非线性尺度空间的滤波图 像，其表达式如下公式(7)：
[0058]
l
i+1
＝(i+(t
i+1-t
i
)a(l
i
))l
i i＝0,...,m-1
ꢀꢀꢀ
(7)，
[0059]
式中，i为单位矩阵；a(l
i
)为图像l在维度i上的传导矩阵。
[0060]
由上述一系列非线性尺度空间的滤波图像构成金字塔状的非线性尺度 空间。
[0061]
2)特征点定位；
[0062]
在构建的尺度空间中，将每一个像素点和当前层及相邻两层周围共26 个像素点进行比较，计算不同尺度归一化后的hessian值，若为极大值则为 特征点。hessian值的计算如下公式(8)：
[0063][0064]
式中，σ为尺度参数σ
i
的整数值，l
xx
，l
yy
分别是输入图像进行滤波后 的二阶微分，l
xy
是二阶交叉微分。在检测到特征点后，采用二阶泰勒展开精 确定位特征点的位置，如下公式(9)：
[0065][0066]
式中，x为特征点的位置坐标，特征点的亚像素级精确坐标为
[0067][0068]
(3)freak特征描述；
[0069]
freak算法采用类似视网膜细胞分布的圆形网格采样模式，通过采样 点对的强度比较构建二进制描述子。这种圆形网格采样模式具有采样点少和 分布固定的优点，因此该描述子构建过程的快速性具有明显优势。freak 算法的实现可划分为：1)采样模式的构建；2)特征点主方向的确定；3) freak描述子的构建，具体描述如下：
[0070]
1)采样模式的构建
[0071]
以检测到的akaze特征点为中心建立圆形网格采样模式，如图3所示。 图中圆形区域类似于视网膜结构中的感受域，不同感受域的重叠部分可以提 供更充分的信息，从而使freak描述子具有更强的独特性。图中的黑点为 采样点，采样点均匀分布在以特征点为圆心的同心圆上，由于该采样模式共 有七层同心圆，因此共有6
×
7+1个采样点，而且越靠近中心位置采样点的密 度越高。
[0072]
2)特征点主方向的确定
[0073]
为了降低噪声的影响，对采样模式中的像素点进行高斯模糊处理，高斯 函数的标准差取值为图3中圆圈的半径，然后由对称分布的采样点(如图4 中黑色线连接的采样点)计算局部梯度累加和，从而获得特征点的主方向。 具体实现如下：
[0074]
假设g是对称分布的采样点对集合，则局部梯度o的可由式(1)计算得 到如下公式(11)：
[0075][0076]
式中，m为采样点对的数量，为采样点的位置坐标，为 采样点的灰度值，为采样点之间的距离。那么，特征点的主方向θ可 由式(12)计算得到：
[0077]
θ＝arctan2(o
y
,o
x
)
ꢀꢀꢀ
(12)，
[0078]
3)freak描述子的构建
[0079]
首先，将采样区域旋转至特征点主方向，以保证freak描述子的旋转 不变性；然后，通过采样点对的灰度比较构建描述子f，构建公式如下公式 (13)：
[0080][0081]
式中，p
a
为一对添加了方向信息的采样点，n为freak描述子的维度， t(p
a
)为构建二进制描述子的准则，如下公式(14)：
[0082][0083]
式中，为p
a
中第一个采样点经过高斯平滑后的灰度值。freak采 样点虽然只有43个，但采样点对的数量可能达到几千个；而且，对于图像 匹配而言，细节信息对匹配效果的影响较小。因此，只用保留差异性最大的 维度。在此，通过贪婪法对冗余信息进行剔除，最终得到512维的freak 描述子。
[0084]
(4)匹配；
[0085]
由于freak描述子是由二进制字符串组成，因此在初始匹配阶段采用 汉明距离度量描述子之间的相似性。对于等长的字符串，汉明距离定义为将 一个字符串变为另一个字符串需要替换的字符个数，因此计算过程简单且能 够显著提升算法的匹配效率。为了进一步提高匹配的准确率，在精确匹配阶 段采用随机抽样一致性算法，剔除误匹配。图5是清代龙袍纹样图像存在模 糊、光照变化且视角变化高达85度时，本发明基于ia-faif算法的纹样提 取与匹配结果。
[0086]
本发明一种基于ia-faif的服装特征提取与匹配方法，提出了基于改进akaze-freak仿射不变特征的服装纹样的提取与匹配方法，该方法对大视 角变化下的服装纹样提取具有准确率高和快速性好的优点。