基于模板匹配的图像处理方法、装置、设备及介质与流程

1.本技术涉及图像处理领域，具体涉及一种基于模板匹配的图像处理方法、装置、电子设备以及存储介质。


背景技术：

2.在工业场景中，视觉模板定位通常采用模板匹配方法来实现，模板匹配方法主要包含模板生成和匹配定位两部分，在模板匹配过程基于模板匹配算法实现，模板匹配算法由于其实时性能好、能够适应尺度大小与旋转角度变化等特点，在视觉目标识别、工件定位抓取、对位贴合等场景中被广泛应用。
3.通常，模板匹配方法主要分为边缘点几何匹配、特征点描述子匹配、灰度图像相关模板匹配方法。边缘点几何匹配涉及到图像边缘点提取，而光照不均或者目标成像对比度较低的情况下，容易影响到提取目标边缘点的完整性，且相比于目标特征点的稀疏性，边缘点数量较多，存在冗余性，导致匹配计算量增加；特征描述子匹配方法中涉及到特征点提取、描述子计算生成、匹配，当目标成像对比度较低或者噪声较大时，计算量较大且容易误匹配；灰度图像相关运算模板匹配方法则在目标出现旋转的情况下定位精度较差，且运算量较大。
4.因此，提供一种精度较高且受环境影响较低的模板匹配方法，为亟需解决的技术问题。


技术实现要素：

5.本技术的目的是提供一种基于模板匹配的图像处理方法、装置、电子设备以及存储介质，以能够较为完整提取图像的目标特征点，提升模板匹配定位的可靠性。
6.本技术第一方面提供一种基于模板匹配的图像处理方法，包括：
7.获取目标对象的模板图像及待匹配图像；
8.对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取，得到所述模板图像和待匹配图像对应的特征图；
9.分别提取所述模板图像和待匹配图像对应的特征图中的角点，并构建角点的尺度不变特征变换sift描述符；
10.根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度；其中，每个所述匹配点对包括一个模板图像对应的角点和一个待匹配图像对应的角点；
11.根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置。
12.根据本技术的一些实施方式中，所述根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度，包括：
13.计算所述模板图像和待匹配图像对应的角点的sift描述符之间的欧式距离，选择欧式距离最小的角点作为匹配点，得到目标对象的初始匹配点对；
14.利用随机抽样一致方法剔除所述初始匹配点对中的误匹配点对，得到目标对象的匹配点对，并根据所述目标对象的匹配点对确定出匹配角度。
15.根据本技术的一些实施方式中，所述根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置，包括：
16.以所述目标对象的匹配点对中待匹配图像对应的角点为位置参考点，在待匹配图像上确定粗定位区域图像，所述粗定位区域图像的区域范围大于所述模板图像的区域范围；
17.以所述模板图像中心点为原点对所述模板图像逆时针旋转所述匹配角度，得到旋转校正图像；
18.以所述旋转校正图像为基准，按照归一化互相关ncc方法对所述粗定位区域图像进行匹配处理，确定所述目标对象的匹配位置。
19.根据本技术的一些实施方式中，所述对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取之前，还包括：
20.对所述模板图像和待匹配图像分别进行高斯滤波预处理。
21.根据本技术的一些实施方式中，所述分别提取所述模板图像和待匹配图像对应的特征图中的角点，包括：
22.分别对所述模板图像和待匹配图像对应的特征图进行非极大值抑制，得到特征图中的角点。
23.本技术第二方面提供一种基于模板匹配的图像处理装置，包括：
24.获取模块，用于获取目标对象的模板图像及待匹配图像；
25.特征提取模块，用于对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取，得到所述模板图像和待匹配图像对应的特征图；
26.构建模块，用于分别提取所述模板图像和待匹配图像对应的特征图中的角点，并构建角点的尺度不变特征变换sift描述符；
27.匹配模块，用于根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度；其中，每个所述匹配点对包括一个模板图像对应的角点和一个待匹配图像对应的角点；
28.确定模块，用于根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置。
29.根据本技术的一些实施方式中，所述匹配模块，具体用于：
30.计算所述模板图像和待匹配图像对应的角点的sift描述符之间的欧式距离，选择欧式距离最小的角点作为匹配点，得到目标对象的初始匹配点对；
31.利用随机抽样一致方法剔除所述初始匹配点对中的误匹配点对，得到目标对象的匹配点对，并根据所述目标对象的匹配点对确定出匹配角度。
32.根据本技术的一些实施方式中，所述确定模块，具体用于：
33.以所述目标对象的匹配点对中待匹配图像对应的角点为位置参考点，在待匹配图像上确定粗定位区域图像，所述粗定位区域图像的区域范围大于所述模板图像的区域范围；
34.以所述模板图像中心点为原点对所述模板图像逆时针旋转所述匹配角度，得到旋
转校正图像；
35.以所述旋转校正图像为基准，按照归一化互相关ncc方法对所述粗定位区域图像进行匹配处理，确定所述目标对象的匹配位置。
36.根据本技术的一些实施方式中，所述装置还包括：
37.预处理模块，用于在所述特征提取模块对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取之前，对所述模板图像和待匹配图像分别进行高斯滤波预处理。
38.根据本技术的一些实施方式中，所述构建模块，具体用于：
39.分别对所述模板图像和待匹配图像对应的特征图进行非极大值抑制，得到特征图中的角点。
40.本技术第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本技术第一方面所述的方法。
41.本技术第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本技术第一方面所述的方法。
42.相较于现有技术，本技术提供的基于模板匹配的图像处理方法、装置、电子设备及存储介质，获取目标对象的模板图像及待匹配图像；对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取，得到所述模板图像和待匹配图像对应的特征图；分别提取所述模板图像和待匹配图像对应的特征图中的角点，并构建角点的尺度不变特征变换sift描述符；根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度；根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置。相较于现有技术，通过本方案，能够较为完整提取图像的目标特征点，提升模板匹配定位的可靠性。
附图说明
43.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
44.图1示出了本技术提供的一种基于模板匹配的图像处理方法的流程图；
45.图2示出了本技术提供的步骤s105的流程图；
46.图3示出了本技术提供的一种基于模板匹配的图像处理装置的示意图。
具体实施方式
47.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
48.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。
49.另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此
外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.现有基于特征描述符的模板匹配方法一方面存在特征点提取方法在噪声较强、光照不均匀的场景下容易受干扰，另一方面特征描述符匹配方法在定位精度方面存在不足。
51.有鉴于此，本技术实施例提供一种基于模板匹配的图像处理方法及装置、一种电子设备以及计算机可读存储介质，下面结合附图进行说明。
52.请参考图1，其示出了本技术的一些实施方式所提供的一种基于模板匹配的图像处理方法的流程图，如图1所示，该基于模板匹配的图像处理方法，可以包括以下步骤：
53.步骤s101：获取目标对象的模板图像及待匹配图像；
54.具体的，模板图像的获取，可以使用工业相机并配合光源对目标对象进行采图，并截取合格的目标对象区域图像作为模板图像。
55.步骤s102：对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取，得到所述模板图像和待匹配图像对应的特征图；
56.具体的，对模板图像进行相位一致性特征提取，得到相位一致性特征信息对应的最小矩，即相位一致性最小矩，以相位一致性最小矩构建模板图像的特征图。
57.同理，对待匹配图像进行相位一致性特征提取，得到相位一致性特征信息对应的最小矩，以相位一致性最小矩构建待匹配图像的特征图。
58.相位一致性特征提取方法为现有技术，本技术在此不做赘述。
59.在一种可能实现方式中，在步骤s102之前，上述方法中还可以包括步骤：对所述模板图像和待匹配图像分别进行高斯滤波预处理。
60.具体的，首先对模板图像进行高斯滤波预处理，再进行相位一致性特征提取，得到相位一致性特征信息对应的最小矩，以相位一致性最小矩构建模板图像的特征图。
61.同理，首先对待匹配图像进行高斯滤波预处理，再进行相位一致性特征提取，得到相位一致性特征信息对应的最小矩，以相位一致性最小矩构建待匹配图像的特征图。
62.步骤s103：分别提取所述模板图像和待匹配图像对应的特征图中的角点，并构建角点的尺度不变特征变换(scale invariant feature transform，sift)描述符；
63.具体的，可以通过对所述模板图像对应的特征图进行非极大值抑制，得到模板图像特征图中的角点。角点是指极值特征点，即非极大值抑制得到的关键点。进一步的，以角点为中心计算构建sift描述符，得到模板图像各角点的sift描述符作为粗定位模板，原始的模板图像作为精定位模板。
64.同理，可以通过对待匹配图像对应的特征图进行非极大值抑制，得到待匹配图像特征图中的角点。进一步的，以角点为中心计算构建sift描述符，得到待匹配图像各角点的sift描述符。
65.步骤s104：根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度；
66.其中，每个所述匹配点对包括一个模板图像对应的角点和一个待匹配图像对应的角点。
67.具体的，步骤s104包括：计算所述模板图像和待匹配图像对应的角点的sift描述符之间的欧式距离，选择欧式距离最小的角点作为匹配点，得到目标对象的初始匹配点对；利用随机抽样一致方法(random sample consensus，简称ransac算法)剔除所述初始匹配点对中的误匹配点对，得到目标对象的匹配点对，并根据所述目标对象的匹配点对确定出匹配角度。
68.ransac算法是现有技术，本技术不做赘述。匹配角度是根据ransac算法得到的。
69.具体的，在模板图像sift描述符与待匹配图像sift描述符的基础上，以两者sift描述符向量之间的欧式距离作为相似性测度，两点在匹配时选择欧式距离最小的点作为匹配点，得到匹配点对后利用ransac算法剔除误匹配点对，最后输出最小距离匹配点对及相应的匹配角度，例如角度a。
70.上述过程可以看作是基于模板图像sift描述符的粗定位过程，得到了目标对象在待匹配图像中的粗定位，下面通过步骤s105进行目标对象在待匹配图像中的精定位。
71.步骤s105：根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置。
72.具体的，如图2所示，步骤s105包括以下步骤：
73.s201、以所述目标对象的匹配点对中待匹配图像对应的角点为位置参考点，在待匹配图像上确定粗定位区域图像，所述粗定位区域图像的区域范围大于所述模板图像的区域范围；例如，在待匹配图像上将模板图像1.5倍大小的区域范围作为粗定位区域图像，当然还可以是其它大小的区域范围，本技术不做限定。
74.s202、以所述模板图像中心点为原点对所述模板图像逆时针旋转所述匹配角度，得到旋转校正图像；例如，以模板图像中心点为原点对模板图像逆时针旋转上述角度a，得到旋转校正图像。
75.s203、以所述旋转校正图像为基准，按照归一化互相关方法(normalized cross correlation，简称ncc算法)对所述粗定位区域图像进行匹配处理，确定所述目标对象的匹配位置。ncc算法是一种基于灰度的图像匹配算法，为现有技术，本技术不做赘述。
76.具体的，本技术中以对模板图像旋转校正后的旋转校正图像为基准，在粗定位区域图像内进行ncc算法相关运算，根据相关运算结果确定目标对象在待匹配图像中的最终匹配位置。
77.本技术实施例提供的基于模板匹配的图像处理方法，模板生成阶段，提取模板图像相位一致性特征角点构建sift描述符作为粗定位模板，模板图像对应的灰度图像作为精定位模板；匹配定位阶段，对待匹配图像进行相位一致性特征角点提取，根据提取得到的角点构建sift描述符，然后进行ransac匹配搜索，输出目标对象的粗定位位置及匹配角度；在sift描述符匹配定位结果的基础上，对模板图像进行旋转校正，然后对粗定位区域图像进行灰度相关运算(ncc)，并根据相关运算结果确定目标对象的最终位置。
78.相较于现有技术，相位一致性方法对局部光照不均适应性较强，该方法在光照不均匀或图像对比度较弱的情况下均能够较为完整提取图像的目标特征点，提升sift描述符匹配定位的可靠性，同时根据匹配角度对模板图像进行旋转校正，降低ncc相关匹配的运算量，利用相关运算匹配精度较高的特点进行精定位，达到提高模板匹配定位精度的目的。
79.在上述的实施例中，提供了一种基于模板匹配的图像处理方法，与之相对应的，本
申请还提供一种基于模板匹配的图像处理装置，该基于模板匹配的图像处理装置可以通过软件、硬件或软硬结合的方式来实现。例如，该基于模板匹配的图像处理装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图3，其示出了本技术的一些实施方式所提供的一种基于模板匹配的图像处理装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
80.如图3所示，所述基于模板匹配的图像处理装置10，可以包括：
81.获取模块101，用于获取目标对象的模板图像及待匹配图像；
82.特征提取模块102，用于对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取，得到所述模板图像和待匹配图像对应的特征图；
83.构建模块103，用于分别提取所述模板图像和待匹配图像对应的特征图中的角点，并构建角点的尺度不变特征变换sift描述符；
84.匹配模块104，用于根据所述模板图像和待匹配图像对应的角点的sift描述符进行角点匹配，得到目标对象的匹配点对和匹配角度；其中，每个所述匹配点对包括一个模板图像对应的角点和一个待匹配图像对应的角点；
85.确定模块105，用于根据所述目标对象的匹配点对和匹配角度确定所述目标对象的匹配位置。
86.根据本技术的一些实施方式中，所述匹配模块104，具体用于：
87.计算所述模板图像和待匹配图像对应的角点的sift描述符之间的欧式距离，选择欧式距离最小的角点作为匹配点，得到目标对象的初始匹配点对；
88.利用随机抽样一致方法剔除所述初始匹配点对中的误匹配点对，得到目标对象的匹配点对，并根据所述目标对象的匹配点对确定出匹配角度。
89.根据本技术的一些实施方式中，所述确定模块105，具体用于：
90.以所述目标对象的匹配点对中待匹配图像对应的角点为位置参考点，在待匹配图像上确定粗定位区域图像，所述粗定位区域图像的区域范围大于所述模板图像的区域范围；
91.以所述模板图像中心点为原点对所述模板图像逆时针旋转所述匹配角度，得到旋转校正图像；
92.以所述旋转校正图像为基准，按照归一化互相关ncc方法对所述粗定位区域图像进行匹配处理，确定所述目标对象的匹配位置。
93.根据本技术的一些实施方式中，所述装置还包括：
94.预处理模块，用于在所述特征提取模块对所述模板图像和待匹配图像分别进行相位一致性最小矩信息提取之前，对所述模板图像和待匹配图像分别进行高斯滤波预处理。
95.根据本技术的一些实施方式中，所述构建模块103，具体用于：
96.分别对所述模板图像和待匹配图像对应的特征图进行非极大值抑制，得到特征图中的角点。
97.本技术实施例提供的基于模板匹配的图像处理装置，与本技术实施例提供的基于模板匹配的图像处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
98.本技术实施方式还提供一种与前述实施方式所提供的基于模板匹配的图像处理方法对应的电子设备，所述电子设备可以是手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述基于模板匹配的图像处理方法。
99.本技术实施例提供的电子设备与本技术实施例提供的基于模板匹配的图像处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
100.本技术实施方式还提供一种与前述实施方式所提供的基于模板匹配的图像处理方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于模板匹配的图像处理方法。
101.需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
102.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的基于模板匹配的图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
103.需要说明的是，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
104.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，其均应涵盖在本技术的权利要求和说明书的范围当中。