一种基于SIFT的图像配准方法、装置、系统及存储介质

一种基于sift的图像配准方法、装置、系统及存储介质
1.技术邻域
2.本发明涉及图像处理技术邻域，更具体的，涉及一种基于sift的图像配准方法、装置、系统及存储介质。


背景技术：

3.sift算法具有良好的稳定性，在基于特征的图像匹配算法中拥有十分广泛的应用，sift描述符对在原有算法的基础上提高了算法的图像尺度不变性和旋转不变性，且特征都具有较高的唯一性，能在不同视角、不同拍摄距离、不同仿射变换、不同光照条件下都保持很好的匹配鲁棒性。
4.但传统的sift算法仍然存在计算复杂程度高、匹配耗时较长、无法实时计算以及无法满足人们日益增长的对匹配精度的需求、抗噪性仍有待加强等缺陷，因此从降低算法的复杂程度、提高算法的运算速度、提高算法的匹配精度和抗噪性等方面对sift算法进行改进优化成为了当下主流的研究方向。
5.在现有理论的基础上针对sift算法中存在的计算复杂程度高、匹配耗时较长、无法实时计算等问题，拟提出一种改进的算法，通过减少需要匹配的特征点数量和需要匹配的区域以及描述符向量维度，提高匹配效率和算法的速度。并在现有理论的基础上针对sift算法中存在的精度较低、抗噪性仍有待加强等缺陷，提出相应的改进方案，使其更加贴合当今社会的需求。


技术实现要素：

6.为了解决上述技术问题，本发明提出了一种基于sift的图像配准方法、装置、系统及存储介质。
7.第一方面，本发明提供一种基于sift的图像配准方法，包括以下步骤：
8.获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
9.获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
10.计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
11.根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
12.进一步地，所述的获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，具体为：
13.对高斯差分尺度空间进行精简，去除高斯差分尺度空间中第一组的第一层级尺度空间，通过精简后的高斯差分尺度空间进行极值点的检测；
14.通过将待检测点与邻近像素点的位置与尺度信息进行比较，选取极值点，并获取极值点的对比度；
15.预设第一对比度阈值，将极值点的对比度与所述第一对比度阈值对比分析，将对比度大于第一对比度阈值的极值点作为待选特征点；
16.同时，预设第二对比度阈值，所述第二对比度阈值大于第一对比度阈值，将对比度大于第二对比度阈值的极值点继续保存为待选特征点；
17.获取所述待选特征点的hessian矩阵，去除不稳定的边缘响应点，根据所述待选特征点生成特征点集。
18.进一步地，为所述特征点生成特征描述符，具体为：
19.计算特征点集中特征点的尺度信息获取高斯平滑图像，获取特征点圆形邻域区域内高斯平滑图像的图像梯度的幅值及幅角；
20.通过直方图统计特征点邻域内像素的幅值和梯度方向，获取直方图的峰值作为特征点的主方向信息；
21.根据特征点的主方向信息将特征点邻域进行旋转，将特征点邻域划分为若干子区域，在各子区域中进行直方图统计生成特征向量，将所述特征向量进行降维获取特征描述符。
22.进一步地，所述的计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符，具体为：
23.获取特征点领域中各子区域的局部信息熵，预设局部信息熵阈值，将各子区域的局部信息熵与所述局部信息熵阈值进行对比判断；
24.若小于，则将对应子区域中的特征点舍弃，若大于，计算对应子区域的局部信息熵与整个尺度空间的信息熵总和的比值信息；
25.根据所述比值信息生成权重信息，将所述权重信息与特征描述符结合生成特征点的最终特征描述符。
26.进一步地，所述的根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准，具体为
27.根据特征点的最终特征描述符进行染色体编码表示特征点的特征向量，并初始化设置种群参数；
28.通过特征点间的欧式距离作为适应度函数，进行迭代训练，获取染色体的适应度信息，选择、交叉变异产生下一代染色体；
29.选取适应度信息最小的染色体进行解码获取匹配点的信息，同时根据ransac算法进行校正，消除误匹配点，进行待配准图像的图像配准。
30.第二方面，本发明提供一种基于sift的图像配准的装置，包括：
31.获取模块，用于获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
32.选取模块，用于获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
33.确定最终特征描述符模块，用于计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
34.图像配准模块，用于根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
35.第三方面，本发明提供一种基于sift的图像配准的系统，该系统包括：存储器、处理器，所述存储器中包括一种基于sift的图像配准方法程序，所述一种基于sift的图像配准方法程序被所述处理器执行时实现如下步骤：
36.获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
37.获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
38.计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
39.根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
40.进一步地，所述的获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，具体为：
41.对高斯差分尺度空间进行精简，去除高斯差分尺度空间中第一组的第一层级尺度空间，通过精简后的高斯差分尺度空间进行极值点的检测；
42.通过将待检测点与邻近像素点的位置与尺度信息进行比较，选取极值点，并获取极值点的对比度；
43.预设第一对比度阈值，将极值点的对比度与所述第一对比度阈值对比分析，将对比度大于第一对比度阈值的极值点作为待选特征点；
44.同时，预设第二对比度阈值，所述第二对比度阈值大于第一对比度阈值，将对比度大于第二对比度阈值的极值点继续保存为待选特征点；
45.获取所述待选特征点的hessian矩阵，去除不稳定的边缘响应点，根据所述待选特征点生成特征点集。
46.进一步地，所述的根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准，具体为
47.根据特征点的最终特征描述符进行染色体编码表示特征点的特征向量，并初始化设置种群参数；
48.通过特征点间的欧式距离作为适应度函数，进行迭代训练，获取染色体的适应度信息，选择、交叉变异产生下一代染色体；
49.选取适应度信息最小的染色体进行解码获取匹配点的信息，同时根据ransac算法进行校正，消除误匹配点，进行待配准图像的图像配准。
50.第四方面，本发明提供一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种基于sift的图像配准方法程序，所述一种基于sift的图像配准方法程序被处理器执行时，实现第一方面中任一项所述的一种基于sift的图像配准方法的步骤。
51.本发明公开了一种基于sift的图像配准方法、装置、系统及存储介质，包括：通过获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。本发明通过精简需要匹配的特征点数量和需要
匹配的区域，优化了匹配效率和算法的速度，提高了sift算法搜索效率及配准精度。
附图说明
52.图1示出了本发明一种基于sift的图像配准方法的流程图；
53.图2示出了本发明根据遗传算法优化特征点匹配方法的流程图；
54.图3示出了本发明根据遗传算法优化特征点匹配装置的结构示意图；
55.图4示出了本发明一种基于sift的图像配准系统的框图。
具体实施方式
56.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
57.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
58.请参阅图1，图1示出了本发明一种基于sift的图像配准方法的流程图。
59.如图1所示，本发明第一方面提供了一种基于sift的图像配准方法，包括：
60.s102，获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
61.s104，获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
62.s106，计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
63.s108，根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
64.需要说明的是，由于拍摄设备和环境等因素的影响，待配准图像通常质量不高，存在噪声等额外因素影响，在进行特征提取前先对参考图像和待配准图像通过灰度变换等滤波去噪方式进行预处理，为了提高检测的效率及准确度，将生成无用特征点最多的高斯差分尺度空间的第一组第一层跳过，对高斯差分尺度空间进行精简，去除高斯差分尺度空间中第一组的第一层级尺度空间，通过精简后的高斯差分尺度空间进行极值点的检测；通过将待检测点与邻近像素点的位置与尺度信息进行比较，选取极值点，并获取极值点的对比度；预设第一对比度阈值，将极值点的对比度与所述第一对比度阈值对比分析，将对比度大于第一对比度阈值的极值点作为待选特征点；同时，预设第二对比度阈值，所述第二对比度阈值大于第一对比度阈值，将对比度大于第二对比度阈值的极值点继续保存为待选特征点；获取所述待选特征点的hessian矩阵，去除不稳定的边缘响应点，根据所述待选特征点生成特征点集。
65.需要说明的是，为所述特征点生成特征描述符，具体为：计算特征点集中特征点的尺度信息获取高斯平滑图像，获取特征点圆形邻域区域内高斯平滑图像的图像梯度的幅值及幅角；通过直方图统计特征点邻域内像素的幅值和梯度方向，获取直方图的峰值作为特
征点的主方向信息；直方图的横轴是梯度方向角，纵轴是梯度方向角对应的梯度幅值累加，直方图将0-360度的范围分为36个柱，每10度一个柱；根据特征点的主方向信息将特征点邻域进行旋转，将特征点邻域划分为若干子区域，在各子区域中进行直方图统计生成特征向量，将所述特征向量进行降维获取特征描述符。
66.需要说明的是，所述的计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符，具体为：获取特征点领域中各子区域的局部信息熵，预设局部信息熵阈值，将各子区域的局部信息熵与所述局部信息熵阈值进行对比判断；若小于，则将对应子区域中的特征点舍弃，若大于，计算对应子区域的局部信息熵与整个尺度空间的信息熵总和的比值信息；根据所述比值信息生成权重信息，将所述权重信息与特征描述符结合生成特征点的最终特征描述符。通过局部信息熵来表征特征点邻域内像素灰度值分布的混乱程度，其中局部信息熵的计算公式为：
[0067][0068]
其中，si表示子区域的局部信息熵，pi表示特征点领域中与特征点像素值i相等的像素值的概率。
[0069]
可以理解为，本发明公开了一种基于sift的图像配准方法通过获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。本发明通过精简需要匹配的特征点数量和需要匹配的区域，优化了匹配效率和算法的速度，提高了sift算法搜索效率及配准精度。
[0070]
请参阅图2，图2示出了本发明根据遗传算法优化特征点匹配方法的流程图。
[0071]
根据本发明实施例，所述的根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准，具体为
[0072]
步骤s202，根据特征点的最终特征描述符进行染色体编码表示特征点的特征向量，并初始化设置种群参数；
[0073]
步骤s204，通过特征点间的欧式距离作为适应度函数，进行迭代训练，获取染色体的适应度信息，选择、交叉变异产生下一代染色体；
[0074]
步骤s206，选取适应度信息最小的染色体进行解码获取匹配点的信息，同时根据ransac算法进行校正，消除误匹配点，进行待配准图像的图像配准。
[0075]
需要说明的是，特征点的匹配通过欧氏距离计算相似性进行判断，选择某个特征点在待配准图像中进行搜索，获取欧氏距离符合预设条件的特征点，获取匹配点对，根据遗传算法优化特征点匹配，通过实体编码染色体长度表示特征点的特征向量，初始化参数，设置种群规模大小为20，最大迭代次数为200，根据特征点的欧氏距离计算公式作为适应度函数，计算种群中染色体的适应度，适应度适应度大的染色体被移除，并在迭代训练中染色体之间进行交叉杂交、变异，以至于快速找到最小欧式距离的特征点。
[0076]
请参阅图3，图3是本发明一个实施例中一种基于sift的图像配准的装置结构示意
图，如图3所示，基于sift的图像配准的装置3包括：
[0077]
获取模块301，用于获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
[0078]
选取模块302，用于获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
[0079]
确定最终特征描述符模块303，用于计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
[0080]
图像配准模块304，用于根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
[0081]
关于上述实施例中的基于sift的图像配准的装置，其中各个模块执行操作的具体方式已经在上述相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0082]
请参阅图4，图4示出了本发明一种基于sift的图像配准系统的框图。
[0083]
本发明第二方面还提供了一种基于sift的图像配准系统4，该系统包括：存储器401、处理器402，所述存储器中包括一种基于sift的图像配准方法程序，所述一种基于sift的图像配准方法程序被所述处理器执行时实现如下步骤：
[0084]
获取待配准图像及参考图像，将待配准图像进行预处理，构建高斯差分尺度空间；
[0085]
获取所述高斯差分尺度空间中不同尺度空间中的极值点，根据所述极值点选取特征点，并为所述特征点生成特征描述符；
[0086]
计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符；
[0087]
根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准。
[0088]
需要说明的是，由于拍摄设备和环境等因素的影响，待配准图像通常质量不高，存在噪声等额外因素影响，在进行特征提取前先对参考图像和待配准图像通过灰度变换等滤波去噪方式进行预处理，为了提高检测的效率及准确度，将生成无用特征点最多的高斯差分尺度空间的第一组第一层跳过，对高斯差分尺度空间进行精简，去除高斯差分尺度空间中第一组的第一层级尺度空间，通过精简后的高斯差分尺度空间进行极值点的检测；通过将待检测点与邻近像素点的位置与尺度信息进行比较，选取极值点，并获取极值点的对比度；预设第一对比度阈值，将极值点的对比度与所述第一对比度阈值对比分析，将对比度大于第一对比度阈值的极值点作为待选特征点；同时，预设第二对比度阈值，所述第二对比度阈值大于第一对比度阈值，将对比度大于第二对比度阈值的极值点继续保存为待选特征点；获取所述待选特征点的hessian矩阵，去除不稳定的边缘响应点，根据所述待选特征点生成特征点集。
[0089]
需要说明的是，为所述特征点生成特征描述符，具体为：计算特征点集中特征点的尺度信息获取高斯平滑图像，获取特征点圆形邻域区域内高斯平滑图像的图像梯度的幅值及幅角；通过直方图统计特征点邻域内像素的幅值和梯度方向，获取直方图的峰值作为特征点的主方向信息；直方图的横轴是梯度方向角，纵轴是梯度方向角对应的梯度幅值累加，直方图将0-360度的范围分为36个柱，每10度一个柱；根据特征点的主方向信息将特征点邻域进行旋转，将特征点邻域划分为若干子区域，在各子区域中进行直方图统计生成特征向
量，将所述特征向量进行降维获取特征描述符。
[0090]
需要说明的是，所述的计算特征点领域的局部信息熵，根据所述局部信息熵与特征描述符确定特征点的最终特征描述符，具体为：获取特征点领域中各子区域的局部信息熵，预设局部信息熵阈值，将各子区域的局部信息熵与所述局部信息熵阈值进行对比判断；若小于，则将对应子区域中的特征点舍弃，若大于，计算对应子区域的局部信息熵与整个尺度空间的信息熵总和的比值信息；根据所述比值信息生成权重信息，将所述权重信息与特征描述符结合生成特征点的最终特征描述符。通过局部信息熵来表征特征点邻域内像素灰度值分布的混乱程度，其中局部信息熵的计算公式为：
[0091][0092]
其中，si表示子区域的局部信息熵，pi表示特征点领域中与特征点像素值i相等的像素值的概率。
[0093]
根据本发明实施例，所述的根据遗传算法优化特征点匹配，生成匹配点对，并对匹配点对进行校正，完成待配准图像的图像配准，具体为
[0094]
根据特征点的最终特征描述符进行染色体编码表示特征点的特征向量，并初始化设置种群参数；
[0095]
通过特征点间的欧式距离作为适应度函数，进行迭代训练，获取染色体的适应度信息，选择、交叉变异产生下一代染色体；
[0096]
选取适应度信息最小的染色体进行解码获取匹配点的信息，同时根据ransac算法进行校正，消除误匹配点，进行待配准图像的图像配准。
[0097]
需要说明的是，特征点的匹配通过欧氏距离计算相似性进行判断，选择某个特征点在待配准图像中进行搜索，获取欧氏距离符合预设条件的特征点，获取匹配点对，根据遗传算法优化特征点匹配，通过实体编码染色体长度表示特征点的特征向量，初始化参数，设置种群规模大小为20，最大迭代次数为200，根据特征点的欧氏距离计算公式作为适应度函数，计算种群中染色体的适应度，适应度适应度大的染色体被移除，并在迭代训练中染色体之间进行交叉杂交、变异，以至于快速找到最小欧式距离的特征点。
[0098]
本发明第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于sift的图像配准方法程序，所述一种基于sift的图像配准方法程序被处理器执行时，实现如上述任一项所述的一种基于sift的图像配准方法的步骤。
[0099]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0100]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0101]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0102]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0103]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。