一种基于自监督深度学习提取特征点的自然图像拼接方法与流程

本发明涉及图像处理领域，特别是一种基于自监督深度学习提取特征点的自然图像拼接方法。

背景技术：

1、图像拼接是一项重要的计算机视觉任务，旨在指将相同场景下多个不同角度、有重叠区域的图像建立为大视角的高分辨率无缝图像。在现有的图像拼接方法中，特征提取匹配是关键的一步。然而特征匹配在面对光照变化、遮挡、视角变化等复杂场景时往往表现不稳定，导致特征点提取和匹配的准确性无法保证。这使得拼接图像的质量和连续性受到影响，拼接边界处出现明显的伪影、拼接痕迹或者颜色不一致等问题，进而影响整体拼接的质量。另外变换估计误差、拼接接缝处理不自然、大规模图像数据的计算复杂度高以及缺乏实时性能也是图像拼接技术所存在的挑战。

2、因此，本发明提出一种基于自监督深度学习提取特征点的自然图像拼接方法，以解决现有方法存在的质量、效率和适用性等方面问题，从而进一步推动图像拼接技术在实际应用中的推广和发展。

技术实现思路

1、本发明的目的在于提出一种基于自监督深度学习提取特征点的自然图像拼接方法，解决了自然图像拼接过程中大视差场景拼接存在的形状或区域变形、伪影和拼接痕迹问题。

2、本发明的目的通过以下技术方案来实现一种基于自监督深度学习提取特征点的自然图像拼接方法，其特征在于：包括：

3、步骤1：获取第一原始图像和第二原始图像，第一原始图像和第二原始图像存在重叠区域，第一原始图像和第二原始图像来自同一场景下不同角度拍摄所得；

4、步骤2：对第一原始图像进行图像畸变校正和图像锐化得到，第一预处理图像；对第二原始图像进行图像畸变校正和图像锐化得到，第二预处理图像；

5、步骤3：分别对第一预处理图像和第二预处理图像进行特征点提取；

6、步骤4：基于提取得到的第一预处理图像的特征点对第一预处理图像进行目标检测，并利用非极大值算法筛选出第一预处理图像中每个目标的最佳目标边框，得到第一拼接图像；基于提取得到的第二预处理图像的特征点对第二预处理图像进行目标检测，并利用非极大值算法筛选出第二预处理图像中每个目标的最佳目标边框，得到第二拼接图像；

7、步骤5：对第一拼接图像和第二拼接图像的重叠区域内的最佳目标边框进行网格划分，基于网格中心点的坐标进行图像配准；将配准后的网格中心点的坐标的集合作为第一坐标集；

8、步骤6：基于预设的第一缩放比例和第一旋转角度，根据预设的能量函数对第一坐标集进行计算得到网格坐标集i，第一缩放比例为预设的第一拼接图像和第二拼接图像之间的相对放缩比例，第一旋转角度为预设的第一拼接图像和第二拼接图像之间的相对旋转角度；

9、步骤7：使用autostitch的束调整方法计算第一拼接图像和第二拼接图像之间的相对放缩比例，得到第二放缩比例；使用autostitch的束调整方法计算第一拼接图像和第二拼接图像之间的旋转角度，得到第二旋转角度；

10、基于第二缩放比例和第二旋转角度，根据所述能量函数对网格点集i进行计算得到网格坐标集ii；

11、步骤8：根据网格坐标集ii，对第一图像进行映射与像素融合完成图像拼接。

12、进一步地，所述步骤2包括：

13、步骤2.1：对第一原始图像进行的像素点坐标变换，得到第一校正图像；对第二原始图像的像素点进行坐标变换，得到第二校正图像；

14、坐标变换的公式为：

15、

16、式中：

17、p(xi，yi)为某个像素点坐标；

18、β1、β2是径向畸变参数；

19、p1、p2是偏心畸变系数；

20、x＝xi-x0,y＝yi-y0,m＝x2+y2；(x0,y0)是像素点的坐标，变换后的坐标p'(xi+δx,yi+δy)；

21、步骤2.2：将第一校正图像进行图像锐化处理，得到第一预处理图像；将第二校正图像进行图像锐化处理，得到第二预处理图像；

22、图像锐化处理的公式如下：

23、式中：f代表锐化算子，o(x,y)为第一预处理图像或第二预处理图像，i(x,y)为第一校正图像或第二校正图像。

24、进一步地，所述步骤3包括：

25、将第一预处理图像通过vgg风格解码器解码得到的图像i；

26、对图像i依次进行卷积、非线性激活函数和重置尺寸操作，得到图像i的特征点；

27、对图像i依次进行卷积、双三式多项式插值和l2归一化操作，得到图像i的特征点描述符；

28、将第二预处理图像通过vgg风格解码器解码得到的图像ii；

29、对图像ii依次进行卷积、非线性激活函数和重置尺寸操作，得到图像ii的特征点；

30、对图像ii依次进行卷积、双三式多项式插值和l2归一化操作，得到图像ii的特征点描述符。

31、进一步地，所述步骤4包括：基于提取得到的第一预处理图像的特征点对第一预处理图像进行目标检测，为每个目标生成候选框；

32、基于提取得到的第二预处理图像的特征点对第二预处理图像进行目标检测，为每个目标生成候选框；

33、若一个目标只有一个对应的候选框，则将该候选框作为该目标的最佳目标边框；

34、若一个目标存在多个对应的候选框，则利用非极大值抑制算法为该目标筛选出最佳目标边框；

35、在第一预处理图像上标注出每个目标的最佳候选框，得到第一拼接图像；

36、在第二预处理图像上标注出每个目标的最佳候选框，得到第二拼接图像。

37、进一步地，所述步骤4中，当一个目标存在多个对应的候选框时，利用非极大值抑制算法为该目标筛选出最佳目标边框，包括：

38、步骤4.1：对于多个对应的候选框，计算多个对应的候选框之间重叠区域内的不同的特征点的距离，使用欧式距离度量，欧氏距离公式如下：

39、

40、d：两个特征点的欧氏距离；

41、(x1,y1)和(x2,y2)分别代表两个特征点的坐标。

42、步骤4.2：根据两个特征点的欧氏距离使用非极大值抑制算法，选择具有最大得分的特征点；得分的计算公式为：

43、其中，scorenms是特征点的原始得分，d是当前特征点与周围特征点之间的距离，σ是控制邻域权重参数；

44、筛选每个重叠区域中最大得分的特征点，将每个重叠区域中最大得分点连接起来得到最佳目标边框。

45、进一步地，所述步骤6中能量函数的表达式如下所示：

46、

47、

48、其中，表示计算得到的坐标集，计算得到的坐标集为网格坐标集i或网格坐标集ii；

49、v表示待计算的坐标，待计算的坐标为第一坐标集或网格坐标集i；

50、ψa(v)表示对齐项；

51、ψl(v)表示局部相似项；

52、ψg(v)表示全局相似项；

53、进一步地，根据步骤5基于网格中心点的坐标进行图像配准，配准后得到第一拼接图像和第二拼接图像之间的匹配点，匹配点与网格中线点对应，定义mij是匹配点集合；所述步骤7包括：

54、步骤7.1：通过最小化投影误差获得第一拼接图像和第二拼接图像之间的3d旋转矩阵rij的初始矩阵，rij的初始矩阵的计算表达式如下：

55、

56、式中：kj为第一拼接图像和第二拼接图像之间的初始化焦距矩阵；ii为第一拼接图像；ij为第二拼接图像；为匹配点集合mij的一个匹配点；ki为相机参数矩阵；

57、步骤7.2：根据rij的初始化矩阵执行束调整得到第一拼接图像和第二拼接图像之间的焦距fi，计算第二放缩比例si，si为：si＝f0/fi；f0为相机拍摄焦距；

58、步骤7.3：基于最小线段失真旋转的能量函数计算得出第二旋转角度；

59、步骤7.4：将第二放缩比例和第二旋转角度代入步骤6中的能量函数，得出网格坐标集ii。

60、进一步地，所述步骤7.3包括：

61、基于最小线段失真旋转的能量函数对旋转角度进行评价，由最小线段失真旋转法确定第一拼接图像和第二拼接图像之间的相对旋转角度；

62、当emldr最小时，此时代入的φij为第一拼接图像和第二拼接图像之间的第二旋转角度，最小线段失真旋转的能量函数表示为：

63、

64、其中，φij为第一拼接图像和第二拼接图像之间的相对旋转角度；r(φij)是由φij确定的2d旋转矩阵；(ui,vi)是旋转角度θi的单位2d矢量表示；ii为第一拼接图像；ij为第二拼接图像；j为图像集合。

65、本发明具有以下优点：

66、(1)本发明提出一种基于自监督深度学习方法提取特征点，相比传统尺度不变特征转换方法提取到更丰富的特征点信息；

67、(2)本发明采用能量函数，此能量函数为每张图像添加全局相似度，使得每个图象的扭曲总体上都类似于相似变换，可有效减小失真；

68、(3)本发明对图像拼接的旋转选择问题，恰当地选择比例和旋转度；克服在重叠区域特征点检测信息少、特征点检测信息不准确带来的匹配错误导致重叠部分拼接产生重影的困难；