基于相似边缘特征提取与OFAST-BRISK算法的光学与SAR图像配准方法

本发明属于卫星遥感图像处理与应用的。

背景技术：

1、光学和合成孔径雷达(sar)传感器广泛应用于多模态遥感技术领域。光学传感器可以获得丰富的地物纹理信息和光谱信息，具有较好的地物识别和分类能力，但容易受到大气衰减和天气条件的影响。相比之下，sar传感器具有较强的穿透能力，无论天气条件如何，都能获得地物的后向散射信号。由于光学图像和sar图像各有优势，可以获得同一目标的不同特征，因此，光学图像和sar图像的高精度配准在多模态遥感应用中至关重要。然而，虽然可以获得同一场景下的光学图像和sar图像，但由于成像机制不同，两者之间存在显著的几何和非线性辐射差异，光学图像和sar图像的多模态图像配准仍然是一项具有挑战性的任务。

2、现有的图像配准技术可分为两大类:基于区域的配准方法和基于特征的配准方法(参见zeng l,du y,lin h,wang j,yin j and yang j.2021.a novel region basedimage registration method for multisource remote sensing images via cnn.ieeejournal of selected topics in applied earth observations and remote sensing,14:1821-1831)。前一种方法主要是基于预先建立的相似度度量和转换模型，根据图像灰度或相位等浅层信息计算图像的相似度，然后通过一些优化策略调整转换模型参数，使相似度度量达到理想阈值，最终实现高精度图像对齐。这些方法具有一定的鲁棒性，但配准效率低，耗时大。后者首先提取几何特征并进行匹配，利用几何特征的空间对应关系求解模型变换参数，实现图像的配准。这些传统算法的优点是特征点提取准确稳定，可以实现高效配准。然而，这些传统配准算法最初是针对光学图像设计的，当多模态图像的采集和空间分辨率存在差异时，无法获得令人满意的结果。为此，针对光学图像和sar图像提出了几种改进的配准算法，如基于改进的sift算法的光学与sar图像配准算法(os-sift)(参见xiang,y；wang,f；you,h os-sift:a robust sift-ike algorithm for high-resolution opticalto sar image registration in suburban areas[j].eee transactions on geoscienceand remote sensing.2018,56(6),3078--3090.)和定向相位一致性直方图(hopc)算法(参见rahmani h,mahmood a,huynh d,et al.histogram of oriented principalcomponents for cross-view action recognition[j].ieee transactions on patternanalysis&machine intelligence,2016:2430-2443.)。虽然这些改进的算法都能取得很好的图像配准效果，但仍然只利用了图像的底层特征，不能自动调整来提高精度，这也是传统算法的局限性。

3、随着深度神经网络技术的快速发展，基于深度学习的配准方法可以通过学习大量样本，提取图像的深层语义信息，构建图像之间复杂的空间映射关系，实现遥感图像的高效率。基于深度学习的配准算法分为基于区域的配准和基于特征的配准。在基于区域的配准方法中，鲁棒相似性度量的构建至关重要。yang等人利用dnn网络进行图像相似度估计，学习一个图像相似度测度以及图像斑块与变形参数之间的关系，实现图像配准(参见yang x,kwitt r,styner m,et al.fast predictive multimodal image registration:ieee,10.1109/isbi.2017.7950652[p].2017.)。li等人还将cnn网络嵌入到传统的基于区域的配准框架中，以提高转换模型的鲁棒性(参见li h,fan y.non-rigid image registrationusing self-supervised fully convolutional networks without training data:ieee,10.1109/isbi.2018.8363757[p].2018.)。此外，gan网络还可用于缩小光学图像与sar图像之间的差异，构建光谱信息的相似性，减少配准的难度，如deep learning withimproved harries(dih)(参见zhang,w.robust registration of sar and opticalimages based on deep learning and improved harris algorithm.sci rep 12,5901(2022).)。基于特征的配准方法深度学习一般包括以下两种策略:一是基于score map的特征点提取。通常使用cnn输出score map，然后提取score map局部响应值的最大值点作为特征点。比较有代表性的方法有description and detection net(d2-net)(参见dusmanu m,rocco i,pajdla t,et al.d2-net:a trainable cnn for joint detection anddescription of local features[j].arxiv,2019)。二是基于模糊匹配的特征点提取，将特征提取和匹配作为一个整体，模拟传统的相似度估计方法，提出了一种基于关联层的匹配策略。在应用该方法时，首先使用孪生神经网络生成两幅图像的特征图，然后通过计算特征图中每个点的相似度得到匹配点对(参见rocco i,rsivicj.convolutional neural network architecture for geometric matching[j].patternanalysis and machine intelligence,ieee transactions on,2018.)。

4、综上所述，基于传统特征的配准算法受到固定特征提取器的限制，只能作用于特定的数据，无法根据输入数据的不同进行动态调整。基于深度学习的配准方法可以提取图像的深层语义信息，学习图像之间复杂的空间映射关系。此外，由于深度学习可以提供负反馈，可以根据不同的输入数据调整网络参数，应用范围高于传统算法。虽然深度学习算法在一定程度上提高了配准的鲁棒性和实用性，但仍然容易受到图像噪声和低空间分辨率的影响。此外，还需要足够数量的高质量训练数据集和注释数据集。

技术实现思路

1、为了解决现有的光学图像与合成孔径雷达图像配准算法存在的配准精度不高、算法鲁棒性低的问题，本发明结合深度学习算法和传统特征算法的优势。提出了一种基于相似边缘特征提取与ofast-brisk算法的光学与sar图像配准方法，能够准确、高效的实现光学与sar图像之间的配准。

2、本发明采用的技术方案具体步骤如下：

3、步骤一、选取光学与sar图像对数据集作为深度学习网络的训练和验证数据，并随机选择数据集中六对图像进行平移和旋转变化来模拟真实的光学与sar图像配准场景。

4、步骤二、采用nlm滤波替换原始log检测算法中的高斯滤波得到一种改进的log边缘检测算法，对数据集中的sar图像的边缘提取，将边缘提取结果作为深度学习网络的共享边缘标签数据。

5、步骤三、将光学图像与共享边缘标签数据、sar图像与共享边缘标签数据分别放入到深度学习网络中进行训练，经过训练之后的深度学习网络可以提取光学与sar图像的相似性边缘特征；所述深度学习网络为改进的deeplabv3+深度学习网络，改进的deeplabv3+深度学习网络中以inception-resnet-v2作为编码器的骨干网络；

6、步骤四、在提取光学和sar图像相似性边缘特征的基础上，使用提出的ofast-brisk算法对光学与sar图像进行特征点提取和描述。

7、步骤五、提出一种改进的ransac算法对特征点进行匹配，完成图像的配准。

8、其中，步骤二边缘检测算法对数据集中的sar图像的边缘提取的具体过程如下：

9、1)使用nlm滤波器进行滤波得到的滤波图像即为i(i)，也可以用i(x,y)表示，具体步骤如下：假定一幅离散的噪声图像为f(x,y)，也可以表示为：f＝{f(i)∣i∈ω}，ω代表图像邻域，i为像素索引，对噪声图像进行nlm滤波处理后可归一化表达为：

10、

11、ωi表示中心像素为i、大小为q×q的搜索窗口；ω(i,j)代表赋予噪声图像的权值，ω(i,j)可表示为：

12、

13、

14、

15、其中h表示控制滤波平滑度的滤波系数，通常为噪声的标准差。n(i)和n(j)分别表示以像素i和像素j为中心点和窗口大小为p的图像块；d(i,j)表示n(i)和n(j)之间的欧氏加权距离。表示两个矩阵之间的卷积；gα为高斯矩阵。

16、2)利用拉普拉斯算子对经过滤波的图像i(x,y)进行二阶方向导数处理，得到的图像m(x,y)即为边缘提取的结果。

17、

18、选取数据集中的sar图像进行边缘提取作为深度学习网络的标签数据。

19、其中，步骤四ofast-brisk算法可以分为两部分：

20、1)采用ofast算法对光学和sar边缘图像进行特征点提取，特征点与质心的坐标构成矢量作为特征点的方向，确定特征点的总体方向θ；

21、fast特征点提取算法由于其计算速度快的特性被广泛应用，但是在设计时fast算法没有考虑方向特性，所以后来提出了有向fast(ofast)算法，利用灰色质心法得到特征点方向旋转邻域。该算法首先采用fast方法检测特征点，然后使用空间金字塔来生成多尺度的特征，最后采用密集质心算法给出特征点的总体方向。假设特征点有一个半径为r的质心，特征点与质心的坐标构成一个向量，作为特征点的方向。矩的定义如下:

22、

23、其中i(x,y)为图像(x,y)位置的灰度值。

24、因此，用这些矩确定图像局部邻域的质心:

25、

26、其中m00表示图像邻域窗口中所有像素的灰度和，m10和m01分别是关于x和关于y的一阶矩。特征点与质心的坐标构成矢量作为特征点的方向，确定特征点的总体方向为:

27、θ＝arctan(m01,m10)                                (8)

28、通过上述操作，ofast特征点具有鲁棒的尺度不变性和旋转不变性，对特征点的检测性能显著提高。

29、2)采用brisk算法提取二进制向量描述符；

30、采用ofast算法确定的主方向θ作为brisk算法提取的特征描述符的主方向，在特征点描述之前，将采样模式按照特征点确定的总体方向θ进行旋转，以保证特征描述符的旋转不变性。

31、根据特征点的尺度和方向，对特征点采样点所有的短距离对中两个点的灰度值进行比较，通过比较得到512位二进制向量描述符，使二进制向量描述符每个位b对应于:

32、

33、表示采样模板上各点旋转角度θ后采样点对(pi,pj)经过标准差为σ高斯滤波之后的平滑强度值。

34、短距离点对的子集s：

35、

36、所有采样点对的集合ω:

37、ω＝{(pi,pj)∈r2×r2∣i＜n，j＜i，(i,j)∈n}             (11)

38、阈值距离设为δmax＝9.75t，t为特征点的尺度。

39、步骤五改进后的ransac算法具体步骤如下:

40、(1)粗匹配

41、o＝{o1,...,on}、s＝{s1,...,sn}分别为从光学图像和sar图像中提取特征点。首先计算集合o中所有点与集合s中所有点之间的欧氏距离，并根据欧氏距离从小到大对所有匹配点对进行排序；从两个集合中随机选取四对相同位置的点。8个特征点可以形成同源矩阵，得到:

42、

43、其中，(x,y)和(x′,y′)分别为集合o和集合s中剩余的对应特征点，z为尺度参数。然后计算数据集中所有特征匹配点对的投影误差。如果数据的投影误差小于设置的阈值，则将对特征点分别放入集合o'和集合s'中。计算误差公式如下:

44、

45、反复随机选取四对特征点后，将特征点对最多的情况保留在集合中，记为集合o'max和s'max，定义为初始匹配集。虽然ransac算法滤除了原始集合中的一些不匹配点，但由于多模态图像之间存在较大差异，仍然存在一些不匹配点。因此，需要进一步去除初始匹配集中明显错误的对应关系，找到更多正确的匹配点。

46、(2)精准匹配

47、根据先验知识，正确匹配的特征点之间的直线斜率是相同的。因此，根据斜率的一致性对特征点进行了精准匹配。因此，o'max和s'max集合中两个候选点之间的斜率参数k计算为:

48、

49、然后o'max和s'max中所有的斜率值ki都可以计算出来，kmean是所有斜率值的平均数。在此基础上，选取区间[kmean-0.5,kmean+0.5]内具有斜率的点对，形成细化匹配集。最后，在这些正确对应的基础上，通过仿射变换完成图像配准。

50、本发明的有益效果：

51、本发明结合深度学习算法和传统特征匹配算法的优势，通过改进的深度学习算法deeplabv3+的训练，使得网络可以提取光学与sar图像的相似性信息。在相似性边缘特征的基础上，使用ofast-brisk配准算法提取图像的特征点进而配合改进的ransac算法实现了光学与sar图像的配准。本发明提出了改进的log算子，改进的deeplabv3+网络，ofast-brisk配准算法以及改进的ransac算法进一步提升了图像配准的准确度。本发明能够高效，准确的实现光学与sar图像的配准，配准的误差可以控制在一个像素以内，为光学与sar图像的协同应用提供了重要的技术支持。