一种基于动态观测的跨视角地理视图定位方法

本发明涉及地理定位，尤其是涉及一种基于动态观测的跨视角地理视图定位方法。

背景技术：

1、视图地理定位是匹配不同视图的地理图像的任务，例如无人机视图和卫星视图图像。由于无人机的普及，无人机和卫星视图图像的交叉地理定位的相关应用吸引了大量关注，包括自动驾驶车辆、无人机导航、精准投递等。

2、最近在这一主题上取得了很大进展，包括利用地标建筑的环境信息以及不同视图之间的空间特征对齐的方法。一些方法提出了方环分割策略，以利用邻域上下文并应对无人机拍摄带来的旋转变化，也有方法提出透视投影变换和条件生成对抗网络实现不同视图间的转换，它将无人机视图合成卫星视图以缩小两个视图之间的差距，并充分利用上下文信息，还有些方法提出了一种基于变压器的结构和基于热力图分割模块将图像分为了建筑物和背景两部分来对齐空间特征。

3、在定位的过程中，周围环境的噪音会严重阻碍两种视角之间的上下文一致性，此外，天气、光照条件和相机色差等各种差异容易引起不同视角的域差异。因此，当前缺少一种地理视图定位方法，以解决现有地理视图定位方法定位精度不理想的问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于动态观测的跨视角地理视图定位方法，以解决或部分解决现有地理视图定位方法定位精度不理想的问题。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明的提供了一种基于动态观测的跨视角地理视图定位方法，包括如下步骤：

4、获取卫星图像数据，基于所述卫星图像数据，获取卫星图像的图像风格信息；

5、获取待定位的无人机图像数据，基于所述图像风格信息对所述无人机图像数据进行风格对齐处理，获取对齐后的图像信息；

6、将所述对齐后的图像信息及所述卫星图像数据输入预训练好的动态观察模型中，获取输出特征向量，基于所述输出特征向量实现地理视图定位，

7、其中，所述的动态观察模型包括：

8、图像分割网络，用于根据输入的卫星图像数据和对齐后的图像信息，获取对应的中心建筑图像信息和周围环境图像信息；

9、基于分层注意力的特征提取网络，用于对所述中心建筑图像信息和周围环境图像信息进行动态平衡并获取融合特征信息；

10、广义池化网络，用于基于所述融合特征信息，获取所述输出特征向量。

11、作为优选的技术方案，所述的图像风格信息的获取包括如下步骤：

12、以离线的方式计算每张卫星图像的颜色分布，通过对每张卫星图像对应的颜色分布取平均获取所述图像风格信息。

13、作为优选的技术方案，采用下式获取所述的颜色分布：

14、ec(x)＝hc(x)/sum(hc(x))

15、

16、m(x)＝[pr(x)，pg(x)，pb(x)]

17、式中，ec(x)、hc(x)和pc(x)分别为卫星图的颜色通道c的概率分布、直方图和累积分布，其中颜色通道c为红色、绿色、蓝色中的任一个，m(x)为所述颜色分布。

18、作为优选的技术方案，基于所述图像风格信息对所述无人机图像数据进行风格对齐处理，获取对齐后的图像信息采用下式实现：

19、i′＝m(i)＝[pr(ir)，pg(ig)，pb(ib)]

20、式中，i表示输入的无人机图像，i′表示映射输出，ir、ig、ib分别表示无人机图像在红色、绿色和蓝色通道上的图像。

21、作为优选的技术方案，所述的融合特征信息的获取包括如下步骤：

22、基于所述中心建筑图像信息，通过在通道维度上进行最大值操作获取第一注意力图；

23、基于所述中心建筑图像信息和周围环境图像信息，通过在通道维度上进行均值操作获取第二注意力图；

24、基于所述第一注意力图和所述第二注意力图，获取所述融合特征信息。

25、作为优选的技术方案，所述的输出特征向量通过下式获取：

26、

27、式中，fk，k∈(1，2，..，k)表示通道k的广义池化层的输出特征，fk是所述特征提取网络的通道k的输出特征，θ是fk上每个位置的特征，fgem是所述输出特征向量，p为超参数。

28、作为优选的技术方案，所述的动态观察模型还包括分类网络，用于在训练过程中基于对齐后的图像信息对应的输出特征向量及卫星图像数据对应的输出特征向量计算损失函数值，在损失函数值达到预设收敛条件后，获得所述预训练好的动态观察模型。

29、作为优选的技术方案，所述的损失函数值的获取包括如下步骤：

30、基于对齐后的图像信息对应的输出特征向量及卫星图像数据对应的输出特征向量，通过连接并归一化获取拼接后的向量，计算中心损失；

31、基于拼接后的向量，通过标签预测获取交叉熵损失和解构损失；

32、基于所述中心损失、交叉熵损失和解构损失，获取所述损失函数值。

33、作为优选的技术方案，所述的解构损失采用下式获取：

34、

35、式中，s是预测结果的协方差矩阵，sij是s的第i行第j列元素，λ用于控制非对角元素的贡献。

36、作为优选的技术方案，所述的中心建筑图像信息呈矩形，所述周围环境图像信息呈环形。

37、与现有技术相比，本发明具有以下优点：

38、(1)在特征提取之前，通过采用风格对齐策略将两个域中图像的视觉风格归一化，减轻周围环境的噪音，保证两种视角之间的上下文一致性，提供了动态观察模型，以人类的方式实现进行特征提取，以新颖的方式进行分割图像，用轻量化的结构设计分层注意力模块模拟人类观察方式，通过设置图像分割网络，降低由于无人机视图图像中的高度和角度变化而将周围环境分割成不同部分的可能性，采用注意力机制对中心建筑图像和周围环境图像进行动态平衡，引入了广义平均池化来捕获两个方形环分区的鉴别性特征，从而有效提高了识别准确性，解决或部分解决现有地理视图定位方法定位精度不理想的问题。

39、(2)提供了一种解构损失函数，以减少地理标签特征的相关性，并充分利用分类器的输出向量进行监督，有效加快了模型训练效率。

技术特征：

1.一种基于动态观测的跨视角地理视图定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的图像风格信息的获取包括如下步骤：

3.根据权利要求2所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，采用下式获取所述的颜色分布：

4.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，基于所述图像风格信息对所述无人机图像数据进行风格对齐处理，获取对齐后的图像信息采用下式实现：

5.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的融合特征信息的获取包括如下步骤：

6.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的输出特征向量通过下式获取：

7.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的动态观察模型还包括分类网络，用于在训练过程中基于对齐后的图像信息对应的输出特征向量及卫星图像数据对应的输出特征向量计算损失函数值，在损失函数值达到预设收敛条件后，获得所述预训练好的动态观察模型。

8.根据权利要求7所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的损失函数值的获取包括如下步骤：

9.根据权利要求8所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的解构损失采用下式获取：

10.根据权利要求1所述的一种基于动态观测的跨视角地理视图定位方法，其特征在于，所述的中心建筑图像信息呈矩形，所述周围环境图像信息呈环形。

技术总结
本发明涉及一种基于动态观测的跨视角地理视图定位方法，包括：获取卫星图像数据，基于卫星图像数据，获取卫星图像的图像风格信息；获取待定位的无人机图像数据，基于所述图像风格信息对所述无人机图像数据进行风格对齐处理，获取对齐后的图像信息；将所述对齐后的图像信息及所述卫星图像数据输入预训练好的动态观察模型中，获取输出特征向量，基于所述输出特征向量实现地理视图定位。与现有技术相比，本发明通过采用风格对齐策略将两个域中图像的视觉风格归一化，减轻周围环境的噪音，保证两种视角之间的上下文一致性，同时方形环分割策略可降低由于无人机视图图像中的高度和角度变化而将周围环境分割成不同部分的可能性，有效提高定位准确性。

技术研发人员：邵洁,姜凌昊,崔昊杨,蒋伟,李嘉文
受保护的技术使用者：上海电力大学
技术研发日：
技术公布日：2024/1/12