一种基于场景语义图的山区图像地理定位方法和系统

本发明属于图像地理定位领域，是一种结合山区场景语义图建模和近似图编辑距离匹配的山区图像地理定位方法和系统。

背景技术：

1、图像地理定位任务是给定一张无地理位置标签的图像，识别并定位其拍摄位置。山区图像地理定位是图像地理定位中重要的一个分支，在山区搜救、旅游开发、反恐维稳等方面都有重要的应用前景。目前已经有一些山区图像地理定位的研究，但是山区图像地理定位还面临一些问题：山区图像数量较少，难以覆盖到大部分山地区域，无法使用现有的图像来构建山区图像数据库；山地区域场景图像往往只包含山体、天空、植被等弱纹理目标，难以实现基于局部纹理特征的图像匹配，同时语义信息、关系信息等未被有效利用。这些问题对山区图像定位带来了一定的困难。所以探究基于场景语义图的山区图像地理定位，有效利用上述的语义和关系信息来构建检索数据库并进行山区图像匹配定位为山区图像地理定位提供另外一种思路具有重要的研究意义。

技术实现思路

1、本发明针对现有技术的不足，提供一种基于场景语义图的山区图像地理定位方法，本发明通过对渲染的深度图像提取几何特征，综合山区语义信息与关系信息，建立山区场景语义图检索数据库，然后利用近似图编辑距离算法进行图匹配，得到山区图像地理定位结果。

2、为了达到上述目的，本发明提供的技术方案是：一种基于场景语义图的山区图像地理定位方法，包括如下步骤：

3、步骤1，基于数字高程数据的对山地区域场景图片的深度图像进行渲染，获得参考图像库；

4、步骤2，对参考图像库中的图像进行山体几何特征特征提取；

5、步骤3，山区场景语义图建模；

6、语义图基于无向图结构，基于上述山区图像山体几何特征提取所得每一张图像的所有山体多边形及其之间的关系建模为图g(v，e)，图g由顶点集合v和边集合e构成，每座山体多边形构成一个顶点，山体多边形和多边形之间的关系构成边，并且分别为顶点和边设计相应的属性特征，以便进行图与图之间的编辑距离计算；

7、步骤4，基于近似图编辑距离的算法来计算两个语义图的编辑距离，计算将查询图g1转化为匹配图g2的编辑路径，输出编辑路径和路径的编辑距离，编辑距离结果越小表示两个图之间越相似，当距离在一定的误差范围之内，认为定位成功。

8、进一步的，步骤1的具体实现方式如下；

9、首先利用osg工具集，将dem数据的高程信息转换为具有lod三角网模型；

10、利用构建好的lod三角网模型，模拟真实场景图片的生成过程，制作深度渲染图片，深度渲染图片中，每个像素表示该像素对应的真实位置处距离拍摄位置的距离，因为图像记录真实深度范围有限，将获取的是深度归一化值，最远处的值为1，最近处的值为0。

11、进一步的，步骤2的具体实现方式如下；

12、山体几何特征包括7项，前六项属于基本特征，第七项属于矩特征；

13、①面积和周长

14、面积表示多边形的像素大小，周长是多边形边界上的像素长度；

15、②边界描述

16、用链码描述边界，链码是一种通过对八邻域边界方向进行编码表示边界；

17、③外接矩形和凸包

18、外接矩形完全包围多边形，凸包是一个满足多边形全部落在其内的凸多边形，且面积最小，使用graham法求解；

19、④偏心率和伸长率

20、多边形的偏心率和伸长率和其长轴和短轴相关，长轴是多边形内可以容纳的最长线段，短轴是垂直于长轴的最长线段，偏心率是多边形短轴和长轴的比率；伸长率是外接矩形的宽度和长度的比值；

21、⑤圆形性

22、多边形的圆形性表示近似圆形的程度，包括：紧凑度、球度、凸度；

23、⑥形状变化程度

24、形状变化程度表示多边形和标准形状的差异，计算过程：计算多边形上的每一个点到等面积圆形边界的距离，计算所有距离的平方和然后除以点的数量，得到距离的均方误差，即为山体多边形的形状变化程度；

25、⑦矩特征

26、hu矩用来系统性地描述多边形的特征，hu矩构造了7个不变性特征量，当多边形只进行任意平移、任意缩放以及任意旋转操作，hu矩保持不变；

27、由于上述7个不变性特征量因为量纲不一致，范围变化大，不能直接用于计算多边形之间的形状差异，所以对每个特征值先进行log变换：

28、hi＝-sign(hi)log(|hi|)

29、其中sign是符号函数，如果hi大于0则为1，小于0则为-1。

30、进一步的，步骤3的具体实现方式如下；

31、(1)场景语义图顶点构建

32、顶点构建是将图像中的山体多边形以及场景信息建模为图g中的顶点，图g中的顶点使用v＝{v1，v2…,vn}表示由山体多边形形成的顶点集合，n为图像中山体的数量，每个山体多边形构成一个顶点v，每个顶点的特征包含山体多边形的边界、位置、面积、主轴角度以及hu矩特征；

33、(2)场景语义图边构建

34、边构建是将图像中的山体多边形之间的关系建模为语义图的边，顶点两两之间构成一条边，边使用e＝{e11,e12...,eij...,enn}表示，其中eij表示连接顶点vi和vj的边，两两顶点构建一条边，所以边的数量为顶点之间的相对关系作为边的属性，边的属性包括：长度、角度。

35、进一步的，步骤4中基于近似图编辑距离进行山区图像定位的具体实现方式如下；

36、近似图编辑距离算法基于有序树，在构建新节点时根据二分图匹配算法进行编辑路径求解，求解过程为：设查询图g1和匹配图g2分别有n和m个顶点，所有的n+m个顶点看做一个新图gnew中的点，对于顶点，构建一个(n+m)×(n+m)编辑距离矩阵，对于g1和g2中的边也进行这样的操作；对于(n+m)×(n+m)的编辑距离矩阵使用二分图匹配算法寻找最优的顶点编辑，再根据顶点最优编辑确定相关联的边的编辑；

37、首先分别构建顶点和边的编辑距离矩阵cv和ce，μ表示顶点属性，ζ表示边属性，定义两个基本图g1＝(v1，e1，μ1，ζ1)和g2＝(v2，e2，μ2，ζ2)；v1＝(u1,…un)，v2＝(v1,…vm)；v1和v2分别表示查询图g1和匹配图g2的顶点集合，e1和e2分别表示查询图g1和匹配图g2的边集合，cv表示新图的顶点编辑距离矩阵，矩阵维度是(x+y)×(x+y)，其中x＝n，y＝m；ce表示新图的边编辑距离矩阵，矩阵维度为(x’+y’)×(x’+y’)，其中cv与ce的构建原理如下：

38、

39、定义中间变量集合ε，可以将点回收至ε，或从ε中取点插入图中，使用(v→ε)表示删除一个顶点，(ε→v)表示插入一个顶点；因此上图中，cij表示g1第i个顶点替换为g2第j个顶点(ui→vj)距离，ciε表示g1第i个顶点删除(ui→ε)距离，cεj表示g2第j个顶点插入(vj→ε)距离；右下角(m×n)部分矩阵表示(ε→ε)，所以全为0，∞符号所在位置表示无效编辑操作；

40、接下来进行有序树的构建和探索，有序树的构建和探索按照深度优先顺序，这种顺序下节点p比其子节点children(p)先访问，然后再回溯访问有序树的其他路径，有序树的根节点为r，满足已匹配顶点集已匹配边集待匹配顶点集pending-vertices1,2(r)＝v1∪v2，pending-edges1,2(r)＝e1∪e2，已编辑距离g(r)＝∞，未编辑距离lb(r)＝∞，初始化open集合包含有序树的节点，即部分编辑路径集合；

41、将根节点r添加至open集合，然后构建有序树下一个节点，构建的准则是：对g1的顶点集合v1进行排序，每次从最有潜力的顶点及其编辑操作开始构建有序树的下一个节点；顶点排序过程是：找到一个二分图之间代价最小的顶点编辑路径，然后将行坐标最小的编辑操作所在的顶点作为最有潜力的顶点，这样就得到r节点的所有子节点children(r)，然后将children(r)添加至open集合，对open集合中所有的有序树节点即部分编辑路径计算代价值g(p)+lb(p)，找到使之最小的pmin，如果pmin是一条完整的编辑路径，那么就返回结果，如果pmin为空，那么就回溯遍历当前节点父节点的其它子节点。

42、进一步的，编辑操作包括替换、插入和删除，操作对象包括顶点和边。

43、进一步的，多边形主轴角度获取方式的计算公式为：

44、

45、μ20、μ02和μ11均为二阶hu矩所构造的特征量。

46、本发明提供一种基于场景语义图的山区图像地理定位系统，包括如下模块：

47、图像库获取模块，用于基于数字高程数据的对山地区域场景图片的深度图像进行渲染，获得参考图像库；

48、特征提取模块，用于对参考图像库中的图像进行山体几何特征特征提取；

49、语义图构建模块，用于进行山区场景语义图建模；

50、语义图基于无向图结构，基于上述山区图像山体几何特征提取所得每一张图像的所有山体多边形及其之间的关系建模为图g(v，e)，图g由顶点集合v和边集合e构成，每座山体多边形构成一个顶点，山体多边形和多边形之间的关系构成边，并且分别为顶点和边设计相应的属性特征，以便进行图与图之间的编辑距离计算；

51、定位模块，用于基于近似图编辑距离的算法来计算两个语义图的编辑距离，计算将查询图g1转化为匹配图g2的编辑路径，输出编辑路径和路径的编辑距离，编辑距离结果越小表示两个图之间越相似，当距离在一定的误差范围之内，认为定位成功。

52、与现有技术相比，本发明的优点和有益效果：本文针对山区图像地理定位问题，首次提出了基于场景语义图的山区图像地理定位方法。针对山地区域缺乏参考图像问题和山区图像目标纹理弱且难以匹配定位的特点，分别提出了山区图像场景信息提取和建模方法和基于图匹配的山区图像地理定位方法，首先利用山区地形数据建模得到水平视角的深度渲染图像，其次对山区深度渲染图像进行特征和语义关系提取构建山区场景语义图，最终通过语义图匹配实现定位。与现有技术相比，本发明构建得到了山区渲染图像的参考图像库，并提出基于图编辑距离的山区场景语义图相似度匹配算法，可以有效实现山区图像地理定位，具有广泛的应用价值。