一种基于结构化语义的遥感场景图生成方法及系统

本发明涉及遥感图像处理，尤其涉及一种基于结构化语义的遥感场景图生成方法及系统。

背景技术：

1、随着计算机视觉的发展以及遥感影像的爆炸性增长，遥感智能解译得到了深入研究。目前遥感影像智能解译主要集中于对单个实体目标的处理，包括图像目标识别，语义分割，实例分割。这些技术可以检测出遥感场景中不同实体目标的位置和内容，对遥感场景感知起到了重要作用。遥感场景是通过遥感技术获取的具有一定空间范围的地理环境，包括地理实体以及实体之间的关系，具有实体多样性和关系复杂性等特征。遥感场景的理解，需要对场景中各个实体的位置内容以及实体之间的关系进行认知，使用语义方式解释对应的遥感场景。仅仅对遥感场景中的实体进行感知已经无法满足遥感场景智能理解的需求。遥感场景理解需要将遥感影像描述成地理场景的空间语义，语义的表达方式可以采用知识图谱的方式进行记录，知识图谱将场景中的实体表示成点，实体之间的关系表示为边，这种图结构的形式对人类和机器的可读性都很高，利用知识图谱可以实现对遥感场景的全面理解以及遥感场景语义的结构化表达，这种用于表达遥感场景语义的知识图谱被称为：遥感场景图。

2、在场景图生成的方法的研究上，李飞飞团队中的lu(lu c,krishna r,bernsteinm,et al.visual relationship detection with language priors；proceedings of thecomputer vision–eccv 2016:14th european conference,amsterdam,the netherlands,october 11–14,2016,proceedings,part i 14,f,2016[c].springer.)等人提出对视觉关系的研究，他们对目标和关系分别利用visual module和language moudle进行独立学习，最后将预测结果融合生成关系三元组；lu等人研究的局限性在于每一对关系都是独立预测的，没有用到上下文信息，针对此问题，xu(xu d,zhu y,choy c b,et al.scene graphgeneration by iterative message passing；proceedings of the proceedings of theieee conference on computer vision and pattern recognition,f,2017[c].)等人提出一种图模型，以iterative message passing的方式传递上下文信息,利用上下文信息预测关系；zellers(zellers r,yatskar m,thomson s,et al.neural motifs:scene graphparsing with global context；proceedings of the proceedings of the ieeeconference on computer vision and pattern recognition,f,2018[c].)等人基于双向lstm网络提出一种捕捉全局上下文信息的模型，他们将目标检测结果分别输入双向lstm中的目标分支和关系分支，分别得到目标上下文编码和关系上下文编码，最后结合prosal的并集区域预测出predicate。

3、此外，在遥感领域，场景图生成研究有了初步发展。lin(lin z,zhu f,kong y,etal.srsg and s2sg:a model and a dataset for scene graph generation of remotesensing images from segmentation results[j].ieee transactions on geoscienceand remote sensing,2022,60:1-11.)等人考虑到遥感影像日标形态的多样性，提出利用影像分割代替目标检测识别目标的位置形态，利用分割结果提供的形态位置信息，结合深度学习神经网络对目标之间的关系进行预。lin等人后续又提出一个更加完善的场景图生成方法(lin z,zhu f,wang q,et al.rssgg_cs:remote sensing image scene graphgeneration by fusing contextual information and statistical knowledge[j].remote sensing,2022,14(13):3118.)，设计了一个多分支神经网络，分别学习目标的语义信息、视觉信息、形态和位置信息，结合维基百科文本数据统计知识融合到预测结果中，使得关系预测更加准确；li(lip,zhang d,wulamu a,et al.semantic relation modeland dataset for remote sensing scene understanding[j].isprs internationaljournal of geo-information,2021,10(7):488.)等人提出一种多尺度语义融合网络。将扩张卷积引入到基于注意力机制的图卷积网络中以融合多尺度上下文。

4、综上，目前，在场景图生成的方法研究上，主要利用深度学习模型拟合一个由图像作为输入，输出场景图的函数。这种方法存在如下两个问题:(1)需要大规模的场景图数据集作为支撑，然而制作场景图数据的人工成本过大，难度较高。(2)对方位关系的预测不准确。

技术实现思路

1、在遥感场景中，方位关系是非常重要的，但是目前的遥感场景图数据集缺少对方位关系的标注。由于地理实体之间的空间关系为主要关系，而空间关系具有可计算、精度要求高、复杂多样等特点，而深度学习的泛化能力有限，在处理复杂的空间关系时，难以得到值得信任的结果。为此，本发明提出一种基于结构化语义的遥感场景图生成方法及系统，我们通过结构化语义的方式生成遥感场景图，解决了传统方法需要大规模标签，以及方位关系预测不准确的问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、本发明一方面提出一种基于结构化语义的遥感场景图生成方法，包括：

4、步骤1：采用目标检测的方法提取遥感图像中小尺度的地理实体的位置，采用语义分割的方法提取遥感图像中大尺度的地理实体的位置，利用离散的方形网格，将4*4个像素作为一个网格单元，对遥感图像中的地理实体位置信息进行网格化和网格编码；

5、步骤2：基于地理实体的网格编码集合对目标的空间关系进行结构化描述，得到地理实体格网细节划分生成的多个格网子集合；

6、步骤3：基于划分生成的多个格网子集合，建立一个可以同时计算拓扑关系和方位关系的空间关系判定模型，基于建立的空间关系判定模型对地理实体间的空间关系进行计算，获得地理实体之间的拓扑关系和方位关系；

7、步骤4：基于获得的地理实体之间的拓扑关系和方位关系进行语义化处理，生成最终的结构化遥感场景图。

8、进一步地，所述步骤2包括：

9、对于目标地理实体的网格编码集合，基于拓扑关系，将其分为内部集合、边界集合、外部集合三个拓扑子集合部分；基于方位关系，将其分为北部、东北部、东部、东南部、南部、西南部、西部、西北部、中部九个方位子集合部分，基于拓扑关系划分的三个部分与基于方向关系划分的九个部分两两求交集，得到地理实体格网细节划分的27个部分。

10、进一步地，所述空间关系判定模型为：

11、

12、其中srm为空间关系判定模型，r为参考地理实体，t为目标地理实体，θ(x)为集合是否为空集的判定函数，irn、brn、orn表示参考地理实体的内部集合、边界集合、外部集合分别与北部方位子集合的交集，irne、brne、orne表示参考地理实体的内部集合、边界集合、外部集合分别与东北部方位子集合的交集，irc、brc、orc表示参考地理实体的内部集合、边界集合、外部集合分别与中部方位子集合的交集，it、bt、ot分别表示目标地理实体的内部集合、边界集合、外部集合。

13、进一步地，所述基于建立的空间关系判定模型对地理实体间的空间关系进行计算，获得地理实体之间的拓扑关系和方位关系包括：

14、当且且r与t的拓扑关系为叠置，叠置的方位通过式2中判断：

15、

16、其中表示srm矩阵第一行向量，有9个元素，分别代表北、东北、东、东南、南、西南、西、西北、中9个方向，元素为1时，说明在r的对应方位叠置；er、et分别表示参考地理实体和目标地理实体的东部方位子集合；

17、当且且且r与t的拓扑关系为相离，相离的方位通过式3中的判断：

18、

19、其中dir表示srm矩阵第三行向量，元素为1时，说明r与t在对应方位相离；

20、当且且r与t的拓扑关系为t包含r：

21、

22、当且且r与t的拓扑关系为t被r包含：

23、

24、当且或或r与t的拓扑关系为相接，相接的方位通过式7中的dir向量判断：

25、

26、

27、当dir向量中元素为1时，说明r与t在对应方位相接。

28、进一步地，所述步骤4包括：

29、对于两个地理实体的网格编码集合没有任何交集的情况，利用网格计算两个地理实体的距离，当两个地理实体之间的距离小于n个网格单元，则判定目标地理实体与参考地理实体邻近；

30、纠正由于三维信息缺失导致的关系判断错误。

31、进一步地，所述纠正由于三维信息缺失导致的关系判断错误包括：

32、寻找与“桥梁”存在“相接”或“邻近”关系的“水体”，将其对应的网格集合放入列表a；

33、将列表a中的所有网格单元重新组合成一个新的网格集合，将新的网格集合对应的地理实体作为新的“水体”；

34、将原来的“水体”从地物列表中删除，将新的“水体”放入地物列表中，更新地物列表；

35、重新判定“桥梁”与新的“水体”之间的关系，判定为“桥梁”覆盖“水体”，“水体”穿过“桥梁”。

36、本发明另一方面提出一种基于结构化语义的遥感场景图生成系统，包括：

37、实体信息提取模块，用于采用目标检测的方法提取遥感图像中小尺度的地理实体的位置，采用语义分割的方法提取遥感图像中大尺度的地理实体的位置，利用离散的方形网格，将4*4个像素作为一个网格单元，对遥感图像中的地理实体位置信息进行网格化和网格编码；

38、格网细节划分模块，用于基于地理实体的网格编码集合对目标的空间关系进行结构化描述，得到地理实体格网细节划分生成的多个格网子集合；

39、空间关系计算模块，用于基于划分生成的多个格网子集合，建立一个可以同时计算拓扑关系和方位关系的空间关系判定模型，基于建立的空间关系判定模型对地理实体间的空间关系进行计算，获得地理实体之间的拓扑关系和方位关系；

40、语义化处理模块，用于基于获得的地理实体之间的拓扑关系和方位关系进行语义化处理，生成最终的结构化遥感场景图。

41、与现有技术相比，本发明具有的有益效果：

42、1.本发明提出一种基于结构化语义的遥感场景图生成方法及系统，通过结构化语义的方式生成遥感场景图，与传统的基于深度学习的遥感场景图生成方法相比，不需要任何的标签信息作为监督，大大降低了人力成本。

43、2.在实体位置信息保持准确的情况下，本发明生成的遥感场景图中的空间关系准确率为100％。