遥感图像目标动向判别方法与流程

本发明涉及遥感，具体涉及一种遥感图像目标动向判别方法。

背景技术：

1、高分遥感图像的目标动向判别问题，指针对遥感图像中所关注目标如飞机、舰船、车辆等，根据该目标与环境或与其他目标之间显式或潜在的交互状态，判断出该目标的滑行、起飞、停泊等行为动向。

2、遥感图像的目标动向判别目前可选两种方法，第一种是采用人工判别的方式，这要求相关人员拥有极高的知识和经验储备，但还是存在实时性差、耗费人力和时间成本大、易受主观判断影响等问题。另一种是基于时序图像的判别方法，虽然这种方法在自动驾驶领域已经获得很大的成功，但遥感图像与自动驾驶图像不同，很难获得如自动驾驶图像一样的连贯的时序图像，同时遥感图像中还存在目标尺度小、场景环境复杂等问题，因此并不能利用已经在智能驾驶领域的动向判别方法。

3、利用遥感图像全景分割和图注意力网络推理技术，从高分遥感图像中智能化的提取出地物目标的关键特征并进行推理，实现高分遥感图像关注目标的行为动向判断，具有重要的理论研究和应用价值。

技术实现思路

1、有鉴于此，本发明旨在提出一种遥感图像目标动向判别方法，通过对遥感图像进行全景分割获得场景和目标信息，并利用知识图谱生成方法生成场景信息知识图谱，再通过图注意力网络进行知识推理，以获得目标的行为动向信息。

2、本发明实施例的遥感图像目标动向判别方法，包括：

3、s100，对遥感图像进行全景分割标注和目标行为动向标注，并根据标注结果确定目标动向知识图谱；

4、s200，基于所述遥感图像建立全景分割模型，以resnet作为特征提取主干网络，并引入交叉注意力模块提取长距上下文信息；

5、s300，根据全景分割网络中的实例分割分支对所述遥感图像进行实例级分割，并根据全景分割网络中的语义分割分支对所述遥感图像进行语义级分割；

6、s400，引入基于贝叶斯决策的分支融合模块，对所述实例分割分支和所述语义分割分支的结果进行决策融合，生成全景分割图像；

7、s500，将所述全景分割图像进行像素聚类生成场景信息知识图谱；

8、s600，根据图注意力网络，对所述场景信息知识图谱中的关注目标进行动向判别。

9、优选地，所述s100包括：

10、s110，对前景目标进行实例级标注和对背景目标进行语义级标注；

11、s120，对关注目标额外标注行为动向信息；

12、s130，基于像素聚类的知识图谱生成方法，以全景分割图像和目标行为动向信息为输入，生成目标动向知识图谱。

13、优选地，所述s110中：

14、对前景目标进行实例级标注，包括对前景目标根据语义类别进行像素级分类，并划分实例，使得同一语义类别的不同前景目标拥有不同的实例编号；

15、对背景目标进行语义级标注，包括对不同的背景目标根据语义类别进行像素级分类；

16、所述s130包括：

17、记全景分割图像中语义类别的数量为n，实例对象的数量为m，每个像素点px，y由四元组(x，y，cls，ins)表示，其中x和y表示像素点px，y的坐标，cls＝1，2，...，n表示像素点px，y的语义类别，ins＝1，2，...，m表示像素点px，y的实例编号，则：

18、s131，创建空知识图谱g(v，e)，其中，v，e分别是节点和边的集合，且v，e的初始均为空；

19、s132，选择任一像素点px，y为当前聚类关注点，创建聚类vi＝{px，y|ins∈px，y，ins＝i}，并在知识图谱g中加入vi，将聚类关注点px，y的类别和行为动向作为vi的属性也加入到知识图谱g中；

20、s133，遍历聚类关注点px，y的相邻像素点px′，y′，如果像素点px′，y′的聚类满足vj＝{px，y|ins∈px，y，ins＝j}则将其加入聚类vi，否则创建聚类vj，并在知识图谱g中加入节点vj，将节点vj的类别和行为动向作为vj的属性也加入到知识图谱g中，生成一条vi和vj之间的边eij；

21、s134，将像素点px′，y′代替原聚类关注点px，y作为新的聚类关注点，并重复所述s133，直到所有像素点都属于一个聚类；

22、s135，将得到的知识图谱g(v，e)作为目标动向知识图谱，其中每个节点v均具有类别和行为动向作为属性。

23、优选地，所述s200包括：

24、s210，基于所述遥感图像建立全景分割模型，以resnet作为特征提取主干网络，提取到的特征图记为a∈rc×h×w，其中，c是特征图通道数，h×w是特征图大小；

25、s220，分别使用1×1卷积对特征图a进行通道压缩，得到特征图p∈r1×h×w和q∈r1×h×w；

26、s230，对特征图p中每一个像素点u都计算特征图q中对应像素点μ1及同行同列像素点μ2，μ3，...，μh×w-1的关联关系eui(i＝1，2，...，h×w-1)，并使用softmax进行归一化处理，得到像素点u的交叉注意力xui：

27、

28、并根据交叉注意力xui确定交叉注意力矩阵x∈r(h×w-1)×h×w；

29、s240，由交叉注意力矩阵x和特征图a生成特征图e∈rc×h×w作为交叉注意力模块的输出：

30、e＝ω(x×a)+a

31、其中，ω是可学习的权重参数。

32、优选地，所述s300包括：

33、根据交叉注意力模块的输出e∈rc×h×w，所述实例分割分支利用区域建议，在候选区域上进行检测框回归，生成目标类别的预测概率，并在检测框中通过卷积层生成分割掩码得到所述遥感图像的实例级分割；

34、根据交叉注意力模块的输出e∈rc×h×w，所述语义分割分支利用卷积层提取所述遥感图像中的语义特征，为每个语义类别生成分割掩码，得到所述遥感图像的语义级分割。

35、优选地，所述s400包括：

36、s410，记n个语义类别为{cls1，cls2，...，clsn}，所述实例分割分支和所述语义分割分支对某一像素点的分类结果为y＝{y1，y2}，则yk属于任一类别的后验概率为：

37、

38、其中，是所述实例分割分支和所述语义分割分支对不同语义类别的后验概率；

39、s420，对于每个像素点，计算贝叶斯理论下的联合概率分布为：

40、p(clsi|y)＝p(clsi|y1)p(clsi|y2)

41、s430，根据最大后验概率准则对像素类别进行确定，得到最终的像素所属语义类别为：

42、class(y)＝argmaxi(p(clsi|y))，i＝1，2，...，n

43、其中，class(y)为像素y所属的类别；

44、s440，利用贝叶斯决策融合预测冲突像素，合并剩余不冲突的预测，得到所述全景分割图像。

45、优选地，所述s500包括：

46、以所述全景分割图像作为输入，根据所述s130的方法，生成不包含目标行为动向信息的场景信息知识图谱。

47、优选地，所述s600包括：

48、s610，以所述场景信息知识图谱作为输入，输入图注意力网络；

49、s620，对于所述场景信息知识图谱中的每个图节点，计算该节点vi在邻域ni内与每个其他节点vj的重要程度和关联关系作为注意力系数eij，有：

50、eij＝σ(a(whi||whj))

51、其中，hi和hj分别是节点vi和vj的特征值，a和w分别是可学习的权向量和权重矩阵，||是拼接操作，σ是非线性函数，邻域ni为一阶邻居或是二阶邻居；

52、s630，使用softmax进行归一化，得到注意力矩阵为：

53、

54、s640，引入多头注意力机制，使用k个独立的注意力头，得到注意力特征为:

55、

56、其中，h′i表示节点vi经由多头注意力机制的输出特征，和wk表示在注意力头k上的注意力矩阵和权重矩阵；

57、s650，利用图注意力网络，提取所述场景信息知识图谱的特征信息，推理关注目标的行为动向信息。

58、本发明实施例通过设计一种基于像素聚类的知识图谱生成方法，利用高分遥感图像全景分割图像快速生成目标动向知识图谱；通过引入交叉注意力模块，增强了特征提取网络的长距上下文信息提取能力；通过构建全景分割模型，分别获取高分遥感图像中得实例级分割和语义级分割；通过引入一种基于贝叶斯决策的分支融合模块，解决两分支结果融合时的冲突问题，得到高精度全景分割结果，以达到场景分割的目的；通过构建图注意力网络，重点关注场景中目标与目标、目标与环境之间的显式和潜在的关联关系，实现对关注目标的行为动向推理；根据本发明实施例的遥感图像目标动向判别方法，可以快速理解认知重点关注区域的场景环境并智能推理出关注目标的行为动向，实现高时效性、高精度、高智能化的高分遥感图像的目标动向判别。