数据处理方法及系统、网络系统及其训练方法、设备与流程

1.本技术涉及计算机技术与遥感技术的交叉领域，尤其涉及一种数据处理方 法及系统、网络系统及其训练方法、设备。


背景技术：

2.近年来，对两个图像进行差异比对，以便从差异中获得用户想要的信息， 在很多领域中都会涉及，例如，在两期遥感图像的比对领域。两期遥感图像 是指：在两个不同时期对同一区域进行采集得到的航空相片或卫星相片。两 期遥感图像比对任务中，目标区域变化检测便是最常见的一种，遥感图像的 变化检测不仅包含了新增建筑的检测，还包含诸如建筑拆除、农地耕地林地 动土施工变工地、水域变陆地、陆地变水域以及已有施工道路铺装硬化等的 检测。
3.然而，现有两期遥感图像变化的检测技术，只能获知目标区域哪块儿变 化了，那块儿没变化，输出结果较为单一。


技术实现要素：

4.鉴于上述问题，提出了本技术以提供一种解决上述问题或至少部分地解 决上述问题的数据处理方法及系统、网络系统及其训练方法、设备。
5.于是，在本技术的一个实施例中，提供了一种数据处理方法。该方法， 包括：
6.获取第一图像和第二图像；
7.对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；
8.对所述第一图像中的图像内容进行分类处理，得到第一分类结果；
9.对所述第二图像中的图像内容进行分类处理，得到第二分类结果；
10.根据所述输出结果、所述第一分类结果及所述第二分类结果，确定所述 第一图像和所述第二图像的差异。
11.在本技术的另一个实施例中，提供了一种数据处理方法。该方法包括：
12.获取第一图像和第二图像；
13.对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；
14.对所述输出结果进行分类处理，得到所述第一图像和所述第二图像的差 异。
15.在本技术的又一个实施例中，提供了一种数据处理方法。该方法包括：
16.获取第一图像和第二图像；
17.对所述第一图像进行特征提取，得到至少一个第一特征信息；
18.对所述第二图像进行特征提取，得到至少一个第二特征信息；
19.根据所述至少一个第一特征信息及所述至少一个第二特征信息，确定反 映所述第一图像和所述第二图像的差异以及差异图像内容的类别。
20.在本技术的又一个实施例中，提供了一种数据处理方法。该方法包括：
21.响应于用户通过交互界面触发的图像比对事件，获取所述图像比对事件 中用户
指定的第一图像和第二图像；
22.识别所述第一图像和所述第二图像的差异以及差异图像内容的类别，得 到识别结果；
23.基于所述识别结果，生成反映所述第一图像和所述第二图像差异并区别 展示差异中不同类别图像内容的第三图像；
24.显示所述第三图像。
25.在本技术的另一实施例中，提供了一种网络系统。该网络系统，包括
26.第一网络模型，包含有至少一个第一网络层，用于对第一图像进行特征 提取，输出至少一个第一特征信息；
27.第二网络模型，包含有至少一个第二网络层，用于对第二图像进行特征 提取，输出至少一个第二特征信息；
28.第三网络模型，与所述第一网络模型及所述第二网络模型的输出端连接， 用于对所述至少一个第一特征信息及所述至少一个第二特征信息进行差异分 析，得到含有差异信息的输出结果；
29.第四网络模型，与所述第一网络模型连接，用于对所述至少一个第一特 征信息进行分类处理，得到第一分类结果；
30.第五网络模型，与所述第二网络模型连接，用于对所述至少一个第二特 征信息进行分类处理，得到第二分类结果；
31.输出模型，与所述第三网络模型、所述第四网络模型及所述第五网络模 型连接，用于根据所述输出结果、所述第一分类结果及所述第二分类结果， 输出所述第一图像和所述第二图像的差异。
32.在本技术的另一实施例中，提供了一种网络训练方法。该网络训练方法， 包括：
33.利用第一网络模型对第一样本图像进行特征提取，得到至少一个第一样 本特征信息；
34.利用第二网络模型对第二样本图像进行特征提取，得到至少一个第二样 本特征信息；
35.利用第三网络模型对所述至少一个第一样本特征信息及所述至少一个第 二样本特征信息进行差异分析，得到输出结果；
36.根据所述输出结果及第一样本标签，优化所述第一网络模型、所述第二 网络模型及所述第三网络模型中至少一个模型的网络参数；
37.利用第四网络模型对所述至少一个第一样本特征信息进行分析，得到第 一分类结果；
38.根据所述第一分类结果及第二样本标签，优化所述第一网络模型及所述 第四网络模型中至少一个模型的网络参数；
39.其中，所述第一样本标签、第二样本标签、所述第一样本图像和所述第 二样本图像关联。
40.在本技术的另一实施例中，提供了一种网络系统。该网络系统，包括：
41.第一网络模型，包含有至少一个第一网络层，用于对第一图像进行特征 提取，输出至少一个第一特征信息；
42.第二网络模型，包含有至少一个第二网络层，用于对第二图像进行特征 提取，得到至少一个第二特征信息；
43.第三网络模型，与所述第一网络模型及所述第二网络模型的输出端连接， 用于对至少一个第一特征信息及所述至少一个第二特征信息进行差异分析， 得到输出结果；
44.多分类模型，与所述第三网络模型连接，用于对所述输出结果进行多类 别分类，得到所述第一图像和所述第二图像的差异。
45.在本技术的另一实施例中，提供了一种网络训练方法。该网络训练方法， 包括：
46.利用第一网络模型对第一样本图像进行特征提取，得到至少一个第一样 本特征信息；
47.利用第二网络模型对第二样本图像进行特征提取，得到至少一个第二样 本特征信息；
48.利用第三网络模型对所述至少一个第一样本特征信息及所述至少一个第 二样本特征信息进行分析，得到输出结果；
49.利用多分类模型对所述输出结果进行多类别分类，得到多类别分类结果；
50.根据所述多类别分类结果及多类别样本标签，优化所述第一网络模型、 所述第二网络模型、所述第三网络模型及所述多分类模型中至少一个模型的 网络参数；
51.其中，所述多类别样本标签、所述第一样本图像和所述第二样本图像关 联。
52.在本技术的另一个实施例中，提供了一种数据处理系统。该系统包括：
53.图像采集设备，用于采集目标区域在两个不同时刻对应的第一图像和第 二图像；
54.处理器，用于获取所述第一图像和所述第二图像，对所述第一图像和所 述第二图像进行差异分析，获得含有差异信息的输出结果；对所述第一图像 中的图像内容进行分类处理，得到第一分类结果；对所述第二图像中的图像 内容进行分类处理，得到第二分类结果；根据所述输出结果、所述第一分类 结果及所述第二分类结果，确定所述第一图像和所述第二图像的差异。
55.在本技术的另一个实施例中，提供了一种数据处理系统。该系统包括：
56.图像采集设备，用于采集目标区域在两个不同时刻对应的第一图像和第 二图像；
57.处理器，用于获取所述第一图像和所述第二图像，对所述第一图像和所 述第二图像进行差异分析，获得含有差异信息的输出结果；对所述输出结果 进行分类处理，得到所述第一图像和所述第二图像的差异。
58.在本技术的另一个实施例中，提供了一种数据处理系统。该系统包括：
59.图像采集设备，用于采集目标区域在两个不同时刻对应的第一图像和第 二图像；
60.处理器，用于获取所述第一图像和所述第二图像，对所述第一图像进行 特征提取，得到至少一个第一特征信息；对所述第二图像进行特征提取，得 到至少一个第二特征信息；根据所述至少一个第一特征信息及所述至少一个 第二特征信息，确定所述第一图像和所述第二图像的差异以及差异图像内容 的类别。
61.在本技术的另一个实施例中，提供了一种遥感设备。该遥感设备包括：
62.遥感装置，用于采集目标区域在两个不同时刻对应的第一遥感图像和第 二遥感图像；
63.处理器，用于获取所述第一遥感图像和第二遥感图像，对所述第一遥感 图像和所
述第二遥感图像进行差异分析，获得含有差异信息的输出结果；对 所述第一遥感图像中的图像内容进行分类处理，得到第一分类结果；对所述 第二遥感图像中的图像内容进行分类处理，得到第二分类结果；根据所述输 出结果、所述第一分类结果及所述第二分类结果，确定所述第一遥感图像和 所述第二遥感图像的差异。
64.在本技术的另一个实施例中，提供了一种遥感设备。该遥感设备包括：
65.遥感装置，用于采集目标区域在两个不同时刻对应的第一遥感图像和第 二遥感图像；
66.处理器，用于获取所述第一遥感图像和第二遥感图像，对所述第一遥感 图像和所述第二遥感图像进行差异分析，获得含有差异信息的输出结果；对 所述输出结果进行分类处理，得到所述第一遥感图像和所述第二遥感图像的 差异。
67.在本技术的另一个实施例中，提供了一种遥感设备。该遥感设备包括：
68.遥感装置，用于采集目标区域在两个不同时刻对应的第一遥感图像和第 二遥感图像；
69.处理器，用于获取所述第一遥感图像和第二遥感图像，对所述第一图像 进行特征提取，得到至少一个第一特征信息；对所述第二图像进行特征提取， 得到至少一个第二特征信息；根据所述至少一个第一特征信息及所述至少一 个第二特征信息，确定所述第一图像和所述第二图像的差异以及差异图像内 容的类别。
70.在本技术的另一实施例中，提供了一种电子设备。该电子设备，包括： 存储器和处理器，其中，
71.所述存储器，用于存储程序；
72.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程 序，以用于：
73.获取第一图像和第二图像；
74.对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；
75.对所述第一图像中的图像内容进行分类处理，得到第一分类结果；
76.对所述第二图像中的图像内容进行分类处理，得到第二分类结果；
77.根据所述输出结果、所述第一分类结果及所述第二分类结果，确定所述 第一图像和所述第二图像的差异。
78.在本技术的另一实施例中，提供了一种电子设备。该电子设备，包括： 存储器和处理器，其中，
79.所述存储器，用于存储程序；
80.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程 序，以用于：
81.获取第一图像和第二图像；
82.对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；
83.对所述输出结果进行分类处理，得到所述第一图像和所述第二图像的差 异。
84.在本技术的另一实施例中，提供了一种电子设备。该电子设备，包括： 存储器和处理器，其中，
85.所述存储器，用于存储程序；
86.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程 序，以用于：
87.获取第一图像和第二图像；
88.对所述第一图像进行特征提取，得到至少一个第一特征信息；
89.对所述第二图像进行特征提取，得到至少一个第二特征信息；
90.根据所述至少一个第一特征信息及所述至少一个第二特征信息，确定所 述第一图像和所述第二图像的差异以及差异图像内容的类别。
91.在本技术的又一个实施例中，提供了一种显示设备。该显示设备包括： 存储器、处理器及显示器，其中，
92.所述存储器，用于存储程序；
93.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程 序，以用于：
94.响应于用户通过交互界面触发的图像比对事件，获取所述图像比对事件 中用户指定的第一图像和第二图像；
95.识别所述第一图像和所述第二图像的差异以及差异图像内容的类别，得 到识别结果；
96.基于所述识别结果，生成反映所述第一图像和所述第二图像差异并区别 展示差异中不同类别图像内容的第三图像；
97.控制所述显示器显示所述第三图像。
98.本技术实施例提供的技术方案，除对第一图像和第二图像进行差异分析 外，还对第一图像和第二图像的差异中存在不同类别的图像内容进行识别， 这样确定出的第一图像和所述第二图像的差异，不仅反映了差异的地方，还 映了哪些类别的图像内容发生了变化；较现有技术，本技术实施例提供的技 术方案输出结果信息更丰富，提升了变化检测的检测效果。
附图说明
99.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要利用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。
100.图1为本技术一实施例提供的数据处理方法的流程示意图；
101.图2为本技术另一实施例提供的数据处理方法的流程示意图；
102.图3为本技术又一实施例提供的数据处理方法的流程示意图；
103.图4为本技术一实施例提供的网络结构的结构框图；
104.图5为本技术另一实施例提供的网络结构的结构框图；
105.图6为本技术又一实施例提供的网络结构的结构框图；
106.图7a为本技术又一实施例提供的数据处理方法的流程示意图；
107.图7b为本技术实施例提供的技术方案结合具体遥感图像变化检测场景对应 的原理性示意图；
108.图7c为本技术一实施例提供的交互界面的一种具体实现方式的示意图；
109.图8为本技术一实施例提供的网络系统结构的原理性示意图；
110.图9为本技术一实施例提供的网络系统训练方法的流程示意图；
111.图10为本技术另一实施例提供的网络系统结构的原理性示意图；
112.图11为本技术另一实施例提供的网络系统训练方法的流程示意图；
113.图12为本技术一实施例提供的数据处理系统的结构示意图；
114.图13为本技术另一实施例提供的数据处理系统的结构示意图；
115.图14为本技术一实施例提供的遥感设备的原理性示意图；
116.图15为本技术一实施例提供的数据处理装置的结构框图；
117.图16为本技术另一实施例提供的数据处理装置的结构框图；
118.图17为本技术又一实施例提供的数据处理装置的结构框图；
119.图18为本技术一实施例提供的网络系统训练装置的结构框图；
120.图19为本技术另一实施例提供的网络系统训练装置的结构框图；
121.图20为本技术一实施例提供的电子设备的结构框图。
具体实施方式
122.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实 施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然， 所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本 申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本技术保护的范围。
123.此外，在本技术的说明书、权利要求书及上述附图中描述的一些流程中， 包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现 的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个 不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更 多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是， 本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等， 不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下述的各 实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的 实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本技术保护的范围。
124.本技术各实施例提供的技术方案是为检测两个图像的差异以及差异中不 同类别图像内容的方案；其中，待检测的两个图像可以是具体的硬件设备实 地采集来的，如飞行器的遥感装置采集来的两个不同时期的遥感图像，或者 是摄像头采集来的两个不同时刻的同一区域对应的图像。除此之外，待检测 的两个图像还可以是生成图，比如，通过收集来数据生成的地图；检测某一 城市或该城市某一区去年和今年的城市规划变化，或者检测某线下商场去年 和今年的店铺规划变化等等。
125.图1示出了本技术一实施例提供的数据处理方法的流程示意图。该方法 的执行主体可以是具有逻辑运算功能的电子设备，所述电子设备可以为客户 端或服务端。其中，所述客户端可以为手机、平板电脑、智能穿戴设备等任 意终端设备；所述服务端可以是常用服务器、云端或虚拟服务器等，本技术 实施例对此不作具体限定。如图1所示，该方法包括：
126.101、获取第一图像和第二图像。
127.102、对所述第一图像和所述第二图像进行差异分析，获得含有差异信息 的输出结果。
128.103、对所述第一图像中的图像内容进行分类处理，得到第一分类结果。
129.104、对所述第二图像中的图像内容进行分类处理，得到第二分类结果。
130.105、根据所述输出结果、所述第一分类结果及所述第二分类结果，确定 所述第一图像和所述第二图像的差异。
131.上述101中，当本实施例提供的所述方法的执行主体为服务端时，所述 第一图像和所述第二图像可以是用户通过客户端发送至服务端的，或者是服 务端依据系统预先设定的任务自动从数据库、卫星或飞行器获取第一图像和 第二图像。
132.上述“获取第一图像和第二图像”可采用如下方式获取得到：
133.响应于用户通过交互界面触发的图像输入操作，获取所述用户输入的所 述第一图像和所述第二图像；或者
134.响应于用户通过交互界面触发的目标区域输入操作，获取两个不同时刻 针对所述目标区域采集到的所述第一图像和所述第二图像。
135.上述102“对所述第一图像和所述第二图像进行差异分析，获得含有差 异信息的输出结果”的一种可实现方案可包括如下步骤：
136.1021、对所述第一图像进行特征提取，得到至少一个第一特征信息；
137.1022、对所述第二图像进行特征提取，得到至少一个第二特征信息；
138.1023、根据所述至少一个第一特征信息及所述至少一个第二特征信息， 确定含有差异信息的输出结果。
139.上述步骤1021可利用第一网络模型实现对第一图像的特征提取。具体的， 所述第一网络模型包含有至少一个第一网络层，任一第一网络层对应输出一 第一特征信息。相应的，本步骤1021可具体为：利用第一网络模型，对所述 第一图像进行特征提取，得到至少一个第一特征信息。
140.上述步骤1022可利用第二网络模型实现对第二图像的特征提取。具体的， 所述第二网络模型包含有至少一个第二网络层，任一第二网络层对应输出一 第二特征信息；所述第一网络模型与所述第二网络模型为网络结构及网络参 数均相同的孪生网络模型。相应的，本步骤1022可具体为：利用第二网络模 型，对所述第二图像进行特征提取，得到至少一个第二特征信息。
141.上述第一网络模型和第二网络模型的模型结构及相关更详尽的信息，将 在下文中会展开说明。
142.在此基础上，本实施例中步骤103可具体为：利用第四网络模型，对所 述至少一个第一特征信息进行分类处理，得到第一分类结果。在一具体实施 方案中，所述第四网络模型包含至少一个第四网络层；所述第四网络模型所 含第四网络层的数量与所述第一网络模型所含第一网络层数量相同，且存在 关联关系。相应的，上述“利用第四网络模型，对所述至少一个第一特征信 息进行分类处理，得到第一分类结果”，可具体包括如下步骤：
143.按照第四网络模型中第四网络层与第一网络模型中第一网络层存在的关 联关系，将存在关联关系的第一网络层对应的第一特征信息输入至相应的第 四网络层，执行所
述第四网络模型得到所述第一分类结果。
144.同样的，上述步骤104“对所述第二图像中的图像内容进行分类处理， 得到第二分类结果”可具体为：利用第五网络模型，对所述至少一个第二特 征信息进行分类处理，得到第二分类结果；其中，所述第五网络模型与所述 第四网络模型的网络结构及网络参数均相同。
145.上述第四网络模型和第五网络模型的模型结构及相关更详尽的信息，将 在下文中会展开说明。
146.本实施例提供的技术方案，除对第一图像和第二图像进行差异分析外， 还对第一图像和第二图像的差异中存在不同类别的图像内容进行识别，这样 确定出的第一图像和所述第二图像的差异，不仅反映了差异的地方，还映了 哪些类别的图像内容发生了变化；较现有技术，本实施例提供的技术方案输 出结果信息更丰富，提升了变化检测的检测效果。
147.图2示出了本技术一实施例提供的数据处理方法的流程示意图。同样的， 该方法的执行主体可以是客户端或服务端。如图2所示，该方法包括：
148.201、获取第一图像和第二图像；
149.202、对所述第一图像和所述第二图像进行差异分析，获得含有差异信息 的输出结果；
150.203、对所述输出结果进行分类处理，得到所述第一图像和所述第二图像 的差异。
151.有关上述201及202的详细内容，可参见其他实施例中的相应的部分， 此处不作赘述。
152.上述203中，对所述输出结果进行分类处理，得到所述第一图像和所述 第二图像的差异，包括：
153.将所述输出结果作为多分类模型的输入，执行所述多分类模型输出所述 第一图像和所述第二图像的差异；其中，所述多分类模型包括卷积层，所述 卷积层的输入通道数与所述输出结果数量对应；所述卷积层的输出通道数由 待识别图像内容类别数确定。
154.进一步的，本实施例提供的所述方法，还可包括如下步骤：
155.204、基于输出的所述第一图像和所述第二图像的差异，生成反映所述第 一图像和所述第二图像差异并区别展示差异中不同类别图像内容的第三图像。
156.本实施例提供的技术方案，利用多分类模型对输出结果进行分类处理可 得到能反映反映第一图像和所述第二图像差异，还能区别展示差异中不同类 别图像内容的第三图像；通过该第三图像用户除了可以获知差异，还能从中 获得哪些类别的图像内容发生了变化；较现有技术，本实施例提供的技术方 案输出结果信息更丰富，提升了变化检测的检测效果。
157.图3示出了本技术一实施例提供的数据处理方法的流程示意图。该方法 的执行主体可以是具有逻辑运算功能的电子设备，所述电子设备可以为客户 端或服务端。其中，所述客户端可以为手机、平板电脑、智能穿戴设备等任 意终端设备；所述服务端可以是常用服务器、云端或虚拟服务器等，本技术 实施例对此不作具体限定。如图3所示，该方法包括：
158.301、获取第一图像和第二图像；
159.302、对所述第一图像进行特征提取，得到至少一个第一特征信息；
160.303、对所述第二图像进行特征提取，得到至少一个第二特征信息；
161.304、根据所述至少一个第一特征信息及所述至少一个第二特征信息，确 定所述第一图像和所述第二图像的差异以及差异图像内容的类别。
162.上述301中，所述第一图像和所述第二图像可由图像传感器采集得到，也 可从图像数据集中获取得到。图像传感器可以是摄像头、或设置在航空器或卫 星上的遥感装置等等，本实施例对此不作具体限定。当本实施例提供的方法的 执行主体为客户端时，所述客户端通过响应用户触发的图像输入事件，便可接 收到用户在客户端界面输入的上述第一图像和第二图像；当本实施例提供的方 法的执行主体为服务端时，可接收客户端发送来的用户输入的上述第一图像和 第二图像。
163.上述302中“对所述第一图像进行特征提取，得到至少一个第一特征信 息”的一种可实现方案为：利用第一网络模型，对所述第一图像进行特征提取， 得到至少一个第一特征信息；其中，所述第一网络模型包含有至少一个第一网 络层，任一第一网络层对应输出一第一特征信息。在具体实施时，所述第一网 络模型所含第一网络层的数量可以为一个或多个，具体可根据实际需要来设定。 利用所述第一网络模型对所述第一图像进行特征提取可采用卷积操作实现，且 所述第一网络模型中的任一第一网络层对所述第一图像进行特征提取时都将会 对应输出一第一特征信息。
164.上述303中“对所述第二图像进行特征提取，得到至少一个第二特征信息
”ꢀ
的一种可实现方案为：利用第二网络模型，对所述第二图像进行特征提取，得 到至少一个第二特征信息；其中，所述第二网络模型包含有至少一个第二网络 层，任一第二网络层对应输出一第二特征信息。在具体实施时，所述第一网络 模型与所述第二网络模型为网络结构及网络参数均相同的孪生网络模型。利用 所述第二网络模型对所述第二图像进行特征提取也可采用图像特征提取技术 (例如：卷积操作)实现，且所述第二网络模型中的任一第二网络层对所述第 一图像进行特征提取时也都将会对应输出一第二特征信息。
165.所述孪生网络模型是一种多分支、权值共享的网络结构，其特点是可以同 时接收两个图像作为输入并且两分支子网络权值共享。在一具体实施例中，如 图4所示，所述孪生网络模型200是由两个网络结构相同、权值完全共享的第 一网络模型210和第二网络模型220组成；其中，所述第一网络模型用来处理 第一图像，提取所述第一图像的特征；所述第二网络模型则用来处理第二图像， 提取所述第二图像的特征。在提取特征过程中，每个网络模型中的任一网络层 将对应输出一特征信息，也即为所述第一网络模型的任一第一网络层对应输出 一第一特征信息，所述第二网络模型的任一第二网络层对应输出一第二特征信 息。这里，所述孪生网络模型中的任一网络模型(即所述第一网络模型、所述 第二网络模型)至少包含有一个网络层，同一网络层所输出的特征图(也即为 特征信息)大小相同，而不同的网络层所输出的特征图大小可相同也可不同， 且前一个网络层与后一个网络层为直接相连。
166.在一种可实现的方案中，上述304“根据所述至少一个第一特征信息及所述 至少一个第二特征信息，确定所述第一图像和所述第二图像的差异以及差异图 像内容的类别”，可以具体包括：
167.3041、利用第三网络模型，对所述至少一个第一特征信息及所述至少一个 第二特征信息进行分析，得到输出结果；
168.3042、利用多分类模型，对所述输出结果进行多类别分类，得到所述第一 图像和所述第二图像的差异以及差异图像内容的类别。
169.上述3041中，所述第三网络模型包含至少一个第三网络层，且每网络层之 间用激活函数激活；所述第三网络模型所含第三网络层的数量与所述第一网络 模型所含第一网络层数量相同，且存在关联关系；所述第三网络模型所含第三 网络层的数量与所述第二网络模型所含第二网络层数量相同，且存在关联关系； 相应地，步骤3041“利用第三网络模型，对所述至少一个第一特征信息及所述 至少一个第二特征信息进行分析，得到输出结果”，具体可采用如下步骤来实 现：
170.按照所述第三网络模型中第三网络层分别与第一网络模型中第一网络层及 第二网络模型中第二网络层存在的关联关系，将存在关联关系的第一网络层对 应的第一特征信息及第二网络层对应的第二特征信息输入至相应的第三网络层， 执行所述第三网络模型得到所述输出结果。
171.具体实施时，所述第三网络模型的整体结构分别与所述第一网络模型和所 述第二网络模型各自对应的整体结构对称。相应地，所述第三网络模型中第三 网络层与第一网络模型中第一网络层及第二网络模型中第二网络层各自之间的 关联关系为：所述第一网络模型的第一网络层对应输出的第一特征信息以及所 述第二网络模型的第二网络层对应输出的第二特征信息可以作为与所述第一网 络层和所述第二网络层对称的所述第三网络模型的第三网络层的输入传递至所 述第三网络层中，以便于执行所述第三网络模型得到相应的输出结果。即所述 关联关系可理解为不同网络模型之间的不同网络层所对应的数据流转关系。
172.举一具体实施例，继续参见图4。图4中的箭头方向为数据流转方向。所述 第一网络模型210所含第一网络层的数量、所述第二网络模型220所含第二网 络层的数量以及所述第三网络模型300所含第三网络层的数量均为4。根据所述 第三网络模型中第三网络层与第一网络模型中第一网络层及第二网络模型中第 二网络层各自之间的关联关系，可将第一网络模型中的第4个第一网络层14的 输出结果n41和第二网络模型中的第4个第二网络层24的输出结果n42输入至 第三网络模型中的第1个第三网络层31中，所述第三网络模型中的第1个第三 网络层接收到所述输出结果n41和所述输出结果n42后将对n41和n42按通道维 度进行合并得到输出结果d4
12
，并将所述输出结果d4
12
输入至第三网络模型中 的第2个第三网络层32中；接着，所述第三网络模型中的第2个第三网络层将 所述输出结果d4
12
与所述第一网络模型中的第3个第一网络层13的输出结果 n31和第二网络模型中的第3个第二网络层23的输出结果n32按通道维度的合 并结果d3
12
进行融合得到输出结果d1，并将所述输出结果d1整体输入至所述 第三网络模型的第3个第三网络层33中；然后，所述第三网络模型的第3个第 三网络层再将所述输出结果d1与所述第一网络模型中的第2个第一网络层12 的输出结果n21和第二网络模型中的第2个第二网络层22的输出结果n22的合 并结果d2
12
进行融合得到输出结果d2，将所述输出结果d2整体输入所述第三 网络模型的第4个第三网络层34中；最后，所述第三网络模型的第4个第三网 络层再将所述输出结果d2与所述第一网络模型中的第1个第一网络层11的输 出n11和第二网络模型中的第1个第二网络层21的输出n12的合并结果d1
12
进 行融合得到所述第三网络模型的最终输出结果d3，所述最终输出结果d3将被 输入至所述多分类模型410和/或二分类模型420中，以便于所述多分类
模型或 二分类模型对所述输出结果进行分类。若所述第一网络模型所含第一网络层的 数量、所述第二网络模型所含第二网络层的数量以及所述第三网络模型所含第 三网络层的数量为n个，可以参照上述反复堆叠的计算方式来得到所述第三网 络模型的最终输出结果。上述中所述第一网络模型和所述第二网络模型与所述 第三网络模型之间的数据流转连接方式可称为对称紧密连接。通过此种对称紧 密连接，能够有效的将多层次对应输出的特征信息进行融合，这样不但利用了 语义较抽象的高层次特征，同时也利用了多表征颜色纹理形状的低层特征，以 及介于二者之间各个中间层的特征，可以提高输出结果的准确率。
173.需要补充说明的是：图4中所述第三网络模型所包含的4个第三网络层具 体可以为：第1个第三网络层31为一个卷积核为1*1的卷积层，第2个第三网 络层32为卷积核为3*3的反卷积层，第3个第三网络层33为一个卷积核为1*1 的卷积层，最后一个第三网络层34(即第4个第三网络层34)的输出通道数为 128。且任一相邻第三网络层之间有一激活层，所述激活层对应的激活函数为 relu激活函数。
174.上述3042中，所述多分类模型包括卷积层，所述卷积层的输入通道数与所 述输出结果数量对应；所述卷积层的输出通道数由待识别图像内容类别数确定。 所述多分类模型对接收到的所述第三网络模型的输出结果进行分类处理，可以 得到反映所述第一图像和所述第二图像的差异并区别展示不同类别图像内容的 第三图像。此外，还可以将得到的所述第三图像发送至显示设备上在所述显示 设备的显示界面进行展示。
175.进一步地，上述方法，还包括：
176.305、利用二分类模型，对所述输出结果进行分类，得到反映所述第一图像 和所述第二图像的差异的第四图像。具体实施时，所述二分类模型对接收到的 所述第三模型的输出结果进行二分类处理以得到反映所述第一图像和所述第二 图像的差异的第四图像。
177.需要补充的是：所述二分类模型与所述多分类模型并行连接与所述第三网 络模型的最后一层，除所述多分类模型的通道数为多类别学习的类别数之外， 所述多分类模型与所述二分类模型的其它参数均相同。
178.本实施例提供的技术方案，通过对第一图像和第二图像分别进行特征提取， 以得到所述第一图像对应的至少一个第一特征信息和所述第二图像对应的至少 一个第二特征信息；并结合所述至少一个第一特征信息及所述至少一个第二特 征信息，利用多分类模型来确定反映所述第一图像和所述第二图像的差异并区 别展示不同类别图像内容的第三图像。通过利用图像的多层次特征融合信息来 检测图像的变化，可以有效提高图像变化检测的准确率、同时降低误减率和漏 检率。
179.在另一种可实现的方案中，上述304“根据所述至少一个第一特征信息及所 述至少一个第二特征信息，确定所述第一图像和所述第二图像的差异以及差异 图像内容的类别”，可以具体包括：
180.3041’、利用第三网络模型，对所述至少一个第一特征信息及所述至少一 个第二特征信息进行分析，得到输出结果；
181.3042’、利用第四网络模型，对所述至少一个第一特征信息进行分类处理， 得到第一分类结果；
182.3043’、利用第五网络模型，对所述至少一个第二特征信息进行分类处理， 得到第
二分类结果；
183.3044’、根据所述输出结果、所述第一分类结果及所述第二分类结果，得 到确定所述第一图像和所述第二图像的差异以及差异图像内容的类别。
184.上述3041’可参见上述各实施例中相应内容，在此不再赘述。
185.上述3042’中，所述第四网络模型包含至少一个第四网络层；所述第四网 络模型所含第四网络层的数量与所述第一网络模型所含第一网络层数量相同， 且存在关联关系；相应地，步骤3042
’“
利用第四网络模型，对所述至少一个 第一特征信息进行分类处理，得到第一分类结果”，具体可以采用如下步骤来 实现：
186.按照第四网络模型中第四网络层与第一网络模型中第一网络层存在的关联 关系，将存在关联关系的第一网络层对应的第一特征信息输入至相应的第四网 络层，执行所述第四网络模型得到所述第一图像中不同类别图像内容的分类结 果。
187.具体地，所述第四网络模型与所述第一网络模型的结构对称且二者之间采 用对称紧密连接；相应地，所述第四网络模型中第四网络层与第一网络模型中 第一网络层所存在的关联关系为：所述第一网络模型的第一网络层对应输出的 第一特征信息将作为与所述第一网络层对称的所述第四网络模型中的第四网络 层的输入传递至所述第四网络层中，以便于利用第四网络模型对所述至少一个 第一特征信息进行分类处理得到第一分类结果；
188.举一具体实施例，参见图5所示，图5中的箭头方向为数据流转方向，所 述第四网络模型与所述第一网络模型的结构对称且二者所包含的网络层数量均 为4。根据所述第四网络模型510中第四网络层与第一网络模型210中第一网络 层所存在的关联关系，可将所述第一网络模型中的第4个第一网络层14的输出 结果n41输入至所述第四网络模型中的第1个第四网络层41中，所述第1个第 四网络层对接收到所述输出结果n41进行分类处理得到输出结果d41，并将所述 输出结果d41输入至第四网络模型中的第2个第四网络层42中；接着，所述第 2个第四网络层42将所述输出结果d41与所述第一网络模型中的第3个第一网 络层13的输出结果n31进行融合与分类处理得到输出结果d31并将所述输出结 果d31输入至所述第四网络模型的第3个第四网络层43中；然后，所述第四网 络模型的第3个第四网络层再将所述输出结果d31与所述第一网络模型中的第2 个第一网络层12的输出结果n21进行融合与分类处理得到输出结果d21，将所 述输出结果d21再整体输入所述第四网络模型的第4个第四网络层44中；最后， 所述第4个第四网络层再将所述输出结果d21与所述第一网络模型中的第1个第 一网络层11的输出n11进行融合与分类处理得到所述第四网络模型的最终输出 结果d11，所述最终输出结果d11即为利用所述第四网络模型对所述至少一个第 一特征信息进行分类处理所得到第一分类结果。
189.上述3043’中，所述第五网络模型520与所述第四网络模型的结构及网络 参数相同，也即为所述第五网络模型所含第五网络层的数量与所述第二网络模 型所含第二网络层数量相同，且存在关联关系；基于此，步骤3043’的具体实 现可参见上述3042’中相应内容，在此不再赘述。
190.上述3044’中，综合所述第三网络模型的输出结果、所述第四网络模型的 第一分类结果及所述第五模型的第二分类结果，来得到所述第一图像和所述第 二图像的差异以及差异图像内容的类别，可有效提高输出结果的可靠性，减低 误检率。
191.进一步的，本实施例提供的所述方法还可包括如下步骤：
192.306、响应于用户触发的图像输入事件，获取所述用户输入的所述第一图 像和所述第二图像；
193.307、在显示界面上，展示反映所述第一图像和所述第二图像的差异以及 区别展示所述差异中不同类别图像内容的第三图像。
194.本技术实施例提供的技术方案，通过综合所述第三网络模型对所述至少一 个第一特征信息及所述至少一个第二特征信息进行分析所得到的输出结果、所 述第四网络模型对所述至少一个第一特征信息进行分类处理所得到第一分类结 果以及所述第五模型对所述至少一个第二特征信息进行分类处理所得到的第二 分类结果，来确定出反映所述第一图像和所述第二图像的差异并区别展示不同 类别图像内容的第三图像，可有效提高输出结果的可靠性，减低误检率。
195.为了更清楚的阐述本技术技术方案变化检测的实际效果，下面将结合一具 体应用场景。若上述所述第一图像和所述第二图像为不同时期的两期遥感图像， 结合图4，可利用第一网络模型210对输入的前一期遥感图像(即第一图像100) 进行特征提取，得到所述前一期遥感图像对应的至少一个第一特征信息；利用 所述第二网络模型220对输入的后一期遥感图像(即第二图像110)进行特征提 取，得到所述后一期遥感图像对应的至少一个第二特征信息；将所述至少一个 第一特征信息和所述至少一个第二特征信息按图4中箭头所指示的数据流转方 向输入至所述第三网络模型中，所述第三网络模型通过对接收到的所述至少一 个第一特征信息和所述至少一个第二特征信息进行融合分析便可得到相应的输 出结果；将所述输出结果分别输入至所述二分类模型和多分类模型中，经所述 二分类模对所述输出结果进行分类便可得到反映所述第一图像和所述第二图像 的差异的第四图像，同时经所述多分类模型对所述输出结果进行多类别分类处 理便可得到反映所述第一图像和所述第二图像的差异并区别展示不同类别图像 内容的第三图像，进而也就可以获得相前后两期遥感图像的变化检测的类别结 果。其中，所述变化检测是指通过观察某一物体或现象在不同时间的状态得出 其变化信息的技术；所述两期遥感图像的变化检测的类别可以为：新增建筑、 新增推填土、新增大棚、大棚拆除、建筑拆除、陆地变水域、水域变推填土、 已有动土铺装等。
196.另外，为了对两期遥感图像对应的变化差异实现更加精确的分类，需要对 所述两期遥感图像中地物类别的进行检测。参见图5，可以在包含所述第一网络 模型210、所述第二网络模型220和所述第三网络模型的基础网络模型的原有基 础上，分别增加一个与所述第一网络模型对称紧密连接的第四网络模型510及 与所述第二网络模型对称紧密连接的第五网络模型520，其中，所述第四网络模 型510和所述第五网络模型520与所述第三网络模型的结构相同且网络参数也 相同，但所述第四网络模型510和所述第五网络模型520所对应的通道数为所 述第三网络模型一半，且所述第四网络模型510和所述第五网络模型520各自 对应的最后一层通道数为分类的地物类别数。通过所述第四网络模型510对所 述第一网络模型210所输出的前一期遥感影对应的至少一个第一特征信息进行 地物分类处理可以得到第一分类结果，所述第五网络模型520对所述第二网络 模型220所输出的后一期遥感影对应的至少一个第二特征信息进行地物分类处 理可以得到第二分类结果，综合所述第三网络模型所输出的两期遥感图像对应 的变化检测结果、所述第四网络模型510输
出的前一期遥感图像对应的地物分 类结果以及所述第五网络模型520输出的后一期遥感图像对应的地物分类结果， 便可确定出反映所述前一期遥感图像和所述后一期遥感图像的差异并区别展示 不同类别图像内容的第三图像。其中，所述两期遥感图像中地物类别可以包括 建筑物，水体等类别。上述中，与变化检测相关的网络模型(如第一网络模型、 第二网络模型、第三网络模型、二分类模型以及多分类模型)除多分类模型外， 其余的网络模型中的参数都是从基础网络模型(即第一网络模型、第二网络模 型、第三网络模型)迁移而来。
197.需要说明的是：在训练图4中的整个网络结构过程中，是对进行变化检测 的二分类模型和多分类模型进行同步训练的；而在训练图5的整个网络结构过 程中，是对地物分类(即第四网络模型和第五分类模型)和变化检测(即第三 网络模型)进行交替训练的。
198.表1为利用上述数据处理方法对**省9个区域对应的两期遥感图像进行变 化检测的评估结果，其中，对应的评估指标为iou交并比。所述iou交并比指 的是：预测框与标注框的交集与并集之比，其数值越大表示网络结构的性能越 好，一般情况下若iou>0.5则认为所述网络结构具有好的检测性能。而表1中的 提升点为：第二网络结构对应的评估结果与第一网络结构对应的评价结果之间 的差值百分点，即所述提升点＝(第二网络结构对应的评估结果-第一网络结构对 应的评价结果)*100％。
199.表1对应的评估结果
200.模型基础网络模型第一网络结构第二网络结构iou0.58410.59690.6033提升点01.28点1.92点
201.由表1可以看出，分别利用本方案中如图4所示的网络系统对两期遥感图 像进行变化检测以及利用图5所示的网络系统对两期遥感图像进行变化检测， 得到的变化检测结果相比于图6所示的利用基础网络模型的方案，得到的变化 检测结果分别提升1.28点和1.92点，能够有效保证两期遥感图像变化检测的精 准性，减少误判率。
202.表2为基于所述基础模型结构和所述第一网络结构各自对应的数据处理方 法对两期遥感图像的变化检测的类别进行分类结果的评价结果。其中，所述变 化检测的类别从1至8分别为：无变化，新增建筑，新增工地推填土，新增大 棚，大棚拆除，建筑拆除，陆地变水域，水域变工地推填土，已有动土铺装。
203.表2多分类结果对应的评价结果
[0204] 12345678单任务0.4840.48810.1190.60980.31980.46350.46140.187多任务0.4920.50380.10130.6990.34290.47250.45820.227提升点0.8点1.57点-1.0887点8.92点2.31点0.9点-0.53点4点
[0205]
从表2可以看出，与利用如图6所示的基础网络模型实现遥感图像变化检 测的现有技术方案相比，采用本技术提供的技术方案，在整体提升了1.8757个 点。由此可得，本技术方案能够对两期遥感图像变化检测的类别进行精准的分 类。
[0206]
图7a和7b示出了本技术又一实施例提供的数据处理方法的流程示意图。 如图7a所示，所述方法包括：
[0207]
401、响应于用户通过交互界面触发的图像比对事件，获取所述图像比对 事件中
用户指定的第一图像和第二图像；
[0208]
402、识别所述第一图像和所述第二图像的差异以及差异图像内容的类别， 得到识别结果；
[0209]
403、基于所述识别结果，生成反映所述第一图像和所述第二图像差异并 区别展示差异中不同类别图像内容的第三图像；
[0210]
404、显示所述第三图像。
[0211]
上述402中，“识别所述第一图像和所述第二图像的差异以及差异图像 内容的类别，得到识别结果”，包括：
[0212]
对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；对所述输出结果进行分类处理，得到含有差异信息及差异中不同类 别图像内容的识别结果；或者
[0213]
对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；对所述第一图像中的图像内容进行分类处理，得到第一分类结果； 对所述第二图像中的图像内容进行分类处理，得到第二分类结果；根据所述 输出结果、所述第一分类结果及所述第二分类结果，得到含有差异信息及差 异中不同类别图像内容的识别结果。
[0214]
这里需要说明的是，有关上述各步骤的更详尽的内容，可参见上述各实 施例中的相应内容，此处不作赘述。
[0215]
进一步的，本实施例提供的方法还包括：
[0216]
405、响应于用户通过所述交互界面输入第一图像和第二图像的操作，触 发所述图像比对事件；或者
[0217]
406、响应于用户通过交互界面输入目标区域的操作，触发针对所述目标 区域的图像比对事件；其中，所述图像比对事件中用户指定的第一图像和所 述第二图像为所述目标区域不同时刻对应的图像。
[0218]
参见图7b所示的示例，第一图像和第二图像可是安装在飞行器03上的 遥感装置采集到的遥感图像，且第一图像和第二图像为同一区域05在不同时 间对应的遥感图像。比如，第一图像是遥感装置在上一年某一天针对该区域 05进行遥感影像采集得到；第二图像是遥感装置在今年某一天针对该区域05 进行遥感影像采集得到。遥感装置将采集到的图像可传输至电子设备04。该 电子设备04可以是如图7b所示的台式计算机。遥感装置发送的图像可存储 于电子设备04本地的存储介质中，以便于用户通过电子设备提供的交互方式 调取相应的图像，并触发图像比对事件。例如，用户可通过如图7b中所示的 交互界面01调取存储于本地的第一图像和第二图像。然后，通过点击如图 7b中的“开始检测”控件，触发图像比对事件。图像比对事件被触发后，电 子设备04将执行识别两图像差异，以及差异中不同类别的图像内容的操作， 以生成第三图像(即检测结果)；随后，可将第三图像显示在如图7b所示的 显示界面02中。用户可通过第三图像，直观的观察出该区域的变化情况，且 变化的具体内容，如原来该区域的这块陆地变成人工湖，或者原来该区域那 块陆地变成裸露土地等等。进一步的，由于第三图像中仅是区别的显示了不 同类别的图像内容，因此，还可在如图7b所示的显示界面02的所述第三图 像的周围，展示差异中各种类别的图像内容信息。
[0219]
或者，用户还可通过图7c中示出的交互界面011输入目标区域，具体的， 可输入目
标区域的名称或代码等。输入后，用户可不输入时间信息，系统默 认获取距当前时间最近的两个时刻对应的图像。当然，用户也可通过交互界 面输入第一时间或时段，以及第二时间或时段，这样电子设备便可获取该第 一时间或时段内采集到的第一图像，以及第二时间或时段内采集到的第二图 像进行变化检测。
[0220]
下面将详细介绍一种网络系统。参见图8示出的本技术一实施例提供的网 络系统的结构示意图。该网络系统具体包括：第一网络模型210、第二网络模型 220、第三网络模型300以及多分类模型410；其中，
[0221]
所述第一网络模型210，包含有至少一个第一网络层，用于对第一图像进行 特征提取，输出至少一个第一特征信息；
[0222]
所述第二网络模型220，包含有至少一个第二网络层，用于对第二图像进行 特征提取，输出至少一个第二特征信息；
[0223]
所述第三网络模型300，与所述第一网络模型210及所述第二网络模型220 的输出端连接，用于对所述至少一个第一特征信息及所述至少一个第二特征信 息进行差异分析，得到含有差异信息的输出结果；
[0224]
所述多分类模型410，与所述第三网络模型连接300，用于对所述输出结果 进行多类别分类，得到所述第一图像和所述第二图像的差异。
[0225]
上述中，所述第三网络模型300包含至少一个第三网络层；所述第三网络 模型所含第三网络层的数量与所述第一网络模型210所含第一网络层数量相同， 且存在关联关系；所述第三网络模型300所含第三网络层的数量与所述第二网 络模型220所含第二网络层数量相同，且存在关联关系；相应地，所述第三网 络模型300，具体用于：按照所述第三网络模型中第三网络层分别与第一网络模 型中第一网络层及第二网络模型中第二网络层存在的关联关系，将存在关联关 系的第一网络层对应的第一特征信息及第二网络层对应的第二特征信息输入至 相应的第三网络层，执行所述第三网络模型得到所述输出结果。
[0226]
更具体的，参见图4所示，第一网络模型210包括四层第一网络层，分别 为：第一网络层11、第一网络层12、第一网络层13及第一网络层14。第二网 络模型220包括四层第二网络层，分别为：第二网络层21、第二网络层22、第 二网络层23及第二网络层24。第三网络模型300也可包括四层第三网络层，分 别为第三网络层31、第三网络层32、第三网络层33及第三网络层34。本实施 例对各第一网络层、各第二网络层及各第三网络层的具体实现不作具体限定， 可直接采用现有技术中孪生编码多层次密集解码的二分类单任务学习基础网络 来实现。
[0227]
比如，图4所示的第三网络模型中的第三网络层31可是一个卷积核为1*1 的卷积层，其输入通道数为第一网络层14的输出通道数和第二网络层24的输 出通道数之和；该第三网络层31的输出通道为输入通道的四分之一。第三网络 层32位核大小为3*3的反卷积层，输入通道数为第一网络层13输出通道数、 第二网络层23输出通道数，以及第三网络层31的输出通道数之和；输出通道 数为第三网络层31的输出通道数相同。第三网络层33为一个卷积核为1*1的 卷积层，输入通道数为第一网络层12输出通道数、第二网络层22输出通道数 及第三网络层32输出通道数之和，输出通道数为第一网络层13的输出通道数 和第二网络层23的输出通道数之和。第三网络模型中每层之间用于激活函数激 活，比如sigmoid、relu、elu激活函数。
[0228]
进一步地，与所述第三网络模型300连接的所述多分类模型410包括卷积 层，所述卷积层的输入通道数与所述输出结果数量对应；所述卷积层的输出通 道数由待识别图像内容类别数确定。
[0229]
进一步地，上述网络系统，还可包括二分类模型420。所述二分类模型420， 与所述第三网络模型300连接，用于对所述输出结果进行分类，得到反映所述 第一图像和所述第二图像的差异的第四图像。
[0230]
本实施例提供的技术方案，通过对第一图像和第二图像分别进行特征提取， 以得到所述第一图像对应的至少一个第一特征信息和所述第二图像对应的至少 一个第二特征信息；并结合所述至少一个第一特征信息及所述至少一个第二特 征信息，利用多分类模型来确定反映所述第一图像和所述第二图像的差异并区 别展示不同类别图像内容的第三图像。通过这种多层次的特征信息融合方式可 以有效提升所述第一图像和所述第二图像变化检测的精准性。
[0231]
这里需要说明的是：本技术实施例提供的所述网络系统中各网络模型未尽 详述的内容可参见上述各实施例中的相应内容，此处不再赘述。
[0232]
下面将结合图9介绍一种上述网络系统的训练方法。如图9所述，该训练 方法包括：
[0233]
501、利用第一网络模型对第一样本图像进行特征提取，得到至少一个第一 样本特征信息；
[0234]
502、利用第二网络模型对第二样本图像进行特征提取，得到至少一个第二 样本特征信息；
[0235]
503、利用第三网络模型对所述至少一个第一样本特征信息及所述至少一个 第二样本特征信息进行差异分析，得到输出结果；
[0236]
504、利用多分类模型对所述输出结果进行多类别分类，得到多类别分类结 果；
[0237]
505、根据所述多类别分类结果及多类别样本标签，优化所述第一网络模型、 所述第二网络模型、所述第三网络模型及所述多分类模型中至少一个模型的网 络参数；
[0238]
其中，所述多类别样本标签、所述第一样本图像和所述第二样本图像关联。
[0239]
上述步骤501至505的具体实现可参见上述各实施例中相应内容，在此不 再赘述。
[0240]
本技术实施例提供的技术方案，通过对第一图像和第二图像分别进行特征 提取，以得到所述第一图像对应的至少一个第一特征信息和所述第二图像对应 的至少一个第二特征信息；然后利用所述第三网络模型对所述至少一个第一特 征信息及所述至少一个第二特征信息进行分析得到对应的输出结果；进而利用 所述多分类模型对所述输出结果进行分类以得到多类别分类结果；基于所述多 类别分类结果及多类别样本标签即可优化各网络模型中的参数。这种多层次的 特征融合信息具有较强的表达能力且价值更高，利用这种多层次的特征融合信 息进行图像变化检测的分类，可以有效提高图像变化检测类别的分类准确率。
[0241]
进一步地，本实施例所提供的所述训练方法，还可包括：
[0242]
利用二分类模型对所述输出结果进行分类，得到双类别分类结果；相应地， 上述步骤505“根据所述多类别分类结果及多类别样本标签，优化所述第一网络 模型、所述第二网络模型、所述第三网络模型及所述多分类模型中至少一个模 型的网络参数”，具体可采
用如下步骤来实现：
[0243]
5051、根据所述双类别分类结果与所述双类别样本标签，确定第一损失函 数；
[0244]
5052、根据所述多类别分类结果及多类别样本标签，确定第二损失函数；
[0245]
5053、基于所述第一损失函数和所述第二损失函数，优化所述第一网络模 型、所述第二网络模型、所述第三网络模型及所述二分类模型中至少一个模型 的网络参数；
[0246]
其中，所述双类别样本标签与所述第一样本图像和所述第二样本图像关联。
[0247]
上述5051中，根据所述双类别分类结果与所述双类别样本标签所确定的所 述第一损失函数可以为：
[0248]
loss1＝bce+dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0249]
其中，dice＝1-2tp/(2tp+fn+fp)
[0250]
bce(x)＝-[ylogf(x)+(1-y)log(1-f(x))]
[0251]
其中，tp，fp，fn分别是真阳性、假阳性、假阴性的个数；y为标签，f(x) 为网络输出。
[0252]
上述5052中，根据所述多类别分类结果及多类别样本标签所确定的所述第 二损失函数可以为：
[0253]
loss2＝ce+dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0254]
其中，
[0255]
其中，dice定义和所述第一损失函数相同；c为变化检测多分类的类别。
[0256]
上述5053中，基于所述第一损失函数和所述第二损失函数，可以确定出该 网络系统对应的总损失函数为公式(3)：
[0257]
loss_g＝w1*loss1+w2*loss2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0258]
其中，w1为所述第一损失函数loss1对应的权重参数；w2为所述第二损失 函数loss2对应的权重参数。基于所述总损失函数loss_g可确定出所述第一网 络模型、所述第二网络模型、所述第三网络模型及所述二分类模型中需要优化 的至少一个网络模型，进而对该网络模型中的网络参数进行优化。
[0259]
下面将结合图10和图5介绍另一种网络系统。如图10和图5所述，该网 络系统具体包括：第一网络模型210、第二网络模型220、第三网络模型300、 第四网络模型510、第五网络模型520以及输出模型23；其中，
[0260]
所述第一网络模型210，包含有至少一个第一网络层，用于对第一图像进行 特征提取，输出至少一个第一特征信息；
[0261]
所述第二网络模型220，包含有至少一个第二网络层，用于对第二图像进行 特征提取，输出至少一个第二特征信息；
[0262]
所述第三网络模型300，与所述第一网络模型及所述第二网络模型的输出端 连接，用于对所述至少一个第一特征信息及所述至少一个第二特征信息进行分 析，得到输出结果；
[0263]
所述第四网络模型510，与所述第一网络模型连接，用于对所述至少一个第 一特征信息进行分类处理，得到第一分类结果；
[0264]
所述第五网络模型520，与所述第二网络模型连接，用于对所述至少一个第 二特
征信息进行分类处理，得到第二分类结果；
[0265]
所述输出模型23，与所述第三网络模型300、所述第四网络模型510及所 述第五网络模型520连接，用于根据所述输出结果、所述第一分类结果及所述 第二分类结果，输出所述第一图像和所述第二图像的差异。
[0266]
上述中，所述第四网络模型510与所述第五网络模型520的结构及网络参 数相同；所述第四网络模型510包含至少一个第四网络层；所述第四网络模型 所含第四网络层的数量与所述第一网络模型210所含第一网络层数量相同，且 存在关联关系；相应地，所述第四网络模型510，具体用于按照第四网络模型中 第四网络层与第一网络模型中第一网络层存在的关联关系，将存在关联关系的 第一网络层对应的第一特征信息输入至相应的第四网络层，执行所述第四网络 模型得到所述第一图像中不同类别图像内容的分类结果。参见图5所示，第五 网络模型中的第五网络层与第二网络模型中的第二网络层存在关联关系，同样 的，可将存在关联关系的第二网络层对应的第二特征信息输入至相应的第五网 络层，执行第五网络模型得到所述第二图像中不同类别图像内容的分类结果。
[0267]
具体实施时，对于不同的应用场景，本实施例提供的网络系统中第四网络 模型和第五网络模型因需分类的图像内容和类别数量不一样，致使具体的实现 方案会有所不同。比如，在遥感图像检测场景中，第四网络模型和第五网络模 型的目的是地物分类，其中，地物分类可包括但不限于：建筑物、水体等类别。 因此，可依据实际应用场景中的需求，构建网络模型或从现有网络模型中选型 相应的模型，得到所述第四网络模型和第五网络模型。
[0268]
本技术实施例提供的技术方案，通过综合所述第三网络模型对所述至少一 个第一特征信息及所述至少一个第二特征信息进行分析所得到的输出结果、所 述第四网络模型对所述至少一个第一特征信息进行分类处理所得到第一分类结 果以及所述第五模型对所述至少一个第二特征信息进行分类处理所得到的第二 分类结果，来确定出反映所述第一图像和所述第二图像的差异并区别展示不同 类别图像内容的第三图像，可有效提高输出结果的可靠性，减低误检率。
[0269]
进一步的，所述输出模型23还用于输出反映所述第一图像和所述第二图像 的差异以及区别展示差异中不同类别图像内容的第三图像。
[0270]
这里需要说明的是：本技术实施例提供的所述网络系统中各网络模型未尽 详述的内容可参见上述各实施例中的相应内容，此处不再赘述。
[0271]
下面将结合图11介绍一种上述网络系统的训练方法。如图11所述，该训 练方法包括：
[0272]
601、利用第一网络模型对第一样本图像进行特征提取，得到至少一个第一 样本特征信息；
[0273]
602、利用第二网络模型对第二样本图像进行特征提取，得到至少一个第二 样本特征信息；
[0274]
603、利用第三网络模型对所述至少一个第一样本特征信息及所述至少一个 第二样本特征信息进行分析，得到输出结果；
[0275]
604、根据所述输出结果及第一样本标签，优化所述第一网络模型、所述第 二网络模型及所述第三网络模型中至少一个模型的网络参数；
[0276]
605、利用第四网络模型对所述至少一个第一样本特征信息进行分析，得到 第一
分类结果；
[0277]
606、根据所述第一分类结果及第二样本标签，优化所述第一网络模型及所 述第四网络模型中至少一个模型的网络参数；
[0278]
其中，所述第一样本标签、第二样本标签均与所述第一样本图像和所述第 二样本图像关联。
[0279]
上述步骤601至605的具体实现可参见上述各实施例中相应内容，在此不 再赘述。
[0280]
需要补充的是：所述第四网络模型对应的第四损失函数为：
[0281]
loss_4＝ce+dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0282]
其中，ce和dice的定义和所述第二损失函数一致，c可以为地物分类地 物的类别。
[0283]
进一步地，本实施例所提供的所述训练方法，还可包括：
[0284]
607、基于优化后的所述第四网络模型，得到第五网络模型。
[0285]
本技术实施例提供的技术方案中，通过综合所述第三网络模型对所述至少 一个第一样本特征信息及所述至少一个第二样本特征信息进行分析所得到的输 出结果及第一样本标签来优化所述第一网络模型、所述第二网络模型及所述第 三网络模型中至少一个网络模型的网络参数，可有效提高输出结果的可靠性， 减低误检率。此外，基于第四网络模型对应输出的所述第一分类结果及第二样 本标签对所述第一网络模型及所述第四网络模型中至少一个网络模型的网络参 数进行优化，有利于提高所述第四网络模型的分类精确性。
[0286]
本技术各实施例提供的技术方案可基于如下硬件系统架构或具体硬件设备 实现。
[0287]
图12示出了一种数据处理系统的结构示意图。具体的，所述数据处理系统 包括：图像采集设备及处理设备。其中，所述图像采集设备可以摄像头，或是 遥感装置。其中，遥感装置用于采集目标区域的遥感图像，遥感图像是记录各 种地物电磁波大小的胶片或照片，主要分为航空像片和卫星相片。处理设备可 以是具有数据处理和计算能力的设备，如用户侧的台式计算机、笔记本电脑、 平板电脑、智能手机、智能穿戴设备等；或者是服务端侧的服务器、部署在服 务器集群上的虚拟服务器、云端等等。该数据处理系统可具体包括如下几种架 构方式：
[0288]
第一种，参见图7a所示的示例，部署有遥感装置的飞行器03，如无人机、 有人驾驶的飞机等；以及与该飞行器通信连接的处理设备(即图7a中的电子设 备04)。该处理设备可以是便携式设备，如笔记本电脑、平板电脑、智能手机、 智能穿戴设备等；还可以是部署在监测管理部门的管理设备等。在该场景下， 可通过检测同一区域在不同时期的遥感图像，得到该区域的变化情况，以及变 化的具体内容。或者，如图12所示，处理设备为服务端侧的服务器05，该服务 器05将对第一图像和第二图像进行处理后得到的第三图像发送至客户端设备06。 用户可使用客户端设备06向服务器05请求图像比对服务，例如，用户可通过 交互界面输入目标区域以及欲比对的两个图像的时间等，然后基于用户输入的 数据向服务器05发送请求；服务器05在接收到该请求后，从存储介质中调取 相应的两个时间或时段飞行器采集到的该目标区域的第一图像和第二图像；然 后对第一图像和第二图像进行如上述各实施例提供的方案的处理，得到第三图 像；服务器05将第三图像反馈至客户端设备06，以便用户查看。当然，第一图 像和第二图像也可以是用户通过交互界面输入的。遥感装
置采集图像后向服务 器05发送的图像信息中可包含但不限于：图像、采集时间、区域标识等。服务 器接收到该图像信息后，将该图像信息存储到存储介质中。在需要时，服务器05可依据与图像关联的区域标识及采集时间，调取所需进行处理的图像。
[0289]
第二种，如图13所示，设置在某一固定位置的图像采集设备07，定期采集 固定区域的图像；以及与图像采集设备07通信连接的处理设备08，如台式计算 机、平板电脑、智能手机、智能穿戴设备等。在该系统架构下，处理设备08可 通过检测该固定区域的不同时期的图像，得到该固定区域的变化情况以及变化 的具体内容。比如，在线下商场某一楼层不同时期的图像，采用本技术各实施 例提供的技术方案，可得到该楼层的商铺变化、人流量分布变化等等；进而对 于线下商场的经营有所帮助。
[0290]
其中，图像采集设备，用于采集目标区域在两个不同时刻对应的第一图 像和第二图像；所述处理设备可分析出两个图像的差异，还能识别出差异中 不同种类图像内容。
[0291]
在一种可实现的技术方案中，所述处理设备用于获取所述第一图像和所 述第二图像，对所述第一图像和所述第二图像进行差异分析，获得含有差异 信息的输出结果；对所述第一图像中的图像内容进行分类处理，得到第一分 类结果；对所述第二图像中的图像内容进行分类处理，得到第二分类结果； 根据所述输出结果、所述第一分类结果及所述第二分类结果，确定所述第一 图像和所述第二图像的差异。
[0292]
在另一种可实现的技术方案中，所述处理设备用于获取所述第一图像和 所述第二图像，对所述第一图像和所述第二图像进行差异分析，获得含有差 异信息的输出结果；对所述输出结果进行分类处理，得到所述第一图像和所 述第二图像的差异。
[0293]
在又一种可实现的技术方案中，所述处理设备用于获取所述第一图像和所 述第二图像，对所述第一图像进行特征提取，得到至少一个第一特征信息；对 所述第二图像进行特征提取，得到至少一个第二特征信息；根据所述至少一个 第一特征信息及所述至少一个第二特征信息，确定所述第一图像和所述第二图 像的差异以及差异图像内容的类别。
[0294]
这里需要说明的是，本实施例中的处理设备除具备上面的功能之外，还可 实现其它功能，具体可参见前面各实施例的描述。
[0295]
图14示出本技术一实施例提供的遥感设备。该遥感设备的具体硬件形式可 以是图14所示的飞行器，可以是无人驾驶飞行器，也可以是有人驾驶飞行器。 具体的，该遥感设备包括：遥感装置031及处理器032。所述遥感装置031用于 采集目标区域在两个不同时刻对应的第一遥感图像和第二遥感图像。而处理器 可采用如下几种具体的技术方案实现对两个遥感图像的差异分析以及差异中不 同类别图像内容的识别。
[0296]
在一种可实现的技术方案中，处理器032用于获取所述第一遥感图像和 第二遥感图像，对所述第一遥感图像和所述第二遥感图像进行差异分析，获 得含有差异信息的输出结果；对所述第一遥感图像中的图像内容进行分类处 理，得到第一分类结果；对所述第二遥感图像中的图像内容进行分类处理， 得到第二分类结果；根据所述输出结果、所述第一分类结果及所述第二分类 结果，确定所述第一遥感图像和所述第二遥感图像的差异。
[0297]
在另一种可实现的技术方案中，处理器032用于获取所述第一遥感图像 和第二遥感图像，对所述第一遥感图像和所述第二遥感图像进行差异分析， 获得含有差异信息的输出结果；对所述输出结果进行分类处理，得到所述第 一遥感图像和所述第二遥感图像的差异。
[0298]
在又一种可实现的技术方案中，处理器032用于获取所述第一遥感图像 和第二遥感图像，对所述第一图像进行特征提取，得到至少一个第一特征信 息；对所述第二图像进行特征提取，得到至少一个第二特征信息；根据所述 至少一个第一特征信息及所述至少一个第二特征信息，确定所述第一图像和 所述第二图像的差异以及差异图像内容的类别。
[0299]
这里需要说明的是，本实施例中的处理设备除具备上面的功能之外，还可 实现其它功能，具体可参见前面各实施例的描述。
[0300]
图15示出了本技术一实施例提供的数据处理装置的结构框图。如图15 所示，所述数据处理装置包括：获取模块51、分析模块52、分类模块53及 确定模块54。其中，获取模块51用于获取第一图像和第二图像。分析模块 52用于对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的 输出结果。分类模块53用于对所述第一图像中的图像内容进行分类处理，得 到第一分类结果；对所述第二图像中的图像内容进行分类处理，得到第二分 类结果。确定模块54用于根据所述输出结果、所述第一分类结果及所述第二 分类结果，确定所述第一图像和所述第二图像的差异。
[0301]
进一步的，所述获取模块51在获取第一图像和第二图像时，具体用于：
[0302]
响应于用户通过交互界面触发的图像输入操作，获取所述用户输入的所 述第一图像和所述第二图像；或者
[0303]
响应于用户通过交互界面触发的目标区域输入操作，获取两个不同时刻 针对所述目标区域采集到的所述第一图像和所述第二图像。
[0304]
进一步的，所述分析模块52在对所述第一图像和所述第二图像进行差异 分析，获得含有差异信息的输出结果时，具体用于：对所述第一图像进行特 征提取，得到至少一个第一特征信息；对所述第二图像进行特征提取，得到 至少一个第二特征信息；根据所述至少一个第一特征信息及所述至少一个第 二特征信息，确定含有差异信息的输出结果。
[0305]
更进一步的，所述分析模块52在对所述第一图像进行特征提取，得到至 少一个第一特征信息时，具体用于：利用第一网络模型，对所述第一图像进 行特征提取，得到至少一个第一特征信息；其中，所述第一网络模型包含有 至少一个第一网络层，任一第一网络层对应输出一第一特征信息。
[0306]
进一步的，所述分析模块52在对所述第二图像进行特征提取，得到至少 一个第二特征信息时，具体用于：利用第二网络模型，对所述第二图像进行 特征提取，得到至少一个第二特征信息；其中，所述第二网络模型包含有至 少一个第二网络层，任一第二网络层对应输出一第二特征信息；所述第一网 络模型与所述第二网络模型为网络结构及网络参数均相同的孪生网络模型。
[0307]
进一步的，所述分类模块53在对所述第一图像中的图像内容进行分类处 理，得到第一分类结果时，具体用于：利用第四网络模型，对所述至少一个 第一特征信息进行分类处理，得到第一分类结果。
[0308]
更进一步的，所述第四网络模型包含至少一个第四网络层；所述第四网 络模型所含第四网络层的数量与所述第一网络模型所含第一网络层数量相同， 且存在关联关系。相应的，所述分类模块53在利用第四网络模型，对所述至 少一个第一特征信息进行分类处理，得到第一分类结果时，具体用于：
[0309]
按照第四网络模型中第四网络层与第一网络模型中第一网络层存在的关 联关
系，将存在关联关系的第一网络层对应的第一特征信息输入至相应的第 四网络层，执行所述第四网络模型得到所述第一分类结果。
[0310]
进一步的，所述分类模块53在对所述第二图像中的图像内容进行分类处 理，得到第二分类结果时，具体用于：利用第五网络模型，对所述至少一个 第二特征信息进行分类处理，得到第二分类结果；其中，所述第五网络模型 与所述第四网络模型的网络结构及网络参数均相同。
[0311]
图16示出了本技术一实施例提供的数据处理装置的结构框图。如图16 所示，所述数据处理装置包括：获取模块61、分析模块62及分类模块63。 其中，所述获取模块61用于获取第一图像和第二图像。所述分析模块62用 于对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输出 结果。所述分类模块63用于对所述输出结果进行分类处理，得到所述第一图 像和所述第二图像的差异。
[0312]
进一步的，所述分析模块62在对所述第一图像和所述第二图像进行差异 分析，获得含有差异信息的输出结果时，具体用于：对所述第一图像进行特 征提取，得到至少一个第一特征信息；对所述第二图像进行特征提取，得到 至少一个第二特征信息；根据所述至少一个第一特征信息及所述至少一个第 二特征信息，确定所述含有差异信息的输出结果。
[0313]
进一步的，所述分析模块62在对所述第一图像进行特征提取，得到至少 一个第一特征信息时，具体用于利用第一网络模型，对所述第一图像进行特 征提取，得到至少一个第一特征信息；其中，所述第一网络模型包含有至少 一个第一网络层，任一第一网络层对应输出一第一特征信息。
[0314]
进一步的，所述分析模块62在对所述第二图像进行特征提取，得到至少 一个第二特征信息时，具体用于：利用第二网络模型，对所述第二图像进行 特征提取，得到至少一个第二特征信息；其中，所述第二网络模型包含有至 少一个第二网络层，任一第二网络层对应输出一第二特征信息；所述第一网 络模型与所述第二网络模型为网络结构及网络参数均相同的孪生网络模型。
[0315]
进一步的，第三网络模型包含至少一个第三网络层；所述第三网络模型 所含第三网络层的数量与所述第一网络模型所含第一网络层数量相同，且存 在关联关系；所述第三网络模型所含第三网络层的数量与所述第二网络模型 所含第二网络层数量相同，且存在关联关系。相应的，所述分析模块62在根 据所述至少一个第一特征信息及所述至少一个第二特征信息，确定所述含有 差异信息的输出结果时，具体用于：
[0316]
按照所述第三网络模型中第三网络层分别与第一网络模型中第一网络层 及第二网络模型中第二网络层存在的关联关系，将存在关联关系的第一网络 层对应的第一特征信息及第二网络层对应的第二特征信息输入至相应的第三 网络层，执行所述第三网络模型得到所述差异比对结果。
[0317]
进一步的，所述分类模块63在对所述输出结果进行分类处理，得到所述 第一图像和所述第二图像的差异时，具体用于：将所述输出结果作为多分类 模型的输入，执行所述多分类模型输出所述第一图像和所述第二图像的差异； 其中，所述多分类模型包括卷积层，所述卷积层的输入通道数与所述输出结 果数量对应；所述卷积层的输出通道数由待识别图像内容类别数确定。
[0318]
图17示出了本技术一实施例提供的数据处理装置的结构框图。如图17所 示，该数
三网络模型得到所述输出结果。
[0331]
进一步地，所述确定模块74，还包括：二分类单元743，所述二分类单元 743，用于利用二分类模型，对所述输出结果进行分类，得到反映所述第一图像 和所述第二图像的差异的第四图像。
[0332]
进一步地，所述确定模块74，还具体用于：利用第三网络模型，对所述至 少一个第一特征信息及所述至少一个第二特征信息进行分析，得到输出结果； 利用第四网络模型，对所述至少一个第一特征信息进行分类处理，得到第一分 类结果；利用第五网络模型，对所述至少一个第二特征信息进行分类处理，得 到第二分类结果；根据所述输出结果、所述第一分类结果及所述第二分类结果， 得到反映所述第一图像和所述第二图像的差异并区别展示不同类别图像内容的 第三图像。
[0333]
进一步地，上述中所述第四网络模型与所述第五网络模型的结构及网络参 数相同；所述第四网络模型包含至少一个第四网络层；所述第四网络模型所含 第四网络层的数量与所述第一网络模型所含第一网络层数量相同，且存在关联 关系；相应地，所述确定模块74在利用第四网络模型，对所述至少一个第一特 征信息进行分类处理，得到第一分类结果时，可具体采用如下方式实现：按照 第四网络模型中第四网络层与第一网络模型中第一网络层存在的关联关系，将 存在关联关系的第一网络层对应的第一特征信息输入至相应的第四网络层，执 行所述第四网络模型得到所述第一图像中不同类别图像内容的分类结果。
[0334]
这里需要说明的是：本实施例提供的数据处理装置可实现上述数据处理方 法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述数 据处理方法实施例中的相应内容，此处不再赘述。
[0335]
图18示出了本技术另一实施例提供的网络系统训练装置的结构框图。如图 18所述，该网络系统的训练装置，包括：特征提取模块81、分析模块82、分类 模块83以及优化模块84；其中，
[0336]
所述特征提取模块81，用于利用第一网络模型对第一样本图像进行特征提 取，得到至少一个第一样本特征信息；以及，所述特征提取模块501，还用于利 用第二网络模型对第二样本图像进行特征提取，得到至少一个第二样本特征信 息；
[0337]
所述分析模块82，用于利用第三网络模型对所述至少一个第一样本特征信 息及所述至少一个第二样本特征信息进行分析，得到输出结果；
[0338]
所述分类模块83，用于利用多分类模型对所述输出结果进行多类别分类， 得到多类别分类结果；
[0339]
所述优化模块84，用于根据所述多类别分类结果及多类别样本标签，优化 所述第一网络模型、所述第二网络模型、所述第三网络模型及所述多分类模型 中至少一个模型的网络参数；
[0340]
其中，所述多类别样本标签、所述第一样本图像和所述第二样本图像关联。
[0341]
本技术实施例提供的技术方案，通过对第一图像和第二图像分别进行特征 提取，以得到所述第一图像对应的至少一个第一特征信息和所述第二图像对应 的至少一个第二特征信息；然后利用所述第三网络模型对所述至少一个第一特 征信息及所述至少一个第二特征信息进行分析得到对应的输出结果；进而利用 所述多分类模型对所述输出结果进
行分类以得到多类别分类结果；基于所述多 类别分类结果及多类别样本标签即可优化各网络模型中的参数。这种多层次的 特征融合信息具有较强的表达能力且价值更高，利用这种多层次的特征融合信 息进行图像变化检测的分类，可以有效提高图像变化检测类别的分类准确率。
[0342]
进一步地，所述分类模块83，还用于利用二分类模型对所述输出结果进行 分类，得到双类别分类结果；相应地，所述优化模块84，具体用于：根据所述 双类别分类结果与所述双类别样本标签，确定第一损失函数；根据所述多类别 分类结果及多类别样本标签，确定第二损失函数；基于所述第一损失函数和所 述第二损失函数，优化所述第一网络模型、所述第二网络模型、所述第三网络 模型及所述二分类模型中至少一个模型的网络参数；其中，所述双类别样本标 签与所述第一样本图像和所述第二样本图像关联。
[0343]
这里需要说明的是：本实施例提供的数据处理装置可实现上述数据处理方 法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述数 据处理方法实施例中的相应内容，此处不再赘述。
[0344]
图19示出了本技术另一实施例提供的网络系统训练装置的结构框图。如图 19所述，该网络系统的训练装置，包括：特征提取模块91、分析模块92、优化 模块91；其中，
[0345]
所述特征提取模块91，用于利用第一网络模型对第一样本图像进行特征提 取，得到至少一个第一样本特征信息；以及，所述特征提取模块91，还用于利 用第二网络模型对第二样本图像进行特征提取，得到至少一个第二样本特征信 息；
[0346]
所述分析模块92，用于利用第三网络模型对所述至少一个第一样本特征信 息及所述至少一个第二样本特征信息进行分析，得到输出结果；
[0347]
所述优化模块91，用于根据所述输出结果及第一样本标签，优化所述第一 网络模型、所述第二网络模型及所述第三网络模型中至少一个模型的网络参数；
[0348]
所述分析模块92，还用于利用第四网络模型对所述至少一个第一样本特征 信息进行分析，得到第一分类结果；
[0349]
所述优化模块91，还用于根据所述第一分类结果及第二样本标签，优化所 述第一网络模型及所述第四网络模型中至少一个模型的网络参数；
[0350]
其中，所述第一样本标签、第二样本标签、所述第一样本图像和所述第二 样本图像关联。
[0351]
进一步地，所述优化模块91，还用于基于优化后的所述第四网络模型，得 到第五网络模型。
[0352]
本技术实施例提供的技术方案中，通过综合所述第三网络模型对所述至少 一个第一样本特征信息及所述至少一个第二样本特征信息进行分析所得到的输 出结果及第一样本标签来优化所述第一网络模型、所述第二网络模型及所述第 三网络模型中至少一个网络模型的网络参数，可有效提高输出结果的可靠性， 减低误检率。此外，基于第四网络模型对应输出的所述第一分类结果及第二样 本标签对所述第一网络模型及所述第四网络模型中至少一个网络模型的网络参 数进行优化，有利于提高所述第四网络模型的分类精确性。
[0353]
这里需要说明的是：本实施例提供的数据处理装置可实现上述数据处理方 法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述数 据处理方法实
施例中的相应内容，此处不再赘述。
[0354]
图20示出了本技术一实施例提供的电子设备的结构示意图。如图20所示， 所述电子设备包括：存储器1001以及处理器1002。存储器1001可被配置为存 储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子 设备上操作的任何应用程序或方法的指令。存储器1001可以由任何类型的易失 性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)， 电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)， 可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器， 磁盘或光盘。
[0355]
所述处理器1002，与所述存储器1001耦合，用于执行所述存储器1001中 存储的所述程序，以用于：
[0356]
获取第一图像和第二图像；
[0357]
对所述第一图像和所述第二图像进行差异分析，获得含有差异信息的输 出结果；
[0358]
对所述第一图像中的图像内容进行分类处理，得到第一分类结果；
[0359]
对所述第二图像中的图像内容进行分类处理，得到第二分类结果；
[0360]
根据所述输出结果、所述第一分类结果及所述第二分类结果，确定所述 第一图像和所述第二图像的差异。
[0361]
其中，处理器1002在执行存储器1001中的程序时，除了上面的功能之外， 还可实现其它功能，具体可参见前面各实施例的描述。
[0362]
进一步，如图20所示，电子设备还包括：通信组件1003、显示器1004、 电源组件1005等其它组件。图20中仅示意性给出部分组件，并不意味着电子 设备只包括图20所示组件。
[0363]
本技术另一实施例提供的电子设备，其结构同上述图20。具体的，所述 电子设备包括：存储器以及处理器。存储器用于存储程序。所述处理器，与 所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取第 一图像和第二图像；对所述第一图像和所述第二图像进行差异分析，获得含 有差异信息的输出结果；对所述输出结果进行分类处理，得到所述第一图像 和所述第二图像的差异。
[0364]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现 其它功能，具体可参见前面各实施例的描述。
[0365]
本技术另一实施例提供的电子设备，其结构同上述图20。具体的，所述电 子设备包括：存储器以及处理器。存储器用于存储程序。所述处理器，与所述 存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0366]
获取第一图像和第二图像；
[0367]
对所述第一图像进行特征提取，得到至少一个第一特征信息；
[0368]
对所述第二图像进行特征提取，得到至少一个第二特征信息；
[0369]
根据所述至少一个第一特征信息及所述至少一个第二特征信息，确定所述 第一图像和所述第二图像的差异以及差异图像内容的类别。
[0370]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现 其它功能，具体可参见前面各实施例的描述。
[0371]
本技术另一实施例提供的电子设备，其结构同上述图20。具体的，所述电 子设备
包括：存储器以及处理器。存储器用于存储程序。所述处理器，与所述 存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0372]
响应于用户通过交互界面触发的图像比对事件，获取所述图像比对事件 中用户指定的第一图像和第二图像；
[0373]
识别所述第一图像和所述第二图像的差异以及差异图像内容的类别，得 到识别结果；
[0374]
基于所述识别结果，生成反映所述第一图像和所述第二图像差异并区别 展示差异中不同类别图像内容的第三图像；
[0375]
控制所述显示器显示所述第三图像。
[0376]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现 其它功能，具体可参见前面各实施例的描述。
[0377]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介 质，所述计算机程序被计算机执行时能够实现上述各实施例提供的数据处理方 法步骤或功能。
[0378]
本技术另一实施例提供的电子设备，其结构同上述图20。具体的，所述电 子设备包括：存储器以及处理器。存储器用于存储程序。处理器，与所述存储 器耦合，用于执行所述存储器中存储的所述程序，以用于：利用第一网络模型 对第一样本图像进行特征提取，得到至少一个第一样本特征信息；利用第二网 络模型对第二样本图像进行特征提取，得到至少一个第二样本特征信息；利用 第三网络模型对所述至少一个第一样本特征信息及所述至少一个第二样本特征 信息进行分析，得到输出结果；利用多分类模型对所述输出结果进行多类别分 类，得到多类别分类结果；根据所述多类别分类结果及多类别样本标签，优化 所述第一网络模型、所述第二网络模型、所述第三网络模型及所述多分类模型 中至少一个模型的网络参数；其中，所述多类别样本标签、所述第一样本图像 和所述第二样本图像关联。
[0379]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现 其它功能，具体可参见前面各实施例的描述。
[0380]
本技术另一实施例提供的电子设备，其结构同上述图20。具体的，所述 电子设备包括：存储器以及处理器。存储器用于存储程序。处理器，与所述 存储器耦合，用于执行所述存储器中存储的所述程序，以用于：利用第一网 络模型对第一样本图像进行特征提取，得到至少一个第一样本特征信息；利 用第二网络模型对第二样本图像进行特征提取，得到至少一个第二样本特征 信息；利用第三网络模型对所述至少一个第一样本特征信息及所述至少一个 第二样本特征信息进行差异分析，得到输出结果；根据所述输出结果及第一 样本标签，优化所述第一网络模型、所述第二网络模型及所述第三网络模型 中至少一个模型的网络参数；利用第四网络模型对所述至少一个第一样本特 征信息进行分析，得到第一分类结果；根据所述第一分类结果及第二样本标 签，优化所述第一网络模型及所述第四网络模型中至少一个模型的网络参数； 其中，所述第一样本标签、第二样本标签、所述第一样本图像和所述第二样 本图像关联。
[0381]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现 其它功能，具体可参见前面各实施例的描述。
[0382]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储 介质，所
述计算机程序被计算机执行时能够实现上述各实施例提供的网络系 统训练方法的步骤或功能。
[0383]
本技术各实施例提供的技术方案可应用于同一地区的不同时期的遥感 图像的比对任务，如某一地区新增建筑检测就是其中最常见的一种，多用于 国土管理执法中。除此之外，还可用于生态环境管理(如农用地、林地变化 监管)、受灾程度评估、海洋近海区域管理、城市规划等场景。下面将结合 城市规划为例，对本技术提供的技术方案进行进一步的说明。
[0384]
首先获取针对城市新区的两个不同规划方案的城市规划图；然后可采用 本技术各实施例提供的方案对两个不同规划方案的城市规划图进行差异检测， 得到两个城市规划图的差异。规划工作人员可通过两个城市规划图的差异， 仅针对差异部分进行探讨，以进一步的优化城市规划方案，帮助城市规划。
[0385]
或者是，获取针对城市某一老城区的城区规划图；利用本技术各实施例 提供的方案将城区规划图与该老城区现状的城区图进行差异检测，得到差异。 规划人员们可专注于差异的地方，以进一步的优化老城区规划方案。
[0386]
在如下例举的另一个应用场景中，也可使用到本技术各实施例提供的技 术方案。即，定期对某一对象(可以是地区、物或人等)进行图像采集，采 集到的图像可存入数据库以进行存档；在执行存档过程中，可利用本技术各 实施例提供的技术方案，将本次采集到的图像与数据库中已存档的该对象前 一次采集的图像进行比对，若比对结果相同，则本次采集到的图像可不进行 存档；若比对结果不同，则输出差异(如差异的地方以及哪一个或一些类别 的图像内容发生变化)的同时，还将本次采集到的图像进行存档。
[0387]
当然，对于某些情况下，在将本次采集到的图像进行存档时，可将前一 次采集的图像删除；即使用本次采集到的图像替代前一次采集的图像。
[0388]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也 可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。 本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0389]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施 方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。 基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以 以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介 质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例 的某些部分所述的方法。
[0390]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限 制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的 本质脱离本技术各实施例技术方案的精神和范围。