图像变化检测方法、训练方法、装置和计算机设备与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像变化检测方法、训练方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着图像处理相关技术的不断发展，图像变化检测技术已广泛应用于视频监控、环境监测、森林资源调查、土地利用、城市规划布局等众多领域。通过图像变化检测技术可以检测同一场景在不同时间段内所发生的变化。
3.在对同一场景进行图像变换检测时，将该场景的实时拍摄图像与该场景的标准图像进行比较，确定图像之间的差异。再根据图像之间的差异就可以获取到图像变化信息。
4.现有技术，在对同一场景进行图像变化检测时，通常是将该场景的实时拍摄图像与该场景的标准图像输入至传统的卷积神经网络中进行处理，确定图像之间的差异，进而获取到图像变化信息。然而，采用上述方法进行图像变化检测所得到的图像变化信息的准确性较低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提供图像变化检测准确性的图像变化检测方法、训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种图像变化检测方法。方法包括：
7.获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
8.在其中一个实施例中，预设图像变化检测网络还包括特征提取网络；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图，包括：
9.将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图；将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。
10.在其中一个实施例中，特征提取网络包括编码网络及解码网络，编码网络采用残差网络；将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图，包括：
11.将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图；将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
12.在其中一个实施例中，根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果，包括：
13.将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率；针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果。
14.在其中一个实施例中，类别包括变化类及非变化类；根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果，包括：
15.根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点；对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点；根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。
16.在其中一个实施例中，将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图，还包括：
17.对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像；对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
18.第二方面，本技术提供了一种图像变化检测网络的训练方法。方法包括：
19.获取训练集；训练集包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果；将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果；根据图像变化检测预测结果及图像变化检测标注结果，计算损失函数的值；损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数；根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。
20.第三方面，本技术还提供了一种图像变化检测装置。装置包括：
21.第一获取模块，用于获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像；
22.第一生成模块，用于将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；
23.确定模块，用于根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
24.第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一实施例中的方法步骤。
25.第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
26.第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一实施例中的方法步骤。
27.上述图像变化检测方法、训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待处理图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待
处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。在本技术实施例提供的技术方案中，由于通过特征图金字塔网络对待处理图像的多个尺度的特征图可以进行融合，从而得到的目标特征图综合了多个尺度下图像特征，提高了提取特征图的准确性，进而根据目标特征图进行图像变化检测时，也提高了图像变化检测的准确性。
附图说明
28.图1为一个实施例中计算机设备的内部结构图；
29.图2为一个实施例中图像变化检测方法的流程示意图；
30.图3为一个实施例中生成目标特征图的流程示意图；
31.图4为一个实施例中基础unet网络的结构示意图；
32.图5为一个实施例中fpn网络进行特征融合的示意图；
33.图6为一个实施例中生成多个尺度特征图的流程示意图；
34.图7为一个实施例中残差网络的结构示意图；
35.图8为一个实施例中确定图像变化检测结果的流程示意图；
36.图9为一个实施例中优化图像变化检测结果的流程示意图；
37.图10为一个实施例中生成输入图像的流程示意图；
38.图11为一个实施例中生成预设图像变化检测网络的流程示意图；
39.图12为一个实施例中图像变化检测的整体架构图；
40.图13为一个实施例中图像变化检测装置的结构框图。
具体实施方式
41.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
42.本技术提供的图像变化检测方法可以应用于计算机设备中，计算机设备可以是服务器，也可以是终端，其中，服务器可以为一台服务器也可以为由多台服务器组成的服务器集群，本技术实施例对此不作具体限定，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
43.以计算机设备是服务器为例，图1示出了一种服务器的框图，如图1所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像变化检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像变化检测方法。
44.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的服务器的限定，可选地服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
45.需要说明的是，本技术实施例的执行主体可以是计算机设备，也可以是图像变化检测装置，下述方法实施例中就以计算机设备为执行主体进行说明。
46.在一个实施例中，如图2所示，其示出了本技术实施例提供的一种图像变化检测的流程图，该方法可以包括以下步骤：
47.步骤220、获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像。
48.其中，待处理图像中的第一图像及第二图像中的一幅可以作为基准图像，另外一幅可以作为待测图像，通过将待测图像与基准图像进行比较，就可以确定出来这两幅图像之间的差异。同一场景在不同时刻对应的第一图像及第二图像可以来自同一地理位置以及同一拍摄角度的固定摄像机，只是拍摄时间不同，并且还可以忽略光照等次要因素；还可以通过运动的机器人或无人机进行拍摄。获取到的图像可以直接作为待处理图像，还可以经过图像预处理操作后得到待处理图像，图像预处理操作可以包括但不限于图像去噪、图像尺寸缩放等。
49.步骤240、将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图。
50.其中，预设图像变化检测网络是通过待处理图像样本集训练得到的，待处理图像样本集可以包括包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果，预设图像变化检测网络用于提取待处理图像的特征。通过将待处理图像输入至预设图像变化检测网络中进行检测，从而可以生成目标特征图，预设图像变化检测网络可以是以语义分割网络为基础的网络，语义分割网络可以是unet网络，也可以是其他类型的网络，本实施例对此不作具体限定。预设图像变化检测网络中可以包括特征图金字塔网络(feature pyramid networks，fpn)，fpn网络主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量情况下，大幅度提升了小物体检测的性能。通过fpn网络可以对待处理图像的多个尺度的特征图进行融合，从而生成目标特征图，这里的多个尺度的特征图可以是在预设图像变化检测网络中经过特征提取得到的。
51.步骤260、根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
52.其中，在生成目标特征图后，可以对目标特征图上的各个像素点进行分类，从而确定出每个像素点属于变化类别或是非变化类别，最后根据不同类别的像素点生成第一图像及第二图像之间的图像变化检测结果。图像变化检测结果可以由所有类别的像素点构成，也可以由仅属于变化类别的像素点构成。可选地，可以将目标特征图传输到预设分类器中对目标特征图上的各个像素点进行分类，也可以是采用其他方式对目标特征图上的各个像素点进行分类，预设分类器可以是softmax分类器，也可以是其他类型的分类器。
53.本实施例中，通过获取待处理图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。由于通过特征图金字塔网络对待处理图像的多个尺度的特征图可以进行融合，从而得到的目标特征图综合了多个尺度下
图像特征，提高了提取特征图的准确性，进而根据目标特征图进行图像变化检测时，也提高了图像变化检测的准确性。
54.在一个实施例中，预设图像变化检测网络还包括特征提取网络，如图3所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是生成目标特征图的一种可能的过程，该方法可以包括以下步骤：
55.步骤320、将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图。
56.步骤340、将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。
57.其中，特征提取网络用于对待处理图像进行特征提取，特征提取网络可以由基础unet网络组成，也可以由改进的unet网络组成。以基础unet网络为例，如图4所示，图4为基础unet网络的结构示意图，基础unet网络呈“u”型，因此被称为unet，其中，基础unet网络可以包括编码网络和解码网络。
58.在图4中，每一个条形框均是指特征图，在编码网络的特征提取路径中，包含多个卷积和池化操作，自上而下以生成从低维到高维不同尺寸的特征图，且自上而下共5层维度尺寸的特征图，横向相邻特征图之间为3*3卷积层，用于提取特征，上下特征图之间为2*2池化层，用于降低维度；在解码网络中进行反卷积上采样，横向相邻特征图之间为3*3卷积层，用于提取特征，自下而上特征图之间为上采样，用于恢复维度，每进行一次上采样，特征图的尺寸扩大到上一级的两倍。
59.通过将待处理图像输入至特征提取网络的编码网络和解码网络中进行特征提取，最终可以生成多个尺度的特征图，再将得到的多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。具体在进行特征融合时，如图5所示，图5为fpn网络进行特征融合的示意图，fpn网络是通过横向连接和上采样的方式将深层的图像特征信息自顶向下的传递给低层，具体地，是对较高特征层的特征进行2倍上采样，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的像素，从而扩大特征图的尺寸，较低层特征通过1
×
1卷积改变低层特征的通道数，然后再把经过上采样和1
×
1卷积后的结果对应像素相加得到融合后的目标特征图。
60.本实施例中，通过将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图，将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。通过特征提取网络提取出多个尺度的特征图，从而便于特征图金字塔网络能够对多个尺度的特征图进行融合。
61.在一个实施例中，特征提取网络包括编码网络及解码网络，编码网络采用残差网络，如图6所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是生成多个尺度特征图的一种可能的过程，该方法可以包括以下步骤：
62.步骤620、将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图。
63.步骤640、将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
64.其中，编码网络中可以包括多个编码模块，解码网络中也可以包括多个解码模块。
残差网络可以采用resnet34残差网络，图7为resnet34残差网络的结构示意图，其中，resnet残差网络是由残差块(residual block)构建的网络，残差块包括直接映射部分和残差部分，残差部分一般由两个或者三个卷积操作构成，图7为包括两个卷积操作的结构。在两次卷积过程中还可以加入批量归一化层(batch normalization，bn)对数据进行归一化操作，这样可以加快网络的收敛速度、提升网络的鲁棒性。
65.待处理图像可以先输入至残差网络中进行处理，生成多个尺度的第一特征图，第一特征图是经过残差网络进行多次卷积、池化操作得到的。解码网络主要是进行反卷积操作，编码网络的特征图与经过解码网络的特征图进行跃接连接，即每个解码模块的输入将与对应层编码块的输出相融合作为下个反卷积层的输入，从而将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
66.可选地，编码网络可以包括四个编码模块，分别为encode1、encode2、encode3、encode4，分别经过这四个编码模块进行处理，生成多个尺度的第一特征图，即得到不同层级的特征图f1、f2、f3,、f4，每个解码模块都将特征图的尺度缩小一半而维度加倍，其中编码模块中的卷积操作用以提取特征信息，池化层用于过滤一些不重要的高频信息；解码网络也可以包括四个解码模块，分别为decoder1、decoder2、decoder3、decoder4，分别经过这四个解码模块进行处理，每个解码模块都将特征图的尺度扩大一倍而维度减半，每个解码模块的输入将与对应层编码块的输出相融合作为下个反卷积层的输入，通过跃接连接降低编码模块中池化层带来的信息损失。
67.本实施例中，通过将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图，将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。由于采用残差网络作为编码网络的特征提取层，更加容易优化，并且能够通过增加相当的深度来提高特征提取的准确率，以及其内部的残差块缓解了在深度神经网络中增加深度带来的梯度消失问题；并且，编码网络与解码网络通过跃接连接，从而使解码网络更加精确的还原目标的细节信息。
68.在一个实施例中，如图8所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是确定图像变化检测结果的一种可能的过程，该方法可以包括以下步骤：
69.步骤820、将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率。
70.步骤840、针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果。
71.其中，fpn网络将不同尺度的特征图进行融合并上采样至与输入图像相同大小尺寸的目标特征图，可以传送到预设分类器中，预设分类器可以为softmax分类器，该预设分类器用于针对每种类别，计算所输入的目标特征图上每个像素点在每一种类别下出现的概率，且针对同一像素点，在不同类别下的概率之和为1。通过将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率，针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，从而得到属于同一类别下的所有像素点，进而可以根据所有类别下的所有像素点生成第一图像及第二图像之间的图像变化检测结果。
72.本实施例中，通过将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率，针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果，通过预设分类器对目标特征图进行处理，可以更加高效准确地得到图像变化检测结果。
73.在一个实施例中，如图9所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是优化图像变化检测结果的一种可能的过程，该方法可以包括以下步骤：
74.步骤920、根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点。
75.步骤940、对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点。
76.步骤960、根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。
77.其中，像素点对应的类别可以包括变化类及非变化类，在预设分类器中可以计算出每个像素点在不同类别下的概率，可以通过比较概率值的大小来确定每个像素点应该属于变化类还是非变化类，例如，一个像素点属于变化类的概率为0.8，属于非变化类的概率为0.2，那么通过比较这两个概率值的大小，从而确定出该像素点属于变化类，依据这种方式最终可以得到所有属于变化类的像点。
78.再对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点，去噪处理的过程即是优化经过预设分类器后误分类的情况，具体地，可以根据变化类的像素点的分布数量进行去噪处理，例如，在一个预设大小1*1的区域内属于变化类的像素点的数量小于预设值，那么就去除该区域内的变化类的像素点，并可以将该区域内的像素点作为非变化类的像素点，最终进行完去噪处理后，可以生成属于变化类的目标像素点。再对属于变化类的目标像素点提取连通域，可以直接将该连通域作为图像变化检测结果中的变化区域，也可以将该连通域的外接矩形作为图像变化检测结果中的变化区域，提取连通域的过程为本领域人员所熟知，在此不再赘述。
79.本实施例中，通过根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点；对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点；根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。通过对属于变化类的像素点进行去噪处理，从而能够提取到更加准确的属于变化类的像素点，进而提高了进行图像变化检测的准确性。
80.在一个实施例中，如图10所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是生成输入图像的一种可能的过程，该方法可以包括以下步骤：
81.步骤1020、对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像。
82.步骤1040、对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像。
83.步骤1060、将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
84.其中，在采集到第一图像及第二图像后，通常都需要进行对齐处理，具体地，以第一图像为基准图像，第二图像为待测图像为例进行说明，首先，对基准图像和待测图像使用预设算法对基准图像和待测图像同时检测关键点，并提取关键点的特征描述符，预设算法可以是传统方法中的sift，surf，orb等算法，或是深度学习方法中的d2-net算法；再进行关键点匹配，例如可以采用knn算法匹配两图中的关键点，并使用ransac算法筛选匹配的关键点，简称匹配点，ransac算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法；最后根据匹配点计算一个变化矩阵，基于该变化矩阵进行待测图像和基准图像的对齐操作，从而得到与基准图像对齐的待测图像，即在对齐后的第一图像及对齐后的第二图像中，基准图像保持不变，待测图像为对齐后的图像。
85.另外，在进行对齐处理后，还可以将对齐后的两幅图像处理为相同大小，例如，可以变换为608x608的大小；针对不同场景情况下，例如，在图片分辨率较大并且图片中物体尺度正常的情况下，即对齐后的图像尺寸远大于608x608的大小，不应该直接变换到608x608大小，此时可以对图片划分为多个608x608大小的子区域，或划分后的子区域图像变换为608x608大小，再对子区域图像进行后续处理。
86.对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像，可以采用图像差分算法对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；也可以采用图像比值算法对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像，本实施例对生成差值图像的方式不作具体限定。最后可以直接将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
87.本实施例中，通过对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像；对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。对第一图像及第二图像进行对齐处理后，便于后续进行两幅图像的比对，并且提高了图像变化检测的效率与准确性。
88.在一个实施例中，如图11所示，其示出了本技术实施例提供的一种图像变化检测的流程图，具体涉及的是生成预设图像变化检测网络的一种可能的过程，该方法可以包括以下步骤：
89.步骤1120、获取训练集；训练集包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果。
90.步骤1140、将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果。
91.步骤1160、根据图像变化检测预测结果及图像变化检测标注结果，计算损失函数的值；损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数。
92.步骤1180、根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。
93.其中，初始图像变化检测网络是网络参数初始化后的得到的，通过将第一图像及第二图像输入至初始图像变化检测网络中，初始图像变化检测网络通过学习第一图像及第二图像的图像特征后，可以输出图像变化检测预测结果，再将图像变化检测预测结果与图像变化检测标注结果代入预设的损失函数中计算损失函数的值，并根据损失函数的值调整
初始图像变化检测网络的参数，从而将使得损失函数的值最小化的网络参数作为最优网络参数，并根据该最优网络参数生成预设图像变化检测网络。
94.预设损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数，由于在交叉熵损失函数为经典的二分类交叉熵损失函数，具体可以表示为公式(1)，相似度度量函数即为dice函数，dice函数用于注像素点是否被正确分类，可以表示为公式(2)，联合损失函数可以用公式(3)表示。
[0095][0096][0097]
l＝l
cross
+l
dice
ꢀꢀꢀ
(3)
[0098]
其中，tn表示真实标签类别，当n＝0，表示非变化类，当n＝1，表示变化类；pn表示预测n为变化类的概率值；n是一个样本中总的像素数；n表示样本中一个像素；yn表示的是预测类别。
[0099]
并且，本发明的网络训练过程中需要用优化器更新模型的参数，使损失函数降到最低，优化器可以采用sgd、bgd、adam等优化器。以adam优化器为例，adam优化器是一种对随机目标函数执行一阶梯度优化的算法，该算法基于适应性低阶矩估计，为了防止模型陷入局部最优解并且使模型较快的收敛，还可以引入模拟退火算法用来调整学习率。进一步地，由于每个像素点的分类结果都会影响最终结果，为了评判图像变化检测网络的准确度，可以采用f1score作为网络的评价指标。具体地，f1 score是召回率和精确率的调和平均值，f1 score值越高，表示算法的性能越好，f1 score可以表示为公式(4)所示。
[0100][0101]
其中，tp表示预测答案正确；fp表示错将其他类预测为本类；fn表示本类标签预测为其他类标。
[0102]
本实施例中，通过将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果，根据图像变化检测预测结果及图像变化检测标注结果，计算联合损失函数的值；根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。由于图像变化检测中存在样本分布不均衡问题，仅用经典的二分类交叉熵损失函数会导致网络更加侧重占比较多平的非变化部分的特征学习，所以增加仅关注像
素点是否被正确分类的dice函数作为交叉熵损失函数的补充，从而减少类别不平衡对网络准确度的影响，进而提高了网络训练的准确性。
[0103]
在一个实施例中，如图12所示，其示出了本技术实施例提供的一种图像变化检测的整体架构图，具体地，可以先将基准图像和待测图像做差值后，得到差值图像，再将差值图像输入至预设图像变化检测网络中进行检测，并结合特征图金字塔网络对多个尺度的特征图进行融合后从而输出特征图，再将输出的特征图输入至预设的softmax分类器中计算特征图上各个像素点在不同类别下的概率，从而输出概率分布图，最后根据联合损失函数对图像变化检测网络的参数采用反向传播算法进行网络参数的优化。
[0104]
本实施例中，通过获取待处理图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。由于通过特征图金字塔网络对待处理图像的多个尺度的特征图可以进行融合，从而得到的目标特征图综合了多个尺度下图像特征，提高了提取特征图的准确性，进而根据目标特征图进行图像变化检测时，也提高了图像变化检测的准确性。
[0105]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0106]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像变化检测方法的图像变化检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像变化检测装置实施例中的具体限定可以参见上文中对于图像变化检测方法的限定，在此不再赘述。
[0107]
在一个实施例中，如图13所示，提供了一种图像变化检测装置1300，包括：第一获取模块1302、第一生成模块1304和确定模块1306，其中：
[0108]
第一获取模块1302，用于获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像。
[0109]
第一生成模块1304，用于将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图。
[0110]
确定模块1306，用于根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
[0111]
在一个实施例中，预设图像变化检测网络还包括特征提取网络；上述第一生成模块1304具体用于将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图；将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。
[0112]
在一个实施例中，特征提取网络包括编码网络及解码网络，编码网络采用残差网络；上述第一生成模块1304还用于将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图；将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
[0113]
在一个实施例中，上述确定模块1306具体用于将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率；针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果。
[0114]
在一个实施例中，类别包括变化类及非变化类；上述确定模块1306还用于根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点；对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点；根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。
[0115]
在一个实施例中，上述第一生成模块1304具体用于对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像；对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
[0116]
在一个实施例中，提供了一种图像变化检测网络的训练装置，包括：第二获取模块、输入模块、计算模块和第二生成模块，其中：
[0117]
第二获取模块，用于获取训练集；训练集包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果。
[0118]
输入模块，用于将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果。
[0119]
计算模块，用于根据图像变化检测预测结果及图像变化检测标注结果，计算损失函数的值；损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数。
[0120]
第二生成模块，用于根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。
[0121]
上述图像变化检测装置、图像变化检测网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0122]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0123]
获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
[0124]
在一个实施例中，预设图像变化检测网络还包括特征提取网络；
[0125]
处理器执行计算机程序时还实现以下步骤：
[0126]
将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图；将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。
[0127]
在一个实施例中，特征提取网络包括编码网络及解码网络，编码网络采用残差网络；
[0128]
处理器执行计算机程序时还实现以下步骤：
[0129]
将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图；将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
[0130]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0131]
将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率；针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果。
[0132]
在一个实施例中，类别包括变化类及非变化类；
[0133]
处理器执行计算机程序时还实现以下步骤：
[0134]
根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点；对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点；根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。
[0135]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0136]
对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像；对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
[0137]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0138]
获取训练集；训练集包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果；将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果；根据图像变化检测预测结果及图像变化检测标注结果，计算损失函数的值；损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数；根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。
[0139]
本技术实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0140]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0141]
获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
[0142]
在一个实施例中，预设图像变化检测网络还包括特征提取网络；
[0143]
计算机程序被处理器执行时还实现以下步骤：
[0144]
将待处理图像输入至特征提取网络中进行特征提取，生成多个尺度的特征图；将多个尺度的特征图输入至特征图金字塔网络中，对多个尺度的特征图进行融合，生成目标特征图。
[0145]
在一个实施例中，特征提取网络包括编码网络及解码网络，编码网络采用残差网络；
[0146]
计算机程序被处理器执行时还实现以下步骤：
[0147]
将待处理图像输入至残差网络中进行处理，生成多个尺度的第一特征图；将多个尺度的第一特征图输入至解码网络中进行处理，生成多个尺度的第二特征图。
[0148]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0149]
将目标特征图输入至预设分类器中进行分类，生成待处理图像中各像素点对应的类别及像素点在类别下的概率；针对待处理图像中各像素点，根据各像素点对应的类别及像素点在类别下的概率，生成第一图像及第二图像之间的图像变化检测结果。
[0150]
在一个实施例中，类别包括变化类及非变化类；
[0151]
计算机程序被处理器执行时还实现以下步骤：
[0152]
根据各像素点对应的类别及像素点在类别下的概率，从各像素点中确定属于变化类的像素点；对属于变化类的像素点进行去噪处理，生成属于变化类的目标像素点；根据属于变化类的目标像素点，生成第一图像及第二图像之间的图像变化检测结果。
[0153]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0154]
对第一图像及第二图像进行对齐处理，生成对齐后的第一图像及对齐后的第二图像；对对齐后的第一图像及对齐后的第二图像进行差值处理，生成差值图像；将差值图像输入至预设图像变化检测网络中进行检测，生成目标特征图。
[0155]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0156]
获取训练集；训练集包括同一场景在不同时刻对应的第一图像、第二图像、第一图像及第二图像之间的图像变化检测标注结果；将第一图像及第二图像输入至初始图像变化检测网络中进行训练，生成图像变化检测预测结果；根据图像变化检测预测结果及图像变化检测标注结果，计算损失函数的值；损失函数包括联合损失函数，联合损失函数包括交叉熵损失函数及相似度度量函数；根据损失函数的值调整初始图像变化检测网络的参数，生成预设图像变化检测网络。
[0157]
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0158]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0159]
获取待处理图像；待处理图像包括同一场景在不同时刻对应的第一图像及第二图像；将待处理图像输入至预设图像变化检测网络中进行检测，生成目标特征图；预设图像变化检测网络中包括特征图金字塔网络，特征图金字塔网络用于对待处理图像的多个尺度的特征图进行融合，生成目标特征图；根据目标特征图，确定第一图像及第二图像之间的图像变化检测结果。
[0160]
在一个实施例中，预设图像变化检测网络还包括特征提取网络；
memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0178]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0179]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。