一种基于图像配准的视频流变化检测方法和系统与流程

1.本发明涉及视频流变化检测技术领域，尤其是涉及一种基于图像配准的视频流变化检测方法和系统。


背景技术：

2.变化检测任务是指识别两张或多张在不同时间、光照、视点或更复杂条件下拍摄的同一场景的图像的状态差异的过程。源于多时相遥感(rs)数据、合成孔径雷达(sar)数据以及医学图像的发展，变化检测在遥感领域和医学领域已经取得了巨大的成功，目前已经提出了很多深度学习方法用于遥感和医学变化检测，如stanet、changenet等基于孪生网络的算法。然而，受限于不存在近景变化检测数据集，即包含不同视点或不同光照下条件下拍摄的近景图像的数据集，目前并没有针对近景图像的深度学习变化检测方法。为了应对近景图像的变化检测，一般的做法是先对图像进行配准得到对齐的图像，在对齐的图像上进行差异检测。图像配准又可以分为关键点检测、关键点匹配、单应性估计和图像变换几个步骤。
3.近年来，由于深度学习技术能够通过多层网络从线性和非线性空间中获取图像深度特征和表示而被用于图像配准的各个过程，以取代传统算法。文献“superpoint:self-supervised interest point detection and description”(detone d,malisiewicz t,rabinovich a.//proceedings of the ieee conference on computer vision and pattern recognition workshops.2018:224-236.)提出了superpoint自监督全卷积模型，对光照和季节变化下的关键点检测具有鲁棒性，superpoint的输入是全尺寸图像，它在一次前向传播中计算出像素级关键点位置和关键点描述符。superpoint由magicpoint和单应性自适应模块组成，magicpoint在合成的几何数据集进行预训练，单应性自适应模块使其能够在提高检测可重复性的同时实现自监督训练。
4.文献“key.net:keypoint detection by handcrafted and learned cnn filters”(barroso-laguna a,riba e,ponsa d,et al.proceedings of the ieee/cvf international conference on computer vision.2019:5836-5844.)提出了key.net浅层多尺度架构模型，它是一种结合传统特征检测思想和深度学习检测思想的关键点检测器传统检测过滤器为深度学习滤波器提供“锚结构”，深度学习滤波器对可重复的特征进行定位，评分和排名，多尺度架构保证了key.net对尺度变化的不变性。
5.虽然关键点检测技术取得了不错的发展，但是传统的单应性估计忽略了现实世界应用中处理深度的差异和移动物体的重要性，对场景有着更多的约束，无法应对复杂场景的单应性需求。对于视频流数据，基于图像变化检测的方法忽略了视频的上下文信息，无法直接用于视频流变化检测。


技术实现要素：

6.本发明的目的就是为了克服上述现有技术存在关键点覆盖范围小、忽略了视频的
上下文信息的缺陷而提供一种基于图像配准的视频流变化检测方法和系统。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于图像配准的视频流变化检测方法，其特征在于，包括以下步骤：
9.s1：获取待配准的参考图和变化图，对所述参考图和变化图分别进行关键点检测；
10.s2：对所述参考图和变化图中的关键点进行匹配；
11.s3：采用随机抽样一致性算法对步骤s2获取的关键点对进行提纯，获取多个内点集合以及多个单应性矩阵；
12.s4：根据所有内点集合中的内点确定检测区域，并根据求得的单应性矩阵将参考图中的关键点映射到变化图中，然后对比这些成对的关键点得到变化的关键点；
13.s5：计算步骤s4得到的发生变化的关键点的最大连通域，从而得到变化框；
14.s6：根据变化图的上下文信息设置缓冲区存放变化框，若缓冲区中的变化框连续出现次数到达预设的次数阈值，则显示该变化框。
15.进一步地，所述步骤s1具体包括：
16.s101：设定待提取的最大关键点数量，并跳转至步骤s102；
17.s102：采用关键点检测方法从所述参考图和变化图中分别检测关键点，若检测出的关键点数量大于所述最大关键点数量，则跳转至步骤s103，否则跳转至不受s104；
18.s103：根据检测出的关键点的强度来对关键点排序，选择强度最大的前最大关键点数量个关键点，跳转至步骤s104；
19.s104：计算关键点的描述子。
20.进一步地，所述步骤s2具体包括：
21.s201：选择搜索算法，设定遍历次数和距离阈值，并跳转至步骤s202；
22.s202：根据步骤s202设置的搜索算法和遍历次数，构建快速最近邻搜索匹配器，对参考图和变化图中的关键点进行匹配，跳转至步骤s203；
23.s203：根据所述距离阈值对匹配的关键点过滤错误匹配。
24.进一步地，所述步骤s3中，采用随机抽样一致性算法计算单应性矩阵过程中，获取有内点和离群点，若所述离群点在关键点中的比例大于预设的离群点比例阈值，则根据离群点继续计算单应性矩阵，得到多个单应性矩阵。
25.进一步地，所述步骤s4具体为：
26.根据所有内点集合中的内点确定检测区域，在该检测区域内按照固定间隔重新划分关键点，对于重新划分的关键点，采用k最近邻分类算法，依据最邻近的几个内点来确定当前关键点的类别，从而选取对应的单应性矩阵来映射；最后对比参考图和变化图中成对的关键点的描述子来得到变化的关键点对。
27.进一步地，所述步骤s5中根据最大连通域的外接矩形得到变化框。
28.进一步地，所述步骤s6具体为：根据变化图的上下文信息设置缓冲区存放变化框，若缓冲区中的变化框连续出现次数到达预设的出现次数阈值，则显示该变化框；若已经显示出的变化框连续没被检测到的次数达到预设的未出现次数阈值，则将该变化框从缓冲区移除。
29.进一步地，所述步骤s6具体包括：
30.对于当前帧检测出的变化框，若所述缓冲区为空，直接将变化框存到缓冲区，并将
出现次数置为1；若所述缓冲区不为空，则遍历缓冲区中的变化框与当前帧的变化框进行匹配，若匹配成功，则将缓冲区中对应的变化框的出现次数加1，若该变化框的出现次数大于预设的出现次数阈值，则显示该变化框；缓冲区中未被匹配的变化框的出现次数减1，如果缓冲区的变化框的出现次数小于0，则将对应的变化框移除。
31.进一步地，所述变化图为视频流中的图像帧。
32.本发明还提供一种基于图像配准的视频流变化检测系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。
33.与现有技术相比，本发明具有以下优点：
34.本发明的显著优点是提出了一种结合关键点检测和配准的变化检测方法，不依赖于海量数据进行训练。同时，通过多种方法来进行关键点检测，从而能够应对光照和视点变化下的关键点检测。本发明提出了一种多单应性匹配方法，解决了传统单应性估计的约束，扩大了关键点匹配的范围，提高了单应性估计的准确性。本发明也设计了缓冲区来减少视频流变化检测中的漏检和误检。
附图说明
35.图1为本发明实施例中提供的一种基于图像配准的视频流变化检测方法的流程示意图；
36.图2为本发明实施例中提供的一种计算多单应性矩阵的流程图；
37.图3为本发明实施例中提供的一种缓冲区的处理流程示意图；
38.图4为本发明实施例中提供的一种光照变化下单应性估计实验结果图；
39.图5为本发明实施例中提供的一种视点变化下单应性估计实验结果图；
40.图6为本发明实施例中提供的一种变化检测实验结果图。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
42.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
44.实施例1
45.本实施例提供一种基于图像配准的视频流变化检测方法，包括以下步骤：
46.s1：获取待配准的参考图和变化图，对所述参考图和变化图分别进行关键点检测；
47.s2：对所述参考图和变化图中的关键点进行匹配；
48.s3：采用随机抽样一致性算法对步骤s2获取的关键点对进行提纯，获取多个内点
集合以及多个单应性矩阵；
49.s4：根据所有内点集合中的内点确定检测区域，并根据求得的单应性矩阵将参考图中的关键点映射到变化图中，然后对比这些成对的关键点得到变化的关键点；
50.s5：计算步骤s4得到的发生变化的关键点的最大连通域，从而得到变化框；
51.s6：根据变化图的上下文信息设置缓冲区存放变化框，若缓冲区中的变化框连续出现次数到达预设的次数阈值，则显示该变化框。
52.该方法的实现过程具体为：
53.在第一个步骤中，设定期待提取的最大关键点数量maxkeypointnum，使用关键点检测方法在图像中检测关键点，选择前maxkeypointnum个关键点并计算描述子。包括如下步骤：
54.步骤s101，人工设定参数：期待提取的最大关键点数量maxkeypointnum，跳转至步骤s1-2；
55.步骤s102，使用关键点检测方法在图像中检测关键点，得到的关键点数量为keypointnum，如果keypointnum》maxkeypointnum，跳转至步骤s103；否则跳转至步骤s104；
56.步骤s103，根据关键点的强度来对关键点排序，选择前maxkeypointnum个关键点，跳转至步骤s104。
57.步骤s104，计算关键点的描述子，结束步骤s1。
58.在第二个步骤中，设定搜索算法algorithm，遍历次数checks，距离阈值distanceratio，构建快速最近邻搜索匹配器对参考图和变化图中的关键点进行匹配，然后根据距离阈值distanceratio来过滤错误匹配。包括如下步骤：
59.步骤s201，人工设定参数：搜索算法algorithm，遍历次数checks，距离阈值distanceratio，跳转至步骤s202；
60.步骤s202，根据搜索算法algorithm和遍历次数checks来构建快速最近邻搜索匹配器，对参考图和变化图中的关键点进行匹配，对于参考图中的每个关键点，匹配器会在变化图中找两个最匹配的关键点，跳转至步骤s2-3；
61.步骤s203，根据距离阈值distanceratio来过滤错误匹配，如果m
distance
＜distanceratio*n
distance
，则认为这是一个正确匹配。其中m
distance
是第一匹配的欧氏距离，n
distance
是第二匹配的欧氏距离，结束步骤s2；
62.在第三个步骤中，使用ransac随机抽样一致性算法来减少数据中异常值的影响。由于一对图像中可能存在多个映射关系，因此当计算单应性矩阵时离群点的比例大于预先设置的离群点比例阈值threshold_outlier时，我们认为离群点中仍然存在映射关系，此时需要根据离群点继续计算单应性矩阵。计算完成后，我们就得到了多个单应性矩阵。其中多单应性矩阵计算流程图见图2。
63.通过ransac计算单应性矩阵时会区分“内点”和“离群点”，其中“内点”是指距离当前拟合小于阈值t的点，“离群点”是指异常数据点。计算单应性矩阵时离群点的比例大于threshold_outlier时，我们认为需要继续计算单应性矩阵，计算下一个单应性矩阵时需要从上一次的匹配点中将上一次的内点去除，即计算第i+1个单应性矩阵时使用的点是初始匹配点减去第1次到第i次的所有内点。计算完成后，我们会得到多个内点集合以及多个单应性矩阵，每个内点集合对应一个单应性矩阵。
64.在第四个步骤中，根据计算单应性矩阵时的所有内点来确定检测区域，再在检测区域内按照固定间隔来重新划分关键点。对于新划分的关键点，需要确定其应该使用哪个单应性矩阵来将其从参考图映射到变化图，这个问题本质上是一个关键点分类问题，所以我们使用了k最近邻分类算法，依据最邻近的几个内点来确定类别，然后使用该类别对应的单应性矩阵来映射。最后对比参考图和变化图中成对的关键点的描述子来得到变化的关键点对。
65.在第五个步骤中，计算步骤4得到的发生变化的关键点的最大连通域，然后用最大连通域的外接矩形来代表变化框。
66.在第六个步骤中，我们设计了缓冲区来利用上下文信息，将检测结果传播到相邻帧。缓冲区的核心思想是只有连续出现len次的检测框才会显示出来，已经显示出的框只有连续len次不出现才会从缓冲区中移除。其中缓冲区的设计图见图3。
67.对于当前帧检测出的变化框，如果缓冲区为空，直接将变化框存到缓冲区，并将出现次数frequency置为1；
68.如果缓冲区不为空，则遍历缓冲区中的变化检测框与当前帧的变化框进行匹配，匹配成功则将缓冲区的检测框的出现次数frequency加一，并通过平均滤波更新变化框的属性，如果frequency》len，将框的flag置为true；未匹配成功的则将缓冲区当前框的出现次数frequency减一，如果frequency《0,则将框从缓冲区中移除。
69.考虑到某个框被另外一个框包含的情况，对于当前帧未被匹配到的框，首先判断该框是否被缓冲区中的框所包含，如果是则将该框标记为匹配。
70.最后将当前帧未被匹配到的变化框作为新的变化框加入缓冲区并返回缓冲区中所有flag为true的变化框。
71.验证实例：
72.为了验证方法的有效性，本实施例在hpatches和cdnet dataset 2014两个图像数据集上进行了变化检测实验。hpatches是2016年提出的一个局部描述子评价指标，它包含57个光照文件夹和59个视点文件夹。每个文件夹都包含一个参考图像和五个在不同光照或不同视点下对于同一场景拍摄的图像，也提供了参考图像和变化图像之间的单应性矩阵。cdnet dataset 2014(cd2014)是在cdnet dataset2012的基础上改进得到的。cdnet dataset 2012是一个包含31个视频，大约90000个手动注释帧的数据集，cdnet dataset 2014新增了五个类别。每个类别包含900到7000帧图像，图像的分辨率从320*240到760*486不等。对于每一帧图像，cd2014数据集都提供了像素级别的groundtruth标签。关键点检测和多单应性矩阵的实验在hpatches数据集上进行，变化检测整体效果的实验在cd2014数据集上进行。
73.利用上述的图像数据集，按照以下步骤进行单应性估计评估和变化检测框架的评估：
74.1、单应性估计效果评估
75.s11：设定期待提取的最大关键点数量maxkeypointnum为1000，选取sift、key.net、superpoint三种方法在hpatches数据集上来进行关键点检测。
76.s12：设定搜索算法algorithm为flann_index_kdtree，遍历次数checks为10，距离阈值distanceratio为0.8，构建快速最近邻搜索匹配器对关键点进行匹配。
77.s13：设定离群点比例阈值threshold_outlier为0.25，然后结合ransac随机抽样一致性算法来进行多单应性矩阵的计算。
78.s14：对比三种方法分别在单个单应性矩阵和多个单应性矩阵下的关键点可重复性和匹配成功的关键点比例。其中一对关键点a，b可重复定义为a经过单应性矩阵转换后与b的距离小于ε，匹配成功的关键点比例定义为内点的比例。
79.图4和图5分别是光照变化和视点变化下单应性估计实验结果，从图4可以看到在光照变化场景下，使用一个单应性矩阵时key.net和superpoint的单应性估计效果都远远好于sift，使多个单应性矩阵对sift的提升效果较大，key.net和superpoint都只有轻微的提升。从图5可以发现视点变化场景使用多个单应性矩阵对sift、superpoint以及key.net三种方法都有很大的提升，这也与预期是相符的。因为视点变化可能会导致图像深度的变化，打破了传统单应性估计的约束，因此视点变化下多单应性矩阵的效果会提升更多。使用多单应性矩阵可能会导致关键点可重复性有小幅度的下降，但会大幅度提升匹配成功关键点的比例。
80.2、变化检测效果评估
81.s21设定期待提取的最大关键点数量maxkeypointnum为1000，选取sift、key.net、superpoint三种方法在cdnet 2014数据集上来进行关键点检测。
82.s22设定搜索算法algorithm为flann_index_kdtree，遍历次数checks为10，距离阈值distanceratio为0.8，构建快速最近邻搜索匹配器对关键点进行匹配。
83.s23设定离群点比例阈值threshold_outlier为0.25，然后结合ransac随机抽样一致性算法来进行多单应性矩阵的计算。
84.s24根据计算单应性矩阵时的所有内点来确定检测区域，再在检测区域内按照固定间隔来重新划分关键点。对于新划分的关键点，依据最邻近的几个内点来确定类别，然后使用该类别对应的单应性矩阵来映射。最后对比参考图和变化图中成对的关键点的描述子来得到变化的关键点对。
85.s25计算步骤s24得到的发生变化的关键点的最大连通域，然后用最大连通域的外接矩形来代表变化框。
86.s26对比三种方法得到的变化框与cdnet 2014数据集提供的ground truth来衡量变化检测效果。假设通过变化检测框架预测的变化框集合为{a1,
…
,ak}，通过ground truth得到的变化框集合为{b1,
…
,bn}，预测框的总面积为spred，gt框的总面积为sgt，预测框与gt框的交叉面积为siou。precision在此定义为预测变化的地方spred中有多少为真正变化的地方siou，recall定义为真正变化的地方sgt中有多少被预测出来了。
87.图6是变化检测实验结果，从图6中可以看出sift、superpoint和key.net的precision、recall和f1三个指标相差不大，反而是sift的效果最好，key.net的效果次之，superpoint效果最差。我们分析了导致这个结果的原因，这是cd2014数据集的限制，因为数据集的图像既没有视点变化也没
88.有光照变化，用传统方法来进行关键点检测就可以达到不错的效果，以及图像本身就是对齐的，使用一个单应性矩阵就可以很好地描述两幅图之间的映射关系。
89.虽然在cd2014数据集上的定量实验没有体现出本发明框架的优势，但是在测试视频上进行的定性实验上，key.net、superpoint、多单应性矩阵以及缓冲区都使变化检测效
果变得更好，key.net和superpoint使关键点覆盖的范围变得更大，匹配成功的关键点变得更多，多单应性矩阵使本发明算法能够应对图像中出现运动物体场景下的单应性估计，缓冲区减少了变化检测的误检和漏检。
90.本发明提出了一种基于图像配准的视频流变化检测方法，具体地，利用关键点检测与匹配、单应性估计、差异检测几个步骤设计了一个近景图像变化检测框架。充分利用了图像中的关键信息，无需成对数据进行训练，解决了变化检测任务对成对数据的依赖问题。在此基础上，本发明引入缓冲区方法来利用视频流上下文信息避免误检和漏检。我们在hpatches上的实验结果表明，superpoint和key.net分别对光照变化和视点变化具有较好的鲁棒性，在一对图像中计算多单应性矩阵可以使关键点的匹配范围更大，可以解决传统单应性估计存在的问题。实施例中的定性实验也证明了缓冲区可以减少漏检和误检。
91.本实施例还提供一种基于图像配准的视频流变化检测系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的基于图像配准的视频流变化检测方法的步骤。
92.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。