检测感兴趣区域中的改变的方法和装置与流程

1.公开了与检测感兴趣区域中的改变有关的实施例。


背景技术：

2.在某些行业中，确定感兴趣区域(aoi)是否已经被改变是有利的。例如，确定自上次扫描aoi以来新对象是否被引入aoi可以是有利的。例如，这可能有助于诊断基站处的问题：可以将基站所在区域的当前状态与该区域的先前状态进行比较，突出差异，这可能是导致问题持续存在的原因。技术人员因此可以使用某种传感器扫描该区域，生成该区域的图像，然后使用这些图像生成该区域的数字模型，然后将该数字模型与该区域的先前数字模型进行比较，作为该区域的先前扫描结果以检测aoi中的改变(例如，检测自先前扫描以来已添加到该区域的对象、自先前扫描以来已从该区域移除的对象、和/或自先前扫描以来已改变的对象)。


技术实现要素：

3.解决该问题的一种特定方法是：如果使用单目相机，则使用诸如运动恢复结构(sfm)(参见参考文献[1])的3d重构算法来构建三维(3d)模型(点云或多边形网格)，或使用深度相机(例如，激光雷达、立体相机)针对两种状态创建世界的3d模型，并使用该模型找到差异。该挑战然后是找到对用户有意义的差异。当比较不成熟时(例如，比较相同相机位置的两个深度图中的每个像素或两个点云中的每个点)，在扫描时照明、不同相机、或甚至只是相机位置的改变都会产生不同的模型。如果事先知道用户感兴趣的可能改变，则给定模型，可以使用监督学习技术来发现当前状态。参考文献[2]中描述了这种方法的一个示例，其中，训练滑动窗口对象检测器以在点云中找到预定义的对象。其他方法在考虑到不重要改变(例如，闪电的改变)的影响的同时试图找出模型中的哪些区域已经以密集的方式(在图像上逐像素地(参见参考文献[3])或在3d模型上逐体素地(参见参考文献[4]))改变，以便在适当的时候忽略它们。
[0004]
目前存在某些挑战。参考文献[2]和[4]中描述的方法依赖于获得高度精确的环境3d模型，这在大多数情况下使用当前技术是不可能的。使用sfm构建的点云容易产生噪声，例如在描述点云中的某些对象或孔时密度较低的点。当从深度传感器构建点云时也会出现类似的问题。此外，取决于环境条件(如闪电、相机运动和拍摄图像的不同视角等)，即使场景几乎没有改变，在两个不同时间点创建相同场景的两个3d模型也可以产生非常不同的3d模型。即，这可能导致点云由具有不同视觉特征的点组成，并因此，即使没有真正的改变，该算法也可能检测到场景中的改变(即，场景改变算法可能产生许多误报)。
[0005]
为了克服这些挑战，本公开描述了用于检测感兴趣区域中的改变的改进方法。在一个实施例中，该方法包括形成点云，该点云包括：i)第一点集，其从一个或多个图像的第一图像集合中导出，其中，在第一时间段t1期间获得被包括在第一图像集合中的每个图像，并且被包括在第一图像集合中的每个图像是感兴趣区域的至少一部分的图像；以及ii)第
二点集，其从一个或多个图像的第二图像集合中导出，其中，在第二时间段t2期间获得被包括在第二图像集合中的每个图像，并且被包括在第二图像集合中的每个图像是感兴趣区域的至少一部分的图像，其中，点云的每个点与感兴趣区域内的位置相关联，并且t1不同于t2。该方法还包括：针对被包括在点云中的每个点，向该点分配相似度得分，其中，分配给该点的相似度得分指示该点与第一点集内的点之间的相似度。该方法还包括：至少针对点云中的被包括在特定点集中的每个点，确定值nt和值nnew，其中，nt是该点云内的与在所定义的几何体积内的位置相关联的点的总数，在该几何体积中，所述点所关联的位置也在其中，而nnew是该点云内的i)与所定义的几何体积内的位置相关联、以及ii)被包括在第二点集中的点的总数；以及基于nt和nnew来调整被分配给该点的相似度得分。该方法还包括使用调整后的相似度得分来确定感兴趣区域是否已经改变。
[0006]
在另一方面，提供了一种包括指令的计算机程序，该指令当由处理电路执行时使处理电路执行上述方法。在一个实施例中，提供了一种包含计算机程序的载体，其中，该载体是电信号、光信号、无线电信号和计算机可读存储介质中的一种。
[0007]
在另一方面，提供了一种用于检测感兴趣区域中的改变的装置。该装置适于形成点云。该点云包括：第一点集，其从一个或多个图像的第一图像集合中导出，其中，在第一时间段t1期间获得被包括在所述第一图像集合中的每个图像，并且被包括在所述第一图像集合中的每个图像是所述感兴趣区域的至少一部分的图像；以及第二点集，其从一个或多个图像的第二图像集合中导出，其中，在第二时间段t2期间获得被包括在所述第二图像集合中的每个图像，并且被包括在所述第二图像集合中的每个图像是所述感兴趣区域的至少一部分的图像，其中，所述点云的每个点与所述感兴趣区域内的位置相关联，并且t1不同于t2；该装置还适于使得：针对该点云中包括的每个点，该装置向该点分配相似度得分，其中，分配给该点的相似度得分指示该点与第一点集内的点之间的相似度。该装置还适于：至少针对点云中的被包括在特定点集中的每个点，确定值nt和值nnew，其中，nt是该点云内的与在所定义的几何体积内的位置相关联的点的总数，在该几何体积中，所述点所关联的位置也在其中，而nnew是该点云内的i)与所定义的几何体积内的位置相关联、以及ii)被包括在第二点集中的点的总数。该装置还适于基于nt和nnew来调整被分配给该点的相似度得分。该装置还适于使用调整后的相似度得分来确定感兴趣区域是否已经改变。在一个实施例中，该装置包括处理电路、以及存储用于配置该装置以执行本文公开的任何过程的指令的存储单元。
[0008]
本文描述的实施例可以应用于任何3d场景改变检测算法，以显著去除误报建议。这可以充当3d改变检测系统的后过滤阶段/预过滤阶段。
附图说明
[0009]
本文中所包含并形成说明书一部分的附图示出了各种实施例。
[0010]
图1示出了第一点云(pc1)。
[0011]
图2示出了第二点云(pc2)。
[0012]
图3示出了拟合在立方体内的pc1和pc2。
[0013]
图4示出了空间中被划分为许多较小立方体积的体积。
[0014]
图5示出了被分配给点云中的点的相似度得分。
[0015]
图6示出了误报的去除。
[0016]
图7是示出了根据一些实施例的过程的流程图。
[0017]
图8是用于检测aoi中的改变的装置的框图。
具体实施方式
[0018]
本公开描述了用于检测感兴趣区域中的改变的改进方法。
[0019]
在一个实施例中，该方法包括获得感兴趣区域(aoi)的两个点云。通过将aoi的图像作为输入，可以使用如sfm的算法生成点云(参见参考文献[1])。使用在时间t1拍摄的aoi图像来构建两个点云中的第一点云(pc1)。第二点云(pc2)是使用在时间t2拍摄的aoi的附加图像对第一点云的更新。图1示出了pc1，而图2示出了pc2。
[0020]
如图1所示，pc1包括：与aoi中的第一对象101相对应的一组点、与aoi中的第二对象102相对应的一组点、以及与aoi中的第三对象103相对应的一组点。如图2所示，pc2包括分别对应于对象101、102和103的一组点，以及由202、204、206和210组成的附加点组。在这些附加点组中，仅点组210与先前不在aoi中的新对象212相对应。
[0021]
为了检测aoi中的改变，可以使用类似于参考文献[2]中描述的方法。即，如sfm的算法计算并存储在图像配准阶段所使用的2d图像特征描述符。如参考文献[2]和[5]中所述，这些描述符可以被重用以使用词汇树创建视觉单词袋(bow)特征。
[0022]
图3示出了拟合在侧a的立方体内的pci和pc2。该立方体被进一步划分为侧a’的较小立方体，这些较小立方体中的每一个将包含3d点集，其视觉外观由对应的描述符向量描述。可以使用这些描述符向量和词汇树向空间(即，全局描述符)中的这些较小立方体中的每一个分配得分(标量或向量)，这些得分表示这些立方体的视觉外观。
[0023]
在一个实施例中，用于确定aoi是否已经改变(例如，是否有新对象已被引入到aoi中)的方法包括以下步骤：1)点云对齐；2)使用滑动窗口进行点云比较；3)计算视觉差异；4)将视觉差异得分分配给3d空间中的点；以及5)去除误报和后过滤。
[0024]
步骤1：点云对齐：
[0025]
点云的对齐可以使用多种方法来完成，如迭代最近点(icp)(参见参考文献[6])或全局点云对齐方法，如参考文献[7]或参考文献[8]中公开的方法。使用colmap(参考文献[1])构建3d模型，可以通过将在时间t2拍摄的图像配准到pc1来实现对齐，输出pc2。因此pc2将包含从时间t1和t2的图像配准的3d点。
[0026]
步骤2：使用滑动窗口进行点云比较：
[0027]
可以使用3d滑动窗口(ω)(例如，立方体积)来比较两个点云。该滑动窗口可以被可视化为空间中的体积，该体积进一步被划分为许多较小的立方体积，如图4所示。如步骤1中所述，pc2包含从时间t1和t2配准的3d点，因此滑动pc2上的ω并在每个ω内找出在时间t1和t2拍摄的图像所贡献的点。
[0028]
在t1配准的3d点，
[0029]
在t2配准的3d点，和是任何正整数。
[0030]
滑动窗口的中心体积表示为ω
center
，并且将相似度得分仅分配给它内部的点。这确保了分配给空间中的每个点的相似度得分基于围绕它的3d点的视觉外观。
[0031]
步骤3：计算视觉差异
[0032]
和中的每个点由描述符集来描述，参考文献[4]使用sift(参见参考文献[9])和长度为128的描述符。在与该场景类似的图像上训练定制词汇树。使用描述每个3d点的描述符集和经训练的词汇树，全局描述符使用描述和中的点的bow方法被计算为这些特征向量中的每个分量对词汇树中定义的可视单词的出现次数进行计数。
[0033]
和之间的距离描述了由描述的区域与由描述的区域有多相似。较大的距离意味着较大的差异。将该距离称为相似度得分，并对其计算如下：
[0034][0035][0036][0037]
注意，similarity_score介于0(相同的单词以相同的相对比例出现)与2(两个视觉单词集不相交)之间。
[0038]
由于仅在点集不为空时定义(norm1＞0 and norm2＞0)该表达式，因此扩展该定义以包括以下内容：如果两个点集都为空(norm1＝0且norm2＝0)，则similarity_score＝0；以及如果仅一个点集为空((norm1＝0且norm2＞0)或(norm1＞0且norm2＝0))，则similarity_score＝1。
[0039]
步骤4：将视觉差异得分分配给3d空间中的点
[0040]
将相似度得分分配给pc2中的ω
center
内的点。将3d滑动体积移动增量(δ
x
，δy，δz)，并重复步骤1至4，直到遍历整个3d点云。结果，将相似度得分分配给了pc2中的每个3d点，如图5所示，图5描述了该点与pc1中同一3d空间中的点的相似程度。参考图5，不同的填充图案示出了：与在时间t1构建的模型相比，这些点在视觉上不同的程度。
[0041]
步骤5：去除误报和后过滤：
[0042]
aoi的基于在第一时间段(t1)期间获得的图像所创建的第一3d模型可以具有与aoi的基于在后续时间段(t2)期间获得的图像所创建的第二3d模型不同的视觉外观和配准点密度。这可能是由闪电条件的改变以及在时间t1和t2拍摄图像的视角引起的。因此，步骤1至4中所述的上述算法最终可能向来自完全没有改变的对象(参见图5)的点(即，误报点)分配较高的相似度得分(更大的差异)。即，图5示出了已被分配高相似度得分的点，并且还示出了这些高相似度点中的哪些点在上述算法下会产生误报以及哪些点是由于该场景的真实改变(在这种情况下为新的圆柱形对象)。通过抑制误报来改进改变检测算法。即，本公
开的改变检测过程忽略了在上述算法下会产生误报的具有高相似度得分的点。在图6中示出了该特征，图6示出了：除了与新圆柱形对象相对应的点之外，分配了高相似度得分的其他点被抑制(即，被忽略)。
[0043]
在步骤4之后，存在一个点云(pc2)，其中，每个点具有描述它与pci中的点的视觉相似度的相似度得分。为了去除可能的误报，调整相似度得分，并检查调整后的相似度得分高于阈值的所有点以确定aoi是否已经改变。阈值的值指示该点在视觉上与pci中的点不同的程度。
[0044]
调整相似度得分
[0045]
1.对于similarity_score＞0的每个点p，包括点p的体积内的其他点(例如，半径为r的球形体积，其中点p位于该体积的中心)被归类为“新的”或“旧的”。例如，新配准的图像(即t2期间获得的图像)所贡献的每个点都被归类为“新的”，否则该点被归类为“旧的”。确定“新的”点(nnew)的总数，并确定“旧的”点(nold)的总数。
[0046]
2.计算位于该体积内的新点的比例为：p＝nnew/nt，其中，nt＝nnew+nold。
[0047]
3.如果点p来自旧点云，则通过将相似度得分调整某个因子来更新其相似度得分：a1或a2，其中，a1＞0、a2＜1、以及a1＞a2。思路是，如果点p被许多新点包围(例如，p＞0.5)，则该点周围改变的概率很高，所以使用因子a1稍微调整该点p的相似度得分，另一方面，如果p＜0.5，则p的相似度得分会受到惩罚，即，使用小于a1的因子a2进行调整。在一个实施例中，a1＝0.8且a2＝0.4。例如，如果点p是旧点且p大于或等于0.5，则点p的调整后的相似度得分被计算为adjusted_similarity_score＝similarity_score*a1，否则adjusted_similarity_score＝similarity_score*a2。
[0048]
4.如果点p来自新点云，则通过将相似度得分调整某个因子来更新其相似度得分：b1或b2，其中，b1大于1，而b2是小于1的正数。更具体地，如果对于该新点p，p大于或等于0.5，则点p的相似度得分增加因子b1(例如，点p的调整后的相似度得分被计算为：adjusted_similarity_score＝similarity_score*b1)，否则点p的相似度得分降低b2因子(例如，点p的调整后的相似度得分被计算为：adjusted_similarity_score＝similarity_score*b2)。在一个实施例中，b1＝1.25，而b2＝0.9。
[0049]
使用上述算法，由新配准的图像贡献但来自该场景中的新对象的所有点在得分上将得到提升，而在旧的现有对象周围配准的新点将受到惩罚。因此，误报的数量被大大去除(参见图6，其示出了误报的去除)。要确定对象是否已经从aoi中移除，这可以通过以相反的顺序运行算法来完成。
[0050]
图7是示出了根据实施例的用于检测aoi中的改变的过程700的流程图。过程700可以从步骤s702开始。
[0051]
步骤s702包括形成点云。该点云包括：i)第一点集，其从一个或多个图像的第一图像集合中导出，其中，在第一时间段t1期间获得被包括在第一图像集合中的每个图像，并且被包括在第一图像集合中的每个图像是感兴趣区域的至少一部分的图像；以及ii)第二点集，其从一个或多个图像的第二图像集合中导出，其中，在第二时间段t2期间获得被包括在第二图像集合中的每个图像，并且被包括在第二图像集合中的每个图像是感兴趣区域的至少一部分的图像，其中，该点云的每个点与感兴趣区域内的位置相关联，并且t1不同于t2。在一些实施例中，t2在t1之后，而在其他实施例中，t2在t1之前。
[0052]
步骤s704包括：针对该点云中包括的每个点，向该点分配相似度得分，其中，分配给该点的相似度得分指示该点与第一点集内的点之间的相似度。
[0053]
针对点云中的被包括在特定点集中的每个点(例如，针对点云的被分配了超过阈值(例如，0)的相似度得分的每个点)，执行步骤s706。
[0054]
步骤s706包括确定值nt和值nnew，并基于nt和nnew来调整被分配给该点的相似度得分。nt是该点云内的与在所定义的几何体积内的位置相关联的点的总数，在该几何体积中，所述点所关联的位置也在其中，而nnew是点云内的i)与所定义的几何体积内的位置相关联以及ii)被包括在第二点集中的点的总数。在一些实施例中，所定义的几何体积具有中心，并且所定义的几何体积的中心是与所述点相关联的位置。在一些实施例中，所定义的几何体积是球体。在一些实施例中，基于nt和nnew来调整被分配给第一点的相似度得分similarity_score包括：计算p＝nnew/nt；以及计算adjusted_similarity_score＝(a)x(similarity_score)，其中，a是p的函数。在一些实施例中，如果p大于t，则a＝a1，如果p小于t，则a＝a2，a1是第一预定值，a2是第二预定值，以及t是第三预定值。
[0055]
步骤s708包括使用调整后的相似度得分来确定感兴趣区域是否已经改变。在一些实施例中，使用调整后的相似度得分来确定感兴趣区域是否已经改变包括：作为检测到具有高于阈值的调整后的相似度得分的点簇的结果，确定感兴趣区域已经改变。
[0056]
图8是根据一些实施例的用于执行本文公开的方法的装置800的框图。如图8所示，装置800可以包括：处理电路(pc)802，该处理电路(pc)802可以包括一个或多个处理器(p)855(例如，通用微处理器和/或一个或多个其他处理器，例如专用集成电路(asic)、现场可编程门阵列(fpga)等)，这些处理器可以共置于单个外壳或单个数据中心中，或者可以在地理上分布(即，装置800可以是分布式计算装置)；至少一个网络接口848，该网络接口848包括发射机(tx)845和接收机(rx)847，用于使装置800能够向连接到网络110(例如，互联网协议(ip)网络)的其他节点发送数据以及从其接收数据，网络接口848(直接地或间接地)连接到该网络110(例如，网络接口848可以无线连接到网络110，在这种情况下，网络接口848连接到天线布置)；以及存储单元(又名“数据存储系统”)808，其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在pc802包括可编程处理器的实施例中，可以提供计算机程序产品(cpp)841。cpp 841包括存储计算机程序(cp)843的计算机可读介质(crm)842，该计算机程序(cp)843包括计算机可读指令(cri)844。crm842可以是非暂时性计算机可读介质，例如，磁介质(例如，硬盘)、光介质、存储器设备(例如，随机存取存储器、闪存)等。在一些实施例中，计算机程序843的cri 844被配置为使得当由pc 802执行时，cri使装置800执行本文所描述的步骤(例如，本文参考流程图描述的步骤)。在其他实施例中，装置800可被配置为在不需要代码的情况下执行本文所描述的步骤。即，例如，pc 802可以仅由一个或多个asic组成。因此，本文描述的实施例的特征可以以硬件和/或软件方式来实现。在其他实施例中，cp 843被包含在电信号、光信号、无线电信号或其他载体中。
[0057]
尽管本文描述了各种实施例，但应当理解，它们仅以示例而非限制的方式提出。因此，本公开的广度和范围不应受到上述示例性实施例中任何一个的限制。此外，上述要素以其所有可能变型进行的任意组合都涵盖在本公开中，除非另有指示或以其他方式和上下文明确冲突。
[0058]
附加地，尽管上文描述并附图中示出的处理被示为一系列步骤，但其仅用于说明
目的。因此，可以想到可增加一些步骤、可省略一些步骤，可重排步骤顺序，以及可并行执行一些步骤。
[0059]
参考文献
[0060]
[1]schonberger，johannes luts and frahm，jan-michael，structure-from-motion revisitied，conference on computer vision and pattern recognition(cvpr)，2016；
[0061]
[2]n.gunji，h.niigaki，k.tsutsuguchi，t.kurozumi and t.kinebuchi，
″
3d object recognition from large-scale pointclouds with global descriptor and sliding window，
″
in 23rd international conference on pattern recognition(icpr)，canc
ú
n，2016；
[0062]
[3]a.o.ulusoy and j.l.mundy，”image-based 4-d reconstruction using 3-d change detection，
″
in computer vision-eccv 2014，zurich，2014；
[0063]
[4]k.sakurada，t.okatani and k.deguchi，
″
detecting changes in 3d structure of a scene from multi-view images captured by a vehicle-mounted camera，
″
in ieee conference on computer vision and pattern recognition，portland，oregon，2013；
[0064]
[5]d.nister and h.stew
′
enius.“scalable recognition with a vocabulary tree”.in：conference on computer vision and pattern recognition(cvpr).2006；
[0065]
[6]p.j.besl and n.d.mckay.a method for registration of 3-d shapes.tpami，14(2)：239-256，1992；
[0066]
[7]n.gelfand，n.j.mitra，l.j.guibas，and h.pottmann.robust global registration.in symposium on geometry processing，volume 2，page 5，2005；
[0067]
[8]straub，j.，campbell，t.，how，j.p.and fisher，j.w.，2017.efricient global point cloid alignment ising bayesian nonparametric mixtures.in proceedings of the ieee conference on computer vision and pattern recognition(pp.2941-2950)；
[0068]
[9]lowe，d.g.，2004.distinctive image features from scale-invariant keypoints.international journal of computer vision，60(2)，pp.91-110。