图像匹配方法、违建检测方法、终端设备以及存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。


背景技术：

2.图像比对，也叫图像变化检测，要求两张图像是经过配准的。通常配准两张图像的流程是：首先分别从两张图像上提取特征点，接着将两组特征点进行匹配，然后根据匹配的特征点技术两张图像间的单应矩阵，最后根据单应矩阵将一张图像重投影到另一张图像的坐标系中。想要用一个单应矩阵来描述两张图像之间的关系，必须满足一定的先决条件，两张图像必须是同一个平面的成像，或者两张图像的相机位姿差异只包含旋转。然而在正射底图与无人机影像的匹配中，这两个条件都不满足：图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存在平移。


技术实现要素：

3.本技术提供一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。
4.本技术采用的一个技术方案是提供一种图像匹配方法，所述图像匹配方法包括：获取无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；对所述数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干所述模型点分组形成若干掩膜，并利用若干所述掩膜对所述正射地图切片进行处理；获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系；按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像。
5.其中，所述数字表面模型切片中的模型点与所述正射地图切片中的像素点一一对应。
6.其中，所述投影关系包括单应矩阵；所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：提取所述无人机图像的若干第一特征点，以及提取掩膜处理后的所述正射地图切片的若干第二特征点；对若干所述第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的所述正射地图切片与所述无人机图像的单应矩阵。
7.其中，所述获取掩膜处理后的所述正射地图切片与所述无人机图像的投影关系，包括：
获取掩膜处理后的所述正射地图切片中每一掩膜对应的正射地图切片区域；提取所述每一掩膜对应的正射地图切片区域的若干第二特征点，以及所述无人机图像的若干第一特征点；分别利用所述每一掩膜对应的正射地图切片区域的若干第二特征点与若干所述第一特征点，计算每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵。
8.其中，所述按照所述投影关系将掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的所述正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像，包括：按照每一掩膜对应的正射地图切片区域与所述无人机图像的单应矩阵将每一掩膜对应的正射地图切片区域重投影到所述无人机图像的坐标系中；将多组重投影结果进行叠加，形成所述重投影后的匹配图像。
9.其中，所述基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片，包括：读取所述无人机图像的定位信息；按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片，以及按照所述定位信息从数字表面模型中裁切出与所述无人机图像范围相同的数字表面模型切片。
10.本技术采用的另一个技术方案是提供一种违建检测方法，所述违建检测方法包括：获取实时的无人机图像，以及基于所述无人机图像获取对应正射地图切片，以及数字表面模型切片；获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像，其中，匹配图像的获取方式如上述的图像匹配方法；基于所述匹配图像获取所述无人机图像中建筑物的差异信息；根据所述差异信息判断是否出现违建建筑。
11.其中，所述获取所述无人机图像与所述正射地图切片、所述数字表面模型切片的匹配图像之后，所述违建检测方法还包括：利用所述无人机图像中的建筑物侧立面位置像素填充到所述匹配图像中的对应位置。
12.本技术采用的另一个技术方案是提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像匹配方法和/或违建检测方法。
13.本技术采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像匹配方法和/或违建检测方法。
14.本技术的有益效果是：终端设备获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片；对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正
射地图切片进行处理；获取掩膜处理后的正射地图切片与无人机图像的投影关系；按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。本技术的图像匹配方法能够通过将数字表面模型切片聚类形成的掩膜作用在正射地图切片上，保证每个掩膜下的正射地图切片图块近似处于同一平面，实现正射地图切片到无人机图像的重投影。
附图说明
15.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本技术提供的图像匹配方法一实施例的流程示意图；图2是本技术提供的图像匹配方法总流程的示意图；图3是本技术提供的无人机图像一实施例的示意图；图4是本技术提供的正射地图切片一实施例的示意图；图5是图1所示图像匹配方法步骤s14的具体子步骤的流程示意图；图6是本技术提供的正射地图重投影结果一实施例的示意图；图7是本技术提供的违建检测方法一实施例的流程示意图；图8是本技术提供的终端设备一实施例的结构示意图；图9是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.违建监管一直以来是城市治理的重要工作之一，传统的以人工方式进行违章建筑的巡查耗时费力，对于违章建筑的监管也不够及时有效，同时，由于巡视角度的限制，无法及时发现建筑物顶部的违法乱搭及加建行为，导致后续需要投入大量的时间及精力开展违章建筑物的拆除和重建工作。如何长期、及时且低成本的进行违建管控和整治，将违建的事后治理转变为事中甚至是事前预防，有效防止违章扩建加建行为，提升监管部门效能，是目前亟待解决的问题。
19.基于无人机的违建巡检平台有望帮助市政管理部门解决这一难题。违建巡检平台的建设分为底图构建和例行巡检两个阶段。在底图构建阶段，使用无人机按照高重叠率的作业方式，在目标区域拍摄大量影像，利用摄影测量技术，将这些影像拼接成为正射地图和高精度数字表面模型（dsm，digital slope model），正射地图和dsm作为目标区域的底图进行管理。在例行巡检阶段，使用无人机按照低重叠率的作业方式，拍摄目标区域影像，并采用图像比对技术，对无人机影像和正射地图进行比对，以检测违章建筑。
20.然而，由于图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存
在平移，导致在正射底图与无人机影像的匹配中，影响配准的效果。对此，本技术提出一种图像匹配方法，可以实现正射地图与非正射无人机影像之间的配准。本技术的图像匹配方法根据dsm中的高度信息将正射地图分割为多个图块，每个图块都是单个平面成像，因此可以使用多个单应矩阵分别将这些图块与非正射无人机配准。dsm是拼接正射地图的过程中同时生成的产物。
21.请参阅图1和图2，图1是本技术提供的图像匹配方法一实施例的流程示意图，图2是本技术提供的图像匹配方法总流程的示意图。
22.其中，本技术的图像匹配方法应用于一种图像匹配装置，其中，本技术的图像匹配装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，图像匹配装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
23.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的图像匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
24.具体而言，如图1所示，本技术实施例的图像匹配方法具体包括以下步骤：步骤s11：获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片。
25.在本技术实施例中，图像匹配装置获取无人机图像，主要数据来源在于无人机在目标区域上方实时拍摄。图像匹配装置进一步根据无人机图像获取对应的正射地图切片，以及对应的数字表面模型切片。其中，数字表面模型切片中的模型点与正射地图切片中的像素点一一对应。
26.具体地，数字表面模型（digital slope model，缩写dsm）是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。和dem（数字高程模型，digital elevation model）相比，dem只包含了地形的高程信息，并未包含其它地表信息，dsm是在dem的基础上，进一步涵盖了除地面以外的其它地表信息的高程。在一些对建筑物高度有需求的领域，得到了很大程度的重视。
27.通过数字表面模型提供的高程信息弥补正射地图缺少的高度信息，能够借助数字表面模型的高度信息补充，提高正射地图切片与无人机图像的配准效果和重投影效果。
28.如图2所示，图像匹配装置预存有大区域的正射地图和dsm，或者从云端服务器中获取大区域的正射地图和dsm。然后，图像匹配装置通过读取无人机图像exif（可交换图像文件格式，exchangeable image file format）中的gps信息，如目标区域的经纬度等，根据gps信息从正射地图中裁切出与无人机影像范围相当的地图切片，从dsm中裁切出与地图切片相对应的dsm切片。
29.具体地，图3是本技术提供的无人机图像一实施例的示意图，图4是本技术提供的正射地图切片一实施例的示意图。对比图3和图4可知，正射地图切片的内容与无人机图像的内容基本一致，两个的gps信息完全相同。
30.在其他实施方式中，图像匹配装置可以在无人机图像的gps信息确定的地图区域
基础上外扩预设区域，从而在考虑相机畸变以及计算误差等的情况下，保证正射地图切片以及dsm切片能够提供无人机图像匹配的所有像素信息。
31.步骤s12：对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组。
32.在本技术实施例中，图像匹配装置使用预设聚类算法将dsm切片中的所有模型点按照其高度信息进行聚类，从而将dsm切片中的高度聚类为若干模型点分组。每个模型点分组中的模型点具有相同或相似高度，即高度距离在预设距离范围内，由此，每个模型点分组可以近似等效为一个平面。
33.步骤s13：利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理。
34.在本技术实施例中，如图2所示，图像匹配装置将步骤s12形成的若干模型点分组按照分组内的模型点平均高度从低到高，依次将每个模型点分组中的模型点转换为一个掩膜，即每一模型点分组形成一个掩膜。
35.进一步地，图像匹配装置将依次将掩膜作用于原始的正射地图切片，掩膜后得到的正射地图切片区域近似于同一个平面。具体地，由于dsm切片与正射地图切片中的像素点一一对应，每个模型点分组在dsm切片中可以近似于同一个平面，通过像素点的对应关系，可以将掩膜下的正射地图切片区域近似于同一个平面。
36.步骤s14：获取掩膜处理后的正射地图切片与无人机图像的投影关系。
37.在本技术实施例中，图像匹配装置分别提取掩膜后的正射地图切片和原始无人机图像的特征点，并进行特征点匹配，根据匹配的特征点解算投影关系，其中，投影关系可以为掩膜处理后的正射地图切片与无人机图像的单应矩阵。
38.具体地，图像匹配装置提取无人机图像的若干第一特征点，以及提取掩膜处理后的正射地图切片的若干第二特征点；对若干第一特征点和若干所述第二特征点进行特征点匹配，根据匹配结果计算掩膜处理后的正射地图切片与所述无人机图像的单应矩阵。
39.进一步地，由于每一掩膜后得到的正射地图切片区域可以近似于同一个平面，图像匹配装置还可以计算每一掩膜的正射地图切片区域与无人机图像的单应矩阵，从而使用多个单应矩阵，分块执行正射地图切片到非正射无人机图像的重投影。
40.具体请参阅图5，图5是图1所示图像匹配方法步骤s14的具体子步骤的流程示意图。
41.具体而言，如图5所示，本技术实施例的图像匹配方法具体包括以下步骤：步骤s141：获取掩膜处理后的正射地图切片中每一掩膜对应的正射地图切片区域。
42.在本技术实施例中，正射地图切片中每一掩膜对应的正射地图切片区域均可以近似于同一平面，而正射地图切片区域因此作为重投影的最小单元。
43.步骤s142：提取每一掩膜对应的正射地图切片区域的若干第二特征点，以及无人机图像的若干第一特征点。
44.步骤s143：分别利用每一掩膜对应的正射地图切片区域的若干第二特征点与若干第一特征点，计算每一掩膜对应的正射地图切片区域与无人机图像的单应矩阵。
45.在本技术实施例中，图像匹配装置根据每一正射地图切片区域与无人机图像的特
征点匹配结果，即利用成功匹配的若干特征点计算正射地图切片区域与无人机图像的映射关系，即单应矩阵。
46.其中，单应矩阵(homography matrix)等同于透视变换中使用的矩阵。透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。
47.步骤s15：按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。
48.在本技术实施例中，图像匹配装置按照步骤s14计算得到的单应矩阵，将掩膜处理后的正射地图切片或者原始正射地图切片重投影到无人机图像的坐标系中。由于步骤s14中分别计算了多个正射地图切片区域分别与无人机图像的单应矩阵，图像匹配装置可以利用多个单应矩阵将掩膜处理后的正射地图切片分块重投影到无人机图像的坐标系中。图像匹配装置在所有正射地图切片区域均掩膜处理完成，多次重投影相叠加即得到将原始正射地图切片匹配到无人机图像上的结果，即得到重投影后的匹配图像。具体请参阅图6，图6是本技术提供的正射地图重投影结果一实施例的示意图。
49.进一步的，如图3所示的图像为无人机巡检获得的非正射图像，由于无人机的飞行高度较低，透视关系较明显，可以看到建筑物的侧立面；建筑物屋顶的高度各不相同，不处于同一个平面，无法使用单个单应矩阵实现与正射地图的匹配。如图6为正射地图切片按照本技术所述的图像匹配方法匹配到图3所示的无人机图像上的结果。
50.另外，由于正射地图不包含建筑物侧立面的信息，因此投影过后侧立面对应区域存在像素缺失。重投影后，地图上建筑物的屋顶与无人机图像的屋顶对齐，满足后续基于图像比对的违建检测的要求。对于投影后侧立面位置像素缺失的问题，可以使用无人机图像对应位置的像素进行填充，基于深度学习的图像比对算法能有效滤除这些区域的噪声。
51.在本技术实施例中，图像匹配装置获取无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片；对数字表面模型切片中所有模型点按照高度信息进行聚类，得到若干模型点分组；利用若干模型点分组形成若干掩膜，并利用若干掩膜对正射地图切片进行处理；获取掩膜处理后的正射地图切片与无人机图像的投影关系；按照投影关系将掩膜处理后的正射地图切片重投影到无人机图像的坐标系中，利用投影后的正射地图切片与无人机图像叠加，形成重投影后的匹配图像。本技术的图像匹配方法能够通过将数字表面模型切片聚类形成的掩膜作用在正射地图切片上，保证每个掩膜下的正射地图切片图块近似处于同一平面，实现正射地图切片到无人机图像的重投影。
52.基于上述实施例的图像匹配方法，本技术进一步提出了一种违建检测方法，具体请参阅图7，图7是本技术提供的违建检测方法一实施例的流程示意图。
53.其中，本技术的违建检测方法应用于一种违建检测装置，其中，本技术的违建检测装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，违建检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
54.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实
现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的违建检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
55.具体而言，如图7所示，本技术实施例的违建检测方法具体包括以下步骤：步骤s21：获取实时的无人机图像，以及基于无人机图像获取对应正射地图切片，以及数字表面模型切片。
56.在本技术实施例中，步骤s21的内容在上述实施例中的步骤s11中已有详细阐述，在此不再赘述。
57.步骤s22：获取无人机图像与正射地图切片、数字表面模型切片的匹配图像。
58.步骤s23：基于匹配图像获取无人机图像中建筑物的差异信息。
59.在本技术实施例中，违建检测装置可以利用如图6所示的正射地图重投影结果分析出无人机图像中建筑物的变化差异信息。
60.步骤s24：根据差异信息判断是否出现违建建筑。
61.在本技术实施例中，违建检测装置依靠多次图像重投影结果的建筑物差异以及深度信息，可以估算出差异异常位置，再结合人员普查，即可大幅度提高违建查处效率，减低人工成本。
62.本技术的图像匹配方法和违建检测方法可以直接对非正射无人机图像和正射地图进行配准后比对，不需要每次巡检都拼接正射大图，对巡检的图像重叠率没有要求，因此作业效率更高，能够满足大场景的巡检要求；另外，本技术的图像匹配方法和违建检测方法也不需要无人机拍摄正射图像，普通的低空飞行的无人机也可以用于作业，降低违建检测的技术门槛，提高违建检测的普用性。
63.以上实施例，仅是对本技术的其中一种常见案例而已，并非对本技术的技术范围做任何限制，故凡是依据本技术方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本技术技术方案的范围内。
64.请继续参见图8，图8是本技术提供的终端设备一实施例的结构示意图。本技术实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
65.该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图像匹配方法和/或违建检测方法。
66.在本技术实施例中，处理器51还可以称为cpu（central processing unit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（dsp，digital signal process）、专用集成电路（asic，application specific integrated circuit）、现场可编程门阵列（fpga，field programmable gate array）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
67.本技术还提供一种计算机存储介质，请继续参阅图9，图9是本技术提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的图像匹配方法和/或违建检测方法。
68.本技术的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者
说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
69.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，方式利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。