基于图像分割的地理图像标注识别方法、装置和设备

1.本技术涉及图像识别领域，尤其是涉及一种基于图像分割的地理图像标注识别方法、装置、设备和介质。


背景技术：

2.在航拍地理图像领域，为了展示需求，通常会对地图进行标注，把每个地理要素圈出来，同时添加一些标识符和类别属性。人工标注数据存在错误的可能，利用标注数据进行延伸研究或者深入分析时，这些错误的标注会导致特征提取错误等严重后果。


技术实现要素：

3.针对上述现有技术的不足，本发明提供一种基于图像分割的地理图像标注识别方法、装置、设备和介质。
4.一种基于图像分割的地理图像标注识别方法，所述方法包括：
5.获取待识别的地理图像；所述地理图像中包括地理要素的初始标注；
6.将所述地理图像输入至图像分割模型，根据模型处理结果得到所述地理要素的推理标注；其中，所述图像分割模型根据校对过标注的地理图像数据集训练得到，用于识别单一类型的地理要素；
7.将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果。
8.在本发明一个实施例中，所述初始标注中包括初始类别；所述推理标注中包括推理类别；所述将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果，包括：
9.将所述初始类别和所述推理类别进行对比，若所述初始类别和所述推理类别相同，则所述初始标注的识别结果为正确标注。
10.在本发明一个实施例中，所述初始标注中包括所述地理要素的初始标注区域；所述推理标注中包括所述地理要素的推理标注区域；所述将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果，包括：
11.将所述初始标注区域转化为初始点序列，以及将所述推理标注区域转化为推理点序列；
12.获取所述初始点序列和所述推理点序列的相交比例；
13.若所述相交比例大于或等于预设阈值，则所述初始标注的识别结果为正确标注。
14.在本发明一个实施例中，所述将所述初始标注区域转化为初始点序列，以及将所述推理标注区域转化为推理点序列，包括：
15.提取所述初始标注区域的初始边界，将所述初始边界转化为所述初始点序列；以及，提取所述推理标注区域的推理边界，将所述推理边界转化为所述推理点序列。
16.在本发明一个实施例中，获取所述初始标注区域的步骤包括：
17.根据所述地理要素的主标注框，以及标注框外接矩形；
18.根据所述标注框外接矩形与其他地理要素的主标注框的相交部分，确定所述地理要素的邻近要素框；
19.合并所述主标注框和所述邻近要素框，得到所述初始标注区域。
20.在本发明一个实施例中，所述获取所述初始点序列和所述推理点序列的相交比例，包括：
21.获取所述初始点序列和所述推理点序列的相交区域；
22.将所述相交区域与所述初始点序列进行对比，得到所述相交比例。
23.在本发明一个实施例中，所述方法还包括：
24.若所述识别结果为错误标注，将所述识别结果发送至标注文件中，和/或，在所述地理图像上显示所述错误标注。
25.一种基于图像分割的地理图像标注识别装置，所述装置包括：
26.图像获取单元，用于获取待识别的地理图像；所述地理图像中包括地理要素的初始标注；
27.模型推理单元，用于将所述地理图像输入至图像分割模型，根据模型处理结果得到所述地理要素的推理标注；其中，所述图像分割模型根据校对过标注的地理图像数据集训练得到，用于识别单一类型的地理要素；
28.标注识别单元，用于将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果。
29.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例的步骤。
30.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例的步骤。
31.本发明通过获取待识别的地理图像，该地理图像中包括地理要素的初始标注，通过图像分割模型进行推理，得到地理图像中的地理要素的推理标注，根据初始标注和推理标注的对比结果，得到该地理要素的初始标注的识别结果。其中，该图像分割模型时根据校对过标注的地理图像数据集训练得到的，用于识别单一类型的地理要素的模型，每个模型仅识别一种类型的地理要素，避免地理图像上要素交错复杂、难以识别的情形，提高地理要素标注识别的准确性和效率。
附图说明
32.图1为本发明一个实施例中提供的基于图像分割的地理图像标注识别方法的流程示意图；
33.图2为本发明另一个实施例中提供的图像分割模型的示意图；
34.图3为本发明另一个实施例中提供的基于图像分割的地理图像标注识别方法的流程示意图；
35.图4为本发明一个实施例中提供的基于图像分割的地理图像标注识别装置的结构框图；
36.图5为本发明一个实施例中提供的计算机设备的内部结构图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例。
38.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
39.在航拍地理图像领域，为了展示需求，通常会对地图进行标注，以多边形框的形式把每个地理要素圈出来，同时添加一些标识符和类别属性，然后将一张地图的上万个地理标注保存在一张完整的shp(esri shapefile，空间数据开放)文件中。人工标注可能存在错误。当需要利用已有的标注进行深度学习模型训练的时候，几十张错误的标注足以使模型学习到错误的地理特征，进而会影响到后续利用深度学习进行的其他研究。因此，有必要在模型训练数据预处理阶段以及校正时，查找地理图像中的错误标注。在地理图像较多、单张地理图像中包括的地理要素复杂的情况下，准确识别到错误标注，需要花费较长的时间。因此，本技术提供一种基于图像分割的地理图像标注识别方法，通过图像分割模型进行地理图像的标注识别，提高识别的效率和准确性。
40.在一个实施例中，如图1所示，提供了一种基于图像分割的地理图像标注识别方法，以该方法应用于服务器为例进行说明，应当说明的是，本方法同样可以应用于终端。该方法包括以下步骤：
41.s110，获取待识别的地理图像。
42.其中，待识别的地理图像可以是航拍地理图像，该地理图像中包括地理要素。例如农田、大棚、房屋、林地、水塘、河流等图像特征较明显的一种地理要素。同一个地理图像中可以包括至少一个地理要素。因此，在进行地理要素识别时，可以根据地理要素的种类分别进行识别。例如，当地理图像中包括房屋、水塘等多个地理要素时，可以通过不同的图像分割模型，分别识别房屋和水塘的初始标注是否正确。
43.其中，初始标注可以包括地理要素的标注框、要素名称和要素属性等相关参数。标注框可以是地理要素的边框，还可以是地理要素的边框和邻近要素的部分边框。该初始标注可以是人工标注的，也可以是经过图像识别模型识别的标注。初始标注中可能存在错误，是本方法识别的目标。
44.具体实现中，服务器可以根据识别需求，获取一张或者多张的待识别地理图像，以进行单张图片的识别或者批量识别。
45.s120，将地理图像输入至图像分割模型，根据模型处理结果得到所述地理要素的推理标注。
46.其中，图像分割模型的选型可以是vit(vision transformer)模型。在本技术中，该模型可以是根据校对过标注的地理图像数据集训练得到，用于识别单一类型的地理要素。例如，某一个图像分割模型仅用于识别房屋，而另一个图像分割模型则只用于识别水塘。当一个待识别地理图像中包括多个地理要素时，可以将图像分别或者依次输入到对应的图像分割模型进行识别，避免地理图像中地理要素过于复杂导致的识别难。在一些情况
下，服务器可以预先训练对应多个地理要素的图像分割模型，以进行批量处理。
47.其中，推理标注是根据模型处理结果得到的标注，推理标注可以包括地理要素的标注框、要素名称和要素属性等相关参数。
48.具体实现中，服务器可以根据初始标注，将待识别的地理图像输入到该初始标注对应的图像分割模型中；也可以将待识别地理图像分别或者依次输入到多个地理要素对应的图像分割模型中，进行多个类别的地理要素标注识别。
49.s130，将初始标注和推理标注进行对比，根据对比结果确定初始标注的识别结果。
50.其中，初始标注和推理标注的对比，可以是针对标注框、要素名称和要素属性中的至少一个相关参数之间的对比，例如，若标注框的重合度、面积的比值在一定阈值范围内，则可以认为初始标注为标注正确，反之则标注错误。又例如，若初始标注和推理标注的要素名称一致，则认为初始标注为标注正确，反之则标注错误。又例如，若要素属性一致的比例超过预设阈值，则初始标注为标注正确，反之则标注错误。服务器可以预先设定识别结果的确定指标，当满足上述至少一个相关参数时，才确定该标注为正确标注，此处对满足上述相关参数的数量不做具体限定。
51.在一些情况下，服务器还可以预先设定对比结果和识别结果之间的对应关系，当获取到对比结果时，根据该对应关系，确定初始标注识别结果。
52.其中，识别结果可以包括正确标注或者错误标注。
53.上述基于图像分割的地理图像标注识别方法中，通过获取待识别的地理图像，该地理图像中包括地理要素的初始标注，通过图像分割模型进行推理，得到地理图像中的地理要素的推理标注，根据初始标注和推理标注的对比结果，得到该地理要素的初始标注的识别结果。其中，该图像分割模型时根据校对过标注的地理图像数据集训练得到的，用于识别单一类型的地理要素的模型，每个模型仅识别一种类型的地理要素，避免地理图像上要素交错复杂、难以识别的情形，提高地理要素标注识别的准确性和效率。
54.在一个实施例中，如图2所示，提供了一种图像分割模型的示意图，该图像分割模型为vit(vision transformer)模型。该模型包括embedded patches、transformer encoder、mlp head。
55.其中，对于标准的transformer模块，要求输入的是token(向量)序列，即二维矩阵[num_token，token_dim]，对于图像数据而言，需要先对数据做个变换，embedded patches包括linear projection of flattened patchs(即embedding层)、extra learnable[class]embedding、position embedding。[class]token用于分类，position embedding考虑位置因素可以提高分类识别准确率。transformer encoder是重复堆叠encoder block l次，用于将输入进行多次层归一化即残差处理后，经过前馈网络处理，得到输出结果，该模块包括layer norm(层标准化)、multi-head attention(多头注意力)、droppath(正则化)以及mlp block(多层感知)。mlp head是用于分类的全连接层结构，输出最终的分类结果。现有的vit模型框架均可用于本技术的方法，此处仅为举例，不视为对模型结构的限制。
[0056]
在该模型训练时，可以利用可视化软件从包含对应地理要素的全部图片中挑选100～200张确定标注无误的图片构成图像数据集data，用该数据集data基于vit(vision transformer)深度模型训练一个单类别的图像分割模型model。
[0057]
对每种地理要素单独训练一个模型，可以避免如果训练多类别的分割模型，在识
别推理结果并进行比较判断时会出现很多种情况，例如，一张图片中农田标注正确，但多个房屋中有部分房屋标注错误，就不容易定位到出错房屋的位置。使用本技术的方法，只识别房屋这个要素，用房屋推理标注和初始标注的比值做阈值判断，能够判断出房屋的标注是否正确，周围的房屋标注是否正确，会在其他图像中进行判断，能够简化模型，提高识别准确性。
[0058]
在一个实施例中，初始标注中包括初始类别；推理标注中包括推理类别s130中确定将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果的步骤包括：
[0059]
将所述初始类别和所述推理类别进行对比，若初始类别和推理类别相同，则初始标注的识别结果为正确标注。
[0060]
本实施例中，初始类别和推理类别可以是地理元素的元素类别，例如农田、大棚、房屋、林地、水塘、河流等。若初始类别和推理类别不同，则可以认为是初始标注为错误标注，该对比方法简单，可提高识别效率。
[0061]
在一个实施例中，初始标注中包括所述地理要素的初始标注区域；所述推理标注中包括所述地理要素的推理标注区域；初始标注中包括初始类别；推理标注中包括推理类别，s130中确定将初始标注和所述推理标注进行对比，根据对比结果确定初始标注的识别结果的步骤包括：
[0062]
将初始标注区域转化为初始点序列，以及将推理标注区域转化为推理点序列；获取初始点序列和所述推理点序列的相交比例；若相交比例大于或者小于预设阈值，则初始标注的识别结果为正确标注。
[0063]
本实施例中，推理标注区域模型识别处理的地理要素的标注框。初始标注区域可以是沿着地理图像的地理要素的边界区域设置的标注框。
[0064]
在一些实施例中，地理图像中，为了提高推理类别识别的准确性，可以适当放大地理要素的标注框，将该地理要素邻近的要素取一部分，合并到地理要素的边标注区域中，得到该地理要素的初始标注区域，提高初始标注区域的信息含量和覆盖边界，若推理标注区域大部分或者全部落入初始标注区域，则可以认为该初始标注为正确标注，提高识别准确性。
[0065]
具体实现时，在确定初始标注区域时，服务器可以根据地理要素的主标注框，以及标注框外接矩形。根据标注框外接矩形与其他地理要素的主标注框的相交部分，确定地理要素的邻近要素框。合并主标注框和邻近要素框，得到初始标注区域。例如，服务器可以在shp文件中每个地理要素的标注框外接矩形，再补充上和外接矩形相交的其他地理要素标注框的相交部分，得到该地理要素的初始标注区域。
[0066]
在一些实施例中，服务器可以将该初始标注区域转化为初始点序列，将所述推理标注区域转化为推理点序列。其中，初始点序列和推理点序列可以是用于描述对应标注区域边界的数列。
[0067]
具体实现时，服务器可以将初始标注区域从面积转化为形状来处理，通过现有图像处理软件的图形处理功能，处理初始标注区域和推理标注区域，提取各个标注区域的边界，并分别转化得到初始点序列和推理点序列。
[0068]
在一些实施例中，服务器可以获取初始点序列和推理点序列的相交比例，通过该
初始点序列和推理点序列的重叠比例确定相交比例，在地理要素识别时，将标注区域从面积转化为边界的相交比例进行识别，充分发挥标注框的效果，可以提高识别的准确性。
[0069]
其中，该相交比例可以是推理点序列和初始点序列进行对比，得到推理点序列占初始点序列的比例。也可以先将初始点序列和推理点序列的相交区域，并将该相交区域与初始点序列进行对比，得到相交区域占初始点序列的比例。
[0070]
在一些实施例中，服务器可以预先配置相交比例的预设阈值α，取值范围(0～1)，若相交比例大于或等于α，则确认初始标注为正确标注；否则，初始标注为错误标注。
[0071]
上述实施例的方案，通过初始标注区域和推理标注区域的面积转化为形状，获取相交比例，进一步的，初始标注区域包括主标注框和邻近要素框，拓展了初始标注区域的范围，有利于提升标注识别准确性。
[0072]
在一个实施例中，上述各实施例的方法还包括：
[0073]
若识别结果为错误标注，将识别结果发送至标注文件中，和/或，在地理图像上显示错误标注。
[0074]
本实施例中，标注文件指的是shp格式的地理图像标注文件，如果识别结果是错误标注，服务器可以将该错误结果发送到该地理图像对应的shp格式的文件中。也可以在地理图像上显示该错误标注，例如修改该标注的属性，或者进行提示。
[0075]
当同时进行多个地理图像识别时，服务器可以获取有错误标注的地理图像的序号，并在识别结束时，汇总有错误标注的图像，反馈到地理图像的shp文件中，以及在该地理图像上显示该错误标注。
[0076]
上述实施例的方案，通过反馈错误标注，有利于快速定位到错误标注所在的地理图像和位置，可以提高标注修改的效率。
[0077]
在一个实施例中，提供一种基于图像分割的地理图像标注识别方法，如图3所示，该方法包括如下步骤：
[0078]
提取包含某一地理要素的地理图像及标注，筛选经过校正标注的图像形成数据集data，使用该数据集data基于vit训练，得到图像分割模型model，通过该图像分割模型model推理待识别的多张地理图像，得到推理结果。将待识别的地理图像的标注转化为初始点序列polygon_1，并将推理结果转化为推理点序列polygon_2。通过如下公式得到初始点序列和推理点序列的相交比例：rate＝(polygon_1∩polygon_2)/polygon_1。根据预设的阈值α与rate比较，若rate≥α，则标注正确；否则，标注错误。将包含有错误标注的地理图像的序号加入清单，直到处理完本识别批次的最后一张图片。将清单上的图像序号反馈到地理图像的shp文件上，结束标注识别流程。
[0079]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
[0080]
在一个实施例中，如图4所示，提供了一种基于图像分割的地理图像标注识别装置，该装置400包括：
[0081]
图像获取单元410，用于获取待识别的地理图像；所述地理图像中包括地理要素的
初始标注；
[0082]
模型推理单元420，用于将所述地理图像输入至图像分割模型，根据模型处理结果得到所述地理要素的推理标注；其中，所述图像分割模型根据校对过标注的地理图像数据集训练得到，用于识别单一类型的地理要素；
[0083]
标注识别单元430，用于将所述初始标注和所述推理标注进行对比，根据对比结果确定所述初始标注的识别结果。
[0084]
在一个实施例中，所述初始标注中包括初始类别；所述推理标注中包括推理类别；标注识别单元430包括：类别对比子单元，用于将所述初始类别和所述推理类别进行对比，若所述初始类别和所述推理类别相同，则所述初始标注的识别结果为正确标注。
[0085]
在一个实施例中，所述初始标注中包括所述地理要素的初始标注区域；所述推理标注中包括所述地理要素的推理标注区域；标注识别单元430包括：点序列子单元，用于将所述初始标注区域转化为初始点序列，以及将所述推理标注区域转化为推理点序列；相交比例子单元，用于获取所述初始点序列和所述推理点序列的相交比例；识别结果子单元，用于若所述相交比例大于或等于预设阈值，则所述初始标注的识别结果为正确标注。
[0086]
在一个实施例中，点序列子单元进一步用于提取所述初始标注区域的初始边界，将所述初始边界转化为所述初始点序列；以及，提取所述推理标注区域的推理边界，将所述推理边界转化为所述推理点序列。
[0087]
在一个实施例中，上述装置400还包括：初始标注区域子单元，用于根据所述地理要素的主标注框，以及标注框外接矩形；根据所述标注框外接矩形与其他地理要素的主标注框的相交部分，确定所述地理要素的邻近要素框；合并所述主标注框和所述邻近要素框，得到所述初始标注区域。
[0088]
在一个实施例中，相交比例子单元进一步用于获取所述初始点序列和所述推理点序列的相交区域；将所述相交区域与所述初始点序列进行对比，得到所述相交比例。
[0089]
在一个实施例中，上述装置400还包括：错误标注处理单元，用于若所述识别结果为错误标注，将所述识别结果发送至标注文件中，和/或，在所述地理图像上显示所述错误标注。
[0090]
关于基于图像分割的地理图像标注识别装置的具体限定可以参见上文中对于基于图像分割的地理图像标注识别方法的限定，在此不再赘述。上述基于图像分割的地理图像标注识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0091]
本发明可以应用于计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器，如图5所示。需要指出的是，图5仅示出了具有存储器、处理器组件的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器
(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如地图像数据、图像分割模型数据等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现一种基于图像分割的地理图像标注识别方法。
[0092]
本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0093]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0094]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0095]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0096]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。