遥感影像语义分割模型迁移学习方法、装置及计算机设备与流程

1.本发明涉及语义分割模型，更具体地说是指遥感影像语义分割模型迁移学习方法、装置及计算机设备。


背景技术：

2.遥感影像是指记录各种地物电磁波大小的胶片或照片，主要分为航空像片和卫星相片。
3.由于地物类型的多样性和样本标注的高成本，为了快速、大范围的对遥感影像进行语义分割，在实践中往往采用迁移学习的方式实现。过去对于迁移学习方法已有大量研究，针对遥感影像语义分割模型的迁移学习方法的基本流程为：利用与目标数据集相似的数据集，训练模型；按需修改模型，比如增加、删除相关的处理层；在目标数据集上标注部分样本；利用目标数据集上标注的部分样本对训练好的模型进行微调。
4.由于公开的精细标注遥感数据集较少，通常的目标数据集与精细标注的数据集往往存在较大差异，通常包括分辨率、形变以及色调，因此往往需要对目标数据集进行大量标注，才能使得模型满足当前数据情况。
5.因此，有必要设计一种新的方法，实现遥感影像语义分割模型在目标数据集标注量较少的情况下获得更高的精度。


技术实现要素：

6.本发明的目的在于克服现有技术的缺陷，提供遥感影像语义分割模型迁移学习方法、装置及计算机设备。
7.为实现上述目的，本发明采用以下技术方案：遥感影像语义分割模型迁移学习方法，包括：
8.使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练，以得到第一模型；
9.根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集；
10.使用增强数据集对所述第一模型进行训练，以得到第二模型；
11.对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调。
12.其进一步技术方案为：所述根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集，包括：
13.根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据；
14.对所述分辨率调整数据进行形变，以得到形变数据；
15.对所述形变数据进行色调调整，以得到增强数据集。
16.其进一步技术方案为：所述根据目标数据集情况对所述精细标注数据的分辨率调
整，以得到分辨率调整数据，包括：
17.按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪，以得到分辨率调整数据。
18.其进一步技术方案为：所述对所述分辨率调整数据进行形变，以得到形变数据，包括：
19.采用多项式模型方法，对于所述目标数据集，构建真实空间位置与影像空间位置的关系；
20.将真实空间位置与影像空间位置的关系应用于所述分辨率调整数据，以得到形变数据。
21.其进一步技术方案为：所述对所述形变数据进行色调调整，以得到增强数据集，包括：
22.采用直方图匹配方法将所述形变数据的直方图调整至与所述目标数据集的直方图相似，以得到增强数据集。
23.本发明还提供了遥感影像语义分割模型迁移学习装置，包括：
24.初次训练单元，用于使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练，以得到第一模型；
25.数据增强单元，用于根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集；
26.二次训练单元，用于使用增强数据集对所述第一模型进行训练，以得到第二模型；
27.微调单元，用于对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调。
28.其进一步技术方案为：所述数据增强单元包括：
29.分辨率调整子单元，用于根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据；
30.形变子单元，用于对所述分辨率调整数据进行形变，以得到形变数据；
31.色调调整子单元，用于对所述形变数据进行色调调整，以得到增强数据集。
32.其进一步技术方案为：所述分辨率调整子单元，用于按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪，以得到分辨率调整数据。
33.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
34.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
35.本发明与现有技术相比的有益效果是：本发明通过使用公开的精细标注数据集对模型进行初次训练，且根据目标数据集情况对所述精细标注数据进行数据增强，利用增强后的数据集对初次训练后的第一模型训练，对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调，实现处理已有的公开精细标注数据集，使得遥感影像语义分割模型在目标数据集标注量较少的情况下获得更高的精度。
36.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
37.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明实施例提供的遥感影像语义分割模型迁移学习方法的应用场景示意图；
39.图2为本发明实施例提供的遥感影像语义分割模型迁移学习方法的流程示意图；
40.图3为本发明实施例提供的遥感影像语义分割模型迁移学习方法的子流程示意图；
41.图4为本发明实施例提供的遥感影像语义分割模型迁移学习方法的子流程示意图；
42.图5为本发明实施例提供的遥感影像语义分割模型迁移学习装置的示意性框图；
43.图6为本发明实施例提供的遥感影像语义分割模型迁移学习装置的数据增强单元的示意性框图；
44.图7为本发明实施例提供的遥感影像语义分割模型迁移学习装置的形变子单元的示意性框图；
45.图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
48.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
49.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
50.请参阅图1和图2，图1为本发明实施例提供的遥感影像语义分割模型迁移学习方法的应用场景示意图。图2为本发明实施例提供的遥感影像语义分割模型迁移学习方法的示意性流程图。该遥感影像语义分割模型迁移学习方法应用于服务器中。该服务器与终端进行数据交互，通过使用公开的精细标注数据集对模型进行初次训练，且根据目标数据集情况对所述精细标注数据进行数据增强，利用增强后的数据集对初次训练后的第一模型训练，对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调，实现处理已有的公开精细标注数据集，使得模型在目标数据集标注量较少的情况下获得更高的精度。
51.图2是本发明实施例提供的遥感影像语义分割模型迁移学习方法的流程示意图。如图2所示，该方法包括以下步骤s110至s140。
52.s110、使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练，以得到第一模型。
53.在本实施例中，第一模型是指使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练后形成的模型。
54.s120、根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集。
55.在本实施例中，增强数据集是指根据目标数据集情况对所述精细标注数据进行数据增强后形成的数据集。
56.在一实施例中，请参阅图3，上述的步骤s120可包括步骤s121～s123。
57.s121、根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据。
58.在本实施例中，分辨率调整数据是指按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪后形成的数据集。
59.具体地，按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪，以得到分辨率调整数据。
60.s122、对所述分辨率调整数据进行形变，以得到形变数据。
61.在本实施例中，形变数据是指对分辨率调整数据进行形变后形成的数据。
62.在一实施例中，请参阅图4，上述的步骤s122可包括步骤s1221～s1222。
63.s1221、采用多项式模型方法，对于所述目标数据集，构建真实空间位置与影像空间位置的关系；
64.s1222、将真实空间位置与影像空间位置的关系应用于所述分辨率调整数据，以得到形变数据。
65.采用多项式模型方法，对于目标数据集，构建真实空间位置(x_true,y_true)与影像空间位置(x_obs，y_obs)的关系:(x_obs，y_obs)＝f(x_true，y_true：aij，bij)；比如多项式校正模型，并将f(x_true，y_true)应用于公开精细标注数据集，生成相同形变后的数据。
66.具体地，多项式校正模型为：其中(x，y)和(u，v)分别为两幅影像中同名点的位置信息，a
ij
与b
ij
为多项式参数，通过标注控制点求解最优参数。
67.s123、对所述形变数据进行色调调整，以得到增强数据集。
68.在本实施例中，采用直方图匹配方法将所述形变数据的直方图调整至与所述目标数据集的直方图相似，以得到增强数据集。
69.s130、使用增强数据集对所述第一模型进行训练，以得到第二模型；
70.s140、对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调。
71.在本实施例中，模型的训练以及微调属于现有技术，此处不再赘述。
72.上述的遥感影像语义分割模型迁移学习方法，通过使用公开的精细标注数据集对模型进行初次训练，且根据目标数据集情况对所述精细标注数据进行数据增强，利用增强后的数据集对初次训练后的第一模型训练，对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调，实现处理已有的公开精细标注数据集，使得遥感影像语义分割模型在目标数据集标注量较少的情况下获得更高的精度。
73.图5是本发明实施例提供的一种遥感影像语义分割模型迁移学习装置300的示意性框图。如图5所示，对应于以上遥感影像语义分割模型迁移学习方法，本发明还提供一种遥感影像语义分割模型迁移学习装置300。该遥感影像语义分割模型迁移学习装置300包括用于执行上述遥感影像语义分割模型迁移学习方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该遥感影像语义分割模型迁移学习装置300包括初次训练单元301、数据增强单元302、二次训练单元303以及微调单元304。
74.初次训练单元301，用于使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练，以得到第一模型；数据增强单元302，用于根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集；二次训练单元303，用于使用增强数据集对所述第一模型进行训练，以得到第二模型；微调单元304，用于对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调。
75.在一实施例中，如图6所示，所述数据增强单元302包括分辨率调整子单元3021、形变子单元3022以及色调调整子单元3023。
76.分辨率调整子单元3021，用于根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据；形变子单元3022，用于对所述分辨率调整数据进行形变，以得到形变数据；色调调整子单元3023，用于对所述形变数据进行色调调整，以得到增强数据集。
77.在一实施例中，所述分辨率调整子单元3021，用于按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪，以得到分辨率调整数据。
78.在一实施例中，如图7所示，所述形变子单元3022包括关系构建模块30221以及应用模块30222。
79.关系构建模块30221，用于采用多项式模型方法，对于所述目标数据集，构建真实空间位置与影像空间位置的关系；应用模块30222，用于将真实空间位置与影像空间位置的关系应用于所述分辨率调整数据，以得到形变数据。
80.在一实施例中，所述色调调整子单元3023，用于采用直方图匹配方法将所述形变数据的直方图调整至与所述目标数据集的直方图相似，以得到增强数据集。
81.需要说明的是，所属领域的技术人员可以清楚地了解到，上述遥感影像语义分割模型迁移学习装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
82.上述遥感影像语义分割模型迁移学习装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
83.请参阅图8，图8是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
100.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
101.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
102.使用公开的精细标注数据集进行遥感影像语义分割模型进行初次训练，以得到第一模型；根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集；使用增强数据集对所述第一模型进行训练，以得到第二模型；对所述目标数据集进行标注，并利用标注的目标数据集对所述第二模型进行微调。
103.在一实施例中，所述处理器在执行所述计算机程序而实现所述根据目标数据集情况对所述精细标注数据进行数据增强，以得到增强数据集步骤时，具体实现如下步骤：
104.根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据；对所述分辨率调整数据进行形变，以得到形变数据；对所述形变数据进行色调调整，以得到增强数据集。
105.在一实施例中，所述处理器在执行所述计算机程序而实现所述根据目标数据集情况对所述精细标注数据的分辨率调整，以得到分辨率调整数据步骤时，具体实现如下步骤：
106.按照目标数据集的分辨率对所述精细标注数据集样本进行重采样以及裁剪，以得到分辨率调整数据。
107.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述分辨率调整数据进行形变，以得到形变数据步骤时，具体实现如下步骤：
108.采用多项式模型方法，对于所述目标数据集，构建真实空间位置与影像空间位置的关系；将真实空间位置与影像空间位置的关系应用于所述分辨率调整数据，以得到形变数据。
109.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述形变数据进行色调调整，以得到增强数据集步骤时，具体实现如下步骤：
110.采用直方图匹配方法将所述形变数据的直方图调整至与所述目标数据集的直方图相似，以得到增强数据集。
111.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
112.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不
应认为超出本发明的范围。
113.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
114.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
115.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
116.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。