语义分割模型训练方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像识别技术领域，特别是涉及一种语义分割模型训练方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.银行等金融机构往往需要对申请贷款的项目进行风险分析，如在贷款前进行背景调查，以决定是否给予贷款，避免客户在贷款之后无法及时偿还，给银行等金融企业带来直接经济损失，并在贷款后实时监测贷款项目的情况，以及时止损。
3.通常业务人员通过对比不同时期贷款项目的图像来进行贷前背景调查与贷后实时监测，然而在道路维修、农田种植等贷款领域存在偏远地区背景调查困难、监测数据有效值少的问题，只能获取少量样本数据。为了对偏远地区的贷款项目进行准确监测，通常建立小样本语义分割模型对少量贷款监测图像进行分割，获取目标监测图像每个像素的掩码预测结果，从而对图像进行特征增强。
4.现有的方案基于原型学习方法，直接从支持图像中提取类别原型，在匹配查询图像中的语义类时往往存在偏差。在仅有少量样本数据的情况下，通过传统原型学习的方法建立语义分割模型对贷款监测图像进行语义分割，分割结果不够准确。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够基于少量贷款监测图像准确进行语义分割的语义分割模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种语义分割模型训练方法。所述方法包括：
7.获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
8.基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；
9.基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
10.基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
11.基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
12.在其中一个实施例中，基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量，包括：针对当前图像类型的各样本支持图像，
提取各样本支持图像的多通道特征图；基于各样本支持图像的多通道特征图和各样本支持图像对应的掩码标签，获取各样本支持图像对应的类原型向量；对各样本支持图像对应的类原型向量进行整合，获得当前图像类型对应的类原型向量。
13.在其中一个实施例中，基于各样本支持图像的多通道特征图和各样本支持图像对应的掩码标签，获取各样本支持图像对应的类原型向量，包括：针对当前图像类型的当前样本支持图像，对当前样本支持图像的多通道特征图作上采样处理，基于当前样本支持图像对应的掩码标签，提取多个通道的上采样处理结果中处于掩码标签对应的第一掩码区域内的第一前景特征图；基于每一通道的第一前景特征图，获取每一通道的第一类原型特征，并基于每一通道的第一类原型特征，构建当前样本支持图像对应的第一类原型向量；对当前样本支持图像对应的掩码标签作下采样处理，基于下采样结果，提取当前样本支持图像的多通道特征图中处于下采样结果对应的第二掩码区域内的第二前景特征图；基于每一通道的第二前景特征图，获取每一通道的第二类原型特征，并基于每一通道的第二类原型特征，构建当前样本支持图像对应的第二类原型向量；对第一类原型向量和第二类原型向量进行整合，获得当前样本支持图像对应的类原型向量。
14.在其中一个实施例中，样本图像为样本支持图像；基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，包括：针对当前图像类型的当前样本支持图像，提取当前样本支持图像的多通道特征图；基于当前图像类型的类原型向量，获取当前样本支持图像的相似度特征图，相似度特征图用于表征当前样本支持图像的多通道特征图和当前图像类型的类原型向量间的相似程度；基于相似度特征图对当前样本支持图像的多通道特征图作特征增强处理，获得增强特征；对增强特征作空洞空间卷积池化处理，对处理结果进行卷积分类处理，获得当前样本支持图像对应的掩码预测结果。
15.在其中一个实施例中，样本图像为样本查询图像；基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，包括：针对当前图像类型的当前样本查询图像，提取当前样本查询图像的多通道特征图，并提取各图像类型的各样本支持图像的多通道特征图；对各图像类型的各样本支持图像对应的掩码标签作下采样处理，基于各图像类型的各样本支持图像对应的下采样结果，提取各图像类型的各样本支持图像对应的前景特征图；基于当前样本查询图像的多通道特征图和各图像类型的各样本支持图像对应的前景特征图，作注意力引导处理，获得注意力引导处理结果；基于各图像类型的类原型向量，获取当前样本查询图像针对各类原型向量的相似度特征图，相似度特征图用于表征当前样本查询图像的多通道特征图和相应的类原型向量间的相似程度；基于针对各类原型向量的相似度特征图，对当前样本查询图像的多通道特征图作特征增强处理，获得增强特征；对增强特征作空洞空间卷积池化处理，对处理结果进行卷积分类处理，获得当前样本查询图像对应的掩码预测结果。
16.在其中一个实施例中，上述语义分割模型训练方法还包括：在获得训练后的语义分割模型之后，获取待进行语义分割的目标图像集，目标图像集对应的目标图像类型为未参与针对语义分割模型的训练过程，目标图像集包括至少一个目标支持图像和至少一个目标查询图像；基于目标支持图像和目标支持图像对应的掩码标签，确定目标图像类型对应
的类原型向量；基于目标支持图像和目标图像类型对应的类原型向量，通过训练后的语义分割模型对目标支持图像进行语义分割，获得目标支持图像对应的掩码预测结果；基于目标支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第三损失函数，基于第三损失函数对训练后的语义分割模型进行再次训练；基于再次训练后的语义分割模型，对目标查询图像进行语义分割。
17.在其中一个实施例中，上述语义分割模型训练方法还包括：样本图像集和目标图像集是对贷款对象进行贷前调查或者贷后监测所拍摄获取得到的。
18.第二方面，本技术还提供了一种语义分割模型训练装置。所述装置包括：
19.任务获取模块，用于获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
20.原型融合模块，用于基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；
21.掩码预测模块，用于基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
22.损失构建模块，用于基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
23.模型优化模块，用于基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
24.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
25.获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
26.基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；
27.基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
28.基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
29.基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
30.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
31.获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
32.基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类
型对应的类原型向量；
33.基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
34.基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
35.基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
36.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
37.获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
38.基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；
39.基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
40.基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
41.基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
42.上述语义分割模型训练方法、装置、计算机设备、存储介质和计算机程序产品，基于训练任务中的样本支持图像以及样本支持图像对应的掩码标签，获取各图像类型对应的类原型向量；基于类原型向量对各样本图像进行语义分割，获得样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结果；基于样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结果构建目标损失函数；基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。整个语义分割模型训练过程仅需少量的训练样本，对于每一训练任务，首先通过样本支持图像以及相应的掩码标签，获取这一训练任务中所有图像类型对应的类原型向量，然后基于类原型向量对样本支持图像与样本查询图像进行分割，最后构建联合样本支持图像损失与样本查询图像损失的目标损失函数，在仅有少量样本数据的情况下保证了贷款监测图像语义分割的准确性。整个语义分割模型训练过程仅需少量的训练样本，对于每一训练任务，首先通过样本支持图像以及相应的掩码标签，获取这一训练任务中所有图像类型对应的类原型向量，然后基于类原型向量对样本支持图像与样本查询图像进行分割，最后构建联合样本支持图像损失与样本查询图像损失的目标损失函数，在仅有少量样本数据的情况下保证了贷款监测图像语义分割的准确性。
附图说明
43.图1为一个实施例中语义分割模型训练方法的应用环境图；
44.图2为一个实施例中语义分割模型训练方法的流程示意图；
45.图3为一个实施例中获得掩码预测结果的流程示意图；
46.图4为一个实施例中语义分割模型训练方法的架构示意图；
47.图5为一个实施例中注意力机制的结构图；
48.图6为一个实施例中语义分割模型训练装置的结构框图；
49.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
51.本技术实施例提供的语义分割模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像，终端102通过通信网络将训练任务发送至服务器104。
52.服务器104基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型，将训练后的语义分割模型保存至数据存储系统。
53.其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
54.在一个实施例中，如图2所示，提供了一种语义分割模型训练方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
55.s100：获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像。
56.其中，训练任务从训练集中抽取，每个训练任务至少包括一种图像类型，每个训练任务由支持图像集和查询图像集组成，支持图像集中包括至少一个样本支持图像，查询图像集中包括至少一个样本查询图像。
57.可选地，从训练集(ii表示图像，yi表示图像对应的分割掩码，m为训练集中图像的数量)中抽取若干训练任务，每个训练任务由支持图像集和查询图像集组
成。对于n-way k-shot训练任务，表示这个训练任务下有n个类别，每个类别下有k个样本支持图像，若每个类别下对应m个样本查询图像，则这个训练任务下总共有n
×
(k+m)个样本图像，将这个训练任务下的所有样本图像以及所有样本图像对应的分割掩码作为语义分割模型的输入。
58.本实施例中，从训练集中获取若干训练任务，每个训练任务均由支持图像集和查询图像集组成，将每个训练任务下的所有样本图像以及所有样本图像对应的分割掩码作为语义分割模型的输入，使语义分割模型通过多个训练任务学会对新任务下的新图像类型进行语义分割，通过小样本学习，在仅有少量样本数据的情况下提升了贷款监测的准确性。
59.s200：基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量。
60.其中，样本支持图像的掩码可以是标签为0或1的前景掩码；类原型向量是指每类样本支持图像的原型代表向量。
61.可选地，在语义分割模型训练阶段，将每个训练任务下的所有样本支持图像输入至特征提取网络，获取样本支持图像的深层特征，将样本支持图像的深层特征输入至原型融合模块，通过样本支持图像的深层特征以及样本支持图像对应的前景掩码标签，获取样本支持图像中每种类别图像的原型代表向量。
62.本技术采用vgg16网络的前五层和卷积核大小为3
×
3的卷积层作为特征提取网络，其中，卷积核大小为3
×
3的卷积层作为特征提取网络的最后一层，其作用是调整样本支持图像特征的维度，减少语义分割模型的参数量。由特征提取网络获取包含样本支持图像深层特征的特征图后，通过上采样的方式使特征图的尺寸与样本支持图像掩码的尺寸一致，利用掩码标签对特征图进行掩码平均池化操作，得到第一类原型向量。为了避免上采样操作影响样本支持图像前景特征的完整性，通过下采样的方式使样本支持图像掩码的尺寸与特征图的尺寸一致，再次利用掩码标签对特征图进行掩码平均池化操作，得到第二类原型向量。第一类原型向量和第二类原型向量的维度为样本支持图像的通道数，对上述第一类原型向量与第二类原型向量求平均，得到最终的原型代表向量作为类原型向量。
63.本实施例中，通过特征提取网络提取训练任务中样本支持图像的深层特征，并将其输入至原型融合模块。原型融合模块通过上采样的方式，将样本支持图像的特征图上采样到和样本支持图像掩码同样的尺寸大小，通过掩码平均池化操作获取第一类原型向量，同时通过下采样的方式，将样本支持图像掩码下采样到和样本支持图像的特征图同样的尺寸大小，获取第二类原型向量，对上述第一类原型向量与第二类原型向量求平均，最终得到用于指导查询图像分割的类原型向量。整个类原型向量获取过程，基于改进的原型融合策略，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
64.s300：基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像。
65.语义分割的任务是训练一个神经网络来输出目标图像每一个像素的掩码。本技术基于训练集获取若干训练任务，将每个训练任务下的所有样本图像以及所有样本图像对应的分割掩码作为语义分割模型的输入，通过样本支持图像以及样本支持图像对应的分割掩码获取各图像类型对应的类原型向量。
66.一方面，通过语义分割模型对各图像类型的样本支持图像进行分割，计算样本支持图像的深层特征与该类别的类原型间的相似性图，将该相似形图作用到样本支持图像的深层特征上，以对样本支持图像进行特征增强，后接aspp(atrous spatial pyramid pooling，空洞空间金字塔池化层)与两个卷积分类层获取样本支持图像的掩码预测结果；另一方面，通过语义分割模型对各图像类型的样本查询图像进行分割，计算样本查询图像的深层特征与该类别的类原型间的相似性图，将该相似形图作用到样本查询图像的深层特征上，以对样本查询图像进行特征增强，后接与样本支持图像分类层共享参数的aspp与两个卷积分类层，获取样本查询图像的掩码预测结果。
67.本实施例中，通过语义分割模型中的支持图像分类层以及查询图像分类层，分别获取样本支持图像和样本查询图像的掩码预测结果，查询图像分类层与支持图像分类层共享参数，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
68.s400：基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数。
69.可选地，采用交叉熵损失函数计算样本支持图像和样本查询图像的预测损失。对于每一训练任务，构建第一损失函数，将训练任务中所有样本支持图像的预测损失相加，作为样本支持图像的预测损失；构建第二损失函数，将训练任务中所有样本查询图像的预测损失相加，作为样本查询图像的预测损失。
70.本实施例中，构建用于衡量样本图像掩码预测值以及样本图像掩码真值的交叉熵损失函数，以获取某一训练任务下，所有样本支持图像的预测损失以及所有样本查询图像的预测损失，从而通过多个训练任务对语义分割模型进行多次更新，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
71.s500：基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
72.其中，目标损失函数用于衡量某一训练任务下所有样本支持图像与样本查询图像的预测损失之和。
73.可选地，基于目标损失函数，计算每一训练任务中样本支持图像的预测损失与样本查询图像的预测损失之和，作为这一训练任务下语义分割模型的总损失，根据总损失在训练阶段更新整个语义分割模型的参数。具体地，通过计算目标损失函数的极小值，让样本掩码预测结果尽量接近样本掩码真实结果，以学习支持图像分类层和查询图像分类层的参数，同时可让梯度反向传播到特征提取网络，更新特征提取网络的参数，以使提取的特征更有效。在模型训练阶段，每进行一次训练任务，更新一次模型的参数值，基于所有训练任务得到训练后的语义分割模型。
74.本实施例中，在样本查询图像的预测损失基础上，加入样本支持图像的自分割损失，作为每一训练任务下语义分割模型的总损失，从而在训练阶段实现了原型对齐，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
75.上述语义分割模型训练方法，基于训练任务中的样本支持图像以及样本支持图像对应的掩码标签，获取各图像类型对应的类原型向量；基于类原型向量对各样本图像进行语义分割，获得样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结
果；基于样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结果构建目标损失函数；基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。整个语义分割模型训练过程仅需少量的训练样本，对于每一训练任务，首先通过样本支持图像以及相应的掩码标签，获取这一训练任务中所有图像类型对应的类原型向量，然后基于类原型向量对样本支持图像与样本查询图像进行分割，最后构建联合样本支持图像损失与样本查询图像损失的目标损失函数，在仅有少量样本数据的情况下保证了贷款监测图像语义分割的准确性。
76.在一个实施例中，基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量，包括：
77.针对当前图像类型的各样本支持图像，提取各样本支持图像的多通道特征图；
78.基于各样本支持图像的多通道特征图和各样本支持图像对应的掩码标签，获取各样本支持图像对应的类原型向量；
79.对各样本支持图像对应的类原型向量进行整合，获得当前图像类型对应的类原型向量。
80.其中，当前图像类型指当前用于训练语义分割模型的样本类型。
81.在语义分割模型训练阶段，将每个训练任务下的所有样本支持图像ii∈r3×h×w以及其对应的掩码yi∈{0,1}h×w作为输入，通过特征提取网络提取样本支持图像ii的深层特征，获取包含样本深层特征的特征图fi'∈rc×h′×w′
。其中，r3×h×w表示样本支持图像的尺寸，3表示样本支持图像有三个通道，h和w分别表示样本支持图像的高和宽；样本支持图像的掩码为掩码标签为0或1的前景掩码；rc×h′×w′
表示特征图的尺寸，c为特征图的通道数，h'和w'分别表示特征图的高和宽。
82.进一步地，对于当前图像类型下的每一样本支持图像，在获取包含样本深层特征的特征图fi'∈rc×
h'
×
w'
后，通过双线性插值的方式，将特征图fi'上采样到和样本支持图像掩码yi同样的尺寸大小，特征图fi'经调整后变为fi∈rc×h×w。基于fi和yi，通过掩码平均池化操作获取第一类原型向量，掩码平均池化操作的具体步骤为按通道对特征图上目标区域的像素求平均，得到第一类原型向量v的第i个元素vi，vi的具体计算方式为：
[0083][0084]
其中，y
x,y
是指样本支持图像掩码的第x行、第y列的位置，f
i,x,y
是指调整后的样本支持图像特征图第i个通道图像的第x行、第y列的位置，vi为第一类原型向量v的第i个元素。
[0085]
通常，上述掩码平均池化操作得到的第一类原型向量作为类别i的原型用于指导查询图像的分割，然而上采样的操作过程会影响对样本前景特征提取的完整性，为了获取丰富的前景特征，本技术在上采样操作分支的基础上，增加下采样操作分支。对于当前图像类型下的每一样本支持图像，将样本支持图像掩码下采样到和样本支持图像同样的尺寸大小，同样基于掩码平均池化操作获取第二类原型向量vi'，对上述vi与v对应求平均，最终得到样本支持图像用于指导查询图像分割的类原型向量v
ave
∈rc×1，其中，rc×1表示样本支持
图像的尺寸，类原型向量的维度为样本支持图像的通道数c。对各样本支持图像对应的类原型向量再次求平均进行整合，获得当前图像类型对应的类原型向量v∈rc×1。
[0086]
本实施例中，基于改进的原型融合策略，在传统的原型学习的基础上，增加下采样操作分支用于提高前景特征提取的完整性，并对当前图像类型下的每一样本支持图像对应的类原型向量求平均进行整合，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
[0087]
在一个实施例中，基于各样本支持图像的多通道特征图和各样本支持图像对应的掩码标签，获取各样本支持图像对应的类原型向量，包括：
[0088]
针对当前图像类型的当前样本支持图像，对当前样本支持图像的多通道特征图作上采样处理，基于当前样本支持图像对应的掩码标签，提取多个通道的上采样处理结果中处于掩码标签对应的第一掩码区域内的第一前景特征图；
[0089]
基于每一通道的第一前景特征图，获取每一通道的第一类原型特征，并基于每一通道的第一类原型特征，构建当前样本支持图像对应的第一类原型向量；
[0090]
对当前样本支持图像对应的掩码标签作下采样处理，基于下采样结果，提取当前样本支持图像的多通道特征图中处于下采样结果对应的第二掩码区域内的第二前景特征图；
[0091]
基于每一通道的第二前景特征图，获取每一通道的第二类原型特征，并基于每一通道的第二类原型特征，构建当前样本支持图像对应的第二类原型向量；
[0092]
对第一类原型向量和第二类原型向量进行整合，获得当前样本支持图像对应的类原型向量。
[0093]
其中，第一掩码区域指当前样本支持图像对应的掩码标签为1的区域；第二掩码区域指当前样本支持图像对应的分割掩码经下采样操作后，对应的掩码标签为1的区域。
[0094]
本技术基于训练集获取若干训练任务，将每个训练任务下的所有样本支持图像ii∈r3×h×w，以及所有样本支持图像对应的分割掩码yi∈{0,1}h×w作为语义分割模型的输入，样本支持图像ii∈r3×h×w经vgg-16特征提取网络提取深层特征后，获得样本支持图像对应的特征图fi'∈rc×h′×w′
。将样本支持图像的特征图fi'∈rc×h′×w′
以及样本支持图像对应的分割掩码yi∈{0,1}h×w输入至原型融合模块提取每个训练任务下各图像类型对应的类原型向量v∈rc×1。
[0095]
原型融合模块通过上采样操作分支和下采样操作分支提取各图像类型对应的类原型向量。在上采样操作分支中，将样本支持图像的多通道特征图fi'∈rc×h′×w′
按通道上采样到和样本支持图像掩码yi∈{0,1}h×w同样的尺寸大小，按通道提取上采样处理结果中处于样本支持图像掩码第一掩码区域内的第一前景特征图，从而获取每一通道的第一类原型特征，将所有通道的第一类原型特征求平均，构建当前样本支持图像对应的第一类原型向量vi。
[0096]
在下采样操作分支中，将样本支持图像掩码yi∈{0,1}h×w下采样到和样本支持图像的多通道特征图fi'∈rc×h′×w′
同样的尺寸大小，按通道提取当前样本支持图像的多通道特征图中处于下采样结果对应的第二掩码区域内的第二前景特征图，从而获取每一通道的第二类原型特征，将所有通道的第二类原型特征求平均，构建当前样本支持图像对应的第二类原型向量vi'。对第一类原型向量vi和第二类原型向量vi'求平均，获得当前样本支持图
像对应的类原型向量。
[0097]
本实施例中，通过上采样操作分支，获取当前样本支持图像对应的第一类原型向量；通过下采样操作分支，获取当前样本支持图像对应的第二类原型向量，通过对第一类原型向量和第二类原型向量求平均，获得当前样本支持图像对应的类原型向量，基于改进的原型融合策略，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
[0098]
在一个实施例中，样本图像为样本支持图像；基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的样本图像对应的掩码预测结果，包括：
[0099]
针对当前图像类型的当前样本支持图像，提取当前样本支持图像的多通道特征图；
[0100]
基于当前图像类型的类原型向量，获取当前样本支持图像的相似度特征图，相似度特征图用于表征当前样本支持图像的多通道特征图和当前图像类型的类原型向量间的相似程度；
[0101]
基于相似度特征图对当前样本支持图像的多通道特征图作特征增强处理，获得增强特征；
[0102]
对增强特征作空洞空间卷积池化处理，对处理结果进行卷积分类处理，获得当前样本支持图像对应的掩码预测结果。
[0103]
对于n-way k-shot训练任务，表示这个训练任务下有n个类别，每个类别下有k个样本支持图像，对于当前图像类型下的当前样本支持图像，通过vgg-16特征提取网络提取包含深层特征的多通道特征图fi'∈rc×h′×w′
，通过原型融合模块获取当前样本支持图像所属类型对应的类原型向量v∈rc×1，基于该类原型向量以及当前样本支持图像对应的特征图fi'，对样本支持图像作特征增强处理。
[0104]
具体地，计算支持图像ii经过特征提取模块得到的特征图fi'与该类别的类原型向量v之间的余弦距离，得到支持图像和类别原型的相似性图。其中，相似形图用于表征当前样本支持图像的深层特征与对应的类别原型间的关系权重，关系越大对应的权重值越大。将该权重值乘到样本支持图像的特征图fi'上，得到目标区域增强后的特征。将目标区域增强后的特征与特征提取网络提取的特征作相加融合操作，将融合后的特征输入至aspp与两个卷积分类层，从而获取当前样本支持图像的掩码预测结果。
[0105]
其中，aspp包括四个分支，依次为空洞率为6的3
×
3卷积层、空洞率为12的3
×
3卷积层、空洞率为18的3
×
3卷积层和一个1
×
1卷积层，将四个分支的特征进行相加得到融合特征。aspp后接两个卷积分类层获取最终的预测掩码y
ip
，其中第一个卷积的大小为3
×
3，通道数为256，该卷积后添加relu层。最后一个卷积层的卷积核大小为1
×
1，通道数为目标类别数和背景数之和。
[0106]
本实施例中，获取用于表征当前样本支持图像与对应的类别原型间关系权重的相似形图，将该相似形图作用到样本支持图像的特征图上，得到目标区域增强后的特征，后续通过aspp与两个卷积分类层获取当前样本支持图像的掩码预测结果。将相似形图充当注意力引导图，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
[0107]
在一个实施例中，如图3所示，样本图像为样本查询图像；基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进
行语义分割，获得各图像类型的样本图像对应的掩码预测结果，包括：
[0108]
s301：针对当前图像类型的当前样本查询图像，提取当前样本查询图像的多通道特征图，并提取各图像类型的各样本支持图像的多通道特征图；
[0109]
s302：对各图像类型的各样本支持图像对应的掩码标签作下采样处理，基于各图像类型的各样本支持图像对应的下采样结果，提取各图像类型的各样本支持图像对应的前景特征图；
[0110]
s303：基于当前样本查询图像的多通道特征图和各图像类型的各样本支持图像对应的前景特征图，作注意力引导处理，获得注意力引导处理结果；
[0111]
s304：基于各图像类型的类原型向量，获取当前样本查询图像针对各类原型向量的相似度特征图，相似度特征图用于表征当前样本查询图像的多通道特征图和相应的类原型向量间的相似程度；
[0112]
s305：基于针对各类原型向量的相似度特征图，对当前样本查询图像的多通道特征图作特征增强处理，获得增强特征；
[0113]
s306：对增强特征作空洞空间卷积池化处理，对处理结果进行卷积分类处理，获得当前样本查询图像对应的掩码预测结果。
[0114]
本技术在n-way k-shot训练任务的n个类别下设置m个样本查询图像。对于每个训练任务，通过vgg-16特征提取网络提取当前样本查询图像的多通道特征图、以及训练任务下各图像类型的各样本支持图像的多通道特征图。对于各样本支持图像的特征图，通过下采样分支，获取各样本支持图像对应的前景特征图，将各样本支持图像对应的前景特征图与当前样本查询图像的多通道特征图输入至注意力引导模块，做注意力引导处理。计算样本查询图像中每个像素点与样本支持图像的所有前景像素点的相似性关系。
[0115]
注意力引导处理分两步实现，第一步的实现过程基于注意力机制，输入为样本查询图像的多通道特征图以及各样本支持图像对应的前景特征图fm'
ask
，fm'
ask
是由各样本支持图像的特征图fi'与各样本支持图像的前景掩码yi对应点乘得到，具体的实现原理可表示为：
[0116][0117]
其中，是在第i个空间位置上的值，其维度与的通道数一致；xj为前景特征fm'
ask
在第j个空间位置上的值，其维度与fm'
ask
的通道数一致；f(
·
)为相似度计算函数，用于计算查询特征与前景特征xj的相似度；g(
·
)是一个映射函数，将前景特征图fm'
ask
中的每个点映射为一个向量；c(x)代表归一化系数。对于每一样本查询图像，分别与当前训练任务下所有图像类型的类别原型作比对，以进行前进特征增强操作，然后在特征图上的每个点求特征响应的最大值，最终最终输出注意力特征图
[0118]
第二步计算类原型向量v和查询图像的特征图间的余弦距离，得到样本支持图像与样本查询图像的相似形图，然后将相似形图作用到注意力特征图上，具体方式为将衡量查询特征与类别原型相似度的权重值乘到上，得到查询图像目标区域增
强后的特征。将与作相加融合操作，将融合后的特征输入至aspp(atrous spatial pyramid pooling，空洞空间金字塔池化层)与两个卷积分类层，从而获取当前样本查询图像的掩码预测结果。
[0119]
本实施例中，针对训练任务集中的每一个样本查询图像，首先基于注意力机制，通过支持图像的前景特征引导查询图像，在目标区域内实现特征增强，输出注意力特征图；然后基于类原型向量与查询图像深层特征的相似性关系，得到样本支持图像与样本查询图像的相似形图；最后将相似形图作用到注意力特征图上，得到目标区域增强特征图，在特征融合后输入至aspp分类层与两个卷积分类层，获取当前样本查询图像的掩码预测结果。通过注意力引导模块，加强了样本查询图像与样本支持图像之间的信息交互，增强了两者在分割过程中的相关性，从而更好地对样本查询图像进行分割。在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
[0120]
在一个实施例中，上述语义分割模型训练方法还包括：
[0121]
在获得训练后的语义分割模型之后，获取待进行语义分割的目标图像集，目标图像集对应的目标图像类型为未参与针对语义分割模型的训练过程，目标图像集包括至少一个目标支持图像和至少一个目标查询图像；
[0122]
基于目标支持图像和目标支持图像对应的掩码标签，确定目标图像类型对应的类原型向量；
[0123]
基于目标支持图像和目标图像类型对应的类原型向量，通过训练后的语义分割模型对目标支持图像进行语义分割，获得目标支持图像对应的掩码预测结果；
[0124]
基于目标支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第三损失函数，基于第三损失函数对训练后的语义分割模型进行再次训练；
[0125]
基于再次训练后的语义分割模型，对目标查询图像进行语义分割。
[0126]
从测试集(ij表示图像，yj表示图像对应的分割掩码，m为测试集中图像的数量)中抽取若干测试任务，测试任务包括至少一种图像类型的目标图像集，且目标图像集与样本图像集的图像类别不相交。每个测试任务同样由支持图像集和查询图像集组成，支持图像集中包括至少一个目标支持图像，查询图像集中包括至少一个目标查询图像。
[0127]
将每个测试任务下的所有目标图像以及所有目标图像对应的分割掩码输入至训练后的语义分割模型，从而使语义分割模型对新的测试任务下的新图像类型进行语义分割。对于当前测试任务，为了使语义分割模型可以提取到这一任务下更具有代表性的类别原型，使用新类别的目标支持图像的预测损失对网络进行进一步的优化，以适应不可见类。
[0128]
具体的，针对每个测试任务，同训练阶段一样，将每个测试任务下的所有目标支持图像输入至特征提取网络，获取目标支持图像的深层特征，将目标支持图像的深层特征输入至原型融合模块，通过目标支持图像的深层特征以及目标支持图像对应的前景掩码标签，获取目标支持图像中每种图像类型对应的原型向量。
[0129]
基于目标支持图像和各目标图像类型对应的类原型向量，通过语义分割模型对各图像类型的目标支持图像进行分割，计算目标支持图像的深层特征与该类别的类原型间的相似性图，将该相似形图作用到目标支持图像的深层特征上，以对目标支持图像进行特征
增强，后接aspp与两个卷积分类层获取目标支持图像的掩码预测结果。
[0130]
构建用于衡量目标支持图像掩码预测值以及目标支持图像掩码真值的交叉熵损失函数，作为第三损失函数。在测试任务中，测试阶段的预测损失只用于更新模型的分类层，其它层的参数固定，为训练阶段学习所得。更新完的模型用于分割这一测试任务下的目标查询图像，最终得到每一个目标查询图像的预测掩码。
[0131]
本实施例中，将训练后的语义分割模型作为基础模型对目标图像集中的新图像类型进行分割，为了使模型提取到更有代表性的类别原型，使用新类别的目标支持图像的预测损失对语义分割模型的参数进行进一步的调整，以适应不可见类，通过在训练后的语义分割模型基础上进行模型参数适应性调整，在仅有少量样本数据的情况下提升了贷款监测图像语义分割的准确性。
[0132]
在其中一个实施例中，上述语义分割模型训练方法还包括：
[0133]
样本图像集和目标图像集是对贷款对象进行贷前调查或者贷后监测所拍摄获取得到的。
[0134]
其中，样本图像集与目标图像集中均包含至少一种图像类型，且样本图像集的类型与目标图像集的类别不重合。
[0135]
通常业务人员通过对比不同时期贷款项目的图像来进行贷前背景调查与贷后实时监测。然而在道路维修、农田种植等贷款领域存在偏远地区背景调查困难、监测数据有效值少的问题，只能获取少量样本数据。因此需要将贷前调查或者贷后监测所拍摄的调查图片划分为样本图像集和目标图像集，通过建立语义分割模型，对贷款监测图像进行分割，通过对比不同时期的分割结果，辅助业务人员进行贷款前后的风险分析。
[0136]
具体地，可以基于包含两种类型(例如道路和农田)的样本图像集训练语义分割模型，在根据样本图像集训练语义分割模型后，将训练后的语义分割模型作为基础模型对目标图像集中的新图像类型(例如湖泊和森林)进行分割，使用新图像类型下的预测损失对语义分割模型的参数进行进一步的调整。
[0137]
本实施例中，针对偏远地区贷前背景调查与贷后实时监测只能获取少量样本数据的情况，将贷前调查或贷后监测的图像划分为类型不重合的样本图像集和目标图像集。基于样本图像集和目标图像集建立语义分割模型，提升贷款监测图像语义分割的准确性，以辅助业务人员通过对比不同时期的分割结果进行贷款前后的风险分析。
[0138]
为详细说明本技术语义分割模型训练方法的技术方案，下面将采用具体应用实例并结合图4和图5说明整个处理过程，其具体包括以下步骤：
[0139]
1、从训练集中抽取若干训练任务，每个训练任务由支持图像集和查询图像集组成。模型的训练阶段以其中一个2-way 3-shot训练任务为例进行说明，其它训练任务与该训练任务的训练过程相同。该训练任务下有道路和农田两种类型，每种类型下有3张样本支持图像、5张样本查询图像，则该任务的样本图像共有16张。其中，每张样本查询图像的图片中可以有道路和农田两类，也可以只有其中一类。将该训练任务下所有的样本图像以及样本图像对应的分割掩码输入至语义分割模型进行训练，其中，分割掩码可以是标签为0或1的前景掩码。
[0140]
2、针对该任务下的样本支持图像和样本支持图像对应的掩码标签，确定该任务下各图像类型对应的类原型向量。具体进行如下处理：
[0141]
a)、将样本支持图像ii∈r3×
400
×
400
以及其对应的掩码yi∈{0,1}
400
×
400
作为模型输入，首先通过特征提取网络vgg-16提取样本支持图像ii∈r3×
400
×
400
的深层特征，获取包含样本深层特征的特征图fi'∈r
512
×
345
×
345
，将包含样本深层特征的特征图fi'与样本支持图像掩码yi输入至原型融合模块。
[0142]
b)、原型融合模块通过上采样操作分支和下采样操作分支，按图像类型提取样本支持图像对应的类原型向量。在上采样操作分支中，将样本支持图像的多通道特征图fi'∈r
512
×
345
×
345
按通道上采样到和样本支持图像掩码yi∈{0,1}
400
×
400
同样的尺寸大小，并获取每一通道的第一类原型特征，将所有通道的第一类原型特征求平均，构建当前样本支持图像对应的第一类原型向量vi。在下采样操作分支中，将样本支持图像掩码yi∈{0,1}
400
×
400
下采样到和样本支持图像的多通道特征图fi'∈r
512
×
345
×
345
同样的尺寸大小，并获取每一通道的第二类原型特征，将所有通道的第二类原型特征求平均，构建当前样本支持图像对应的第二类原型向量vi'。对第一类原型向量vi和第二类原型向量vi'求平均，获取当前样本支持图像对应的类原型向量，按图像类型对各样本支持图像对应的类原型向量再次求平均进行整合，获得该训练任务下道路和农田两种图像类型对应的类原型向量，均为v∈r
512
×1。
[0143]
3、根据两种图像类型对应的类原型向量和样本支持图像，获得该任务下样本支持图像对应的掩码预测结果，并构建损失函数。具体进行如下处理：
[0144]
a)、计算样本支持图像ii经过特征提取模块得到的特征图fi'与该类别的类原型向量v之间的余弦距离，得到样本支持图像和类别原型的相似性图。将该相似形图作用到样本支持图像的特征图fi'上，得到样本支持图像目标区域增强后的特征，将增强后的特征与样本支持图像的深层特征进行相加融合操作，输入至aspp与两个卷积分类层，获取该训练任务下道路和农田两种图像类型下每张样本支持图像的掩码预测结果。构建用于衡量样本支持图像掩码预测值以及样本支持图像掩码真值的交叉熵损失函数，作为第一损失函数。
[0145]
4、根据两种图像类型对应的类原型向量、样本支持图像以及样本查询图像，获得该任务下样本查询图像对应的掩码预测结果，并构建损失函数。具体进行如下处理：
[0146]
a)、将样本查询图像以及其对应的掩码作为模型输入，首先通过特征提取网络vgg-16提取样本查询图像ii∈r3×
400
×
400
的深层特征，获取包含样本深层特征的特征图将包含样本深层特征的特征图fi'与样本支持图像的前景特征图fm'
ask
输入至注意力引导模块。其中，样本支持图像对应的前景特征图fm'
ask
是由各样本支持图像的特征图fi'，与各样本支持图像的掩码yi在下采样操作分支对应点乘得到。
[0147]
b)、请参见图5，注意力引导模块首先基于注意力机制，计算查询图像的深层特征与样本支持图像前景特征的相似度，对于每一张样本查询图像，分别与道路和农田这两类的类原型作比对以进行前进特征增强操作，然后在特征图上的每个点求特征响应的最大值，最终最终输出注意力特征图然后计算类原型向量v和查询图像的特征图间的余弦距离，得到样本支持图像与样本查询图像的相似形图，将相似形图作用到注意力特征图上，并将与fi'作相加融合操作，将融合后的特征输入至aspp与两个卷积分类层，从而获取当前样本查询图像的掩码预测结果。构建用于衡量样本查询图像掩码预测值以及样本查询图像掩码真值的交叉熵损失函数，作为第二损失函数。
[0148]
5、基于第一损失函数和第二损失函数，构建目标损失函数，通过计算目标损失函数的极小值，让样本掩码预测结果尽量接近样本掩码真实结果，以学习支持图像分类层和查询图像分类层的参数，同时可让梯度反向传播到特征提取网络，更新特征提取网络的参数，以使提取的特征更有效。在模型训练阶段，每进行一次训练任务，更新一次模型的参数值，基于所有训练任务得到训练后的语义分割模型。
[0149]
6、从测试集(ij表示图像，yj表示图像对应的分割掩码，m为测试集中图像的数量)中抽取若干测试任务，测试任务包括至少一种图像类型的目标图像集，且目标图像集与样本图像集的图像类别不相交。每个测试任务同样由支持图像集和查询图像集组成。模型的测试阶段以其中一个2-way 3-shot训练任务为例进行说明，该测试任务下有湖泊和森林两种类型。语义分割模型没有学习过测试任务中的新类别，为了使语义分割模型可以提取到这一任务下更具有代表性的类别原型，使用新类别的目标支持图像的预测损失对网络进行进一步的优化，以适应不可见类。具体进行如下处理：
[0150]
a)、针对每个测试任务，同训练阶段一样，将每个测试任务下的所有目标支持图像输入至特征提取网络，获取目标支持图像的深层特征，将目标支持图像的深层特征输入至原型融合模块，通过目标支持图像的深层特征以及目标支持图像对应的前景掩码标签，获取目标支持图像中每种图像类型对应的原型向量。
[0151]
b)、基于目标支持图像和各目标图像类型对应的类原型向量，通过语义分割模型对各图像类型的目标支持图像进行分割，计算目标支持图像的深层特征与该类别的类原型间的相似性图，将该相似形图作用到目标支持图像的深层特征上，以对目标支持图像进行特征增强，后接aspp与两个卷积分类层获取目标支持图像的掩码预测结果。
[0152]
c)、构建用于衡量目标支持图像掩码预测值以及目标支持图像掩码真值的交叉熵损失函数，作为第三损失函数。在测试任务中，测试阶段的预测损失只用于更新模型的分类层，其它层的参数固定，为训练阶段学习所得。更新完的模型用于分割这一测试任务下的目标查询图像，最终得到每一个目标查询图像的预测掩码。
[0153]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0154]
基于语义分割模型训练方法的发明构思，如图6所示，本技术实施例还提供了一种用于实现上述所涉及的语义分割模型训练方法的语义分割模型训练装置。装置包括：
[0155]
任务获取模块601，用于获取训练任务，训练任务均包括至少一种图像类型的样本图像集，样本图像集中包括至少一个样本支持图像和至少一个样本查询图像；
[0156]
原型融合模块602，用于基于各图像类型的样本支持图像和样本支持图像对应的掩码标签，确定各图像类型对应的类原型向量；
[0157]
掩码预测模块603，用于基于各图像类型对应的类原型向量和各图像类型的样本支持图像，通过语义分割模型对各图像类型的样本图像进行语义分割，获得各图像类型的
样本图像对应的掩码预测结果，样本图像为样本支持图像或者样本查询图像；
[0158]
损失构建模块604，用于基于各图像类型的样本支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第一损失函数，基于各图像类型的样本查询图像对应的掩码预测结果与对应的掩码标签间的差异，构建第二损失函数；
[0159]
模型优化模块605，用于基于第一损失函数和第二损失函数，构建目标损失函数，基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。
[0160]
上述语义分割模型训练装置，基于训练任务中的样本支持图像以及样本支持图像对应的掩码标签，获取各图像类型对应的类原型向量；基于类原型向量对各样本图像进行语义分割，获得样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结果；基于样本支持图像对应的掩码预测结果以及样本查询图像对应的掩码预测结果构建目标损失函数；基于目标损失函数对语义分割模型进行训练，获得训练后的语义分割模型。整个语义分割模型训练过程仅需少量的训练样本，对于每一训练任务，首先通过样本支持图像以及相应的掩码标签，获取这一训练任务中所有图像类型对应的类原型向量，然后基于类原型向量对样本支持图像与样本查询图像进行分割，最后构建联合样本支持图像损失与样本查询图像损失的目标损失函数，在仅有少量样本数据的情况下保证了贷款监测图像语义分割的准确性。整个语义分割模型训练过程仅需少量的训练样本，对于每一训练任务，首先通过样本支持图像以及相应的掩码标签，获取这一训练任务中所有图像类型对应的类原型向量，然后基于类原型向量对样本支持图像与样本查询图像进行分割，最后构建联合样本支持图像损失与样本查询图像损失的目标损失函数，在仅有少量样本数据的情况下保证了贷款监测图像语义分割的准确性。
[0161]
在其中一个实施例中，原型融合模块602还用于针对当前图像类型的各样本支持图像，提取各样本支持图像的多通道特征图；基于各样本支持图像的多通道特征图和各样本支持图像对应的掩码标签，获取各样本支持图像对应的类原型向量；对各样本支持图像对应的类原型向量进行整合，获得当前图像类型对应的类原型向量。
[0162]
在其中一个实施例中，原型融合模块602还用于针对当前图像类型的当前样本支持图像，对当前样本支持图像的多通道特征图作上采样处理，基于当前样本支持图像对应的掩码标签，提取多个通道的上采样处理结果中处于掩码标签对应的第一掩码区域内的第一前景特征图；基于每一通道的第一前景特征图，获取每一通道的第一类原型特征，并基于每一通道的第一类原型特征，构建当前样本支持图像对应的第一类原型向量；对当前样本支持图像对应的掩码标签作下采样处理，基于下采样结果，提取当前样本支持图像的多通道特征图中处于下采样结果对应的第二掩码区域内的第二前景特征图；基于每一通道的第二前景特征图，获取每一通道的第二类原型特征，并基于每一通道的第二类原型特征，构建当前样本支持图像对应的第二类原型向量；对第一类原型向量和第二类原型向量进行整合，获得当前样本支持图像对应的类原型向量。
[0163]
在其中一个实施例中，掩码预测模块603还用于针对当前图像类型的当前样本支持图像，提取当前样本支持图像的多通道特征图；基于当前图像类型的类原型向量，获取当前样本支持图像的相似度特征图，相似度特征图用于表征当前样本支持图像的多通道特征图和当前图像类型的类原型向量间的相似程度；基于相似度特征图对当前样本支持图像的多通道特征图作特征增强处理，获得增强特征；对增强特征作空洞空间卷积池化处理，对处
理结果进行卷积分类处理，获得当前样本支持图像对应的掩码预测结果。
[0164]
在其中一个实施例中，掩码预测模块603还用于针对当前图像类型的当前样本查询图像，提取当前样本查询图像的多通道特征图，并提取各图像类型的各样本支持图像的多通道特征图；对各图像类型的各样本支持图像对应的掩码标签作下采样处理，基于各图像类型的各样本支持图像对应的下采样结果，提取各图像类型的各样本支持图像对应的前景特征图；基于当前样本查询图像的多通道特征图和各图像类型的各样本支持图像对应的前景特征图，作注意力引导处理，获得注意力引导处理结果；基于各图像类型的类原型向量，获取当前样本查询图像针对各类原型向量的相似度特征图，相似度特征图用于表征当前样本查询图像的多通道特征图和相应的类原型向量间的相似程度；基于针对各类原型向量的相似度特征图，对当前样本查询图像的多通道特征图作特征增强处理，获得增强特征；对增强特征作空洞空间卷积池化处理，对处理结果进行卷积分类处理，获得当前样本查询图像对应的掩码预测结果。
[0165]
在其中一个实施例中，模型优化模块605还用于在获得训练后的语义分割模型之后，获取待进行语义分割的目标图像集，目标图像集对应的目标图像类型为未参与针对语义分割模型的训练过程，目标图像集包括至少一个目标支持图像和至少一个目标查询图像；基于目标支持图像和目标支持图像对应的掩码标签，确定目标图像类型对应的类原型向量；基于目标支持图像和目标图像类型对应的类原型向量，通过训练后的语义分割模型对目标支持图像进行语义分割，获得目标支持图像对应的掩码预测结果；基于目标支持图像对应的掩码预测结果与对应的掩码标签间的差异，构建第三损失函数，基于第三损失函数对训练后的语义分割模型进行再次训练；基于再次训练后的语义分割模型，对目标查询图像进行语义分割。
[0166]
在其中一个实施例中，任务获取模块601还用于获取样本图像集和目标图像集，样本图像集和目标图像集是对贷款对象进行贷前调查或者贷后监测所拍摄获取得到的。
[0167]
上述语义分割模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0168]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储语义分割模型训练数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语义分割模型训练方法。
[0169]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备
可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0170]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0171]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0172]
在一个实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0173]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0174]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0175]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0176]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。