模型训练方法、图像处理方法、装置和存储介质与流程

本公开涉及图像处理领域，尤其涉及一种模型训练方法、图像处理方法、装置和存储介质。

背景技术：

1、多尺度目标检测是计算机视觉方面重点研究方向之一。其中，fpn(featurepyramid networks，特征金字塔网络)广泛应用于现有先进检测模型中，fpn采用了一种基于像素点逐位相加的特征融合方式，它构造了一个自顶向下的网络结构。通过将深层特征不断传递与浅层特征相加，使得浅层特征在保持高分辨具有细节特征的同时，包含丰富的语义信息，增强网络对多尺度目标的检测性能。相关技术中的fpn模型对多尺度目标的检测精度还有待提高。

技术实现思路

1、本公开要解决的一个技术问题是，提供一种模型训练方法、图像处理方法、装置和存储介质，能够提高多尺度目标的检测精度。

2、根据本公开一方面，提出一种模型训练方法，包括：获取特征金字塔网络模型中样本图像的第i层的图像特征和第i+1层的融合特征，其中，i为大于1的自然数，且小于特征金字塔网络模型的网络层数；对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组，并提取每一个第一子特征组的全局特征；对第i+1层的融合特征进行上采样和卷积处理，得到第i+1层中间特征；根据每一个第一子特征组的全局特征与第i+1层中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图；以及基于注意力图和注意力图对应的标签，对特征精炼模块进行训练。

3、在一些实施例中，利用注意力图对第i+1层中间特征进行过滤，得到过滤特征值；以及将第i层的图像特征对应的第二特征与过滤特征值进行融合，得到第i层的融合特征。

4、在一些实施例中，根据每一个第一子特征组的全局特征与第i+1层中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图包括：计算每一个第一子特征组的全局特征与第i+1层中间特征在每个位置特征的相似度，得到每一组的相似性特征映射图；以及对每一组的相似性特征映射图进行加和，得到注意力图。

5、在一些实施例中，在相似度小于相似度阈值的情况下，每一组的相似性特征映射图的取值为零；以及在相似度大于或等于相似度阈值的情况下，每一组的相似性特征映射图的取值为相似度的值。

6、在一些实施例中，对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组包括：根据第一特征的特征对象类别，确定通道分组组数；以及按照通道分组组数，对第一特征进行通道分组，得到多个第一子特征组。

7、在一些实施例中，对第i层的图像特征进行第一卷积处理，得到第一特征；以及对第i层的图像特征进行第二卷积处理，得到第二特征。

8、在一些实施例中，根据样本图像中目标大小，确定注意力图对应的标签的最大值和最小值；根据最大值和最小值，确定注意力图对应的标签上每一元素在样本图像中的所占第一区域；根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值；以及根据每一元素的标签值，确定标签对应的标签值。

9、在一些实施例中，根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值：对第一区域，按照宽高比进行放缩处理，得到多个第三区域；计算多个第三区域中每个第三区域的像素值的高斯分布，得到多个第一分布结果；计算第二区域的像素值的高斯分布，得到第二分布结果；将多个第一分布结果中每个第一分布结果与第二分布结果对应位置元素相乘，得到多个区域矩阵；将多个区域矩阵中每个区域矩阵中的矩阵元素求和，得到多个矩阵元素求和值；以及将多个矩阵元素求和值中的最大值，作为每一元素的标签值。

10、在一些实施例中，基于注意力图和注意力图对应的标签，确定特征精炼模块的损失函数；以及将特征精炼模块的损失函数按照预定比例加入到特征金字塔网络模型的总损失函数中，对特征金字塔网络模型进行训练。

11、根据本公开的另一方面，还提出一种图像处理方法，包括：将待识别图像输入至训练好的特征金字塔网络模型，得到待检测图像中的目标的识别结果，其中，特征金字塔网络模型基于上述的模型训练方法训练得到。

12、根据本公开的另一方面，还提出一种模型训练装置，包括：第一处理模块，被配置为获取特征金字塔网络模型中样本图像的第i层的图像特征和第i+1层的融合特征，其中，i为大于1的自然数，且小于特征金字塔网络模型的网络层数；第二处理模块，被配置为对第i层的图像特征对应的第一特征进行通道分组，得到多个第一子特征组，并提取每一个第一子特征组的全局特征；第三处理模块，被配置为对第i+1层的融合特征进行上采样和卷积处理，得到第i+1层中间特征；第四处理模块，被配置为根据每一个第一子特征组的全局特征与第i+1中间特征的相关性，得到第i层的图像特征对应的特征精炼模块的注意力图；以及第五处理模块，被配置为基于注意力图和注意力图对应的标签，对特征精炼模块进行训练。

13、在一些实施例中，第六处理模块，被配置为利用注意力图对第i+1层中间特征进行过滤，得到过滤特征值；以及第七处理模块，被配置为将第i层的图像特征对应的第二特征与过滤特征值进行第二融合，得到第i层的融合特征。

14、在一些实施例中，第四处理模块被配置为计算每一个第一子特征组的全局特征与第i+1层中间特征在每个位置特征的相似度，得到每一组的相似性特征映射图；以及对每一组的相似性特征映射图进行加和，得到注意力图。

15、在一些实施例中，在相似度小于相似度阈值的情况下，每一组的相似性特征映射图的取值为零；以及在相似度大于或等于相似度阈值的情况下，每一组的相似性特征映射图的取值为相似度的值。

16、在一些实施例中，第二处理模块被配置为根据第一特征的特征对象类别，确定通道分组组数；以及按照通道分组组数，对第一特征进行通道分组，得到多个第一子特征组。

17、在一些实施例中，第二处理模块还被配置为对第i层的图像特征进行第一卷积处理，得到第一特征；以及对第i层的图像特征进行第二卷积处理，得到第二特征。

18、在一些实施例中，第八处理模块，被配置为根据样本图像中目标大小，确定注意力图对应的标签的最大值和最小值；根据最大值和最小值，确定注意力图对应的标签上每一元素在样本图像中的所占第一区域；根据第一区域的像素值的分布，以及标签对应目标在样本图像所占第二区域的像素值的分布，确定每一元素的标签值；以及根据每一元素的标签值，确定标签对应的标签值。

19、在一些实施例中，第八处理模块被配置为对第一区域，按照宽高比进行放缩处理，得到多个第三区域；计算多个第三区域中每个第三区域的像素值的高斯分布，得到多个第一分布结果；计算第二区域的像素值的高斯分布，得到第二分布结果；将多个第一分布结果中每个第一分布结果与第二分布结果对应位置元素相乘，得到多个区域矩阵；将多个区域矩阵中每个区域矩阵中的矩阵元素求和，得到多个矩阵元素求和值；以及将多个矩阵元素求和值中的最大值，作为每一元素的标签值。

20、在一些实施例中，第五处理模块还被配置为基于注意力图和注意力图对应的标签，确定特征精炼模块的损失函数；以及将特征精炼模块的损失函数按照预定比例加入到特征金字塔网络模型的总损失函数中，对特征金字塔网络模型进行训练。

21、根据本公开的另一方面，还提出一种图像处理装置，包括：图像识别模块，被配置为将待识别图像输入至训练好的特征金字塔网络模型，得到待检测图像中的目标的识别结果，其中，特征金字塔网络模型基于上述的模型训练装置得到。

22、根据本公开的另一方面，还提出一种电子设备，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的模型训练方法，或者上述的图像处理方法。

23、根据本公开的另一方面，还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上述的模型训练方法，或者上述的图像处理方法。

24、本公开实施例中，将不同类别对象的特征解耦到不同的通道中，在空间维度上实现了类内特征的增强和负样本(背景)特征的弱化，即抑制了类间特征耦合和类内与背景之间的干扰，有效融合了fpn中的深层特征和浅层特征，在保证检测速率的同时，大幅度提高模型对多尺度目标的检测精度。

25、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。