基于弱监督学习的人体图像解析方法及系统

本发明涉及计算机视觉及人工智能，具体涉及一种基于弱监督学习的人体图像解析方法及系统。

背景技术：

1、人体解析任务是语义分割的子任务，旨在将以人体为中心的图片映射为像素级别的语义标签。与其他分割任务相比，人体解析需要对属于人体的各个区域进行更加精细的预测，因此被认为是细粒度的语义分割。尽管深度学习的发展为该任务带来了重大进展，但该任务本身的复杂性仍然使其十分具有挑战性。相比于其他语义分割任务，人体拥有更加复杂和丰富的结构，包括头部、身体和四肢等多个部位，而每个部位又可以进一步划分为不同的子区域。这些子区域之间的界限模糊，而且不同的人体姿势也会给这些界限带来改变，这给标注带来了极大的挑战。特别地，由于人类丰富的服装搭配，不同的人体之间也存在较大的外观差异，这对人体解析任务的影响是不可忽略的。

2、为了学习可靠的人体解析模型，需要大量的像素级别的掩码作为监督信息。然而，标注像素级别的语义信息通常需要花费大量的时间和金钱，而且对人体解析任务标注像素级别的标签相比其他语义分割任务会更加困难。因为人体解析任务属于细粒度语义分割任务，需要注释者仔细区分人体的每一个部位并对其进行像素级别的语义注释，当注释者对于不同语义部分之间的模糊边界感到困惑时，任务将会变得更加具有挑战性。为了减轻像素级注释带来的巨大负担，可以采用弱监督方法对人体解析任务展开研究。

3、近年来，基于弱监督的人体解析任务主要使用人体关键点作为监督信息。尽管这些方法在弱监督人体解析方面取得了一定的成功，但它们仅仅依赖于关键点作为监督信息，并未充分考虑边缘信息的作用，这导致了在语义邻接区域的分割精度相对较低的问题。此外，现有的结合边缘信息的人体解析任务也未考虑到不同语义区域之间的边界具有不同的颜色、纹理和形状特征，从而导致不同语义邻接区域的分割难度存在差异。这使得人体解析结果中存在一定的边缘缺失问题，从而限制了人体解析模型性能的进一步提升。

技术实现思路

1、本发明的目的在于提供一种基于弱监督学习的人体图像解析方法及系统，以解决上述背景技术中存在的至少一项技术问题。

2、为了实现上述目的，本发明采取了如下技术方案：

3、一方面，本发明提供一种基于弱监督学习的人体图像解析方法，包括：

4、获取待解析的人体图像；

5、利用预先训练好的人体解析模型对获取的待解析的人体图像进行处理，得到初始人体解析结果和边缘检测结果，并通过交叉注意力机制将初始人体解析结果与边缘检测结果融合得到最终的人体解析结果；

6、其中，训练人体解析模型包括：获取人体解析数据集，将所述人体解析集划分为训练集和测试集并进行数据预处理；使用基础网络提取输入图片的低层次的视觉特征和高层次的语义特征；人体解析分支以语义特征作为输入，输出为人体解析结果，该分支将一半数据集为像素级别标签和一半数据集的点标签的数据集作为监督信息，并采用交叉熵损失函数作为优化目标；边缘分支以视觉特征作为输入，输出为边缘检测图；通过点标签生成粗糙的边缘伪标签以作为边缘分支的监督信息。

7、可选的，基于边缘类别的精细化粗糙边缘伪标签的策略消除粗糙边缘伪标签的噪声，包括：利用人体解析分支的输出来计算不同语义类之间的相似度以生成类间混淆度矩阵，以此生成边缘预测图，并将其作为抑制粗糙边缘伪标签中噪声的依据；结合人体解析分支输出的人体解析结果提取各部位邻接的边缘，并通过与边缘伪标签比对来生成每个边缘类别的置信度，进而根据置信度来对不同的边缘预测图构建适应性的优化策略以消除边缘伪标签的噪声，从而得到更加精细的边缘伪标签。

8、可选的，将精细的边缘伪标签作为边缘分支的监督信息，并采用交叉熵损失函数作为优化目标；将人体解析分支的人体解析特征和边缘分支中的边缘特征通过交叉注意力机制进行互补融合，从而得到边缘细节更加精准的人体解析结果，采用交叉熵损失函数作为优化目标。

9、可选的，将人体解析数据集的训练集分批次输入网络模型进行前向传播，通过多任务学习损失函数计算出损失值，然后进行反向传播优化网络模型，直到所述的多任务学习损失值趋于收敛时停止训练，得到训练完毕的深度学习网络模型。

10、可选的，类间混淆度矩阵的表示公式为：

11、

12、其中w为图像宽度、h为图像高度、num为数据集中语义类别的数量；mi,j为第i个语义类和第j个语义类之间的混淆度矩阵且

13、可选的，边缘类置信度矩阵的表示公式为：

14、

15、其中k为图像中边缘类别的数量；ck为第k个边缘类别的置信度。

16、第二方面，本发明提供一种基于弱监督学习的人体图像解析系统，包括：

17、获取模块，用于获取待解析的人体图像；

18、处理模块，用于利用预先训练好的人体解析模型对获取的待解析的人体图像进行处理，得到初始人体解析结果和边缘检测结果，并通过交叉注意力机制将初始人体解析结果与边缘检测结果融合得到最终的人体解析结果；

19、其中，训练人体解析模型包括：获取人体解析数据集，将所述人体解析集划分为训练集和测试集并进行数据预处理；使用基础网络提取输入图片的低层次的视觉特征和高层次的语义特征；人体解析分支以语义特征作为输入，输出为人体解析结果，该分支将一半数据集为像素级别标签和一半数据集的点标签的数据集作为监督信息，并采用交叉熵损失函数作为优化目标；边缘分支以视觉特征作为输入，输出为边缘检测图；通过点标签生成粗糙的边缘伪标签以作为边缘分支的监督信息。

20、第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于弱监督学习的人体图像解析方法。

21、第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于弱监督学习的人体图像解析方法。

22、第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于弱监督学习的人体图像解析方法的指令。

23、本发明有益效果：以关键点作为监督信息，并充分考虑边缘信息的作用，提高了在语义邻接区域的分割精度；也未考虑到不同语义区域之间的边界具有不同的颜色、纹理和形状特征，降低了不同语义邻接区域的分割难度，提高了人体解析模型的性能。

24、本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。

技术特征：

1.一种基于弱监督学习的人体图像解析方法，其特征在于，包括：

2.根据权利要求1所述的基于弱监督学习的人体图像解析方法，其特征在于，基于边缘类别的精细化粗糙边缘伪标签的策略消除粗糙边缘伪标签的噪声，包括：利用人体解析分支的输出来计算不同语义类之间的相似度以生成类间混淆度矩阵，以此生成边缘预测图，并将其作为抑制粗糙边缘伪标签中噪声的依据；结合人体解析分支输出的人体解析结果提取各部位邻接的边缘，并通过与边缘伪标签比对来生成每个边缘类别的置信度，进而根据置信度来对不同的边缘预测图构建适应性的优化策略以消除边缘伪标签的噪声，从而得到更加精细的边缘伪标签。

3.根据权利要求2所述的基于弱监督学习的人体图像解析方法，其特征在于，将精细的边缘伪标签作为边缘分支的监督信息，并采用交叉熵损失函数作为优化目标；将人体解析分支的人体解析特征和边缘分支中的边缘特征通过交叉注意力机制进行互补融合，从而得到边缘细节更加精准的人体解析结果，采用交叉熵损失函数作为优化目标。

4.根据权利要求3所述的基于弱监督学习的人体图像解析方法，其特征在于，将人体解析数据集的训练集分批次输入网络模型进行前向传播，通过多任务学习损失函数计算出损失值，然后进行反向传播优化网络模型，直到所述的多任务学习损失值趋于收敛时停止训练，得到训练完毕的深度学习网络模型。

5.根据权利要求4所述的基于弱监督学习的人体图像解析方法，其特征在于，类间混淆度矩阵的表示公式为：

6.根据权利要求4所述的基于弱监督学习的人体图像解析方法，其特征在于，边缘类置信度矩阵的表示公式为：

7.一种基于弱监督学习的人体图像解析系统，其特征在于，包括：

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的基于弱监督学习的人体图像解析方法。

9.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如权利要求1-6任一项所述的基于弱监督学习的人体图像解析方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的基于弱监督学习的人体图像解析方法的指令。

技术总结
本发明提供一种基于弱监督学习的人体图像解析方法及系统，属于计算机视觉及人工智能技术领域，获取数据并预处理后，提取图片中的低层次视觉特征和高层次语义特征；在人体解析分支中，方法将基础网络输出的高层次的语义特征作为该分支的输入来获取预测的人体解析结果。在边缘分支中，方法将基础网络输出的低层次的视觉特征作为该分支的输入来获取边缘检测图。方法对两个分支的任务进行多任务联合学习和训练。本发明通过使用人体解析结果进一步对粗糙的边缘伪标签进行细化，以提供给边缘分支更加可靠的监督信息，并通过交叉注意力机制更充分地融合了人体解析结果和边缘信息，从而获得了更加精细的人体解析结果，提高了弱监督人体解析模型的精准率。

技术研发人员：郎丛妍,刘昕竺,许喆铭,孙鑫雨
受保护的技术使用者：北京交通大学
技术研发日：
技术公布日：2024/1/15