一种结合显著性检测的小目标姿态估计方法

本发明属于深度学习、计算机视觉，具体涉及一种结合显著性检测的小目标姿态估计方法。

背景技术：

1、姿态估计是指从输入的二位图片中检测并识别出人体或者动物的关键点，是计算机视觉领域一个很主要的任务，在脑机接口、自动驾驶以及监控安防等领域有着广泛的应用。

2、传统的姿态估计方法一般基于模板匹配或者是图结构建模，由于其所依赖的手提特征的局限性以及人体和动物姿态空间的多样性，这些方法的使用场景都很受限。

3、近年来随着深度学习的发展，当前的主流姿态估计方法均基于神经网络构建并取得了很好的预测结果。但基于深度学习的姿态估计模型主要机制为：先通过预训练的主干网络提取特征，然后通过全连接或者上采样模块回归关键点坐标或者其热力图。由于主干网络提取特征时会经过五次下采样，所以网络输出的特征图谱的长和宽仅为输入图像的当姿态估计的目标比较小时，其在特征图谱中仅占几个或者一个像素，不同部位关键点会出现重叠现象，影响姿态估计精度。

4、此外，现有的姿态估计模型大都是在空间维度上通过卷积处理主干网络输出的特征，而其在通道维度包含的大量有用信息没有被充分利用，当模型面临的目标比较小时，模型难以达到最优的预测性能。

技术实现思路

1、针对现有姿态估计模型在小目标上存在的上述问题，本发明提供一种结合显著性检测的小目标姿态估计方法。

2、一种结合显著性检测的小目标姿态估计方法，网络模型的输入为二维图像，输出为图像中物体的显著性图谱以及该物体的各关键点坐标与类别。

3、本发明提供的一种结合显著性检测的小目标姿态估计方法，通过以下步骤实现：

4、s1：基于标注的人体或动物姿态点标签生成伪显著性图谱；

5、s2：构建基于显著性检测的姿态估计网络，包含特征提取模块、显著性检测和姿态估计两个分支，以及基于深度超参数化卷积注意力的上采样模块；

6、s3：用标注的人体或动物姿态数据以及生成的伪显著性图谱训练模型；

7、s4：利用训练完的模型对输入图像进行预测，包含显著性目标感知阶段以及目标姿态估计阶段两部分。

8、所述的步骤s1具体包括：

9、s11：基于轮廓连接生成方法获取物体闭环区域；

10、s12：对闭环区域进行二值化填充；

11、s13：基于高斯核函数对填充图谱进行二维卷积滤波得到伪显著性图谱。

12、所述的基于轮廓连接生成方法获取物体闭环区域具体包括：将已标注的关键点标签初始化为三部分：显著性目标轮廓点序列ps{*}，当前搜索节点pi以及候选点集pk|*|。然后根据候选点集中各点与当前搜索节点pi组成的向量与已连接边之间的夹角信息和该向量模长信息加权计算每个候选点的排序得分，根据得分的结果更新ps{*}和pi，直到显著性目标轮廓点序列ps{*}中的点形成一个闭环，如图2所示。

13、所述的每个候选点的排序得分计算方式为：

14、

15、其中，为pi与第i个候选点的连接向量，v0为pi与轮廓点序列ps队尾点的连接向量，α为权重值，为向量归一化运算。

16、所述的根据得分的结果更新ps{*}和pi直到显著性目标轮廓点序列ps{*}中的点形成一个闭环具体包括：初始化ps和pi；对于候选点集中的每一个点pk计算排序得分，选择得分最大的点作为最优点p0；将当前搜索节点pi添加到显著性目标轮廓点序列ps中；将最优点p0更新为当前搜索节点pi；从候选点集pk中删除p0；重复步骤上述步骤，直至显著性目标轮廓点序列ps中的点形成一个闭环。

17、所述的步骤s2具体包括：

18、s21：构建特征提取模块，用于提取输入图像的深度语义特征，所述的特征提取模块输入为待估计的二维图像或图像块，输出为其深度语义特征图谱；

19、s22：构建显著性检测分支，用于获取显著性图谱，所述的显著性分支由一个基于深度超参数化卷积注意力的上采样模块和一个卷积核尺寸为1*1的卷积层组成，其输入为特征提取模块输出的图像的特征图谱，输出为图像的显著性图谱；

20、s23：构建姿态估计分支，用于获取目标的关键点热力图，所述的姿态估计分支由三个基于注意力的上采样模块和一个卷积核尺寸为1*1的卷积层组成，其输入为上一步所得图像块经特征提取模块所得的特征图谱，输出为一组热力图，其中热力图的数等于关键点数。

21、进一步的，基于注意力的上采样模块由深度超参数化卷积上采样部分和深度超参数化注意力模块两部分组成，其输入为前一层输出的特征图谱，输入的特征先依次通过上采样层和深度超参数化卷积得到上采样特征图谱，然后将其送入深度超参数化注意力模块获取注意力特征，最后将注意力特征与上采样特征图谱逐像素相加作为基于注意力的上采样模块的输出。

22、所述的深度超参数化卷积上采样部分由步长为2的上采样层、深度超参数化卷积层、批正则化以及relu激活层依次组成。

23、所述的深度超参数化注意力模块由基于深度超参数化卷积改进的通道注意力模块和空间注意力模块组成。

24、所述的步骤s3具体包括：

25、s31：利用标注的姿态点数据生成一组热力图，作为模型姿态估计分支的学习目标；

26、s31：利用步骤s1中生成的伪显著性图谱作为模型显著性检测分支的学习目标；

27、s31：利用均方损失函数构造模型训练的总误差其中为姿态估计分支误差，为显著性检测分支误差，α和β分别为姿态估计分支误差和显著性检测分支误差在总误差中的权重。

28、所述的步骤s4具体包括：

29、s41：将输入图像转化为张量格式，并用特征提取模块提取深度语义特征；

30、s42：将图像的特征图谱输入显著性检测分支，获取其显著性图谱；

31、s43：根据预设阈值二值化显著性图谱，并获取最大连通区域，根据该区域范围坐标在原图中裁剪包含目标的图像块；

32、s44：将裁剪得到的图像块转化为张量格式，并用特征提取模块提取深度语义特征；

33、s45：将图像块的特征图谱输入姿态估计分支，获取一组热力图；

34、s46：基于非极大值抑制方法计算每个热力图中响应最大点的坐标作为对应关键点的坐标；s47：将上面计算得到的图像块中的关键点坐标通过映射计算得到输入图像中对应的关键点坐标值。

35、该方法中的网络模型由特征提取模块、显著性检测分支以及姿态估计分支三部分组成；特征提取模块为经过预训练的卷积神经网络，用于提取输入图像的特征；显著性检测分支主要用于预测输入图像的显著性图谱，并基于显著性图谱中的响应值获取包含目标区域的图像块；姿态估计分支主要用于预测输出的图像块中物体的关键点热力图。

36、显著性检测分支由一组基于注意力的上采样模块和一个卷积核尺寸为1*1的卷积层组成，其输入为特征提取模块输出的特征图谱，目标输出为图像的显著性图谱，其中目标区域有较高响应值而其他区域响应值较低。根据预设阈值可获取目标区域范围，并依次可计算得到目标区域的扩展边界框，然后将其对应到输入图像中裁剪可得到包含目标区域的图像块。

37、姿态估计分支由三组基于注意力的上采样模块和一个卷积核尺寸为1*1的卷积层组成。其中第一组上采样模块与显著性检测分支共享；另外两组上采样模块为姿态估计分支所独有，用于特征处理以及将特征图谱上采样到输入尺寸的其输入为上一步所得图像块经特征提取模块所得的特征图谱，其目标输出为一组热力图，其中热力图的数目由关键点数确定，通过非极大值抑制计算可获得每个关键点的二维坐标。

38、本发明的有益效果为：

39、1.本发明针对小目标物体的姿态估计问题，提出了一种基于显著性检测的小目标姿态估计方法，本发明将小目标的姿态估计问题解耦为基于显著检测的物体位置快速感知以及正常尺寸物体姿态估计问题，提高了小目标物体的姿态估计精度。

40、2.本发明针对在姿态估计任务中，对于目标位置感知模块需要标签的问题，提出了基于关键点的伪显著性图生成方法。其基于有向图生成的方法先生成贴合目标轮廓的边界线，然后分别通过二值填充和高斯核二维卷积滤波操作得到伪显著性图谱，从而降低了模型训练对于人工标注的依赖。

41、3本发明针对传统上采样模块只注重于在单一空间维度进行特征处理的问题，提出了基于注意力的上采样模块。其通过融合深度超参数化卷积和卷积块注意力机制，可实现用少量参数分析通道、空间等多维度的特征分析，提升模型的特征分析能力，从而提高了网络对于显著性检测和姿态估计的性能。