一种基于解耦阶梯网络的姿态估计方法与流程

[0001]
本发明涉及人体姿态估计技术领域，特别指一种基于解耦阶梯网络的姿态估计方法。


背景技术：

[0002]
人体姿态估计是计算机视觉进一步理解人体行为的关键步骤，通过一张rgb图像能有效预测出人体所有关节点并形成正确的姿态，而准确预测出人体姿态对更高级别的计算机视觉任务，如人的行为识别、人机交互、行人重识别、异常行为检测等具有重要的意义。
[0003]
尽管人体姿态估计领域发展迅速，但目前不论是自顶向下还是自底向上的方法，均存在网络结构复杂且参数量大的问题，使得在训练网络时不知道哪一部分较为关键，导致网络训练速度变慢。为了降低网络结构的复杂度，减少参数量，传统的做法只是简单的把一些卷积核进行替换，丢失了对关节点的感受野的考虑；且传统的姿态估计方法对于不同尺度大小的任务区分程度不够，使得一些较小尺度的任务被忽略，进而导致降低了人体姿态估计的精度。
[0004]
在网络结构设计方面，cai y,wang z,luo z等人(arxiv preprint arxiv:2003.04030,2020.)在论文“learning delicate local representations for multi-person pose estimation”中提出了一种残差阶梯块，每一个残差阶梯块都包含四个分支，每个分支的感受野大小并不相同，且输入的特征图大小一致，通过多个卷积将不同分支的感受野进行融合，最后再进行concat操作，虽然提高了网络的感受野，但由于多个分支融合再进行concat操作，增加了网络参数量，从而导致网络训练速度与推理速度低下。
[0005]
在基于rgb图像的姿态估计方法中，sun k,xiao b,liu d等人(19th proceedings of the ieee conference on computer vision and pattern recognition.2019:5693-5703.)在论文“deep high-resolution representation learning for human pose estimation”中提出一种基于resnet的网络来进行姿态估计，通过源码发现该论文设计的网络参数量较大，不利于训练，同时复杂的网络结构导致推理和训练速度较慢，对于计算资源较少的用户而言，极大的提高了用户的训练成本。
[0006]
专利公开号为cn104850845a的中国专利公开了一种基于非对称卷积神经网络的交通标志识别方法，采用两个不同结构的卷积神经网络并行地进行特征映射和提取，最后将特征进行合并，再经过全连接层和最后的分类器，完成整个分类过程。该方法确保了图像特征的多样性，提高了识别精度并加快了网络运算速度，对于人体姿态估计领域而言，虽然提高了网络运算速度，但是降低了人体姿态估计的精确度。
[0007]
因此，如何提供一种基于解耦阶梯网络的姿态估计方法，实现提升人体姿态估计的速度以及精度，成为一个亟待解决的问题。


技术实现要素：

[0008]
本发明要解决的技术问题，在于提供一种基于解耦阶梯网络的姿态估计方法，实
现提升人体姿态估计的速度以及精度。
[0009]
本发明是这样实现的：一种基于解耦阶梯网络的姿态估计方法，包括如下步骤：
[0010]
步骤s10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络；
[0011]
步骤s20、获取大量的人体样本图像，利用所述人体样本图像对解耦阶梯网络进行训练；
[0012]
步骤s30、将待测图像输入训练好的所述解耦阶梯网络，计算所述待测图像中各关节点的位置，进而基于各关节点的位置形成完整的人体姿态。
[0013]
进一步地，所述步骤s10中，所述解耦阶梯网络包括：
[0014]
一大小为3
×
3的第一卷积核、一第一解耦残差组、一第二解耦残差组、一第三解耦残差组、一第四解耦残差组、一第一瀑布组、一第二瀑布组、一第三瀑布组以及一第四瀑布组；
[0015]
所述第一解耦残差组包括横向并行排列并连接的二十个解耦残差模块，依次用a
1,1
、a
1,2
、
……
、a
1,20
表示；所述第二解耦残差组包括横向并行排列并连接的十六个解耦残差模块，依次用a
2,1
、a
2,2
、
……
、a
2,16
表示；所述第三解耦残差组包括横向并行排列并连接的十一个解耦残差模块，依次用a
3,1
、a
3,2
、
……
、a
3,11
表示；所述第四解耦残差组包括横向并行排列并连接的六个解耦残差模块，依次用a
4,1
、a
4,2
、
……
、a
4,6
表示；
[0016]
所述第一瀑布组包括横向并行排列的十九个瀑布模块；所述第二瀑布组包括横向并行排列的十五个瀑布模块；所述第三瀑布组包括横向并行排列的十个瀑布模块；所述第四瀑布组包括横向并行排列的五个瀑布模块；
[0017]
所述第一卷积核的输出端与第一解耦残差组的输入端连接，用于提取图像特征并改变图像的通道数；所述第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组依次至上而下排列，且靠右对齐；所述第一瀑布组设于第一解耦残差组的解耦残差模块之间；所述第二瀑布组设于第二解耦残差组的解耦残差模块之间；所述第三瀑布组设于第三解耦残差组的解耦残差模块之间；所述第四瀑布组设于第四解耦残差组的解耦残差模块之间；
[0018]
各所述瀑布模块均与位于正前方和正后方的解耦残差模块连接，用于为解耦残差模块补偿感受野；
[0019]
所述解耦残差模块a
1,4
、解耦残差模块a
2,5
、解耦残差模块a
3,5
分别进行一次2倍下采样操作，将特征图的分辨率降低至与所述解耦残差模块a
2,1
、解耦残差模块a
3,1
、解耦残差模块a
4,1
一致，并进行元素求和；
[0020]
所述解耦残差模块a
1,9
进行一次2倍下采样操作后，与解耦残差模块a
2,6
进行元素求和；所述解耦残差模块a
1,9
进行一次4倍下采样操作后，与解耦残差模块a
3,1
进行元素求和；
[0021]
所述解耦残差模块a
2,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,10
一致，并进行元素求和；
[0022]
所述解耦残差模块a
2,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,15
一致，并进行元素求和；所述解耦残差模块a
2,10
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
3,6
一致，并进行元素求和；所述解耦残差模块a
2,10
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,1
一致，并进行元
素求和；
[0023]
所述解耦残差模块a
2,15
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
一致，并进行元素求和；所述解耦残差模块a
2,15
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
3,11
一致，并进行元素求和；所述解耦残差模块a
2,15
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,6
一致，并进行元素求和；
[0024]
所述解耦残差模块a
3,5
进行2次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,15
一致，并进行元素求和；所述解耦残差模块a
3,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
2,11
一致，并进行元素求和；
[0025]
所述解耦残差模块a
3,10
进行2次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
一致，并进行元素求和；所述解耦残差模块a
3,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
2,16
一致，并进行元素求和；所述解耦残差模块a
3,10
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,6
一致，并进行元素求和；
[0026]
所述解耦残差模块a
4,5
进行3次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
、a
2,16
、a
3,11
一致，并分别进行元素求和。
[0027]
进一步地，所述步骤s10中，所述解耦残差模块包括：
[0028]
一大小为1
×
1的第二卷积核、一大小为3
×
1的第三卷积核、一大小为1
×
3的第四卷积核、一大小为1
×
1的第五卷积核；
[0029]
所述第二卷积核、第三卷积核、第四卷积核以及第五卷积核依次连接；所述第二卷积核用于提取图像特征并改变图像的通道数为64；所述第五卷积核用于提取图像特征并改变图像的通道数为256；输入所述第二卷积核的特征图使用恒等映射到第五卷积核进行元素相加。
[0030]
进一步地，所述步骤s10中，所述瀑布模块包括：
[0031]
一大小为3
×
3的第六卷积核、一大小为3
×
3的第七卷积核、一大小为3
×
3的第八卷积核、一大小为3
×
3的第九卷积核；
[0032]
所述第六卷积核将特征图f进行卷积操作生成特征图f1；所述第七卷积核将特征图f和特征图f1进行元素相加后进行卷积操作生成特征图f2；所述第八卷积核将特征图f和特征图f2进行元素相加后进行卷积操作生成特征图f3；所述第九卷积核将特征图f和特征图f3进行元素相加后进行卷积操作生成特征图f4。
[0033]
进一步地，所述步骤s20具体包括：
[0034]
步骤s21、获取大量的人体样本图像，将所述人体样本图像调整为大小为256
×
256的rgb图像后，输入搭建好的所述解耦阶梯网络；
[0035]
步骤s22、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图；
[0036]
步骤s23、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
[0037]
步骤s24、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为r个像素的圆，得到预测的关节点位置；
[0038]
步骤s25、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值：
[0039][0040]
其中m表示损失值，用来训练解耦阶梯网络；i表示人体的编号，j表示关节点的编号，且i和j均为正整数；p
i
(p
j
)表示第i个人，第j个关节点的预测值；为预测的关节点的热图，尺度为λ
×
64
×
64，λ表示关节点的个数；g
i
(p
j
)表示第i个人，第j个关节点的真值；g＝{g1,...,g
λ
}，为高斯激活生成的各人体部位对应的真值热图。
[0041]
进一步地，所述步骤s30具体包括：
[0042]
步骤s31、获取待测图像，将所述待测图像调整为大小为256
×
256的rgb图像后，输入训练好的所述解耦阶梯网络中；
[0043]
步骤s32、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图；
[0044]
步骤s33、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
[0045]
步骤s34、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为r个像素的圆，得到预测的关节点位置；
[0046]
步骤s35、基于预先标定各关节点的序号以及预测的关节点位置，依次连接各关节点形成完整的人体姿态。
[0047]
本发明的优点在于：
[0048]
1、通过解耦残差模块和瀑布模块搭建解耦阶梯网络用于人体姿态估计，有效减少了深度卷积神经网络的参数量，提升了深度卷积神经网络的训练与推理速度，进而极大的提升了人体姿态估计的速度。
[0049]
2、通过在解耦阶梯网络中的第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组间进行下采样和双线性插值操作，使得解耦阶梯网络能够高效的进行信息流动，有利于空间信息与语义信息的融合，极大的提升了人体姿态估计的精度。
[0050]
3、通过在每两个解耦残差模块间加入瀑布模块，解决解耦阶梯网络因为解耦残差模块代理的感受野缺失导致精度下降的问题，进一步提升了人体姿态估计的精度。
附图说明
[0051]
下面参照附图结合实施例对本发明作进一步的说明。
[0052]
图1是本发明一种基于解耦阶梯网络的姿态估计方法的流程图。
[0053]
图2是本发明解耦残差组的结构示意图。
[0054]
图3是本发明解耦残差模块的结构示意图。
[0055]
图4是本发明瀑布模块的结构示意图。
[0056]
图5是本发明人体姿态估计的效果示意图。
具体实施方式
[0057]
本申请实施例中的技术方案，总体思路如下：
[0058]
首先，基于解耦残差模块搭建解耦阶梯网络，使得深度卷积神经网络的参数量大大减少，且降低的精度在可接受范围内；其次，在解耦阶梯网络的每个解耦残差组之间进行信息的流动，使得解耦阶梯网络能够有效利用和融合空间信息与语义信息，使得姿态估计
结果更准确；然后，在解耦阶梯网络的每两个解耦残差模块中加入瀑布模块，有效补足因为解耦残差模块导致的感受野缺失，使得人体各关节点精度更加平衡，大大提高姿态估计的精度，为行为识别、行人重识别、异常行为检测等提供一个姿态参考。
[0059]
请参照图1至图5所示，本发明一种基于解耦阶梯网络的姿态估计方法的较佳实施例，包括如下步骤：
[0060]
步骤s10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络；
[0061]
步骤s20、获取大量的人体样本图像，利用所述人体样本图像对解耦阶梯网络进行训练；
[0062]
即事先获取大量的人体样本图像，对各人体样本图像的关节点进行标注后，划分为训练集，验证集和测试集，将训练集输入解耦阶梯网络进行训练，再利用验证集对训练后的解耦阶梯网络进行验证，判断损失值是否达到预设的阈值；所述解耦阶梯网络属于深度卷积神经网络；
[0063]
步骤s30、将待测图像输入训练好的所述解耦阶梯网络，计算所述待测图像中各关节点的位置，进而基于各关节点的位置形成完整的人体姿态。
[0064]
所述步骤s10中，所述解耦阶梯网络包括：
[0065]
一大小为3
×
3的第一卷积核、一第一解耦残差组、一第二解耦残差组、一第三解耦残差组、一第四解耦残差组、一第一瀑布组、一第二瀑布组、一第三瀑布组以及一第四瀑布组；
[0066]
所述第一解耦残差组包括横向并行排列并连接的二十个解耦残差模块，依次用a
1,1
、a
1,2
、
……
、a
1,20
表示；所述第二解耦残差组包括横向并行排列并连接的十六个解耦残差模块，依次用a
2,1
、a
2,2
、
……
、a
2,16
表示；所述第三解耦残差组包括横向并行排列并连接的十一个解耦残差模块，依次用a
3,1
、a
3,2
、
……
、a
3,11
表示；所述第四解耦残差组包括横向并行排列并连接的六个解耦残差模块，依次用a
4,1
、a
4,2
、
……
、a
4,6
表示；
[0067]
所述第一瀑布组包括横向并行排列的十九个瀑布模块；所述第二瀑布组包括横向并行排列的十五个瀑布模块；所述第三瀑布组包括横向并行排列的十个瀑布模块；所述第四瀑布组包括横向并行排列的五个瀑布模块；
[0068]
所述第一卷积核的输出端与第一解耦残差组的输入端连接，用于提取图像特征并改变图像的通道数；所述第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组依次至上而下排列，且靠右对齐；所述第一瀑布组设于第一解耦残差组的解耦残差模块之间；所述第二瀑布组设于第二解耦残差组的解耦残差模块之间；所述第三瀑布组设于第三解耦残差组的解耦残差模块之间；所述第四瀑布组设于第四解耦残差组的解耦残差模块之间；
[0069]
各所述瀑布模块均与位于正前方和正后方的解耦残差模块连接，用于为解耦残差模块补偿感受野；
[0070]
所述解耦残差模块a
1,4
、解耦残差模块a
2,5
、解耦残差模块a
3,5
分别进行一次2倍下采样操作，将特征图的分辨率降低至与所述解耦残差模块a
2,1
、解耦残差模块a
3,1
、解耦残差模块a
4,1
一致，并进行元素求和；
[0071]
所述解耦残差模块a
1,9
进行一次2倍下采样操作后，与解耦残差模块a
2,6
进行元素求和；所述解耦残差模块a
1,9
进行一次4倍下采样操作后，与解耦残差模块a
3,1
进行元素求
和；
[0072]
所述解耦残差模块a
2,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,10
一致，并进行元素求和；
[0073]
所述解耦残差模块a
2,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,15
一致，并进行元素求和；所述解耦残差模块a
2,10
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
3,6
一致，并进行元素求和；所述解耦残差模块a
2,10
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,1
一致，并进行元素求和；
[0074]
所述解耦残差模块a
2,15
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
一致，并进行元素求和；所述解耦残差模块a
2,15
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
3,11
一致，并进行元素求和；所述解耦残差模块a
2,15
进行一次4倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,6
一致，并进行元素求和；
[0075]
所述解耦残差模块a
3,5
进行2次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,15
一致，并进行元素求和；所述解耦残差模块a
3,5
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
2,11
一致，并进行元素求和；
[0076]
所述解耦残差模块a
3,10
进行2次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
一致，并进行元素求和；所述解耦残差模块a
3,10
进行1次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
2,16
一致，并进行元素求和；所述解耦残差模块a
3,10
进行一次2倍下采样操作后，将特征图的分辨率降低至与解耦残差模块a
4,6
一致，并进行元素求和；
[0077]
所述解耦残差模块a
4,5
进行3次双线性插值后，将特征图的分辨率提升至与解耦残差模块a
1,20
、a
2,16
、a
3,11
一致，并分别进行元素求和。
[0078]
所述步骤s10中，所述解耦残差模块包括：
[0079]
一大小为1
×
1的第二卷积核、一大小为3
×
1的第三卷积核、一大小为1
×
3的第四卷积核、一大小为1
×
1的第五卷积核；
[0080]
所述第二卷积核、第三卷积核、第四卷积核以及第五卷积核依次连接；所述第二卷积核用于提取图像特征并改变图像的通道数为64；所述第五卷积核用于提取图像特征并改变图像的通道数为256；输入所述第二卷积核的特征图使用恒等映射到第五卷积核进行元素相加。
[0081]
所述步骤s10中，所述瀑布模块包括：
[0082]
一大小为3
×
3的第六卷积核、一大小为3
×
3的第七卷积核、一大小为3
×
3的第八卷积核、一大小为3
×
3的第九卷积核；
[0083]
所述第六卷积核将特征图f进行卷积操作生成特征图f1；所述第七卷积核将特征图f和特征图f1进行元素相加后进行卷积操作生成特征图f2；所述第八卷积核将特征图f和特征图f2进行元素相加后进行卷积操作生成特征图f3；所述第九卷积核将特征图f和特征图f3进行元素相加后进行卷积操作生成特征图f4。即所述瀑布模块的输入是特征图f，输出是特征图f4。
[0084]
所述步骤s20具体包括：
[0085]
步骤s21、获取大量的人体样本图像(rgb图像)，将所述人体样本图像调整为大小为256
×
256的rgb图像后，输入搭建好的所述解耦阶梯网络；
[0086]
步骤s22、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图；即通过所述第一卷积核提取特征图f，同时改变rgb图像的通道数，再将特征图f输入所述解耦阶梯网络的主干网络得到位置热图；
[0087]
步骤s23、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
[0088]
步骤s24、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为r个像素的圆，得到预测的关节点位置；
[0089]
步骤s25、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值：
[0090][0091]
其中m表示损失值，用来训练解耦阶梯网络；i表示人体的编号，j表示关节点的编号，且i和j均为正整数；p
i
(p
j
)表示第i个人，第j个关节点的预测值；为预测的关节点的热图，尺度为λ
×
64
×
64，λ表示关节点的个数；g
i
(p
j
)表示第i个人，第j个关节点的真值；g＝{g1,...,g
λ
}，为高斯激活生成的各人体部位对应的真值热图。
[0092]
所述步骤s30具体包括：
[0093]
步骤s31、获取待测图像，将所述待测图像调整为大小为256
×
256的rgb图像后，输入训练好的所述解耦阶梯网络中；
[0094]
步骤s32、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图；
[0095]
步骤s33、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
[0096]
步骤s34、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为r个像素的圆，得到预测的关节点位置；
[0097]
步骤s35、基于预先标定各关节点的序号以及预测的关节点位置，依次连接各关节点形成完整的人体姿态。
[0098]
综上所述，本发明的优点在于：
[0099]
1、通过解耦残差模块和瀑布模块搭建解耦阶梯网络用于人体姿态估计，有效减少了深度卷积神经网络的参数量，提升了深度卷积神经网络的训练与推理速度，进而极大的提升了人体姿态估计的速度。
[0100]
2、通过在解耦阶梯网络中的第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组间进行下采样和双线性插值操作，使得解耦阶梯网络能够高效的进行信息流动，有利于空间信息与语义信息的融合，极大的提升了人体姿态估计的精度。
[0101]
3、通过在每两个解耦残差模块间加入瀑布模块，解决解耦阶梯网络因为解耦残差模块代理的感受野缺失导致精度下降的问题，进一步提升了人体姿态估计的精度。
[0102]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。