一种基于解耦阶梯网络的姿态估计方法与流程

文档序号:24073498发布日期:2021-02-26 16:17阅读:来源:国知局

技术特征:
1.一种基于解耦阶梯网络的姿态估计方法,其特征在于:包括如下步骤:步骤s10、基于解耦残差模块和瀑布模块搭建解耦阶梯网络;步骤s20、获取大量的人体样本图像,利用所述人体样本图像对解耦阶梯网络进行训练;步骤s30、将待测图像输入训练好的所述解耦阶梯网络,计算所述待测图像中各关节点的位置,进而基于各关节点的位置形成完整的人体姿态。2.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法,其特征在于:所述步骤s10中,所述解耦阶梯网络包括:一大小为3
×
3的第一卷积核、一第一解耦残差组、一第二解耦残差组、一第三解耦残差组、一第四解耦残差组、一第一瀑布组、一第二瀑布组、一第三瀑布组以及一第四瀑布组;所述第一解耦残差组包括横向并行排列并连接的二十个解耦残差模块,依次用a
1,1
、a
1,2

……
、a
1,20
表示;所述第二解耦残差组包括横向并行排列并连接的十六个解耦残差模块,依次用a
2,1
、a
2,2

……
、a
2,16
表示;所述第三解耦残差组包括横向并行排列并连接的十一个解耦残差模块,依次用a
3,1
、a
3,2

……
、a
3,11
表示;所述第四解耦残差组包括横向并行排列并连接的六个解耦残差模块,依次用a
4,1
、a
4,2

……
、a
4,6
表示;所述第一瀑布组包括横向并行排列的十九个瀑布模块;所述第二瀑布组包括横向并行排列的十五个瀑布模块;所述第三瀑布组包括横向并行排列的十个瀑布模块;所述第四瀑布组包括横向并行排列的五个瀑布模块;所述第一卷积核的输出端与第一解耦残差组的输入端连接,用于提取图像特征并改变图像的通道数;所述第一解耦残差组、第二解耦残差组、第三解耦残差组以及第四解耦残差组依次至上而下排列,且靠右对齐;所述第一瀑布组设于第一解耦残差组的解耦残差模块之间;所述第二瀑布组设于第二解耦残差组的解耦残差模块之间;所述第三瀑布组设于第三解耦残差组的解耦残差模块之间;所述第四瀑布组设于第四解耦残差组的解耦残差模块之间;各所述瀑布模块均与位于正前方和正后方的解耦残差模块连接,用于为解耦残差模块补偿感受野;所述解耦残差模块a
1,4
、解耦残差模块a
2,5
、解耦残差模块a
3,5
分别进行一次2倍下采样操作,将特征图的分辨率降低至与所述解耦残差模块a
2,1
、解耦残差模块a
3,1
、解耦残差模块a
4,1
一致,并进行元素求和;所述解耦残差模块a
1,9
进行一次2倍下采样操作后,与解耦残差模块a
2,6
进行元素求和;所述解耦残差模块a
1,9
进行一次4倍下采样操作后,与解耦残差模块a
3,1
进行元素求和;所述解耦残差模块a
2,5
进行1次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,10
一致,并进行元素求和;所述解耦残差模块a
2,10
进行1次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,15
一致,并进行元素求和;所述解耦残差模块a
2,10
进行一次2倍下采样操作后,将特征图的分辨率降低至与解耦残差模块a
3,6
一致,并进行元素求和;所述解耦残差模块a
2,10
进行一次4倍下采样操作后,将特征图的分辨率降低至与解耦残差模块a
4,1
一致,并进行元素求和;所述解耦残差模块a
2,15
进行1次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,20
一致,并进行元素求和;所述解耦残差模块a
2,15
进行一次2倍下采样操作后,将特征图
的分辨率降低至与解耦残差模块a
3,11
一致,并进行元素求和;所述解耦残差模块a
2,15
进行一次4倍下采样操作后,将特征图的分辨率降低至与解耦残差模块a
4,6
一致,并进行元素求和;所述解耦残差模块a
3,5
进行2次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,15
一致,并进行元素求和;所述解耦残差模块a
3,5
进行1次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
2,11
一致,并进行元素求和;所述解耦残差模块a
3,10
进行2次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,20
一致,并进行元素求和;所述解耦残差模块a
3,10
进行1次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
2,16
一致,并进行元素求和;所述解耦残差模块a
3,10
进行一次2倍下采样操作后,将特征图的分辨率降低至与解耦残差模块a
4,6
一致,并进行元素求和;所述解耦残差模块a
4,5
进行3次双线性插值后,将特征图的分辨率提升至与解耦残差模块a
1,20
、a
2,16
、a
3,11
一致,并分别进行元素求和。3.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法,其特征在于:所述步骤s10中,所述解耦残差模块包括:一大小为1
×
1的第二卷积核、一大小为3
×
1的第三卷积核、一大小为1
×
3的第四卷积核、一大小为1
×
1的第五卷积核;所述第二卷积核、第三卷积核、第四卷积核以及第五卷积核依次连接;所述第二卷积核用于提取图像特征并改变图像的通道数为64;所述第五卷积核用于提取图像特征并改变图像的通道数为256;输入所述第二卷积核的特征图使用恒等映射到第五卷积核进行元素相加。4.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法,其特征在于:所述步骤s10中,所述瀑布模块包括:一大小为3
×
3的第六卷积核、一大小为3
×
3的第七卷积核、一大小为3
×
3的第八卷积核、一大小为3
×
3的第九卷积核;所述第六卷积核将特征图f进行卷积操作生成特征图f1;所述第七卷积核将特征图f和特征图f1进行元素相加后进行卷积操作生成特征图f2;所述第八卷积核将特征图f和特征图f2进行元素相加后进行卷积操作生成特征图f3;所述第九卷积核将特征图f和特征图f3进行元素相加后进行卷积操作生成特征图f4。5.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法,其特征在于:所述步骤s20具体包括:步骤s21、获取大量的人体样本图像,将所述人体样本图像调整为大小为256
×
256的rgb图像后,输入搭建好的所述解耦阶梯网络;步骤s22、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图;步骤s23、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;步骤s24、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为r个像素的圆,得到预测的关节点位置;步骤s25、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值:其中m表示损失值,用来训练解耦阶梯网络;i表示人体的编号,j表示关节点的编号,且
i和j均为正整数;p
i
(p
j
)表示第i个人,第j个关节点的预测值;为预测的关节点的热图,尺度为λ
×
64
×
64,λ表示关节点的个数;g
i
(p
j
)表示第i个人,第j个关节点的真值;g={g1,...,g
λ
},为高斯激活生成的各人体部位对应的真值热图。6.如权利要求1所述的一种基于解耦阶梯网络的姿态估计方法,其特征在于:所述步骤s30具体包括:步骤s31、获取待测图像,将所述待测图像调整为大小为256
×
256的rgb图像后,输入训练好的所述解耦阶梯网络中;步骤s32、通过所述解耦阶梯网络获取rgb图像中关节点的位置热图;步骤s33、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;步骤s34、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为r个像素的圆,得到预测的关节点位置;步骤s35、基于预先标定各关节点的序号以及预测的关节点位置,依次连接各关节点形成完整的人体姿态。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1