关键点确定方法、装置、电子设备及计算机可读存储介质与流程

本申请涉及计算机视觉领域，尤其涉及一种关键点确定方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、当前，关键点确定方法通常使用热力图方案或者回归方案对待处理图像进行处理。

2、其中，热力图方案的输出为热力图，因此需要对热力图进行后处理才可以得到关键点信息，这就导致了关键点估计的计算量较大；而回归方案的输出为关键点，其计算量只与关键点的个数相关，计算量相对于热力图方案来说较小，但是其精度相对于热力图方案更低。

3、因此，需要提出一种关键点确定方法以实现在不增加计算量的前提下，提高关键点确定的精度。

技术实现思路

1、本申请提供一种关键点确定方法、装置、电子设备及计算机可读存储介质，用于实现在不增加计算量的前提下，提高关键点确定的精度。

2、为了解决上述技术问题，本申请提供以下技术方案：

3、本申请提供一种关键点确定方法，包括：

4、获取待处理图像；

5、将所述待处理图像输入至训练后的融合网络中的回归网络，得到所述待处理图像的关键点信息；其中，所述融合网络包括回归网络和热力图网络，所述回归网络的输出端与所述热力图网络的输入端连接。

6、相应的，本申请还提供一种关键点确定装置，包括：

7、图像获取模块，用于获取待处理图像；

8、估计模块，用于将所述待处理图像输入至训练后的融合网络中的回归网络，得到所述待处理图像的关键点信息；其中，所述融合网络包括回归网络和热力图网络，所述回归网络的输出端与所述热力图网络的输入端连接。

9、同时，本申请提供一种电子设备，其包括处理器和存储器，存储器用于存储计算机程序，处理器用于运行所述存储器里的计算机程序，以执行上述关键点确定方法中的步骤。

10、此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述关键点确定方法中的步骤。

11、有益效果：本申请提供了一种关键点确定方法、装置、电子设备及计算机可读存储介质；该方法在获取待处理图像之后，将该图像输入至训练后的融合网络中的回归网络，得到待处理图像的关键点信息，其中，融合网络包括回归网络和热力图网络，且该回归网络的输出端与该热力图网络的输入端连接。本申请可以在不额外增加训练数据的情况下，通过将回归网络的输出端与热力图网络的输入端连接得到融合网络，然后对融合网络进行训练得到训练后的融合网络，最后将待处理图像输入训练后的融合网络中的回归网络，得到待处理图像的关键点信息，该方法通过结合回归网络计算量小和热力图网络精度高的优点，提高了训练后的融合网络中的回归网络的精度，且保持了回归网络原有的推理速度，使得训练后的融合网络中的回归网络能较快且准确的确定待处理图像的关键点信息，此外，该方法算法复杂度低，硬件要求低，易于实现和使用。

技术特征：

1.一种关键点确定方法，其特征在于，包括：

2.根据权利要求1所述的关键点确定方法，其特征在于，还包括：

3.根据权利要求2所述的关键点确定方法，其特征在于，所述获取图像训练集和待训练的融合网络，所述待训练的融合网络包括预训练后的回归网络和预训练后的热力图网络，所述预训练后的回归网络的输出端与所述预训练后的热力图网络的输入端连接的步骤，包括：

4.根据权利要求3所述的关键点确定方法，其特征在于，所述获取图像训练集、所述图像训练集中各图像的参考关键点信息的步骤，包括：

5.根据权利要求2所述的关键点确定方法，其特征在于，所述获取图像训练集和待训练的融合网络，所述待训练的融合网络包括预训练后的回归网络和预训练后的热力图网络，所述预训练后的回归网络的输出端与所述预训练后的热力图网络的输入端连接的步骤，包括：

6.根据权利要求5所述的关键点确定方法，其特征在于，所述根据所述图像训练集确定所述图像训练集中各图像对应的热力训练集，所述热力训练集包括至少一个参考关键点信息的步骤，包括：

7.根据权利要求5所述的关键点确定方法，其特征在于，所述根据所述初始热力图更新所述初始热力图网络的初始热力网络参数，得到预训练后的热力图网络的步骤，包括：

8.根据权利要求2所述的关键点确定方法，其特征在于，所述预训练后的热力图网络的热力网络参数固定，不随所述待训练的融合网络的训练而更新。

9.根据权利要求2所述的关键点确定方法，其特征在于，在所述根据所述第一热力图调整所述预训练后的回归网络的网络参数，得到训练后的融合网络的步骤之前，还包括：

10.根据权利要求9所述的关键点确定方法，其特征在于，所述根据所述第一热力图调整所述预训练后的回归网络的网络参数，得到训练后的融合网络的步骤，包括：

11.一种关键点确定装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器里的计算机程序，以执行权利要求1至10任一项所述的关键点确定方法中的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的关键点确定方法中的步骤。

技术总结
本申请提供一种关键点确定方法、装置、电子设备及计算机可读存储介质；该方法在获取待处理图像之后，将该图像输入至训练后的融合网络中的回归网络，得到待处理图像的关键点信息，其中，融合网络包括回归网络和热力图网络，且该回归网络的输出端与该热力图网络的输入端连接。该方法通过对回归网络和热力图网络的融合训练得到训练后的融合网络，并通过训练后的融合网络中的回归网络确定待处理图像的关键点，通过融合训练可以同时吸收回归网络和热力图网络的优点，实现在不增加计算量的同时，提高关键点确定的精度。

技术研发人员：李渊,赵晨晨
受保护的技术使用者：武汉TCL集团工业研究院有限公司
技术研发日：
技术公布日：2024/1/14